Das Datawarehouse als primärer Knotenpunkt des gesamten Datenmaterials bietet vielfältige Auswertungsoptionen. So manche Analyse erfordert aber eine Speziallösung.
Bei der Umsetzung von Datawarehouse Systemen setzen wir zum einen auf Open Source Software für die Implementierung von ETL Routinen und Userinterfaces, und zum anderen auf die OLAP-, Reporting- & Visualisierungskomponenten von SuperSTAR zur Präsentation der Ergebnisdaten.
Der Einsatz von Open Source Software erleichtert die Integration von unterschiedlichsten Datenquellen und Formaten, die von kommerziellen Tools oft nicht unterstützt sind. So kann die Entwicklung beschleunigt werden, und es kann mehr Gewicht auf die Analyse der Daten gelegt werden.
SuperSTAR von Space-Time-Research ist ein umfangreiches OLAP/Reporting System, das vor allem durch die hohe Verarbeitungsgeschwindigkeit im Umgang mit großen Datenmengen hervorsticht.
Unser Team hat sich auf diese Methode spezialisiert, wenn es um die Umsetzung neuer Lösungen geht. Wir verfügen aber auch über Erfahrungen mit anderen Systemen (insbesondere Hyperion ESSBASE)
Auswertungen auf Basis von Einzeldatensätze
Das Speichern der Einzeldatensätze in einer Datawarehouse Datenbank bietet den Vorteil, dass zukünftige Auswertungsanforderungen mit hoher Wahrscheinlichkeit ohne Änderungen erfüllt werden können. Werden hingegen (nur) voraggregierte Daten gespeichert, kommt bestimmt einmal die Anforderung, die nicht ohne Designänderung und Neubeladung umgesetzt werden kann (wenn die Daten überhaupt noch vorhanden sind).
Tagesaktuelle (oder stundenaktuelle) Auswertungen
Durch den Einsatz eines Datawarehouse Systems werden die Daten automatisiert in bestimmten Intervallen für Auswertungen vorbereitet. Bei größeren Datenmengen kann eine Beladung allerdings recht lange dauern und nicht alle Systeme skalieren mit dem Einsatz von schnellerer Hardware.
Die PARADIGMA bietet eine Implementierung speziell ausgelegt auf kurze Beladungszeiten und damit kleinere Intervalle und aktuellere Auswertungen.
Der Einsatz von SuperSTAR unterstützt uns dabei mit dem auf große Datenmengen ausgelegten System.
- Definition der Datenschemata, Eingabeschnittstellen & Verarbeitungsprozesse.
- Implementierung der ETL Routinen, nötige Userinterfaces (browserbasiert).
- Definition der OLAP Star-Schemata (dh. Definition der Datenstrukturen, welche für die gewünschten Auswertungen benötigt werden).
- Implementierung von Reports auf Basis von SuperSTAR eingebettet in Webseiten (Intranet) oder mit Desktop Clients“]
- Installation & Wartung der benötigten Tools (Datenbanksystem, Application Server, SuperSTAR Sytem, etc.)
- In einem Unternehmen gelangt man immer wieder in die Situation, dass aus gegebenem Anlass Informationen relevant werden, die zuvor nicht gebraucht wurden. Aus diesem Grund empfiehlt es sich, schon von Grund auf mit flexibler und anpassungsfähiger Software zu arbeiten.
- Das Aufrüsten von nicht geeigneter Software ist oftmals sehr teuer oder gar nicht möglich.
- Das Team der PARADIGMA bietet ausschließlich Lösungen für Ihr Problem, das nachhaltig von Nutzen ist. Unsere besondere Stärke liegt nach langjähriger Erfahrung im Weitblick für eventuelle künftige Anwendungsmöglichkeiten oder –anforderungen.
Unsere langjährige Erfahrung in der Zusammenarbeit mit der amtlichen Statistik verschafft uns einen Einblick in typische Probleme in der dort anfallenden täglichen Arbeit.
Im Bereich der Datenverarbeitung ist es oftmals die dezentrale Art und Weise der Datenhaltung und -aufbereitung, die zahlreiche Probleme nach sich zieht.
Die enorme Datenmenge, die in der amtlichen Statistik naturgemäß anfällt, muss auf unterschiedlichste Art und Weise aufbereitet werden um in weiterer Folge jederzeit abrufbar sein zu können.
Oftmals kommt es zu einer Vielzahl von Spreadsheets mit Inhalten, die nicht auf grundlegende Konsistenz überprüft werden können. Es fehlt der Überblick über die Datenbestände und über die Stufen im Verarbeitungsprozess.
Wir adressieren derartige Probleme mit dem Einführen von zentralen Datensystemen, Datenversionierung, validierten & konsistenten Tabellenbeständen, dokumentierten Datenänderungen und modularen Verarbeitungsprozessen.
Um das effizient und branchenoptimiert umsetzen zu können, greifen wir auf eigens entwickelte Frameworks zurück.
- Der Überblick über die große Menge an unterschiedlichen Datenbeständen geht verloren.
In der Statistik ist die „Datenproduktion“ das eigentliche Geschäft. Durch die Vielfalt an unterschiedlichen Daten und unterschiedlichen Methoden, die für die Aufbereitung zur Anwendung kommen müssen, kommt es naturgemäß zu heterogenen Strukturen und bei mangelnder Kontrolle wächst die Gefahr von Datenverlust oder Qualitätsmängeln. Diese Aspekte können durch (teilweise) Zentralisierung und Einführung von strukturierten Metadaten verbessert werden.
- Der Weg von Rohdaten zu Ergebnissen beinhaltet zahlreiche schwer nachvollziehbare Schritte. Die Ergebnisse können qualitativ nicht geprüft werden.
Durch die notwendige verteilte Aufbereitung der Daten kommt es an einzelnen Stellen oft zu lückenhafter Dokumentation oder nicht nachvollziehbaren manuellen Aufbereitungsschritten. Das erschwert die Rechtfertigung der Ergebnisse gegenüber externen Kontrollinstanzen. Solche Probleme können mit der Einführung spezieller Datenstrukturen und entsprechender Verarbeitungsmethoden adressiert werden. Die Aufbereitungsprozesse werden transparenter, und die Wartbarkeit steigt und damit kann auch die Qualität der Ergebnisse verbessert werden.
- Das Erfüllen von neuen Anforderungen ist sehr aufwendig, oder oft ressourcenbedingt nicht möglich.
Auch im Bereich der statistischen Datenproduktion können Datenaufbereitungsprozesse automatisiert werden. Die Mitarbeiter können den Arbeitsschwerpunkt verlagern: weg von repetitiven Routinearbeiten, die meist aus Berechnungen in Spreadsheets bestehen, hin zur Steuerung und Kontrolle der (automatisierten) Berechnungsprozesse. Es bleibt mehr Zeit für die Verarbeitung von Ad-Hoc Anfragen oder die dauerhafte Integration von zusätzlichen Standardprozessen
Für folgende Verbesserungen rund um die Datenqualität und –transparenz erarbeiten wir ein harmonisiertes Konzept:
- Zentrale Datenhaltung, Bearbeitung von Tabellen im Browser oder mit MS Excel
- Versionierung sämtlicher Datenbestände – und damit die Nachvollziehbarkeit von Änderungen
- Datenänderungen in dokumentierten Changesets – verringert die Fehleranfälligkeit.
- Flexible modulare Verarbeitungsprozesse – neue Anforderungen an Datenaufbereitungsprozesse können zielorientiert umgesetzt werden.
- Einsatz von regelbasierten Klassifikationssystemen – ermöglicht das Aufbereiten großer Datenmengen mithilfe eines überschaubaren Regel-Sets.
Auf Basis von PARADIGMA entwickelter Frameworks bieten wir:
- Analyse der Datenbestände & Prozesse und Entwurf eines Gesamtkonzepts
- Anpassungen und Applikationsentwicklung abgestimmt auf die Kundenbedürfnisse
- Schemadesign und kontinuierliche Integration, sowie Implementierung von Schnittstellen zu weiteren Systemen
- Umsetzung von Auswertungen & Analysen
- Informationsvorsprung durch rasche Auswertmöglichkeit der Daten
- Durch zentrale Datenhaltung erhalten Sie Kontrolle über die Bestände, Sicherung und Verfügbarkeit.
- Eine transparente Datenaufbereitung für raschen Informationsfluss mittels Dokumentation, Versionierung und nachvollziehbare Prozesse
- Eine erhöhte Reaktionsfähigkeit auf neue Auswertungsanforderungen
- Skalierbare Performance der Verarbeitungsprozesse
PARADIGMA konnte über einen längeren Zeitraum die nötigen Branchenkenntnisse aneignen, um effiziente Lösungen für typische Probleme anbieten zu können. Die lange Zusammenarbeit mit Statistik Austria hat es uns ermöglicht, die passenden Frameworks zu entwickeln.
Wir arbeiten mit der Erkenntnis, dass Daten und Prozesse in jeder Situation anders zu bewerten sind. Jeder Auftrag wird individuell betrachtet. Vorhandene Analogien werden genutzt und Lösungen auf die speziellen Bedürfnisse abgestimmt und erarbeitet.
Operative Unternehmensdaten können, wenn sie gezielt aufbereitet und optimiert werden, zur Auswertung und Analyse herangezogen werden. Die Ergebnisse, die sich daraus generieren lassen sind Erkenntnisse zu aufgeworfenen Fragestellungen und helfen dem Unternehmen im Prozess der Entscheidungsfindung die künftige Strategie festzulegen. Datawarehouse Architekturen unterstützen diese Vorgänge.
Zahllose Datenbestandsinseln eines Unternehmens verzögern einen raschen Zugriff auf Informationen, die innerhalb einer Unternehmung als Entscheidungshilfen herangezogen werden könnten.
Das Datawarehouse bzw. Datawarehouse Architekturen führen einzelne Datenlisten zusammen und ermöglichen einen zentralen Zugriff auf das vorhandenen Material.
Ein schneller und effizienter Einblick in Unternehmensdaten wird somit gewährleistet.
Wir bieten den Entwurf einer Datawarehouse Architektur abgestimmt auf die Kundenbedürfnisse. Ausgehend von der Analyse der Prozesse, der vorhandenen Daten, Testen der Schnittstellen, Bestimmung der Datenqualität wählen wir die am besten geeigneten Werkzeuge und definieren die Komponenten um alles zu einem reibungslosen Workflow zu verbinden.
- Die konsistente Auswertung der Daten ist bisher nicht möglich.
Unterschiedliche Systeme (Buchhaltung, Produktion, etc.) stellen unabhängig unterschiedliche Auswertungen bereit. Manchmal ist das ausreichend, oft passen die Daten aber nicht zusammen oder können nur schwer verglichen werden (manuelle Anpassungen von Auswertungen über Spreadsheets sind oft die Folge). Durch ein Datawarehouse System, welches die Daten aus den unterschiedlichen Systemen extrahiert und in einem gemeinsamen Datenschema ablegt, kann die Effizienz und Flexibilität der Auswertungen erheblich gesteigert werden. Berichte können unter Einsatz von weniger Ressourcen früher geliefert werden
- Das Berichtswesen arbeitet mit unzähligen Spreadsheets und jede Anpassung ist mit unvorhergesehenen Datenfehlern verbunden.
Durch das Einführen einer Datawarehouse Lösung wird das Erstellen von neuen Berichten erheblich vereinfacht. In den meisten Fällen ist das System flexibel genug, um neue Berichte aus den vorhandenen Daten zu erstellen. Und sollte es dennoch nötig sein, zusätzliche Daten zu definieren, dann muss das nur an einer Stelle gemacht werden, und der Aufwand und die Fehleranfälligkeit sind nicht so hoch wie bei einer Lösung mit Spreadsheets.
- Zusätzliche Datenquellen müssen in ein vorhandenes Reporting-System integriert werden.
Durch unsere Erfahrung mit unterschiedlichen Datenquellen und Reporting Systemen können wir den Kunden dabei unterstützen, neue Daten in sein bereits vorhandenes System zu integrieren. Die Berücksichtigung der vorhandenen Systeme bringt auch im Reporting Bereich den Vorteil der Datenkonsistenz.
- Datenhistorisierung
Wenn im Unternehmen kein Datawarehouse zum Einsatz kommt, werden im Regelfall Berichte in regelmäßigen Intervallen (zB. monatlich) gespeichert um daraus eine Entwicklung ablesen zu können. Durch den Einsatz eines zentralen Datenschemas als Teil eines Datawarehouses kann eine wesentlich flexiblere Form der Historisierung realisiert werden: Es werden alle historischen Einzeldatensätze gespeichert. Dadurch besteht auch später noch die Möglichkeit, Zeitreihenauswertungen zu erstellen, die im Vorfeld nicht berücksichtigt wurden.
- Wir entwerfen und projektieren die Erweiterungen Ihrer bestehenden Datawarehouse Infrastruktur bis hin zur Entwicklung einer gesamten Architektur, falls Ihr Unternehmen erstmals ein Datawarehouse System als Lösung für die Analyseanforderungen erwägt.
- Wir entwerfen das Design des Datenschemas für ein Datawarehouse. Ausgehend von Informationen über die vorhandenen Datenquellen und der gewünschten Auswertungen.
- Wir wählen die Tools & Softwarekomponenten für den gesamten Datawarehouse Workflow aus.
- Ihre Geschäftsabläufe werden optimiert
- Der Zeitaufwand beim Erstellen von Berichten und Statistiken beschränkt sich auf ein Minimum
- Minimierung des Ressourcenbedarfes
- Generelle Kostensenkung durch Zeitersparnis
- Sie verbessern Ihre Wertschöpfung
- Konzentration auf das Kerngeschäft
Durch das Datawarehouse bekommen Sie Einblick in Ihre Unternehmensdaten. Sie erkennen neue Zusammenhänge einzelner Informationsquellen und erhalten eine solide Grundlage für flexible Auswertungen und Analysen.
Sie erhalten Aufschlüsse durch Zusammenführung einzelner Informationsquellen, die Sie ohne eine geeignete Datawarehouse Architektur nicht erhalten und nutzen hätten können.
Methoden
Die Aufbereitung von operativen Unternehmensdaten erfolgt unter Einsatz spezieller OLAP Tools. Ebenso kommen Reporting Tools zum Einsatz, die beim Extrahieren von Informationen aus Datenbeständen unterstützen.
Weiters setzen wir passende ETL (Extract – Transform – Load) Routinen ein, mit deren Hilfe die Daten aus den operativen Systemen entnommen, in die passende Form transformiert und ins Datawarehouse System geladen werden.
Selbstverständlich geht die Implementierung einher.
Bevorzugt verwenden wir:
Für die Umsetzung von Datawarehouse Projekten, aber auch für eine Reihe anderer Datenintegrationsaufgaben ist die Implementierung geeigneter Software notwendig. Nach langjähriger Erfahrung setzen wir dabei auf Open Source Tools. Sie bieten ein enormes Spektrum an Integrationsmöglichkeiten.
Die zentrale Bedeutung eines Datawarehouses im Unternehmen ist unbestritten. Hier werden alle Daten zusammengeführt und nach unterschiedlichsten Gesichtspunkten analysiert.
Um Datawarehouse-Anforderungen aber auch Datenintegrationsaufgaben erfüllen zu können, ist die Implementierung und Wartung von ETL Routinen erforderlich. Wir verwenden dazu bevorzugt Open Source Tools, die uns die Integration eines breiten Spektrums an Datenformaten und –quellen, aufgrund der Vielzahl vorhandener erprobter Software, ermöglichen.
Neben der Integration von zahlreichen Schnittstellen sind wir bedacht auf zielorientierte Datenverarbeitung, um auch große Datenmengen zeitgerecht aufbereiten zu können.
Das Setzen auf Open Source Lösungen für Datentransformation bzw. Import oder Export ist vor allem deshalb von Vorteil, weil für unzählige Datenformate und Schnittstellen passende Libraries oder Tools zu finden sind. Diese können einerseits schnell zum Einsatz kommen (wodurch frühe Datenanalysen vereinfacht werden) und andererseits kann die Qualität dieser Tools in der Entwicklung unabhängig verbessert werden.
- Konsistente Auswertungen der Daten ist bisher nicht möglich.
Unterschiedliche Systeme (Buchhaltung, Produktion, etc.) stellen unabhängig unterschiedliche Auswertungen bereit. Manchmal ist das ausreichend, oft passen die Daten aber nicht zusammen oder können nur schwer verglichen werden (manuelle Anpassungen von Auswertungen über Spreadsheets sind oft die Folge). Durch ein Datawarehouse System, welches die Daten aus den unterschiedlichen Systemen extrahiert und in einem gemeinsamen Datenschema ablegt, kann die Effizienz und Flexibilität der Auswertungen erheblich gesteigert werden. Berichte können unter Einsatz von weniger Ressourcen früher geliefert werden.
- Das Berichtswesen arbeitet mit unzähligen Spreadsheets und jede Anpassung ist mit unvorhergesehenen Datenfehlern verbunden.
Durch das Einführen einer Datawarehouse Lösung wird das Erstellen von neuen Berichten erheblich vereinfacht. In den meisten Fällen ist das System flexibel genug, um neue Berichte aus den vorhandenen Daten zu erstellen. Und sollte es dennoch nötig sein, zusätzliche Daten zu definieren, dann muss das nur an einer Stelle gemacht werden, und der Aufwand sowie die Fehleranfälligkeit sind nicht so hoch wie bei einer Lösung mit Spreadsheets.
- Zusätzliche Datenquellen müssen in ein vorhandenes Reporting-System integriert werden.
Durch unsere Erfahrung mit unterschiedlichen Datenquellen und Reporting Systemen können wir den Kunden dabei unterstützen, neue Daten in sein bereits vorhandenes System zu integrieren. Die Berücksichtigung der vorhandenen Systeme bringt auch im Reporting Bereich den Vorteil der Datenkonsistenz.
- Datenhistorisierung
Wenn im Unternehmen kein Datawarehouse zum Einsatz kommt, werden im Regelfall Berichte in regelmäßigen Intervallen (zB. monatlich) gespeichert um daraus eine Entwicklung ablesen zu können. Durch den Einsatz eines zentralen Datenschemas als Teil eines Datawarehouses kann eine wesentlich flexiblere Form der Historisierung realisiert werden: Es werden alle historischen Einzeldatensätze gespeichert. Dadurch besteht auch später noch die Möglichkeit, Zeitreihenauswertungen zu erstellen, die im Vorfeld nicht berücksichtigt wurden.
Wir bieten
- Die Umsetzung von ETL Routinen auf Basis der Pentaho Suite und zusätzlichen Open Source Tools, die für die jeweiligen Datenquellen oder Zielsysteme verwendet werden können.
- Die Umsetzung von spezialisierten Lösungen für Datenbereinigung und Konsistenzprüfungen oder komplexer Schemaintegration.
- Unser Angebot geht von Unterstützung bei punktuellen Problemen, über die Erweiterung und Adaptierung bestehender Systeme bis hin zur Implementierung und Wartung der gesamten Lösung.
- Wir bieten Datenbereinigung und Konsistenzprüfungen sowohl als Einzelleistung (Datenqualitätsanalyse) als auch als operativer Teil von ETL Systemen.
- Implementierung spezieller Routinen mit Schwerpunkt Ladeperformance (kurze Durchlaufzeiten)
- Erweiterung oder Adaptierung bestehender DWH/ETL Systeme
Das wesentlichste Plus, das sich durch den Einsatz von Open Source Software verbuchen lässt, ist die Kostenersparnis.
- Durch den Einsatz von Open Source Software bleibt wohl der Umsetzungsaufwand gleich, die Lizenzkosten hingegen entfallen weitgehend.
- In Kombination mit einer routinierten Vorgehensweise bei der Analyse, Definition und Umsetzung können wir damit oft kostengünstige Angebote machen.
- Wir sorgen dafür, dass Ihre Daten zeitgerecht aufbereitet werden,
- Unsere eigenen auf Performance getrimmten Methoden sowie Erfahrung in der Optimierung von Verarbeitungsprozessen stellen wir Ihnen zur Verfügung.
- Eine Vielzahl von Datenformaten und Schnittstellen kann von unserem Team verarbeitet werden. Sie können Ihre bestehenden Daten verwenden.
In allen Belangen unterstützen wir Sie gerne!
Unsere Softwareentwicklungsgruppe besteht aus einer Mischung von Datenbankexperten mit praktischer Erfahrung und Entwicklern mit offenem Zugang zu neuen Konzepten.
Das bildet die Grundlage für ein breites Technologiespektrum und kreativep Lösungen mit Hauptaugenmerk auf Open Source Software.
Zwar liegt unsere Spezialisierung hier bei Java und Pentaho, wir können aber auch Erfahrungen mit unterschiedlichen anderen Systemen vorweisen. Darunter beispielsweise: IBM InfoSphere Warehouse (ehemals IBM DB2 Datatwarehouse Edition), ETL Routinen in Perl, andere Skriptsprachen oder unsere eigenen Frameworks als Grundlage für performante Datenaufbereitung.
Die Erhöhen der Auswertungsflexibilität und der Erweiterbarkeit des Berichtswesens für Controlling gelten als wesentliche Ziele dieses Projekts. Die vorhandenen Berichte sind konkret nach den gestellten Anforderungen implementiert und damit in ihrer Natur statisch. Sie sind nur mit großem Aufwand an veränderliche Gegebenheiten anzupassen.
 Für die Tageszeitung DIE PRESSE wurde eine Webapplikation zur Aufbereitung der Fonds- und Börsenkurse für den Druck entwickelt.
Über das Interface werden die Datenimports konrolliert, Layoutparameter eingestellt und die aufbereiteten Druckseiten exportiert für Quark Xpress oder Adobe Indesign. Zusätzlich zu zentral angelieferten Fonds- und Börsenkursen werden auch Inserentendaten in dieser Applikation verwaltet.
Die PARADIGMA pflegt mit der Statistik Austria seit mehr als fünf Jahren intensive Geschäftsbeziehungen, berät das Management in Entwicklung und Implementierung der IT Strategien konform zur Mission und Strategie der Organisation.
Unter anderem entwickelte die PARADIGMA die Architektur und Software von IT Applikationen für STATISTIK AUSTRIA.
 Die ECO Business-Immobilien AG ist eine börsennotierte Immobilienbesitzgesellschaft, deren Investitionsschwerpunkt auf hochwertigen Büro- und Handelsimmobilen liegt.
ECO wurde im Oktober 2003 gegründet, der Börsegang erfolgte 17. März 2005.
 NECKERMANN Versand Österreich ist ein Tochterunternehmen der deutschen Neckermann Versand AG und ist in Österreich eines der 3 größten Versandhäuser.
Mit seinem zwei Mal jährlich erscheinenden Hauptkatalog erreicht NECKERMANN Versand Österreich rund 3 Millionen Haushalte.
Die PARADIGMA Unternehmensberatung ist Partner in einem Projektkonsortium, welches sich mit der Harmonisierung von Verkehrsdaten im Alpenraum und der Erprobung neuer, automatisationsunterstützter Erhebungsverfahren befasst. Unsere Rolle in diesem EU Projekt mit Namen ALPCHECK ist jene der Qualitätssicherung, eine Rolle, die wir auch so interpretieren, dass die Projektergebnisse den erwarteten Nutzen für die teilnehmenden regionalen und nationalen Behörden bringen.
|
|
