Introduction to OLAP / Microsoft Analysis Services Introduction to OLAP and Analysis Services from Microsoft (ONLY for INTERNAL USE) Josef Schiefer IBM Watson Research Center josef.schiefer@us.ibm.com

Introduction to OLAP / Microsoft Analysis Services What is OLAP? Online Analytical Processing - coined by EF Codd in 1994 paper contracted by Arbor Software* Generally synonymous with earlier terms such as Decisions Support, Business Intelligence, Executive Information System OLAP = Multidimensional Database MOLAP: Multidimensional OLAP (Arbor Essbase, Oracle Express) ROLAP: Relational OLAP (Informix MetaCube, Microstrategy DSS Agent)

Introduction to OLAP / Microsoft Analysis Services OLAP is FASMI Fast Analysis Shared Multidimensional Information Nigle Pendse definiert OLAP als "Fast Analysis of Shared Multidimensional Information", also als "Schnelle Analyse von gemeinsam genutzten multidimensionalen Informationen“ Schnell bedeutet, daß das System für die meisten Abfragen nicht länger als 5 Sekunden dauern dürfen. Nur sehr komplexe Abfragen dürfen maximal 20 Sekunden dauern. Der Analytiker soll nicht durch lange Antwortzeiten des Systems abgelenkt werden. Analyse bedeutet, daß das System bereits Geschäftslogik und statistische Analyse (die für Anwendungsprogramme relevant sind) beherrschen soll. Die Analyse Funktionen sollen dem Benutzer auf eine möglichst intuitive Art zur Verfügung stehen. Gemeinsam genutzt bedeutet, daß das System mehrere Benutzer gleichzeitig bedienen kann. Multidimensional (eine Schlüsselanforderung an OLAP) bedeutet, daß das System mehrdimensionale Sichten auf die Daten zur Verfügung stellen muß. Informationen sind die Daten und abgeleitete Informationen, die von Anwendungsprogrammen angefordert werden. Nigel Pendse, Richard Creath - The OLAP Report

Introduction to OLAP / Microsoft Analysis Services Cubes A cube stores information in a multidimensional structure and is the central object in a multidimensional database. Each cube contains a set of dimensions and measures. Dimensions are derived from the tables and columns in your data that provide the categories you want to analyze. Measures are the quantitative data derived from your data columns - Würfel ist zentrales Element bzw. Konstrukt von OLAP Dient zum Speichern der abgefragten Daten - Jeder Würfel enthält eine Menge von Dimensionen und Maßzahlen - Maßzahlen sind quantitative Daten, die von einem DB-Feld abgeleitet werden

Introduction to OLAP / Microsoft Analysis Services Dimensions The dimensions you build should be distinct categories you want to add to cubes in your OLAP database. example: geography, time, or employee dimensions represented in the picture - Dimensionen sollten klare, sinnvolle Kategorien/Klassen aufweisen - Dimensionen sind orthogonal (unabhängig) voneinander - Sie definieren einen Hyper-Cube (siehe Bild)

Introduction to OLAP / Microsoft Analysis Services Cube and Dimensions Dimensions: Product, Region, Time Product Region Time Industry Country Year Category Region Quarter Product City Month Week Office Day Hierarchical summarization paths Region W S N Product Gel Juice Cola Milk Cream Soap Month 1 2 3 4 7 6 5

Dimensions and Hierarchy Introduction to OLAP / Microsoft Analysis Services Dimensions and Hierarchy Dimensions are the categories used to organize or describe analysis information Dimensions are used to navigate the information and to summarize the details into more aggregate data. Frequently used dimensions include time periods, geography, products, organization, and so on. Often dimensions are hierarchical (World - Continents - Countries) 1) Dimensionen dienen zum Klassifizieren der Daten. 2) Dimensionen erleichtern das Navigieren der Informationen und das Aggegieren bzw. Zusammenfassen der Daten 3) Häufige Dimensionen sind Zeit, Region, Produkt, Organisation 4) Dimensationen sind häufig hierarchisch

Measures = numercial Values Introduction to OLAP / Microsoft Analysis Services Measures = numercial Values Measures are the quantitative data in an OLAP database. For example, values such as sales, budget, cost, and so on, are all examples of measures. Measure values are organized in data cubes according to dimensions 1) Maßzahlen sind numerische Werte für quantitative Daten in einer OLAP Datenbank 2) Beispiele sind Umsatz, Budget, Kosten 3) Maßzahlen können nach ihren Dimensionen in einem Datenwürfel dargestellt werden Jede Maßzahl hängt von einer Menge von Dimensionen ab. Diese bilden den Kontext einer Variable (z.B. Verkaufszahlen hängt von Produkt, Region, Zeit)

Introduction to OLAP / Microsoft Analysis Services Aggregations Aggregations greatly improve query efficiency and response time. A cube can hold a number of aggregations. The aggregation amount is based on several factors - the size of the data, the amount of storage space you allocate for aggregation storage, the mode of storage you select, and how much you want to optimize the aggregations design. - Entlang von Attribut-Hierarchien können Daten aggregiert (verdichtet) werden und sind so auf verschiedenen Aggregierungsstufen für Analysen zugreifbar. - Aggregationen verbessern Abfrage-Effizienz und Antwortzeit - Ausmaß der Aggregation hängt von mehreren Faktoren ab * Menge der Daten * Menge Speicherplatz * Art des Speicherplatzes * Optimierungziel

Introduction to OLAP / Microsoft Analysis Services Primary OLAP Problems Rigid, inflexible architectures MOLAP or ROLAP Significant scalability problems Data explosion and sparsity Poor distributed client/server implementation Separation of data warehousing from OLAP tools Lack of integration between user tools and OLAP Difficult to prototype, develop, deploy Time and expense - starre, inflexible Architekturen * MOLAP - Optimiert auf mehrdimensionale Daten * ROLAP - Optimiert auf Transaktionen, effizient nur bei wenigen Dimensionen - Skalierungsprobleme * riesen Datenmengen * „Sparsity“ - dünn besetzte Datenwürfel - Würfel ist zeitweise großteils leer * Verteilung der Implementierung auf Client/Server ... derzeit meist nur Serverseitig (Bsp. Cache) - Trennung von Data Warehouse und OLAP Tools * Mangelhafte Integration Anwendungssoftware, Anwender-Tools und OLAP - Schwierig zu Entwickeln, Einsetzen, Installieren * zeit- und kostenintensiv

Introduction to OLAP / Microsoft Analysis Services MS-AS: Architecture Microsoft Analysis Services are optimized for all OLAP architectures and offers seamless integration MOLAP: aggregations & details managed in an efficient multidimensional store ROLAP: aggregations created in relational store HOLAP: different things to different vendors Aggregations: details in relational, aggregations in MOLAP store Partitions: single logical cube physically divided into multiple MOLAP and ROLAP partitions Virtual cubes: “view-like” join of multiple MOLAP and ROLAP cubes MS-AS unterstützt alle OLAP Archtekturen und bietet eine nahtlose Integration (eine der großen Stärken!!) - MOLAP: Aggregationen & Detailinformationen werden in einem effizienten mehrdimensionalen Datenspeicher verwaltet - ROLAP: Aggregationen werden aus relationalen Datenquellen erzeugt - HOLAP: * Aggregation: Details werden in relationalen, Aggregationen in MOLAP Datenspeicher gehalten * Partitionierung: logischer Datenwürfel kann sich physikalisch aus mehreren MOLAP oder ROLAP Partitionen zusammensetzen * Virtuelle Würfel: View für OLAP-Würfel - ermöglicht mehrere Würfel zusammenzufassen - ermöglicht beschränkte Sicht auf einen Würfel

Introduction to OLAP / Microsoft Analysis Services MS-AS: Scalability MS-AS offer major innovation Data explosion managed by partial pre-aggregation Automatic elimination of sparse storage Partitioned cubes parallel query processing across clustered servers fine tuning of aggregations, to better manage performance and disk space trade-offs 1) Plato bietet wichtige Neuerungen *) Große Datenmengen werden teilweise voraggregiert *) Automatische Beseitigung von „Sparse“ Storage 2) Paritionierte Würfel *) Durchführung von parallele Abfragen über geclusterte Server (Express Server Orcacle) *) fines Tuning von Aggregationen um einen besseren Kompromiß zwischen Performance und Disk Space einzugehen 3) Kooperatives Caching zwischen Client und Server *) Minimiert Netzwerkverkehr

Introduction to OLAP / Microsoft Analysis Services MS-AS: Scalability Cooperative client/server query management and caching network traffic minimized server queries processed efficiently Microsoft Data Cube Service desktop component ships with next release of Office used with Excel, Access, and Web supports local, offline usage 2) Kooperatives Caching und Query-Verarbeitung zwischen Client und Server *) Queries können effizient und schnell durchgeführt werden *) Minimiert Netzwerkverkehr 3) Microsoft Data Cube Service *) Desktop Komponenten werden werden nächsten Auslieferung von Office dabei sein *) wird in Excel, Access und Web (IIS) eingebaut sein *) ermöglicht Offline-Zugriff

Microsoft Data Cube Service Introduction to OLAP / Microsoft Analysis Services Microsoft Data Cube Service Basic architecture: Cache query results and metadata, not disk pages. Algorithms deduce missing data and transform queries Aggregation Filtering Combination Instant reply to cached queries 1) Grundlegendes Ziel vom Microsoft Data Cube Service *) Caching von Abfrageergebnissen und Metadaten - aber nicht auf von Disk Pages 2) Algorithmen ergänzen fehlende Daten und transformieren Quieries *) Aggregation *) Filterung *) Verbindung/Kombination von Datenwürfeln 3) Sofortige Antwort auf gecachte Queries (materialized cube...)

Introduction to OLAP / Microsoft Analysis Services MS Data Cube Benefits Efficient distribution of query and calculation processing across client & server Single component spans Microsoft desktop and server platforms & products Unifies the MD data access story across Excel, MS-AS, and SQL Server Enables Microsoft to establish industry standard for MD data access Basis for MS-AS and Excel mobile story 1) Effiziente Verteiluntung von Queries und Berechnungen auf Client & Server 2) einfache Komponenten decken Desktop/Server/Produkte ab 3) Ermöglicht MD Datenzugriff Excel, Plato und SQL-Server 4) Ermöglicht Microsoft einen Industrie Standard für Mehrdimensionalen Datenbankzugriff festzulegen 5) Ermöglicht die Offline-Zugriff auf DWh-Daten

Introduction to OLAP / Microsoft Analysis Services MS-AS: Integration The Microsoft Analysis Services integrate the maintenance of OLAP with the underlying data warehouse Design the DW structure Create the DW tables/cubes Populate the DW tables/cubes Maintain by incremental loads Optimize by actual usage patterns Manage users, scripts, usage, metadata Multiple data sources (not just SQLS) Plato bezieht die Maintenance/Wartung des zugrundeliegenden Data Warehouses mit ein: - Design der DW Struktur - Erzeugen von DW Tables/Cubes - Befüllung der Tables/Cubes - Unterstützung von inkrementellen Updates/Loads - Optimierung durch Beachtung Zugriffsmuster - Verwaltet User, Skripts, Zugriff, Metadaten - Unterstützung von meheren Datenquellen (relational, multidimensional...)

Introduction to OLAP / Microsoft Analysis Services MS-AS: Integration OLE DB for OLAP & ADO MD based upon existing data access technology establishes industry standard for MD data access OLE DB/ODBC enable MS-AS to access data in all major RDBMs Third party client applications 1) OLE DB for OLAP & ADO MD *) basiert auf bestehenden Datenbank Technologie (DAO-ODBC - OLE DB) *) eigener Industriestandard für mehrdiemensionalen Datenbankzugriff (--> MDX) 2) OLE DB/ODBC ermöglicht Zugriff auf jeglich RDMBS (DB2, ORCALE, INFORMAX) 3) Client-Applikationen können von leicht von Drittanbietern erstellt werden. Plato bildet mehr oder minder nur eine klar definierte Schnittstelle

OLAP Problem: Complexity Introduction to OLAP / Microsoft Analysis Services OLAP Problem: Complexity OLAP products are traditionally difficult to configure, develop, and deploy Arcane tools Heavy consulting Poor integration 1) OLAP Produkte sind normalerweise schwer zu konfigurieren, zu entwickeln, zu installieren *) obskure Tools *) schwierige Beratung *) schwache Integration

Introduction to OLAP / Microsoft Analysis Services MS-AS: Complexity Intuitive User Interface Wizards, intuitive dialogs, and graphics simplify complex tasks without code Integrated into Microsoft Management Console MS-AS’s TCO will be very low cost of NT Server platform leveraged investment in relational technology wide availability of client applications 1) Intuitive Benutzeroberfläche *) Wizards, intuitive Dialog vereinfachen komplexe Aufgabe *) vollkommene Integration in Microsoft Management Console 2) Total Cost of Ownership sehr niedrig *) Kosten für NT-Server *) Ausnützung von Investionen in relationale Technologie *) große Verfügbarkeit von Client-Applikationen (OLE-DB, Office etc)

3 Tier Architecture & Components Introduction to OLAP / Microsoft Analysis Services 3 Tier Architecture & Components DCube OLE DB for OLAP Client Tier Excel ActiveX Controls Third Party Applications ADO MD Data selection & navigation Presentation and charting What-if formulas Client side caching Desktop object model Offline usage MOLAP ROLAP HOLAP Data Warehouse Tier MS-AS Server SQL Server Multidimensional calcs MOLAP/ROLAP/HOLAP data Modeling/aggregations Security Metadata management Server side caching Administrative tools Server object model Query distribution OLTP Source Tier OLE DB DTS RDBMs

Let‘s go to the demonstration ... 