Suchen

Verknüpfung von Data Warehouses und Big Data Analytics Azure Synapse Analytics – das SQL Data Warehouse der nächsten Generation

| Autor / Redakteur: Thomas Joos / Nico Litzel

Mit Azure Synapse Analytics bietet Microsoft einen Analysedienst, der die Vorteile von Data Warehouses und Big-Data-Analysen miteinander kombiniert.

Firma zum Thema

Azure Synapse Analytics bietet eine Reihe von neue Analysemöglichkeiten.
Azure Synapse Analytics bietet eine Reihe von neue Analysemöglichkeiten.
(Bild: YouTube/Microsoft Mechanics)

Mit dem Azure-Analysedienst „Azure Synapse Analytics“ stellt Microsoft den Nachfolger von Azure SQL Data Warehouse zur Verfügung. Microsoft will mit dem neuen Dienst seine „Modern Data Warehouse“-Strategie erweitern und es Unternehmen ermöglichen, ihre Daten effektiver und schneller zu analysieren, auch im Big-Data-Bereich.

Die neue Variante des Dienstes soll Data Warehouses auf eine neue Ebene heben und weitaus mehr Möglichkeiten zur Analyse bieten, als bisher möglich. Die verschiedenen Funktionen sind im YouTube-Video „Azure Synapse Analytics – Next-gen Azure SQL Data Warehouse“ zu sehen:

Die Leistung der neuen Analyse-Lösung ist im YouTube-Video zu Azure Synaptics Analytics zu sehen, das Microsoft auf der Ignite 2019 aufgenommen hat:

Microsoft gibt an, dass die Abfrageergebnisse schneller sind, als bei AWS RedShift und Google BigQuery.

Ein Vorteil von Azure Synapse Analytics liegt auch in dessen Skalierbarkeit. Es lassen sich nahezu unbegrenzte Datenmengen aus externen Systemen einlesen und analysieren, auch in Echtzeit. Dabei kann es sich um externe Data Warehouses handeln, aber auch um Daten aus Big-Data-Systemen. Auch lokale Rechenzentren lassen sich anbinden.

Machine Learning und besserer Datenschutz

Im Rahmen der Analyse durch Azure Synapse Analytics können auch Machine-Learning-Modelle genutzt werden. Mit dem Dienst lassen sich auch Echtzeitanalysen von Streamingdaten durchführen, zum Beispiel wenn diese direkt in ein Data Warehouse integriert wurden. Auch die Spark-Engine wurde dazu in Azure Synapse Analytics integriert.

Microsoft hat in das System auch Datenschutzfunktionen integriert und die Möglichkeit geschaffen, dass einzelne Spalten und Zeilen mit unterschiedlichen Sicherheitseinstellungen und Berechtigungen analysiert werden können. Auch eine dynamische Datenmaskierung ist möglich, ebenso wie eine dauerhafte Verschlüsselung aller Daten. Das System erkennt auf Basis anderer Azure-Technologien Bedrohungen und kann die zu analysierenden Daten automatisch schützen. Zur Authentifizierung kann in Azure Synapse Analytics auch auf Azure Active Directory gesetzt werden.

Neben dem Datenschutz spielt aber auch das Teilen von Daten eine wichtige Rolle. Wenn Daten sicher und effektiv in Azure-Diensten geteilt werden sollen, steht zum Beispiel Azure Data Share zur Verfügung. Azure Data Share arbeitet dazu direkt mit Azure Synapse Analytics zusammen. Das Teilen der Daten ist über die Azure-Benutzeroberfläche möglich. Die Daten können auf Wunsch auch im Abonnement geteilt werden. Hier arbeitet Azure Synapse Analytics zum Beispiel mit Office 365 und Dynamics 365 zusammen. Generell lassen sich alle SaaS-Dienste anbinden, die auch die Open Data Initiative unterstützen.

Abfragen auch per SQL möglich

Die Daten in Azure Synapse Analytics lassen sich auch mit SQL abfragen. Auf diesem Weg können relationale, aber auch nicht relationale Daten analysiert werden. Auch hier gibt Microsoft an, dass sich Daten im Petabytebereich in Sekundenschnelle analysieren lassen. Im Demo-Video zu Synapse ist das auch zu erkennen. In diesem Zusammenhang arbeitet Synapse Analytics auch mit Power BI und Azure Machine Learning zusammen. Die Power-BI-Funktionen wurden dazu direkt in Azure Synapse Analytics integriert, inklusive der zahlreichen Datenquellen, die sich über Power BI anbinden lassen. Auch Common Data Service (CDS) und die KI-Funktionen von Power BI sind in Azure Synapse Analytics verfügbar.

Azure Synapse Analytics bietet, neben der Unterstützung für T-SQL, auch noch die Unterstützung weiterer Sprachen zur Analyse oder zur Anbindung von externen Systemen. Dazu gehören zum Beispiel Python, Scala, Spark und natürlich .NET. In Azure Synapse Analytics sind auch die Funktionen aus Azure Data Factory verfügbar. Hier lassen sich mit Mapping Data Flows grafisch Datenquellen anbinden. Es handelt sich dabei um ein grafisches ETL-Tool, das direkt im Synapse-Workspace verfügbar ist.

Mit Azure Synapse Analytics Studio Daten aufbereiten und visualisieren

Um die Daten für Anwender ansprechend anzeigen zu können, stellt Microsoft das Azure Synapse Analytics Studio zur Verfügung. Hierbei handelt es sich um ein zentrales Steuerelement, mit dem sich nahezu alle bekannten Analyse-Möglichkeiten von Azure SQL Data Warehouse steuern lassen. In den oben verlinkten Videos ist die Oberfläche und deren Möglichkeiten in der Praxis zu sehen.

Hier lassen sich zum Beispiel auch Dashboards und Workspaces erstellen, mit denen die zu analysierenden Daten verwaltet und auch gleich aufbereitet werden. Über die Workspaces können Data Engineers die Datenpipelines verwalten und alle Daten visualisieren, ohne dafür Code verwenden zu müssen. So müssen in Azure Synapse Analytics nicht direkt der Data Lake oder das Data Warehouse abgefragt werden, um an Daten zu gelangen. Es besteht auch die Möglichkeit, mit neuen Funktionen wie On demand zu arbeiten oder direkt die Spark-Engine zu integrieren.

Die Workspaces können von Data Engineers genauso genutzt werden, wie von Business-Analysten, Datenbank-Administratoren oder anderen Entwicklern, die Daten aufbereiten und analysieren wollen. Die Datasets lassen sich zu Power BI übertragen und dadurch auch für Endanwender aufbereiten. Alle dazu notwendigen Aufgaben werden im Azure Synapse Analytics Studio in der grafischen Oberfläche vorgenommen. Alle angebundenen Quellen lassen sich dadurch schnell und einfach in einer zentralen Oberfläche analysieren.

Preise und Lizenzierung

Die Preise und die Lizenzierung von Azure Synapse Analytics entsprechen der Microsoft-Vorgehensweise von anderen Azure-Produkten. Kunden, die im Dienst vor allem die Data Warehouses nutzen und die bisher auf Azure SQL Data Warehouse gesetzt haben, müssen mit keinem all zu hohen Preiserhöhungen rechnen. Natürlich geht Microsoft davon aus, dass diese Kunden alle Funktionen zur Analyse von Daten nutzen, die in Synapse Analytics integriert sind. In diesem Fall erhöht sich dann auch der Preis der Nutzung für Bestandskunden.

(ID:46408033)

Über den Autor

 Thomas Joos

Thomas Joos

Freiberuflicher Autor und Journalist