Streaming von Echtzeit-Daten in Azure Synapse Analytics

Innovative Analytics, Microsoft Azure, Tipps und Tricks

Auch Microsoft hat es verstanden: Das Internet der Dinge ist der Hit! Mehr und mehr Organisationen schaffen sich kleine Geräte an, verbinden diese mehr oder weniger direkt mit dem Internet, und messen und erfassen damit alle möglichen Informationen, die das Gerät dann mehr oder weniger in Echtzeit in die Cloud sendet. Dieser Artikel zeigt in einfachen Schritten auf, wie man solche Geräte mit der neuen Big Data-Plattform von Microsoft, genannt Azure Synapse Analytics, verbinden kann!

Azure Data Factory – Event Grid, Trigger und parallele Verarbeitung

Innovative Analytics, Microsoft Azure, Tipps und Tricks

Der ganze Prozess findet ausschließlich in der Cloud statt – nichts mehr mit der guten alten on-premise Technologie! Und all das kann sogar noch skaliert werden. In der obigen Abbildung haben wir die Concurrency der Pipeline auf 10 gestellt, d.h. bis zu 10 Instanzen der Pipeline können parallel laufen, wenn in kurzer Zeit eine größere Anzahl Files eintrifft. In der alten Welt hätten wir in klassischen SSIS-Paketen mit for-each-loop Containern die Files irgendwie gelesen und weiterverarbeitet.

Ein besseres Backup-Konzept für Azure SQL als Datawarehouse

Innovative Analytics, Microsoft Azure, Tipps und Tricks

Wir sind große Fans der Möglichkeit, den SQL Server in Azure “serverless” zu betreiben! Diese Variante hat gegenüber den traditionellen Versionen Basic, Standard, oder Premium, die über eine konstante Menge von DTUs abgerechnet werden, den Vorteil, dass sie dynamisch hoch- und herunterskaliert, je nachdem, wie intensiv sie benutzt werden, und dass dann auch nur über sogenannte “vCores” genau das an Rechenzeit abgerechnet wird, was man auch genutzt hat. Super!

Blick zurück im Zorn

Tipps und Tricks

BI-Projekte sind dynamisch. Wenn man jetzt schon wüsste, welche Anforderungen in zwei Jahren kommen, würde man höchstwahrscheinlich anders modellieren als mit dem aktuellen Wissensstand. Wir sind aber alle keine Hellseher und deswegen ist es müßig, im Nachhinein immer sich zu sagen: „Hätte ich damals gewusst…“.