Blog

Innovative Analytics

Azure Data Factory – Concurrency

Heute geht es um das Thema „Concurrency“ in der Azure Data Factory. Und das passt wunderbar zu unserem letzten Beitrag, der von der automatischen Verarbeitung neu angelieferter Files im Azure Blob Storage handelte.

Weiterlesen »
Innovative Analytics

Azure Data Factory – Event Grid, Trigger und parallele Verarbeitung

Der ganze Prozess findet ausschließlich in der Cloud statt – nichts mehr mit der guten alten on-premise Technologie! Und all das kann sogar noch skaliert werden. In der obigen Abbildung haben wir die Concurrency der Pipeline auf 10 gestellt, d.h. bis zu 10 Instanzen der Pipeline können parallel laufen, wenn in kurzer Zeit eine größere Anzahl Files eintrifft. In der alten Welt hätten wir in klassischen SSIS-Paketen mit for-each-loop Containern die Files irgendwie gelesen und weiterverarbeitet.

Weiterlesen »
Innovative Analytics

SSIS-Katalog Maintenance in Azure

Wischmopp statt Saugroboter Wer seine ETL-Projekte in die Azure-Cloud migrieren, aber nicht auf die erprobten „old-school“ SSIS-Pakete verzichten möchte, hat

Weiterlesen »
Microsoft SQL Server

Matherätsel – T-SQL und Python schlagen zurück!

Vor kurzem stellte unser Kollege Tobias ein Matherätsel vor, welches er sogleich mit dem Cubeware Importer löste. Die grundsätzliche Idee hinter dem Lösungsansatz wurde dort bereits genau ausgeführt, doch Tobias stellte sich nach der schönen Cubeware-Lösung dann doch bald die Frage: muss das nicht auch mit T-SQL gehen? Schließlich machen wir doch den ganzen Tag nichts anderes…

Weiterlesen »
Innovative Analytics

Ein besseres Backup-Konzept für Azure SQL als Datawarehouse

Wir sind große Fans der Möglichkeit, den SQL Server in Azure “serverless” zu betreiben! Diese Variante hat gegenüber den traditionellen Versionen Basic, Standard, oder Premium, die über eine konstante Menge von DTUs abgerechnet werden, den Vorteil, dass sie dynamisch hoch- und herunterskaliert, je nachdem, wie intensiv sie benutzt werden, und dass dann auch nur über sogenannte “vCores” genau das an Rechenzeit abgerechnet wird, was man auch genutzt hat. Super!

Weiterlesen »
Innovative Analytics

Ausfall einer Azure SQL-Datenbank – was tun? Teil I

Für viele Unternehmen hat die Verfügbarkeit ihrer Datenbanken oberste Priorität. Was passiert, wenn eine Datenbank plötzlich nicht mehr verbunden ist? Sind die Daten verloren?
Diesbezüglich müssen Sie sich bei Azure SQL-Datenbanken keine Sorgen machen.

Weiterlesen »