Azure Data Factory v2 ist die Platform as a Service Lösung von Microsoft Azure, mit der ETL Jobs in der Cloud durchgeführt und koordiniert werden können.
In ADF ist es möglich, Datensätze und Pipelines in vielerlei Hinsicht zu parametrisieren, um möglichst wiederverwendbaren Code zu erstellen
Auch Microsoft hat es verstanden: Das Internet der Dinge ist der Hit! Mehr und mehr Organisationen schaffen sich kleine Geräte an, verbinden diese mehr oder weniger direkt mit dem Internet, und messen und erfassen damit alle möglichen Informationen, die das Gerät dann mehr oder weniger in Echtzeit in die Cloud sendet. Dieser Artikel zeigt in einfachen Schritten auf, wie man solche Geräte mit der neuen Big Data-Plattform von Microsoft, genannt Azure Synapse Analytics, verbinden kann!
Der Azure-Zoo wächst und wächst, doch heute wollen wir uns einmal mit einem Tierchen beschäftigen, welches oft eine weniger prominente Rolle einnimmt: die (Warte-)Schlange, oder technisch ausgedrückt: der Azure Queue Storage (oder auch einfach Azure Queue).
Heute geht es um das Thema „Concurrency“ in der Azure Data Factory. Und das passt wunderbar zu unserem letzten Beitrag, der von der automatischen Verarbeitung neu angelieferter Files im Azure Blob Storage handelte.
Der ganze Prozess findet ausschließlich in der Cloud statt – nichts mehr mit der guten alten on-premise Technologie! Und all das kann sogar noch skaliert werden. In der obigen Abbildung haben wir die Concurrency der Pipeline auf 10 gestellt, d.h. bis zu 10 Instanzen der Pipeline können parallel laufen, wenn in kurzer Zeit eine größere Anzahl Files eintrifft. In der alten Welt hätten wir in klassischen SSIS-Paketen mit for-each-loop Containern die Files irgendwie gelesen und weiterverarbeitet.
Motivation Der Schaden durch Produktpiraterie wird allein in Deutschland auf mehr als 50 Mrd. Euro taxiert, weltweit betrug er für das Jahr 2016 ca. 338 Mrd. Euro. In Deutschland ist mittlerweile schätzungsweise jedes zehnte Unternehmen betroffen. (Quelle: IW Köln, Institut der deutschen Wirtschaft). Nicht berücksichtigt sind hier die Schäden durch Umweltzerstörung (siehe weiter unten im…
Wir sind große Fans der Möglichkeit, den SQL Server in Azure “serverless” zu betreiben! Diese Variante hat gegenüber den traditionellen Versionen Basic, Standard, oder Premium, die über eine konstante Menge von DTUs abgerechnet werden, den Vorteil, dass sie dynamisch hoch- und herunterskaliert, je nachdem, wie intensiv sie benutzt werden, und dass dann auch nur über sogenannte “vCores” genau das an Rechenzeit abgerechnet wird, was man auch genutzt hat. Super!
Wie in Teil 1 bereits beschrieben, bietet die von Azure integrierte Lösung für SQL-Datenbanken bereits eine Verfügbarkeit von 99,99 %. Was aber, wenn das nicht ausreicht? Teil II
Für viele Unternehmen hat die Verfügbarkeit ihrer Datenbanken oberste Priorität. Was passiert, wenn eine Datenbank plötzlich nicht mehr verbunden ist? Sind die Daten verloren?
Diesbezüglich müssen Sie sich bei Azure SQL-Datenbanken keine Sorgen machen.
Ein System, das für sich in Anspruch nimmt, als komplettes SQL Data Warehouse speziell für die Anforderungen und Möglichkeiten der Cloud entwickelt worden zu sein. Ein riesiger Vorteil in der Welt von „Multi-Clouds“ ist, dass Snowflake sowohl im Amazon Web Services-Universum als auch in der Microsoft Azure Umgebung genutzt werden kann!All diese Entwicklungen versprechen vor allem bei den Kosten und der Performance, aber auch bei der Funktionalität Vorteile gegenüber klassischen Ansätzen.
