Azure Data Factory – Concurrency
Heute geht es um das Thema „Concurrency“ in der Azure Data Factory. Und das passt wunderbar zu unserem letzten Beitrag, der von der automatischen Verarbeitung neu angelieferter Files im Azure Blob Storage handelte.
Azure Data Factory – Event Grid, Trigger und parallele Verarbeitung
Der ganze Prozess findet ausschließlich in der Cloud statt – nichts mehr mit der guten alten on-premise Technologie! Und all das kann sogar noch skaliert werden. In der obigen Abbildung haben wir die Concurrency der Pipeline auf 10 gestellt, d.h. bis zu 10 Instanzen der Pipeline können parallel laufen, wenn in kurzer Zeit eine größere Anzahl Files eintrifft. In der alten Welt hätten wir in klassischen SSIS-Paketen mit for-each-loop Containern die Files irgendwie gelesen und weiterverarbeitet.
Snowflake – Das Data Warehouse für die Cloud
Ein System, das für sich in Anspruch nimmt, als komplettes SQL Data Warehouse speziell für die Anforderungen und Möglichkeiten der Cloud entwickelt worden zu sein. Ein riesiger Vorteil in der Welt von „Multi-Clouds“ ist, dass Snowflake sowohl im Amazon Web Services-Universum als auch in der Microsoft Azure Umgebung genutzt werden kann!All diese Entwicklungen versprechen vor allem bei den Kosten und der Performance, aber auch bei der Funktionalität Vorteile gegenüber klassischen Ansätzen.
Pipelines mit der Azure Data Factory debuggen ohne unnötige Wartezeiten
Wer sich mit Azure Data Factory beschäftigt, der wird sehr schnell auf die Problematik stoßen, die sich aus der Konfiguration einer Pipeline ergibt.
Monatlich kumulierte Werte für Geschäftsjahre mit Power Pivot und DAX in Excel
Wenn das Geschäftsjahr vom Kalenderjahr abweicht, kann dieses Schwierigkeiten bei der Erstellung von Diagrammen bereiten.
Dem Wohlstand auf der Spur, Statistik sei Dank
Am letzten Wochenende ist mir ein Artikel des Hamburger Abendblatts (29./30. November, Seite 12, “Der Wohlstand lebt im Norden”) in die Hände gefallen. Kurzum, es wurden die durchschnittlichen Pro-Kopf-Einkommen in 2010 der Stadtteile Hamburgs in einer Kartengrafik sehr anschaulich dargestellt. Dennoch ließ es mich etwas stutzen. Ich selbst wohne in Hamburg (Eimsbüttel), ich kenne eine ganze Menge Menschen hier. Besonders…
DPD – neue Freiheit für den Kunden
In diesen Tagen startet die erste DPD-Kampagne aus der Feder von Kolle Rebbe. Alles dreht sich um das Thema “Freiheit”, denn mit dem neuen Service namens Predict gewinnen DPD-Kunden ein Stück Freiheit zurück. Ganz konkret: Dem Empfänger wird ein Zeitfenster von einer Stunde genannt, in der sein Paket zugestellt wird.
PDW lässt Datenschaufler lächeln
BigData ist in aller Munde, aber tatsächlich rockt das PDW. Microsofts Parallel Datawarehouse, kurz PDW, ist ein riesiges, unglaublich schnelles Datenloch. Wir sind ja durchaus große Serverinfrastrukturen gewohnt. Aber seit wir in unseren Projekten mit dem PDW zu tun haben, sieht man unsere ETLer (das sind diejenigen, die die Daten in das PDW schaufeln) mit…
Logistik wird teurer – knallhartes Business oder unnötiger Aufschrei?
Globalisierung ist unumkehrbar – das bestätigen zumindest branchenübergreifend die von der Bundesvereinigung für Logistik (BVL) befragten Unternehmen im Hinblick auf das Jahr 2015. Ob bewusst wahrgenommen oder einfach nur erlebt, die Globalisierung ist der Megatrend in der Logistik, von dem sich bis 2015 78% der Industrieunternehmen und 65% der Handelsunternehmen unmittelbar beeinflusst sehen. Wer seine…
Gartner sieht Microsoft weiterhin vorn – Magic Quadrant veröffentlicht
Im jährlich erscheinenden „Magic Quadrant for Business Intelligence and Analytics Platforms“ bescheinigen die Analysten dem US-Konzern Bestnoten. Microsoft bleibt auch 2012 das Maß aller Dinge, genau genommen im Bereich der Business Intelligence-Lösungen; darüber sind sich die Experten für Marktforschung und –analyse einig. Die kürzlich vom renommierten „Technology Researcher“ Gartner veröffentlichte Trendstudie „Magic Quadrant for Business…