Neue Funktionen automatisieren und beschleunigen datengestützte Entscheidungen
München 18. Januar 2022 – Fivetran, führende Anbieter von moderner Datenintegration, erweitert Fivetran Transformations für dbt Core um integriertes Scheduling und Data Lineage Graphen. Die Unterstützung von dbt Core™ durch dbt Labs, einem in der Data Analytics-Community weit verbreiteten Open-Source-Transformations-Tool, ist bereits seit September 2020 verfügbar. Die aktuelle Erweiterung bedeutet eine stärkere Integration des Open-Source-Frameworks dbt Core in Fivetran. Sie liefert neue Funktionen, mit deren Unterstützung Unternehmen die Komplexität des Modern Data Stacks vereinfachen, Kosten durch ELT-Automatisierung (Extract-Load-Transform) senken und datengesteuerte Entscheidungen beschleunigen können.
Transformationen sind eine wesentliche Stufe im ELT-Prozess: Rohdaten werden zu analysefähigen Datensätzen aufbereitet, die dann in nachgelagerten Data Analytics-Workflows verwendet werden können – vom einfachen Reporting bis hin zu Data Science. Ohne eine effektive und zuverlässige Methode der Transformation sind Unternehmen nicht in der Lage, Rohdaten in eine analysefähige Form zu überführen.
In der Umfrage “State of Data Engineers 2021”, die Dimensional Research im März 2021 im Auftrag von Fivetran durchführte, gaben fast die Hälfte der Unternehmen an, dass wichtige Daten für die Entscheidungsfindung nicht nutzbar waren. Die Studie ergab außerdem, dass 68 Prozent der Data Engineers die Zeit fehlt, um einen Mehrwert aus den vorhandenen Daten zu ziehen. Mit Fivetran Transformations reduziert Fivetran die Komplexität von Transformationen durch die Automatisierung des Prozesses. So erhalten Unternehmen einen schnelleren und zuverlässigeren Zugriff für datengestützte Entscheidungen.
Durch die Erweiterung von Fivetran Transformations um integriertes Scheduling können Anwender ihre dbt Core-Modelle so planen, dass sie nach der Synchronisierung mit einem Fivetran Connector automatisch ausgeführt werden. Dadurch werden Datenlatenzzeiten reduziert und die Geschwindigkeit der End-to-End-ELT-Pipeline gesteigert. Gleichzeitig können Kunden unnötige Datenverarbeitungskosten einsparen, indem sie Transformationen nur für neue oder aktualisierte Daten ausführen.
Eine zusätzliche Beschleunigung ihrer Analytics erfährt die dbt-Community außerdem durch die Nutzung vorkonfigurierter Datenmodelle von Fivetran. Dabei handelt es sich um paketierte SQL-Skripte für gängige Datenquellenkonnektoren, die in dbt ausgeführt werden können, um neue Berichte schnell und ohne weiteres Data Engineering zu erstellen. Fivetran hat bisher Datenmodelle für über 40 Datenquellen veröffentlicht, die regelmäßig gepflegt und um weitere Modelle ergänzt werden. Eine vollständige Liste finden Sie im dbt Hub. Die gemeinsame Nutzung von Datenmodellen und integriertem Scheduling hebt den Automatisierungsgrad auf ein neues Niveau und bietet Unternehmen einen modernen und optimierten Ansatz für ELT.
“Anwender profitieren davon, dass Fivetran beide Schritte abdecken kann: Daten über seine Konnektoren in die Destination zu bringen und diese Daten dann mithilfe von dbt auch zu transformieren”, so Gustav Lindqvist, Chief Data Officer bei Meditopia.
Mit Data Lineage Graphen lassen sich dbt Core-Datenmodelle in Fivetran visualisieren, damit Anwender ihre End-to-End-Datenpipelines besser verfolgen und verwalten können. Data Analysts müssen so nicht mehr den SQL-Code durchgehen, um die Beziehungen zwischen den Modellen zu erkennen. Data Engineers erhalten eine visuelle Darstellung der Datenbewegungen während des Transformationsprozesses. Die Graphen sind außerdem leicht verständlich und können im gesamten Unternehmen geteilt werden, um eine bessere Zusammenarbeit mit Datenanalysten und anderen Geschäftsanwendern möglich zu machen.
“Indem Fivetran es ermöglicht, dbt Core-Modelle zu orchestrieren, verbinden wir das E, das L und das T und beseitigen bisherige Lücken im Prozess. Unsere Anwender sind sich darüber im Klaren, dass sie aktuelle Daten benötigen und gleichzeitig ihre Transformationskosten kontrollieren müssen”, so Fraser Harris, VP Product bei Fivetran. “Die ganzheitlichen ELT Pipelines von Fivetran Transformations erlauben unseren Kunden, umsatzrelevante datengestützte Entscheidungen zu treffen. So kommen wir unserer Vision ein Stück näher: Datenzugriff so einfach und zuverlässig zu machen wie Strom aus der Steckdose.”
dbt Core unterstützt mehr als 8.000 Unternehmen und ist eines der meistverbreiteten Transformationstools in der Data-Community. dbt Core bringt Best Practices aus der Softwareentwicklung wie Testen, Versionskontrolle und automatisch generierte Dokumentation ein, um die Datentransformation für einen modernen ELT-Ansatz zugänglich zu machen.
Bilder zum Download: Screenshot Fivetran Transformations 1 / Screenshot Fivetran Transformations 2