Databricks lanceert Delta Live Tables

Databricks, gespecialiseerd in data en AI, lanceert Delta Live Tables. Dit ETL-framework met een eenvoudige declaratieve benadering helpt bij het opzetten van betrouwbare data-pipelines en automatisch op schaal beheren van de data-infrastructuur. De oplossing was sinds medio 2021 als preview beschikbaar voor selecte Databricks-klanten en is nu breed beschikbaar.

SQL queries omzetten naar ETL-pipelines

Doorgaans vergt het veel vervelend en complex handwerk om SQL queries om te zetten naar ETL-pipelines. Maar door met moderne software engineering-methoden de meest tijdrovende taken van data engineering te automatiseren, kunnen data engineers en analisten zich richten op hun datawerk in plaats van het onderhoud van pipelines.

Veel bedrijven die waarde uit hun data willen halen, huren dure, hoogopgeleide en moeilijk te vinden data engineers in om vertragingen en mislukkingen te voorkomen. Maar vertragingen of mislukte projecten worden vaak veroorzaakt door een ander probleem: het is ontzettend moeilijk om betrouwbare data pipelines te bouwen die geen nauwgezette werkprocessen en onderhoud vereisen. Zelfs op kleine schaal besteedt een data engineer het gros van zijn tijd aan tooling en het beheer van de infrastructuur om data pipelines operationeel te houden.

De oplossing voor kostbaar en complex handwerk

Delta Live Tables is het eerste en enige ETL-framework dat dit probleem oplost door moderne engineering-methoden te combineren met geautomatiseerd infrastructuurbeheer. Dit vereenvoudigt ETL-ontwikkeling omdat engineers eenvoudig de uitkomsten van data-transformaties kunnen beschrijven. Delta Live Tables begrijpt vervolgens de afhankelijkheden van de volledige data pipeline en automatiseert vrijwel al het complexe handwerk. Delta Live Tables laat data engineers tevens hun data als code behandelen en moderne software engineering best practices toepassen zoals testen, foutafhandeling, monitoring en documentatie. De oplossing helpt zo betrouwbare pipelines op schaal eenvoudiger te implementeren. Delta Live Tables biedt volledige ondersteuning voor zowel Python als SQL en is op maat gemaakt om zowel met streaming als batch workloads te werken.

Delta Live Tables wordt gebruikt bij bedrijven over de hele wereld, waaronder JLL, Shell, Jumbo en ADP. "Bij ADP zijn we onze human resource management-data aan het migreren naar een geïntegreerd data lakehouse. Delta Live Tables heeft ons team geholpen om kwaliteitscontroles in het proces te bouwen, en dankzij de declaratieve API's, ondersteuning voor batch en real-time SQL-workloads bespaart het ons team veel tijd en moeite in het beheer van onze data", zegt Jack Berkowitz, Chief Data Officer bij ADP.

"Delta Live Tables is zo krachtig omdat het iets kan wat niemand anders kan - moderne software engineering combineren met geautomatiseerd beheer van infrastructuur automatisch. Dit is een baanbrekende technologie die data-engineers en analisten productiever maakt dan ooit”, aldus Ali Ghodsi, CEO en medeoprichter van Databricks. “Delta Live Tables vergroot ook het bereik van Databricks, omdat het ieder type data-workload ondersteunt met een enkele API, waardoor geavanceerde data engineering-vaardigheden niet meer nodig zijn.”