Databricks introduceert data lineage voor Unity Catalog

Databricks heeft data lineage (‘dataherkomst’) aangekondigd voor Unity Catalog, waarmee de mogelijkheden voor datagovernance voor het lakehouse worden uitgebreid. Data lineage beschrijft hoe data door een organisatie stroomt. Met deze nieuwe functie van Unity Catalog kunnen klanten inzicht krijgen in de herkomst van hun data in hun lakehouse, in wie de data heeft aangemaakt en wanneer, hoe de data in de loop der tijd is gewijzigd, hoe de data wordt gebruikt, en nog veel meer. Data lineage voor Unity Catalog is nu beschikbaar als preview op AWS en Microsoft Azure.

Organisaties hebben volgens Databricks te maken met een toevloed aan data uit verschillende bronnen. Het is volgens het bedrijf buitengewoon lastig om te overzien waar die data vandaan komt, hoe die beweegt en verandert, wie er toegang toe heeft, en hoe de data wordt gebruikt. Toch is er vaak behoefte aan inzicht voor het vertrouwen en om risico’s goed te kunnen inschatten.

Dankzij data lineage voor Unity Catalog hebben datateams alle toepassingen verderop in het proces in beeld die de gevolgen merken van datawijzigingen - applicaties, dashboards, machine learning-modellen of datasets, enz. - en krijgen ze eenvoudig inzicht in de ernst van de impact zodat ze snel de relevante betrokkenen op de hoogte kunnen stellen van wijzigingen.

Data lineage stelt datagebruikers in staat om, rekening houdend met de context, analyses uit te voeren. Dat zorgt voor kwalitatief betere uitkomsten. Bovendien kunnen data-stewards zien welke datasets niet meer worden gebruikt of verouderd zijn, zodat overbodige data buiten gebruik kan worden gesteld. Dit vermindert risico's en zorgt er bovendien voor dat eindgebruikers alleen hoogwaardige data gebruiken. De nieuwe mogelijkheden binnen Unity Catalog geven bedrijven een compleet beeld van de totale levenscyclus van data. Daardoor hebben de verantwoordelijken voor de data inzicht in de manier waarop data wordt verzameld, of deze is bijgewerkt en welke processen zijn gebruikt.

De belangrijkste kenmerken van Unity Catalog zijn onder meer geautomatiseerde run-time lineage om alle in Databricks gegenereerde lineage vast te leggen. Dat biedt meer accuratesse en efficiëntie in vergelijking met het handmatig taggen van data. Deze informatie wordt vastgelegd voor tabellen, doorzichten en kolommen en geeft een gedetailleerd beeld van de upstream en downstream datastromen. Bovendien werkt lineage in alle workloads die door Databricks worden ondersteund, zoals SQL, Python, R en Scala en dat betekent dat alle data-persona's hun tools kunnen versterken met data-intelligentie en betere inzichten. Dit omvat ook het vastleggen van lineage voor invoer als notebooks, workflows en dashboards.

Data lineage helpt organisaties volgens Databricks ook om beter te voldoen aan compliancenormen door het eenvoudiger te maken om datastromen bij te houden die onder de compliance-regelgeving vallen, zoals de AVG (of GDPR) of Amerikaanse regelgeving als de California Consumer Privacy Act (CCPA) of de Health Insurance Portability and Accountability Act (HIPAA). Juist de traceerbaarheid van data is een cruciaal element in een moderne data-architectuur waarmee klanten aan wettelijke vereisten kunnen voldoen.