Databricks lijft feature engineering-bedrijf Fennel in

Machine learning-modellen zijn alleen zo goed als de data waarvan ze leren. Steeds vaker zetten partijen daarom in op feature engineering: het omzetten van onderliggende domeinspecifieke en gedragspatronen in een formaat dat modellen kunnen interpreteren. Ook in het tijdperk generatieve AI, waar grote taalmodellen in staat zijn om te werken met ongestructureerde data, blijft feature engineering volgens Databricks essentieel voor het bieden van gepersonaliseerde, geaggregeerde en realtime-context als onderdeel van prompts.

Complex en duur

Historisch gezien is feature engineering complex en duur vanwege de noodzaak om complexe ETL-pijplijnen te onderhouden voor het berekenen van verse en correct getransformeerde features. Veel organisaties worstelen met het afhandelen van zowel batch- als realtime-databronnen en het waarborgen van consistentie tussen training- en servingomgevingen.

Met behulp van Fennel wil Databricks deze uitdagingen te lijf gaan. Fennel vereenvoudigt feature engineering door een beheerde platform te bieden om efficiënt features en feature-pijplijnen te creëren en te beheren. Het ondersteunt geünifieerde batch- en realtime-dataverwerking, waardoor de versheid van features gewaarborgd blijft en training-serving skew wordt geëlimineerd. Fennel helpt de complexiteit en tijd te verminderen die nodig zijn voor het ontwikkelen en inzetten van machine learning-modellen, en helpt datascientists zich te concentreren op het creëren van betere features om de modelprestaties te verbeteren in plaats van ingewikkelde infrastructuur en tools te beheren.

Als onderdeel van de overname sluit het Fennel-team zich aan bij de engineeringorganisatie van Databricks.