Databricks doet grote bijdragen aan belangrijke open source-projecten
Databricks, data- en AI-speler van de lakehouse-architectuur, onthult verschillende bijdragen aan populaire open source-projecten rond data en AI, waaronder Delta Lake, MLflow en Apache Spark.
Tijdens de Data + AI Summit, de grootste bijeenkomst van de open source data- en AI-gemeenschap, kondigde Databricks aan dat alle ontwikkelde verbeteringen van Delta Lake gedoneerd worden aan de Linux Foundation. Ook worden alle Delta Lake API’s open source gemaakt, als onderdeel van de release van Delta Lake 2.0. Daarnaast kondigde het bedrijf MLflow 2.0 aan met MLflow Pipelines , een nieuwe feature die ML-modelontwikkeling sneller en simpeler maakt. Tot slot onthulde het bedrijf Spark Connect, waarmee gebruikers Spark op bijna ieder apparaat kunnen gebruiken, en Project Lightspeed, een nieuwe iteratie van de Spark Structured Streaming-engine voor datastreaming in een lakehouse.
“Van begin af aan is Databricks gecommitteerd aan open standaarden en de open source-gemeenschap. Enkele van de meest invloedrijke open source-innovaties zijn van onze hand, of hebben kunnen rekenen op onze bijdragen om ze verder te ontwikkelen en hun groei te bevorderen”, aldus Ali Ghodsi (foto), mede-oprichter en CEO bij Databricks. “Het open data lakehouse wordt in hoog tempo de standaard voor de manier waarop de meest innovatieve bedrijven omgaan met hun data en AI. Delta Lake, MLflow en Spark staan aan het hart van deze transformatie en we zijn trots een steentje bij te dragen om de innovatie en ingebruikname van deze technologieën te versnellen.”
Delta Lake 2.0 maakt het Lakehouse toegankelijk voor iedereen
Delta Lake 2.0 biedt ongeëvenaarde query performance en laat gebruikers een zeer krachtig data lakehouse bouwen op basis van open standaarden. Met deze bijdrage profiteren Databricks’ klanten én de open source-gemeenschap van de volledige functionaliteit en verbeterde prestaties van Delta Lake 2.0. De Delta Lake 2.0 Release Candidate is nu beschikbaar en zal naar verwachting later dit jaar volledig worden vrijgegeven. De omvang van het Delta Lake-ecosysteem maakt het flexibel en krachtig in uiteenlopende use cases. Dit wordt ondersteund door een levendige gemeenschap van ruim 6400 leden en ontwikkelaars van meer dan 70 organisaties die bijdragen leveren.
"Databricks voorziet Akamai van een open opslagformat voor tabellen dat in de praktijk getest is voor veeleisende workloads zoals die van ons. Het lakehouse maakt interactieve analyses op schaal mogelijk, zodat onze klanten bijna real-time analyses van security events kunnen uitvoeren binnen ons Edge platform", zegt Aryeh Sivan, VP Engineering bij Akamai. "We zijn erg enthousiast over de snelle innovatie die Databricks, samen met de snel groeiende community, naar Delta Lake brengt. We kijken er ook naar uit om samen te werken met andere ontwikkelaars om de datagemeenschap naar een hoger niveau te tillen."
"We zien geweldige activiteit en groeitrends in het Delta Lake-project, wat aangeeft dat de ontwikkelaarsgemeenschap hier deel van wil uitmaken. Het aantal bijdragers is het afgelopen jaar met 60% toegenomen, het aantal totale commits is met 95% gegroeid en het gemiddelde aantal regels code per commit is met 900% gestegen. We zien deze toenemende snelheid onder andere bij bijdragende organisaties als Uber Technologies, Walmart en CloudBees, Inc.”, zegt Jim Zemlin, Executive Director van de Linux Foundation.
In MLflow 2.0 levert MLflow Pipelines automatisering en templates voor MLOps
MLflow is een van de meest succesvolle open source ML-projecten en zet de standaard voor ML-platforms. De release van MLflow 2.0 voegt MLflow Pipelines toe aan het platform, wat de productietijd aanzienlijk versnelt en de performance op schaal verbetert door middel van standaardisatie. MLflow Pipelines biedt datawetenschappers voorgedefinieerde en gebruiksklare templates die zijn gebaseerd op het modeltype waar ze aan werken. Hierdoor kunnen ze op betrouwbare wijze modelontwikkeling opstarten en versnellen, zonder hulp van engineers.
Next-gen streaming engine en Spark waar je maar wilt
Spark is de toonaangevende unified engine voor grootschalige data-analyse en schaalt naadloos voor de verwerking van datasets van iedere omvang. Maar het gebrek aan connectiviteit op afstand en de gebruikslast van applicaties die worden ontwikkeld en uitgevoerd op de driver node, belemmeren de eisen van moderne data-applicaties. Daarom introduceert Databricks Spark Connect, een client-server interface voor Apache Spark die is gebaseerd op de DataFrame API en de client en server ontkoppelen. Dit verbetert de stabiliteit en biedt ingebouwde connectiviteit op afstand. Met Spark Connect hebben gebruikers toegang tot Spark vanaf ieder apparaat.
Databricks kondigt in samenwerking met de Spark-gemeenschap ook Project Lightspeed aan, de nieuwe generatie van de Spark streaming engine. Steeds diversere applicaties maken gebruik van datastreaming, waardoor nieuwe vereisten zijn ontstaan voor dit type data workload. Spark Structured Streaming wordt al sinds de begindagen van streaming op grote schaal toegepast vanwege het gebruiksgemak, de prestaties, het grote ecosysteem en de actieve ontwikkelaarsgemeenschap. Daarom zal Databricks samenwerken met deze gemeenschap en deelname aan Project Lightspeed aanmoedigen om de prestaties van Spark Structured Streaming te verbeteren, ecosysteem-ondersteuning voor connectors te leveren, de functionaliteit voor dataverwerking te verbeteren met nieuwe operators en API's, en de implementatie, operaties, monitoring en troubleshooting te vereenvoudigen.
