MLflow project Databricks sluit zich aan bij Linux Foundation

MLflow, een open source machine learning platform van Databricks, treedt toe tot de non profit-organisatie Linux Foundation. MLflow is twee jaar geleden gelanceerd op de Spark+AI Summit. Inmiddels wordt MLflow maandelijks meer dan 2 miljoen keer gedownload en maken meer dan 200 actieve deelnemers deel uit van de community rond het project. Door aan te sluiten bij de Linux Foundation krijgt MLflow een onafhankelijk ‘thuis’ om verdere adoptie van en bijdragen aan het MLflow project mogelijk te maken.

“De aanhoudende interesse vanuit de community laat goed zien dat datateams toegewijd zijn om samen te werken aan het machine learning platform van de toekomst. De adoptiegraad toont daarnaast aan dat er behoefte is aan een open source aanpak om de standaard voor de machine learning lifecycle vast te stellen,” zegt Michael Dolan, VP of Strategic Programs bij de Linux Foundation. “Van onze samenwerking met de grootste open source projecten ter wereld hebben we geleerd dat een open governance model ervoor zorgt dat programma’s sneller innoveren en een hogere adoptiegraad hebben omdat bijdragen sectorbreed mogelijk worden gemaakt.”

Machine learning modellen ontwikkelen

Databricks heeft MLflow opgezet om een oplossing te bieden voor het ingewikkelde proces rondom de ontwikkeling van machine learning modellen. Het oorspronkelijke proces van het bouwen, trainen, finetunen, uitrollen en beheren van deze modellen leverde wetenschappers en ontwikkelaars veel hoofdbrekens op. In tegenstelling tot traditionele softwareontwikkeling, waarbij alleen naar verschillende code-versies gekeken wordt, werken machine learning modellen met verschillende versies van datasets, modelparameters en algoritmes. Hierdoor ontstaat een veel groter aantal variabelen dat bijgehouden en beheerd moet worden.

Daar komt nog bij dat machine learning erg iteratief is, en afhankelijk van nauwe samenwerking tussen zowel data- als applicatieteams. Met MLflow blijft dit proces beheersbaar, omdat de teams beschikking hebben over één platform om de hele machine learning lifecycle te beheren, van voorbereiding van de data tot de uiteindelijke uitrol. Binnen dat proces kunnen ze op dezelfde plek terecht voor test runs, om modellen te delen en met elkaar samen te werken.

Standaard machine learning ontwikkelingsplatform

Matei Zahara, bedenker van Apache Spark en MLflow, deelde dit nieuws tijdens zijn keynote presentatie op de Spark+AI Summit. “MLflow is de nieuwe open source standaard voor machine learning platformen, dankzij de enorme community van deelnemers die bestaat uit honderden engineers uit meer dan honderd verschillende bedrijven. Machine learning hervormt alle grote sectoren en is onmisbaar bij miljarden beslissingen binnen de retail, financiële sector en gezondheidszorg. Door met MLflow aan de Linux Foundation bij te dragen willen we de machine learning community uitnodigen om de handen ineen te slaan om samen te werken aan een standaard machine learning ontwikkelingsplatform dat voor iedereen beschikbaar is en de hele lifecycle beslaat.”

Tijdens de Spark+AI Summit delen verschillende bedrijven hun ervaring met MLflow, waaronder Starbucks, Exxonmobil, T-Mobile en Accenture. Tevens worden op het event nieuwe functies bekendgemaakt die MLflow en de machine learning lifecycle vereenvoudigen. Daarbij gaat het onder meer om het automatisch loggen van experimenten en verbeterd modelbeheer in het MLflow modelregister. De Spark + AI Summit vindt deze week digitaal plaats. Inschrijven is gratis en geeft toegang tot de verschillende keynotes, werksessies en on-demand forums. Inschrijven kan hier.