Sync Computing optimaliseert Databricks clusters met AI

Door de optimalisatie van Databricks-clusters te automatiseren met kunstmatige intelligentie, helpt Sync Computing bedrijven de kosten te verlagen en de efficiëntie van gegevensverwerkingsactiviteiten te verhogen. Aan de oplossing is 2 jaar gewerkt. Tijdens de IT Press Tour stond CEO Jeff Chou ons te woord.

Met het IT-platform van het bedrijf (Gradient), kunnen Databricks-clusters automatisch worden geoptimaliseerd voor specifieke issues, zonder dat de code van de service hoeft te worden gewijzigd. Deze aanpak, die bekend staat als declaratieve optimalisatie, verlaagt de bedrijfskosten en verbetert de prestaties. Declaratief programmeren is een programmeertechniek waarbij de focus ligt op het beschrijven van de gewenste uitkomsten of doelen, in plaats van het gedetailleerd beschrijven van de specifieke stappen om deze te bereiken. In deze aanpak schrijft een programmeur code die omschrijft wat het programma zou moeten doen, zonder expliciet te programmeren hoe het zou moeten gebeuren. Dit wordt bereikt door de logica van de berekening te definiëren zonder de flow te dicteren. Hiermee kan het onderliggende systeem de meest efficiënte manier bepalen om de instructies uit te voeren.

Gradient past IT-resources dynamisch aan om ervoor te zorgen dat de doorlooptijden van de taken (SLA's) worden gehaald en tegelijkertijd de kosten met betrekking tot de clusters worden geoptimaliseerd. Eén van de grote voordelen van Gradient is het vermogen om zich dynamisch aan te passen aan de groeiende workload. Hiermee blijven de kosten beheersbaar.

Machine Learning

Naarmate de hoeveelheid gegevens toeneemt, wordt de complexiteit van clusterbeheer een barrière voor veel technische teams. Sync Computing biedt een oplossing die deze complexiteit vermindert met machine learning-algoritmen die continu kunnen verbeteren.

Deze algoritmen worden gebruikt om de parameters in realtime aan te passen op basis van veranderende workloads en door het bedrijf gedefinieerde doelen.

Ook helpen ze bij de exponentiële groei van gegevens en workloads in de cloud, evenals de moeilijkheid om deze grootschalige processen te optimaliseren om de kosten te optimaliseren. Nu werkt Sync Computing met Databricks clusters, in de toekomst worden er naar verwachting meer aanbieders ondersteund.

Door: Hans Steeman