AirMettle versnelt analyse van big data

Big data-analyse wordt steeds belangrijker, maar het werken met enorme datasets brengt uitdagingen met zich mee. Het herhaaldelijk verplaatsen van petabytes aan gegevens voor de analyses, belast netwerken en vooral ook de budgetten als een externe cloud bij wordt gebruikt. En ook bij deze aanpak is succes niet vooraf gegarandeerd, zodat kosten gemaakt worden zonder de zekerheid op een toegevoegde waarde van de analyse. Het is dus een delicaat probleem.

AirMettle biedt een nieuwe aanpak, waarbij analyses worden uitgevoerd in de datalake zelf. De ontwikkelde software draait op standaard hardware en levert snel inzichten zonder de overhead van traditionele datawarehouses. Belangrijke functies uit de software helpen gebruikers bij het vereenvoudigen van big data-analyses.

Zo claimt AirMettle de versnelling van SQL-opdrachten door, die rechtstreeks op datalake-opslag uit te voeren, waardoor onnodige gegevensoverdrachten worden geëlimineerd. Ingebouwde parallelle verwerking levert 100x snellere prestaties dan een native S3-analyses.

In plaats van hele objecten direct diep te analyseren, vat AirMettle relevante subsets samen en extraheert deze voordat ze de opslag verlaten. (Bij video zijn alleen de i-frames met de IDR oftewel de i-frame decoder reset, echt van belang, de anderen frames kan je vaak vergeten). Dit vermindert het datavolume dat gebruikers voor een bepaalde query moeten beheren, waardoor het ook haalbaar wordt om meer historische gegevens te gebruiken.

Als software gedefinieerde opslag draait AirMettle op alle x86-servers met SSD's. Het integreert eenvoudig in de bestaande infrastructuur, zowel on-premises als in de cloud, en vervangt alleen de high-performance opslag. Daarmee is het ook een economische oplossing.

AirMettle verwerkt verschillende soorten gegevens, van video tot complexe wetenschappelijke bestanden. De software detecteert automatisch de optimale manieren om alles te structureren teneinde een snelle verwerking mogelijk te maken.

Volgens Donpaul kunnen we de dienst in de loop van dit jaar, na een ontwikkeltijd van vier jaar en een validatie door gerenommeerde testgebruikers zoals Los Alamos National Laboratory, op de markt verwachtten.