Sneller inzichten uit data halen met Warp Speed in Dell Data Lakehouse

Dell Data Lakehouse is in maart 2024. Het gaat om een oplossing met een query-engine aangedreven door Starburst voor toegang tot gedistribueerde data, ongeacht de gegevensbron. De nieuwe feature leert autonoom querypatronen en identificeert data die vaak wordt gebruikt om optimale indexen en caches te creëren, terwijl data die minder vaak wordt gebruikt op de oorspronkelijke locatie blijft.

Het data lakehouse biedt prestatievoordelen tegen lagere kosten. Data engineering- en IT-teams vinden het lastig om te bepalen welke data ze moeten optimaliseren en cachen en welke ze ongewijzigd in het data lake moeten laten, meldt Dell. Met Warp Speed speelt het hierop in.

Sneller inzichten uit data halen

Het stelt organisaties in staat om sneller en efficiënter inzichten uit hun data te halen. Met Warp Speed kan hetzelfde cluster data lake query’s drie tot vijf keer sneller uitvoeren zonder dat de eindgebruiker de query hoeft aan te passen. Bovendien helpt het om clusters tot 40% kleiner te maken. Dit maakt het mogelijk meer query’s uit te voeren op grote clusters of hetzelfde volume query’s uit te voeren op kleinere clusters.

Ook kunnen bedrijven met Warp Speed autonoom het data lake indexeren en on-demand verkennende datasets versnellen, zonder tussenkomst van data engineering. Daarnaast kunnen zij sneller drill-downs uitvoeren op grote hoeveelheden data, doordat query's sneller worden uitgevoerd.

Autonome indexering en Smart Caching

Warp Speed maakt gebruik van een combinatie van twee versnellingstechnologieën om queryprestaties te verbeteren en de kosten te beheersen. Autonome indexering de juiste index types (bitmap, woordenboek, tree) voor elk datablok, waardoor bewerkingen zoals joins, filters en zoekopdrachten worden versneld. Deze indexen worden opgeslagen op een SSD in de compute nodes voor snelle toegang. Daarnaast gebruikt Warp Speed Smart Caching, een eigen SSD columnar block caching die de prestaties optimaliseert op basis van de frequentie van het gegevensgebruik. Dankzij deze caching is het niet langer nodig om tabellen te scannen, wat zorgt voor meer hergebruik van data tussen queries en daarmee lagere compute kosten.

Warp Speed is vanaf 17 juli beschikbaar voor alle Dell Data Lakehouse-klanten en wordt ondersteund voor diegenen die Dell S3-compatibele storage gebruiken als hun data lake. De softwarelicentie is ongewijzigd en nu ingebouwd. De configuratie van de compute nodes wordt aangepast voor SSD’s die volledig zijn getest en gebenchmarkt door Dell om de Warp Speed index en -cache te ondersteunen.