DAOS, het Open-Source Storage Platform voor AI & HPC
Op zichzelf is DAOS (Distributed Asynchronous Object Storage) beslist niet bij iedereen bekend. Toch gaat achter deze naam een grote community van ontwikkelaars schuil die bezig zijn met de ontwikkeling en onderhoud van een wat ze zelf noemen een “Open Source software-defined high-performance scalable storage system, that has redefined performance for a wide spectrum of AI and HPC workloads.” Een mond vol en dus reden om Dutch IT Channel te laten bijpraten door Johann Lombardi, voorzitter van de Technical Steering Committee (TSC) van DAOS, tijdens de recente IT Press Tour in Battersea, Londen. Johann: “DAOS is een bijzonder project en het resultaat van 12 jaar ontwikkeling in een periode van 2012 tot en met 2024.”
Het project maakt gebruik van het Lustre HPC file system waarover een nieuwe laag gelegd is met de DAOS API’s. De DAOS Foundation wordt ondersteund door grote sponsoren, waaronder: Google, HPE, Intel, Argonne en VDURA. In 2024 is de overdracht van DAOS van Intel naar de DAOS Foundation afgerond.
In essentie is de DAOS-interface een krachtige schaalbare key-value-store die wordt ondersteund door de native libdaos-bibliotheek waarin veel gegevensmodellen (bijvoorbeeld POSIX-namespace, HDF5-datasets en Python) zijn geïmplementeerd. Gegevens worden opgeslagen op externe units die zijn geaggregeerd om een DAOS-systeem te vormen dat een wereldwijde name space biedt voor toegang tot de data. Dus de DAOS API’s in een layer boven de Lustre-kernel.
Lustre is een parallel bestandssysteem dat speciaal is ontworpen voor HPC (High Performance Computing) en grootschalige dataverwerking. Het staat bekend om zijn hoge prestaties en schaalbaarheid. Het wordt gebruikt in de wetenschappelijke en enterprise-wereld. Lustre verdeelt de data over meerdere storageservers, waardoor gelijktijdige (parallelle) toegang mogelijk is en de prestaties worden verbeterd.
DAOS en Lustre vertegenwoordigen twee verschillende concepten van data-opslag die elkaar kunnen aanvullen. Lustre functioneert als een traditioneel parallel bestandssysteem, terwijl DAOS een object-gebaseerd, high-performance opslagplatform is. Door DAOS en Lustre samen te gebruiken, kunnen HPC- en enterprise-systemen profiteren van de snelheid van DAOS en de stabiliteit en schaalbaarheid van Lustre. DAOS kan fungeren als een cache voor Lustre, wat resulteert in betere prestaties, lagere latentie en een flink efficiënter gebruik van de resources.
Johann: “Voor organisaties die op zoek zijn naar een geavanceerde en toekomstbestendige opslagoplossing, biedt de combinatie van DAOS en Lustre een krachtige en flexibele architectuur die de uitdagingen van moderne data-intensieve workloads aankan. De DAOS Foundation zorgt voor een gecoördineerde verdere ontwikkeling van dit open-source project.”
Meer over Storage
Over Hans Steeman
