Europese Exascale Supercomputer JUPITER zet nieuwe energie-efficiëntie standaard

De voortgaande digitalisering van de samenleving en de groeiende adoptie van AI vereisen een steeds grotere rekenkracht en, daardoor, ook veel energie. Datacenters zijn op dit moment goed voor vier procent van het totale elektriciteitsverbruik in Duitsland en deze trend zet zich voort. Als gevolg hiervan is efficiënt computergebruik in de afgelopen jaren een steeds grotere prioriteit geworden. Onderzoek en maatregelen om de energiezuinigheid te verhogen, zijn dan ook sterk in opkomst.

De JUPITER-supercomputer, die is aangeschaft door het Europese supercomputerinitiatief EuroHPC Joint Undertaking, is een pionier op dit gebied. De eerste module, het JUPITER Exascale Development Instrument (JEDI), is in april geïnstalleerd en is in staat om 72 miljard floating-point bewerkingen per seconde per watt uit te voeren. Ter vergelijking, zijn voorganger behaalde zo’n 65 miljard.

De doorslaggevende factor voor de uiterst grote energiezuinigheid van deze module is het gebruik van grafische verwerkingseenheden (GPU's). Daarnaast is het mogelijk wetenschappelijke toepassingen te optimaliseren voor berekeningen op GPU's. Tegenwoordig vertrouwen vrijwel alle toonaangevende systemen op de GREEN500-ranglijst in hoge mate op GPU's, ontworpen om berekeningen uit te voeren met een veel grotere energiezuinigheid dan conventionele centrale verwerkingseenheden (CPU's).

Superchip

Het JEDI-ontwikkelingssysteem is één van de eerste systemen ter wereld dat gebruikmaakt van de nieuwste generatie versnellers van NVIDIA: de NVIDIA GH200 Grace Hopper Superchip, die de NVIDIA Hopper GPU en de NVIDIA Grace CPU op één enkele module combineert. Het systeem is gebaseerd op Eviden's nieuwste BullSequana XH3000-architectuur en bevat het uiterst efficiënte heet-waterkoelsysteem Direct Liquid Cooling. Dit systeem heeft aanzienlijk minder energie nodig dan conventionele luchtkoelingen en zorgt ervoor dat de gegenereerde warmte stroomafwaarts kan worden hergebruikt.

De JUPITER-precursor JEDI beschikt al over dezelfde apparatuur als de latere JUPITER-boostermodule. Wetenschappers hebben al in een vroeg stadium toegang tot de hardware als onderdeel van het JUPITER Research and Early Access Program (JUREAP) om codes te optimaliseren. Hierbij worden ze ondersteund door experts van het Jülich Supercomputing Centre.

JUPITER exascale supercomputer

JUPITER wordt de eerste supercomputer in Europa die de drempel van één exaflop overschrijdt, wat overeenkomt met één quintiljoen (‘1’ gevolgd door 18 nullen) floating-point bewerkingen per seconde. Het uiteindelijke systeem wordt in de tweede helft van dit jaar gefaseerd geïnstalleerd en wordt eerst beschikbaar gesteld aan wetenschappelijke gebruikers als onderdeel van het programma voor vroege toegang. Vanaf begin 2025 kan het in gebruik worden genomen door algemene gebruikers.

De enorme rekenkracht van JUPITER gaat helpen om de grenzen van wetenschappelijke simulaties te verleggen en grote AI-modellen te trainen. Het modulaire exascale-systeem maakt gebruik van de dynamische modulaire systeemarchitectuur (dMSA). Deze is ontwikkeld door ParTec en het Jülich Supercomputing Centre. De JUPITER booster-module die nu geïnstalleerd is, zal ongeveer 125 BullSequana XH3000 racks hebben en ongeveer 24.000 NVIDIA GH200 superchips, die onderling zijn verbonden door NVIDIA Quantum-2 InfiniBand netwerken. Voor 8-bit berekeningen, die gebruikelijk zijn voor het trainen van AI-modellen, neemt de rekenkracht toe tot meer dan 70 exaflops. Dat maakt van JUPITER 's werelds snelste computer voor AI.

Volgens schattingen zal de energiebehoefte van JUPITER gemiddeld op 11 megawatt liggen. Aanvullende maatregelen zullen helpen om de supercomputer nog duurzamer met energie om te laten gaan. Het modulaire datacenter waarin JUPITER wordt gehuisvest, is ontworpen om de warmte die vrijkomt tijdens het koelen af te voeren en te gebruiken om gebouwen op de campus van Forschungszentrum Jülich te verwarmen. Alle hardware- en softwarecomponenten van JUPITER worden geïnstalleerd en beheerd door de JUPITER Management Stack. Dit is een combinatie van ParaStation Modulo (ParTec), SMC xScale (Eviden) en softwarecomponenten van JSC.

JUPITER-ontwikkeldsysteem JEDI

Het JUPITER-ontwikkelingssysteem JEDI is veel kleiner dan de uiteindelijke exascale computer. Het bestaat uit één enkele rack van de nieuwste BullSequana XH3000-serie, die 24 individuele computers bevat, de zogeheten compute nodes. Deze zijn met elkaar verbonden via vier NVIDIA Quantum-2 InfiniBand-switches en worden in mei aangevuld met 24 extra computerknooppunten.

Tijdens metingen voor de GREEN500-ranglijst van meest energie-efficiënte supercomputers behaalde het JEDI-systeem een rekenkracht van 4,5 quadriljoen floating-point bewerkingen per seconde (4,5 petaflops) met een gemiddeld stroomverbruik van 66 kilowatt. Tijdens geoptimaliseerd functioneren is het stroomverbruik teruggebracht tot 52 kilowatt.