Supermicro biedt AI SuperClusters voor NVIDIA Blackwell en HGX H100/H200

Met de vloeistofgekoelde 4U van Supermicro kunnen de onlangs geïntroduceerde Blackwell GPU's van NVIDIA de AI-performance van 20 PetaFLOPS ten volle benutten op een enkele GPU. Ze getuigen van een 4X betere AI-training en 30X betere inferentieprestaties dan bij de vorige GPU's, zodat nog meer kosten worden bespaard. In overeenstemming met zijn first-to-market strategie heeft Supermicro onlangs een complete serie van op de NVIDIA Blackwell architectuur gebaseerde producten voor de nieuwe NVIDIA HGX B100, B200 en GB200 Grace Blackwell Superchip aangekondigd.

Extra bonus voor klanten

Charles Liang, president en CEO van Supermicro: "Datacenters met vloeistofkoeling kunnen vrijwel gratis een extra bonus zijn voor klanten door de voortdurende vermindering van het elektriciteitsverbruik. Onze oplossingen zijn geoptimaliseerd met NVIDIA AI Enterprise-software voor klanten in verschillende sectoren en we leveren wereldwijde productiecapaciteit met efficiëntie van wereldklasse. Zo kunnen we onze vloeistofgekoelde of luchtgekoelde kant-en-klare clusters met NVIDIA HGX H100 en H200 en de aankomende B100, B200 en GB200-oplossingen in kortere tijd leveren. Van koelplaten tot CDU's tot koeltorens, onze totale vloeistofkoeling op rackschaal kan het stroomverbruik van datacenters tot wel 40% verminderen."

Supermicro presenteert op COMPUTEX 2024 zijn nieuwe systemen die zijn geoptimaliseerd voor de NVIDIA Blackwell GPU, waaronder een 10U luchtgekoeld en een 4U vloeistofgekoeld systeem gebaseerd op de NVIDIA HGX B200. Daarnaast biedt Supermicro een 8U luchtgekoeld systeem op basis van de NVIDIA HGX B100, en het NVIDIA GB200 NVL72 rack van Supermicro met 72 onderling verbonden GPU's en NVIDIA NVLink Switches. Verder introduceert Supermicro de nieuwe NVIDIA MGX systemen, die de NVIDIA H200 NVL PCIe GPU's en de onlangs aangekondigde NVIDIA GB200 NVL2-architectuur ondersteunen.

Stack

"Generative AI zorgt voor een reset van de hele computing stack - nieuwe datacenters krijgen GPU-acceleratie en worden geoptimaliseerd voor AI," zegt Jensen Huang, oprichter en CEO van NVIDIA. "Supermicro heeft geavanceerde NVIDIA-versnelde computer- en netwerkoplossingen ontworpen, waardoor de wereldwijde datacenters van biljoenen dollars kunnen worden geoptimaliseerd voor het AI-tijdperk."

De snelle ontwikkeling van grote taalmodellen en de voortdurende nieuwe introducties van open-source modellen zoals Llama-3 van Meta en Mixtral 8x22B van Mistral maken de huidige geavanceerde AI-modellen toegankelijker voor bedrijven. De noodzaak om de AI-infrastructuur te vereenvoudigen en op de meest kostenefficiënte manier toegankelijk te maken, is van het grootste belang om de huidige razendsnelle AI-revolutie te ondersteunen. De Supermicro cloud-native AI SuperCluster overbrugt de kloof tussen eenvoudige, directe toegang tot de cloud en draagbaarheid. Het maakt gebruik van NVIDIA AI Enterprise om AI-projecten naadloos van pilot naar productie te brengen, ongeacht de schaal. Dit biedt de flexibiliteit om overal te draaien met veilig beheerde gegevens, inclusief zelfgehoste systemen of grote datacenters op locatie.

Bedrijven in verschillende sectoren gaan snel experimenteren met generative AI-gebruiksgevallen. Supermicro werkt nauw samen met NVIDIA om een naadloze en flexibele overgang te garanderen van het experimenteren en testen van AI-toepassingen naar de implementatie van AI in productie en grootschalige datacenters. Dit wordt bereikt door optimalisatie op rack- en clusterniveau met het NVIDIA AI Enterprise-softwareplatform, waardoor een soepel traject ontstaat van verkenning tot grootschalige implementatie van AI.

Managed Services

Managed services kunnen infrastructuurkeuzes, het delen van gegevens en de controle over de generative AI-strategie in gevaar brengen. NVIDIA NIM-microservices, onderdeel van NVIDIA AI Enterprise, bieden het voordeel van beheerde generative AI en open-source voor een probleemloze implementatie. De veelzijdige inference runtime met microservices versnelt de inzet van generative AI voor een breed scala aan modellen, van open-source tot NVIDIA's foundation-modellen. Daarnaast maakt NVIDIA NeMo maatwerk in modelontwikkeling mogelijk met datacuratie, geavanceerde aanpassing en retrieval-augmented generation (RAG) voor oplossingen die klaar zijn voor de onderneming. In combinatie met Supermicro's SuperClusters, ontworpen voor NVIDIA AI Enterprise, biedt NVIDIA NIM de kortste weg naar schaalbare, versnelde productie-implementaties met generative AI.

Het huidige generative AI Supercluster-aanbod omvat momenteel:

• Vloeistofgekoelde Supermicro NVIDIA HGX H100/H200 SuperCluster met 256 H100/H200 GPU's als schaalbare rekeneenheid in 5 racks (inclusief 1 speciaal netwerkrack);
• Luchtgekoelde Supermicro NVIDIA HGX H100/H200 SuperCluster met 256 HGX H100/H200 GPU's als schaalbare rekeneenheid in 9 racks (inclusief 1 speciaal netwerkrack);
• Supermicro NVIDIA MGX GH200 SuperCluster met 256 GH200 Grace Hopper Superchips als schaalbare rekeneenheid in 9 racks (inclusief 1 speciaal netwerkrack).

NVIDIA AI Enterprise ready

Supermicro SuperClusters zijn NVIDIA AI Enterprise ready met NVIDIA NIM-microservices en het NVIDIA NeMo-platform voor end-to-end generative AI-aanpassing. Ze zijn geoptimaliseerd voor NVIDIA Quantum-2 InfiniBand en het nieuwe NVIDIA Spectrum-X Ethernet-platform en leveren een netwerksnelheid van 400Gb/per GPU voor het opschalen naar een groot cluster met tienduizenden GPU's.

Supermicro's nieuwe SuperCluster-aanbod omvat onder andere:

• Supermicro NVIDIA HGX B200 SuperCluster, vloeistofgekoeld;
• Supermicro NVIDIA HGX B100/B200 SuperCluster, luchtgekoeld;
• Supermicro NVIDIA GB200 NVL72 of NVL36 SuperCluster, vloeistofgekoeld.

De SuperCluster-oplossingen van Supermicro zijn geoptimaliseerd voor LLM-training, deep learning en inferentie met hoge volumes en batchgroottes. De L11 en L12 validatietests en on-site implementatieservice van Supermicro bieden klanten een naadloze ervaring. Klanten ontvangen plug-and-play schaalbare eenheden om ze eenvoudig te implementeren in een datacenter en snellere resultaten te behalen.