Intel Gaudi 3 AI accelerator ondersteunt GenAI workloads

Intel introduceert tijdens Intel Vision de Intel Gaudi 3 AI-accelerator, die 4x AI-computing levert voor BF16, 1,5x meer geheugenbandbreedte en 2x netwerkbandbreedte voor een enorme systeemuitbreiding vergeleken met zijn voorganger – een aanzienlijke sprong voorwaarts in prestaties en productiviteit voor AI-training en gevolgtrekking op populaire grote taalmodellen (LLM's) en multimodale modellen. Voortbouwend op de bewezen prestaties en efficiëntie van de Intel® Gaudi® 2 AI-accelerator – het enige MLPerf-gebenchmarkeerde alternatief voor LLM's op de markt – biedt Intel klanten de keuze met open community-gebaseerde software en industriestandaard Ethernet-netwerken om hun systemen te schalen flexibeler.

“In het steeds evoluerende landschap van de AI-markt blijft er een aanzienlijk gat bestaan ​​in het huidige aanbod. Feedback van onze klanten en de bredere markt onderstreept het verlangen naar meer keuze. Bedrijven wegen overwegingen af ​​zoals beschikbaarheid, schaalbaarheid, prestaties, kosten en energie-efficiëntie. Intel Gaudi 3 onderscheidt zich als het GenAI-alternatief en biedt een aantrekkelijke combinatie van prijs-prestatie, systeemschaalbaarheid en time-to-value-voordeel”, aldus Justin Hotard, executive vice-president en algemeen directeur van Intel van de Data Center and AI Group.

Tegenwoordig proberen ondernemingen in cruciale sectoren zoals de financiële sector, de productie en de gezondheidszorg snel de toegankelijkheid van AI te vergroten en generatieve AI-projecten (GenAI) over te zetten van experimentele fases naar volledige implementatie. Om deze transitie in goede banen te leiden, innovatie te stimuleren en doelstellingen voor omzetgroei te realiseren, hebben bedrijven open, kosteneffectieve en energie-efficiëntere oplossingen en producten nodig die voldoen aan de behoeften op het gebied van rendement op investeringen (ROI) en operationele efficiëntie.

De Intel Gaudi 3-accelerator zal aan deze eisen voldoen en veelzijdigheid bieden via open community-gebaseerde software en open industriestandaard Ethernet, waardoor bedrijven hun AI-systemen en -applicaties flexibel kunnen schalen.

Hoe aangepaste architectuur GenAI-prestaties en efficiëntie levert: de Intel Gaudi 3-accelerator, ontworpen voor efficiënte grootschalige AI-compute, is vervaardigd volgens een 5 nanometer (nm) proces en biedt aanzienlijke verbeteringen ten opzichte van zijn voorganger. Het is ontworpen om parallelle activering van alle motoren mogelijk te maken – met de Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC’s) en Networking Interface Cards (NIC’s) – waardoor de versnelling mogelijk wordt gemaakt die nodig is voor snelle, efficiënte deep learning-berekeningen en -schalen. 

De belangrijkste kenmerken zijn onder meer:

• AI-Dedicated Compute Engine: De Intel Gaudi 3-accelerator is speciaal gebouwd voor krachtige, uiterst efficiënte GenAI-compute. Elke accelerator beschikt op unieke wijze over een heterogene rekenengine die bestaat uit 64 AI-aangepaste en programmeerbare TPC’s en acht MME’s. Elke Intel Gaudi 3 MME kan maar liefst 64.000 parallelle bewerkingen uitvoeren, wat een hoge mate van rekenefficiëntie mogelijk maakt, waardoor ze bedreven zijn in het verwerken van complexe matrixbewerkingen, een type berekening dat van fundamenteel belang is voor deep learning-algoritmen. Dit unieke ontwerp versnelt de snelheid en efficiëntie van parallelle AI-operaties en ondersteunt meerdere datatypen, waaronder FP8 en BF16.
• Geheugenboost voor LLM Capaciteitsvereisten: 128 gigabyte (GB) HBMe2-geheugencapaciteit, 3,7 terabyte (TB) geheugenbandbreedte en 96 megabyte (MB) intern statisch willekeurig toegankelijk geheugen (SRAM) bieden voldoende geheugen voor het verwerken van grote GenAI-datasets op minder Intel Gaudi 3's, wat vooral handig is bij het bedienen van grote taal- en multimodale modellen, wat resulteert in hogere werklastprestaties en datacenterkostenefficiëntie.
• Efficiënte systeemschaling voor Enterprise GenAI: Vierentwintig 200 gigabit (Gb) Ethernet-poorten zijn geïntegreerd in elke Intel Gaudi 3-accelerator, waardoor flexibele en open-standaard netwerken worden geboden. Ze maken efficiënt schalen mogelijk om grote rekenclusters te ondersteunen en de afhankelijkheid van leveranciers in bedrijfseigen netwerkstructuren te elimineren. De Intel Gaudi 3-accelerator is ontworpen om efficiënt op te schalen en uit te schalen van één enkel knooppunt naar duizenden om te voldoen aan de uitgebreide vereisten van GenAI-modellen.
• Open Industry Software voor productiviteit van ontwikkelaars: Intel Gaudi-software integreert het PyTorch-framework en biedt geoptimaliseerde Hugging Face-communitygebaseerde modellen – het meest gebruikte AI-framework voor GenAI-ontwikkelaars van vandaag. Hierdoor kunnen GenAI-ontwikkelaars op een hoog abstractieniveau werken voor gebruiksgemak en productiviteit en voor het gemak van modelportering tussen hardwaretypen.

• Gaudi 3 PCIe: Nieuw in de productlijn is de Gaudi 3 perifere component interconnect express (PCIe) add-in-kaart. Deze nieuwe vormfactor is op maat gemaakt om hoge efficiëntie te bieden met een lager vermogen en is ideaal voor werkbelastingen zoals fijnafstemming, inferentie en retrieval-augmentedgeneration (RAG). Hij is uitgerust als een full-height form factor van 600 watt, met een geheugencapaciteit van 128 GB en een bandbreedte van 3,7 TB per seconde.

Beschikbaarheid: De Intel Gaudi 3-accelerator zal in het tweede kwartaal van 2024 beschikbaar zijn voor Original Equipment Manufacturers (OEM's) in industriestandaardconfiguraties van Universal Baseboard en open acceleratormodule (OAM). Onder de opmerkelijke OEM-gebruikers die Gaudi 3 op de markt zullen brengen, zijn Dell Technologies, Hewlett Packard Enterprise, Lenovo en Supermicro. De algemene beschikbaarheid van Intel Gaudi 3-accelerators wordt verwacht in het derde kwartaal van 2024, en de Intel Gaudi 3 PCIe-uitbreidingskaart zal naar verwachting in het laatste kwartaal van 2024 beschikbaar zijn.

De Intel Gaudi 3-accelerator zal ook verschillende kosteneffectieve cloud LLM-infrastructuren aandrijven voor training en gevolgtrekking, waardoor prijs-prestatievoordelen en keuzes worden geboden aan organisaties die nu NAVER omvatten.

Ontwikkelaars kunnen vandaag nog aan de slag met toegang tot op Intel Gaudi 2 gebaseerde instances in de ontwikkelaarscloud om applicaties en workloads te leren, te prototypen, te testen en uit te voeren.