Intel bouwt Hala Point neuromorfische systeem voor duurzamere AI

Hala Point verbetert Intels eerste generatie grootschalige onderzoekssysteem, Pohoiki Springs, met architectonische verbeteringen om meer dan 10 keer meer neuroncapaciteit en tot 12 keer hogere prestaties te bereiken, aldus Intel.

"De rekenkosten van de huidige AI-modellen stijgen in een onhoudbaar tempo. De industrie heeft fundamenteel nieuwe benaderingen nodig die schaalbaar zijn. Om die reden hebben we Hala Point ontwikkeld, dat deep learning-efficiëntie combineert met nieuwe, op het brein geïnspireerde leer- en optimalisatiemogelijkheden. We hopen dat onderzoek met Hala Point de efficiëntie en het aanpassingsvermogen van grootschalige AI-technologie zal bevorderen." - Mike Davies, directeur van het Neuromorphic Computing Lab bij Intel Labs

Wat het doet: Hala Point is het eerste grootschalige neuromorfische systeem dat state-of-the-art rekenefficiëntie demonstreert op mainstream AI workloads. Karakterisering toont aan dat het tot 20 quadriljoen bewerkingen per seconde kan ondersteunen, oftewel 20 petaops, met een efficiëntie van meer dan 15 biljoen 8-bit bewerkingen per seconde per watt (TOPS/W) bij het uitvoeren van conventionele diepe neurale netwerken. Dit evenaart en overtreft de niveaus die worden bereikt door architecturen die zijn gebouwd op grafische verwerkingseenheden (GPU) en centrale verwerkingseenheden (CPU). De unieke mogelijkheden van Hala Point zouden in de toekomst real-time continu leren mogelijk kunnen maken voor AI-toepassingen zoals het oplossen van wetenschappelijke en technische problemen, logistiek, infrastructuurbeheer in slimme steden, grote taalmodellen (LLM's) en AI-agenten.

Hoe het zal worden gebruikt: Onderzoekers van Sandia National Laboratories zijn van plan om Hala Point te gebruiken voor geavanceerd rekenonderzoek op hersenschaal. De organisatie zal zich richten op het oplossen van wetenschappelijke computerproblemen op het gebied van apparatenfysica, computerarchitectuur, computerwetenschap en informatica.

"Werken met Hala Point verbetert het vermogen van ons Sandia-team om problemen op het gebied van rekenkundige en wetenschappelijke modellering op te lossen. Door onderzoek te doen met een systeem van deze omvang kunnen we gelijke tred houden met de evolutie van AI op gebieden variërend van commercieel tot defensie en fundamentele wetenschap." - Craig Vineyard, teamleider Hala Point, Sandia National Laboratories

Op dit moment is Hala Point een onderzoeksprototype dat de mogelijkheden van toekomstige commerciële systemen zal verbeteren. Intel verwacht dat deze lessen zullen leiden tot praktische verbeteringen, zoals de mogelijkheid voor LLM's om continu te leren van nieuwe gegevens. Dergelijke verbeteringen beloven de onhoudbare trainingslast van wijdverspreide AI-implementaties aanzienlijk te verminderen.

Waarom het belangrijk is: Recente trends in het opschalen van deep learning-modellen naar triljoenen parameters hebben ontmoedigende duurzaamheidsuitdagingen in AI blootgelegd en hebben de noodzaak van innovatie op de laagste niveaus van hardwarearchitectuur benadrukt. Neuromorfisch computergebruik is een fundamenteel nieuwe benadering die gebruik maakt van inzichten uit de neurowetenschappen die geheugen en computergebruik integreren met een zeer granulair parallellisme om de verplaatsing van gegevens te minimaliseren. In de gepubliceerde resultaten van de International Conference on Acoustics, Speech, and Signal Processing (ICASSP) van deze maand, toonde Loihi 2 winst van grootte aan in de efficiëntie, snelheid en aanpasbaarheid van opkomende kleinschalige edge workloads¹.

Hala Point bouwt voort op zijn voorganger, Pohoiki Springs, met talrijke verbeteringen en biedt nu neuromorfische prestaties en efficiëntieverbeteringen voor mainstream conventionele deep learning modellen, met name voor het verwerken van real-time workloads zoals video, spraak en draadloze communicatie. Ericsson Research past Loihi 2 bijvoorbeeld toe om de efficiëntie van de telecominfrastructuur te optimaliseren, zoals dit jaar werd benadrukt op het Mobile World Congress.

Over Hala Point: Loihi 2 neuromorfische processors, die de basis vormen voor Hala Point, passen computerprincipes toe die geïnspireerd zijn op de hersenen. Bijvoorbeeld asynchrone, event-gebaseerde spiking neurale netwerken (SNN's), geïntegreerd geheugen en computing, en schaarse en continu veranderende verbindingen om winst in energieverbruik en prestaties te bereiken. Neuronen communiceren rechtstreeks met elkaar in plaats van via het geheugen, waardoor het totale energieverbruik daalt.

Hala Point verpakt 1.152 Loihi 2 processoren geproduceerd op Intel 4 process node in een datacenter chassis met zes rekken ter grootte van een magnetron. Het systeem ondersteunt tot 1,15 miljard neuronen en 128 miljard synapsen, verdeeld over 140.544 neuromorfische verwerkingskernen, die maximaal 2.600 watt stroom verbruiken. Het bevat ook meer dan 2.300 ingebedde x86-processors voor bijkomende berekeningen.

Hala Point integreert verwerkings-, geheugen- en communicatiekanalen in een massaal geparallelleerde structuur en biedt in totaal 16 petabytes per seconde (PB/s) aan geheugenbandbreedte, 3,5 PB/s aan communicatiebandbreedte tussen de kernen en 5 terabytes per seconde (TB/s) aan communicatiebandbreedte tussen de chips. Het systeem kan meer dan 380 biljoen 8-bits synapsen en meer dan 240 biljoen neuronbewerkingen per seconde verwerken.

Toegepast op bio-geïnspireerde spiking neurale netwerkmodellen kan het systeem de volledige capaciteit van 1,15 miljard neuronen 20 keer sneller uitvoeren dan een menselijk brein en tot 200 keer sneller bij een lagere capaciteit. Hoewel Hala Point niet bedoeld is voor neurowetenschappelijke modellering, is de neuroncapaciteit ongeveer gelijk aan die van een uilenbrein of de cortex van een kapucijnaap.

Op Loihi-gebaseerde systemen kunnen AI-inferentie uitvoeren en optimalisatieproblemen oplossen met 100 keer minder energie en met snelheden die tot 50 keer hoger liggen dan die van conventionele CPU- en GPU-architecturen1. Door gebruik te maken van 10:1 schaarse connectiviteit en event-gedreven activiteit, laten vroege resultaten van Hala Point zien dat het systeem diepe neurale netwerken met een efficiëntie van wel 15 TOPS/W2 kan bereiken zonder dat invoergegevens in batches hoeven te worden verzameld. Dit een gebruikelijke optimalisatie voor GPU's die de verwerking van gegevens die in real-time binnenkomen, zoals video van camera's, aanzienlijk vertraagt. Toekomstige neuromorfische LLM's die in staat zijn om continu te leren, zijn nog in onderzoek en zouden een energiebesparing van gigawatturen kunnen opleveren doordat periodieke hertraining van steeds groeiende datasets niet meer nodig is.

Wat is de volgende stap? De levering van Hala Point aan Sandia National Labs markeert de eerste inzet van een nieuwe familie van grootschalige neuromorfische onderzoekssystemen die Intel van plan is te delen met zijn onderzoeksmedewerkers. Verdere ontwikkeling zal neuromorphic computing toepassingen in staat stellen om kracht- en latentiebeperkingen te overwinnen die de real-time inzet van AI capaciteiten in de echte wereld beperken.

Samen met een ecosysteem van meer dan 200 Intel Neuromorphic Research Community(INRC) leden, waaronder vooraanstaande academische groepen, overheidslaboratoria, onderzoeksinstellingen en bedrijven wereldwijd, werkt Intel aan het verleggen van de grenzen van hersengeïnspireerde AI en het ontwikkelen van deze technologie van onderzoeksprototypes tot toonaangevende commerciële producten in de komende jaren.