OpenAI wil gewichten van nieuw model openbaar maken

Dit is door OpenAI-topman Sam Altman aangekondigd op X. Een open-weight taalmodel verwijst naar een taalmodel waarvan de gewichten openbaar beschikbaar zijn. Gewichten verwijst daarbij naar de interne parameters die het model hebben geleerd tijdens het trainingsproces. Door het openbaar maken van deze gewichten krijgen onderzoekers en ontwikkelaars toegang tot de specifieke waarden die het model gebruikt om tekst te begrijpen en te genereren. Ook is het mogelijk de gewichten aan te passen om de werking van het model bijvoorbeeld beter te laten aansluiten op specifieke behoeften.

Onder druk

GPT-2, dat in 2019 beschikbaar werd, was het laatste model waarvan OpenAI de gewichten vrijgaf. OpenAI staat onder druk hiernaar terug te keren, onder meer door het succes van de Chinese startup DeepSeek. In tegenstelling tot OpenAI maakt DeepSeek zijn modellen en andere data opensource. Alibaba en Meta zijn andere voorbeelden van partijen die succesvol zijn met opensource AI-modellen.

Het nieuwe model dat Altman aankondigt krijgt volgens de topman ook de mogelijkheid te redeneren. Dit moet de nauwkeurigheid van het model verbeteren en het aantal fouten in de output terugdringen.

Model op eigen hardware draaien

Daarnaast kondigt Steven Heidel, lid van de technische staf bij OpenAI, in een andere post aan dat OpenAI werkt aan een model dat op eigen hardware van klanten kan draaien. Dit model moet later dit jaar beschikbaar worden.