DeepSeek is geen uitzondering, de gebruikskosten van LLM's dalen
De opkomst van DeepSeek als goedkope en efficiënte AI-assistent bevestigt een bredere trend: de kosten per miljoen tokens van grote taalmodellen dalen ongekend snel. Uit onderzoek van Bain & Company blijkt dat de prijs van de goedkoopste LLM’s sinds 2022 met een factor 10 per jaar zijn gedaald, en in sommige gevallen zelfs met een factor 40.
DeepSeek-V3 zet deze trend door en bewijst dat efficiëntie in AI-modellen noodzakelijk is om concurrerende AI-toepassingen te lanceren. Waar in 2022 GPT-3 nog 60 dollar per miljoen tokens kostte, zijn er nu meerdere modellen die onder de $0,05 opereren zonder serieuze concessies in de prestaties.
Wat DeepSeek uniek maakt is niet de kostenreductie, maar de manier waarop deze gerealiseerd is. De Chinese startup heeft een model ontwikkeld dat slim gebruikmaakt van een mixture-of-experts (MoE)-architectuur, waarbij slechts een fractie van de parameters wordt geactiveerd per tokenverwerking. Dit verlaagt niet alleen de inference-kosten, maar maakt het model ook schaalbaar zonder exponentieel stijgende hardware-eisen.
Dit betekent dat bedrijven hun AI-strategie moeten herzien: waar voorheen schaalbaarheid werd beperkt door kosten, zijn grootschalige AI-toepassingen nu financieel haalbaar.
Het volledige onderzoek van Bain & Company vindt uhier.
Dutch IT events
Alle events
Meer over Development
Over Witold Kepinski
