AI-systemen die 'onaanvaardbaar risico' vormen vanaf deze week in EU verboden

De Europese AI Act is vorig jaar in augustus ingegaan en wordt gefaseerd uitgerold. Op 2 februari 2025 was de eerste deadline. Vanaf nu zijn een aantal praktijken verboden, al gaat de impact voor veel bedrijven tot nu toe niet echt groot zijn. Zelfs de meeste AI-bedrijven zijn momenteel niet bezig met het bouwen van de systemen die nu verboden worden. Het gaat dan onder meer om systemen rond sociale scores (waarbij risicoprofielen worden gemaakt op basis van iemands gedrag), alsook AI die beslissingen van mensen subliminaal probeert te manipuleren of zwaktes probeert uit te buiten. Ook AI die biometrische gegevens en ‘gezichten’ verzamelt op publieke plaatsen, of ze online ‘scrapet’ is verboden, net als AI die emoties probeert te lezen op school of op het werk. Ook het voorspellen van karakteristieken (zoals seksuele geaardheid) op basis van biometrische data, mag niet.

Uitzonderingen voor veiligheidsdiensten

Voor gezichtsherkenning en biometrie op publieke plaatsen zijn er wel uitzonderingen voor veiligheidsdiensten. Die mogen bijvoorbeeld gezichtsherkenning wel inzetten in specifieke gevallen, zoals bij het zoeken naar vermiste personen. Bedrijven die zich niet aan de wet houden, kunnen zich aan stevige boetes verwachten, tot 35 miljoen euro of 7% van de jaarlijkse inkomsten.

In augustus volgt de volgende deadline in de AI Act, en die heeft meteen meer impact op een hele resem bedrijven. Dan gaan de regels in voor AI-systemen met hoogrisico. Het gaat daar bijvoorbeeld om AI-systemen die de beveiliging van een product voorzien of waarbij de AI zelf het product is. Ook AI-systemen in bepaalde sectoren worden bijna automatisch als hoogrisico gezien, denk dan aan biometrie, belangrijke infrastructuur, onderwijs, veiligheidsdiensten enzovoort. Dat is meteen redelijk breed, en verwacht wordt dat tegen augustus ook de nodige autoriteiten zijn opgericht om op naleving toe te zien (iets wat nu nog niet het geval is). Deze hoogrisico-AI is niet verboden, maar moet wel aan strenge voorwaarden beantwoorden. Voor bedrijven is het dus zaak om tegen augustus, moest dat nu nog niet het geval zijn, hun zaakje op orde te hebben.

In samenwerking met Data News