Cloudflare werkt aan marktplaats van AI-scrapen van websites

Cloudflare wil volgend jaar een marktplaats online zetten waar eigenaars van websites toegang kunnen verkopen tot hun site aan AI-bots. In een eerste fase krijgen Cloudflare-klanten een knop waarmee ze alle AI-bots kunnen blokkeren.

Compensatie voor makers

Het gaat dan specifiek om bots die de inhoud van een website komen ‘scrapen’ of downloaden, zodat de teksten, beelden en video’s kunnen worden gebruikt om AI te trainen of de inhoud van een site samen te vatten. De AI-modellen kosten de sites op die manier clicks, en inkomsten, omdat gebruikers niet meer doorklikken naar de originele bron.

‘Als je makers niet op een of andere manier compenseert, dan stoppen ze met het maken van nieuwe content, en dat moeten we op een of andere manier oplossen,’ zegt Matthew Price, CEO van Cloudflare, aan techsite TechCrunch.

Robots Exclusion Protocol werkt niet afdoende

Web scraping is technisch gezien het indexeren van het internet door crawler bots. Het proces wordt bijvoorbeeld gebruikt door verschillende zoekmachines, en via het zogeheten Robots Exclusion Protocol kan een website in zijn code aangeven welke pagina’s die crawlers niet mogen bezoeken en indexeren. Dat protocol is echter niet dwingend, en niet elke nieuwe start-up houdt zich daaraan. Deze zomer beschuldigde techmagazine Wired de AI-start-up Perplexity er bijvoorbeeld van om het protocol te omzeilen en toch tekst te kopiëren die specifiek uitgesloten was.

Cloudflare, dat voor veel websites de trafiek beheert, heeft nu een dwingender oplossing. Het bedrijf heeft de voorbije weken zijn klanten een gratis knop gegeven waarmee ze in één klik alle AI-bots kunnen blokkeren. Price kondigt ook een nieuwe gratis tool aan, genaamd AI Audit, waarmee website-eigenaars een overzicht krijgen van welke AI-modellen hun inhoud aanspreken, wanneer en hoe.

Specifieke AI-bots toelaten in ruil voor compensatie

Eens dat allemaal is uitgerold, moet het in de toekomst dan ook mogelijk worden om specifieke AI-bots toe te laten, in ruil voor compensatie. Bedrijven die een deal hebben gesloten met pakweg OpenAI (zoals bijvoorbeeld Time magazine dat heeft gedaan), zouden dan alleen de bots van dat bedrijf kunnen toelaten, en de anderen niet. De details van dat plan, en hoe dat er zal uitzien voor kleinere uitgevers en websites, zijn er nog niet. De blokkeerknop lijkt echter een eerste stap.

In samenwerking met Data News