GenAI-bots bestoken websites met tot wel een half miljoen verzoeken per dag

Websites worden bedolven door een constante stroom aan scraping-verzoeken van generatieve AI-bots. Onderzoekers van Barracuda ontdekten dat sommige applicaties tot wel een half miljoen verzoeken per dag ontvangen. Het verschijnsel kreeg intussen ook een naam: ‘gray bots’.

Gray bots zijn geautomatiseerde programma’s die niet per se schadelijk zijn, maar die wel dag en nacht waardevolle data van websites verzamelen. Tussen december 2024 en eind februari 2025 registreerde cyberbeveiliger Barracuda miljoenen scraping-verzoeken van GenAI-bots zoals ClaudeBot en TikToks Bytespider, gericht op webapplicaties.

De klok rond

Een van de applicaties die werd gemonitord kreeg in amper dertig dagen 9,7 miljoen van dit soort verzoeken te verwerken. Een andere werd op één dag een half miljoen keer benaderd. Uit verdere analyse bleek dat één applicatie continu werd bestookt, met gemiddeld zeventienduizend gray bot-verzoeken per uur – de klok rond.

‘Bij gray bots vervagen de grenzen van legitieme activiteiten’, zegt Rahul Gupta, Senior Principal Software Engineer bij Barracuda. ‘Ze verzamelen gevoelige, bedrijfseigen of commerciële informatie, wat webapplicaties kan overbelasten en verstoren. Het voortdurende scrapen zet de prestaties van webapplicaties onder druk en beïnvloedt de betrouwbaarheid van webanalyses, wat leidt tot vertekende inzichten en ondermijning van de kwaliteit van besluitvorming.’

Robots.txt

Beheerders van website-eigenaren kunnen scraping proberen tegen te gaan met een zogeheten robots.txt-bestand, dat bots via een simpele instructie vraagt om geen data te verzamelen. Maar de bot moet expliciet worden genoemd en omdat opvolgen van de instructies in een robots.txt bestand niet wettelijk is af te dwingen, trekken veel gen AI-botbeheerders zich er weinig van aan.

Om effectief weerstand te bieden aan de groeiende verzoeken van gray bots, zouden organisaties geavanceerde bot protection-oplossingen moeten gebruiken. Deze systemen kunnen scraper-gedrag detecteren en blokkeren op basis van gedragsanalyse, adaptieve machine learning en realtime bescherming.

In samenwerking met Data News