Cloudflare обяви война на AI ботовете, които събират данни без разрешение

Cloudflare обяви радикална промяна в начина, по който уебсайтовете взаимодействат с AI компаниите. Компанията ще блокира автоматично всички ботове, които едновременно индексират съдържание за търсачки и го събират за обучение на изкуствен интелект. Промяната идва с ясна цел — да принуди дори гиганти като Google да разделят своите инструменти и да дадат на издателите реален избор как се използва техният контент.

От опция към защита по подразбиране

До момента Cloudflare предлагаше опционална защита срещу AI ботове, но сега опцията ще бъде включена по подразбиране. Според изпълнителния директор и съосновител на фирмата Матю Принс, трафика генериран от ботове е много по-голям от този генериран от хората, което налага бързи действия в защита на екосистемата. Компанията актуализира и своята услуга Pay Per Crawl, въведена през 2025 година, в Pay Per Use. Вместо заплащане за самото сканиране на страници, собствениците на сайтове ще получават пари когато техният контент се появява в отговори на AI чатботове. Засега партньорства са обявени с Ceramic.AI и You.com, а Cloudflare очаква други AI компании да се присъединят.

Проблемът с AI трафика и рекламите

AI моделите, които посещават сайтове от името на потребители за актуална информация, разрушават традиционната система на приходи от реклами и абонаменти. Когато AI чатбот взема съдържание от новинарски сайт и го преразказва на потребител, издателят губи посещение, приходи от реклама и потенциален абонат. Новият подход на Cloudflare цели да балансира отношенията между AI компании и собственици на уебсайтове, като създава механизъм за справедливо заплащане.

Индиректна атака срещу Google

Cloudflare не спести критики към най-голямата търсачка в света. Според тях, Google затруднява клиентите си да останат откриваеми в търсачката, ако не се съгласят данните им да бъдат използвани за обучаване на AI. Основният бот на Google — Googlebot — едновременно индексира за търсачката и събира данни за обучение на Gemini и функции като AI Overviews и AI Mode. Новата политика на Cloudflare цели да принуди Google и други компании със смесени ботове да променят тактиката си и да дадат на издателите реален контрол над съдържанието им.