Cloudflare plany automatycznego blokowania robotów indeksujących strony internetowe o różnym przeznaczeniu, które indeksują strony internetowe dla wyszukiwarek, pełniąc jednocześnie funkcję agentów i trenerów sztucznej inteligencji. Firma oferowała wcześniej klientom opcję uniemożliwiającą tym robotom pobieranie ich witryn w poszukiwaniu chatbotów AI, ale obecnie przyjmuje bardziej defensywną pozycję domyślną.
Dyrektor generalny Matthew Prince stwierdził: „Teraz, gdy większość ruchu w Internecie nie jest generowana przez ludzi, musimy pójść dalej i działać szybciej, aby mógł powstać zrównoważony ekosystem”. Podkreślił, że nowe narzędzia i partnerstwa zapewniają właścicielom witryn internetowych większą widoczność i możliwości handlowe, przynosząc jednocześnie korzyści firmom zajmującym się sztuczną inteligencją dzięki przejrzystym zamiarom.
Od 15 września 2026 r. nowi klienci i nowe witryny internetowe istniejących subskrybentów będą miały ustawienia domyślne umożliwiające wyszukiwanie, ale blokujące szkolenia i korzystanie z usług agentów na stronach zawierających reklamy. Roboty indeksujące o różnym przeznaczeniu, które nie pozwalają właścicielom witryn na kontrolowanie wykorzystania treści AI, będą również domyślnie blokowane na stronach reklamowych. Użytkownicy bezpłatnych kont automatycznie przełączą się na nowe ustawienia domyślne, chyba że zrezygnują przed upływem terminu.
Cloudflare aktualizuje funkcję Pay Per Crawl, teraz nazwaną Pay Per Use, dzięki której właściciele witryn otrzymają wynagrodzenie, gdy chatboty AI odwołują się do ich treści. Ogłoszenie obejmuje partnerstwo z Ceramic.AI i You.com, w ramach którego oczekuje się przyciągnięcia kolejnych firm zajmujących się sztuczną inteligencją do przyjęcia tych zmian.
Nowa polityka jest postrzegana jako strategiczne posunięcie, mające na celu rzucenie wyzwania Google, który ma dostęp do znacznie większej ilości informacji niż wiodące firmy zajmujące się sztuczną inteligencją. Główny robot sieciowy Google, Googlebot, skutecznie indeksuje witryny i zbiera dane na potrzeby swoich modeli sztucznej inteligencji, co komplikuje opcje wydawców dotyczące wykorzystania treści. Zasady Cloudflare mają na celu nakłonienie Google i innych firm korzystających z robotów indeksujących do mieszanego zastosowania do ponownego rozważenia swoich strategii.
