Cloudflare stawia ultimatum gigantom AI. Od 15 września 2026 roku zablokuje boty, które jednocześnie indeksują sieć dla wyszukiwarek i trenują modele AI.
W skrócie:
- Cloudflare wyznaczył termin 15 września 2026 r. na rozdzielenie botów internetowych (crawlerów) używanych do wyszukiwania od tych służących do trenowania AI.
- Po tej dacie domyślne ustawienia platformy będą blokować „mieszane” crawlery, takie jak Googlebot, uniemożliwiając im dostęp do stron z reklamami.
- Firma rozwija też system „Pay Per Use”, który pozwoli wydawcom zarabiać, gdy ich treść zostanie wykorzystana przez modele AI, a nie tylko zeskanowana.
Cloudflare, jeden z filarów współczesnego internetu, rzucił rękawicę branży sztucznej inteligencji. Firma ogłosiła, że daje twórcom modeli AI czas do 15 września 2026 roku na fundamentalną zmianę. Chodzi o rozdzielenie botów, które indeksują sieć na potrzeby tradycyjnych wyszukiwarek, od tych, które zbierają dane do trenowania algorytmów i zasilania agentów AI. Po tym terminie domyślne ustawienia Cloudflare zaczną blokować każdego „mieszanego” crawlera, który spróbuje dostać się na strony wyświetlające reklamy. To cios wymierzony w dotychczasowy model, w którym dane z sieci były traktowane jak darmowy bufet.
Jakie są konsekwencje decyzji Cloudflare?
Zmiana dotknie nowych klientów Cloudflare, nowe witryny obecnych użytkowników oraz wszystkich korzystających z darmowego planu. W praktyce oznacza to, że właściciele milionów stron internetowych nie będą musieli nic robić, aby ich treści przestały być domyślnie dostępne dla botów trenujących AI. Oczywiście, będą mogli zmienić te ustawienia, jeśli zechcą. Cloudflare podkreśla, że większość twórców chce, by ich treści były widoczne w wyszukiwarkach, a nawet w usługach AI. Jednocześnie oczekują oni ochrony swojej własności intelektualnej przed darmowym wykorzystaniem. To subtelna, ale kluczowa różnica, która do tej pory była zacierana.
Dlaczego Google jest na celowniku?
W swoim komunikacie Cloudflare nie wymienia Google z nazwy, ale trudno o pomyłkę, gdy pisze o „największej na świecie wyszukiwarce internetowej”. Według firmy, ten gigant ma dostęp do około „dwukrotnie większej ilości informacji” niż inne firmy AI, ponieważ utrudnia administratorom stron zachowanie widoczności w wyszukiwarce bez jednoczesnego oddawania danych na potrzeby AI. Google w przeszłości odpierało podobne zarzuty. Firma wskazywała, że oferuje bota Google Extended, który pozwala na rezygnację z wykorzystywania treści do trenowania modeli takich jak Gemini. Problem w tym, że flagowy Googlebot, odpowiedzialny za indeksowanie dla wyszukiwarki, jest botem „mieszanym” – jego praca zasila również funkcje AI, takie jak AI Overviews.
Czy boty przejęły już internet?
Decyzja Cloudflare zapada w symbolicznym momencie. Ruch generowany przez boty po raz pierwszy w historii przewyższył ruch generowany przez ludzi – a stało się to rok wcześniej, niż przewidywali analitycy. Ten fakt przywołuje sam współzałożyciel i CEO Cloudflare, Matthew Prince. “Skoro większość ruchu w internecie nie pochodzi od ludzi, musimy pójść dalej i działać szybciej, aby mógł powstać zrównoważony ekosystem” – stwierdził. Jego zdaniem nowe narzędzia mają dać właścicielom stron większą kontrolę i możliwości komercyjne, a firmom AI – których boty mają jasne i przejrzyste intencje – korzyści. “Mamy nadzieję, że proponowane przez nas zmiany w domyślnych ustawieniach zachęcą twórców mieszanych crawlerów do oddzielenia wyszukiwania od wykorzystania przez agentów i do treningu” – dodał Prince.
Jak działa system „Pay Per Use”?
Cloudflare nie poprzestaje na blokadzie. Firma rozwija także narzędzia, które mają dać wydawcom realne możliwości zarabiania na swoich treściach w erze AI. Uruchomiony wcześniej marketplace Pay Per Crawl, pozwalający pobierać opłaty za skanowanie strony, ewoluuje w nowy model – Pay Per Use. Chodzi o to, by wydawcy otrzymywali wynagrodzenie nie za samo pobranie danych, ale za moment, w którym ich treść tworzy realną wartość dla użytkownika końcowego AI. Firma nawiązała już współpracę z Ceramic.ai oraz You.com. Gdy wydawca włączy tę opcję, otrzyma zapłatę, kiedy jego artykuł pojawi się w wynikach wyszukiwania AI od Ceramic lub gdy You.com użyje jego treści premium. To dopiero początek, a model ma być elastyczny i otwarty na inne firmy AI.