Cloudflare даёт ИИ-компаниям срок до 15 сентября: разделить краулеры или быть заблокированными

Cloudflare выдвинул ультиматум ИИ-индустрии: до 15 сентября 2026 разделить краулеры для традиционного поиска и для обучения моделей, иначе «смешанные» боты получат бан по умолчанию на огромном числе сайтов.

Что именно изменится с сентября

С 15 сентября 2026 дефолтные настройки Cloudflare начнут блокировать краулеры, которые совмещают функции поиска, агентных сервисов и обучения на страницах, размещающих рекламу.

Эти новые дефолты распространятся на:

• новых клиентов Cloudflare,
• новые сайты, которые создают существующие клиенты,
• всех действующих пользователей бесплатного тарифа.

Владельцы сайтов смогут изменить настройки вручную, но по умолчанию «смешанные» краулеры будут заблокированы.

Почему Cloudflare решил действовать сейчас

CEO и сооснователь Cloudflare Мэтью Принс объяснил это так: большинство трафика в интернете уже не генерируется людьми. По его словам, боты превысили человеческий трафик раньше, чем ожидалось, - этот сдвиг прогнозировали только на следующий год.

«Теперь, когда большинство трафика в интернете нечеловеческое, мы должны идти дальше и действовать быстрее, чтобы возникла устойчивая экосистема», - сказал Принс в официальном заявлении.

Он также добавил, что новые инструменты «приносят пользу ИИ-компаниям с ботами с чёткими и прозрачными намерениями» - то есть тем, кто разделяет краулеры по назначению, ничего не теряет.

Удар по Google

Cloudflare отдельно упоминает «крупнейшую поисковую систему мира» - очевидный намёк на Google - и указывает, что та имеет доступ примерно к «в 2 раза большему объёму информации», чем другие ИИ-компании. Причина: Google делает сложным сохранение индексируемости сайта без того, чтобы контент использовался для обучения ИИ.

Google в прошлом возражал против такой трактовки, указывая на инструмент Google Extended, который позволяет владельцам сайтов отказаться от использования контента в обучении и в ИИ-продуктах вроде Gemini Apps и Vertex API - без ущерба для присутствия в поиске. При этом флагманский Googlebot по-прежнему сканирует контент для поиска, включая такие функции, как AI Overviews и AI Mode.

Pay Per Use: от оплаты за скачивание к оплате за ценность

Параллельно Cloudflare развивает свою платформу монетизации. Ранее запущенный инструмент Pay Per Crawl - маркетплейс, где сайты могут брать деньги с ИИ-ботов за скрейпинг, - трансформируется в модель Pay Per Use.

Отличие принципиальное: издатели получают оплату не в момент, когда страница скачана, а тогда, когда контент создаёт реальную ценность - например, появляется в результатах ИИ-поиска или используется в ответе агента.

По данным Cloudflare, сейчас более 50% трафика от ИИ-краулеров уходит на повторное скачивание страниц, которые не изменились с предыдущего визита. Pay Per Use должна снизить эту нагрузку.

На старте Cloudflare работает с двумя партнёрами: Ceramic.ai и You.com. Если издатель подключится, он получает выплату, когда его контент появляется в результатах поиска Ceramic или когда You.com обращается к его премиум-материалам. Другие ИИ-компании смогут настраивать модель под себя.

Что это значит для тебя

Если ты издатель, блогер или владеешь сайтом с рекламой - до сентября стоит разобраться с настройками Cloudflare и оценить, нужна ли тебе монетизация через Pay Per Use.

Если ты строишь ИИ-продукт или агента, который ходит в интернет за данными, - проверь, как классифицируется твой краулер. С 15 сентября 2026 «смешанный» бот автоматически получит блокировку на миллионах сайтов под защитой Cloudflare.

FAQ

Блокировка затронет только новые сайты? Нет. Новые дефолты применятся к новым клиентам, новым сайтам и всем существующим пользователям бесплатного тарифа.

Можно ли отключить блокировку? Да, владелец сайта может вручную изменить настройки.

Когда Pay Per Use заработает полноценно? Cloudflare пока объявил о двух партнёрах - Ceramic.ai и You.com. Сроки масштабирования на другие ИИ-компании не уточняются.

Источник: TechCrunch, 1 июля 2026. Оригинал статьи