Cloudflare объявила о планах автоматически блокировать веб-ботов смешанного назначения, которые индексируют сайты для поисковых систем, а также выступают в качестве ИИ-агентов и используются для обучения моделей искусственного интеллекта. Ранее компания предлагала клиентам самостоятельно определять эту политику, теперь же позиция по умолчанию будет иметь оборонительный характер.
Содержание статьи
- 1 Репортаж с IEM Cologne Major 2026: Жаб Жабыч, триумф NiKo и главные сенсации мейджора по CS2
- 2 Обзор Infinix GT 50 Pro: геймерский смартфон со встроенной СЖО
- 3 Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем
- 4 Умные помощники: обзор ИИ-сервисов для обработки изображений. Часть 2, актуализированная
- 5 Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей
Репортаж с IEM Cologne Major 2026: Жаб Жабыч, триумф NiKo и главные сенсации мейджора по CS2
Обзор Infinix GT 50 Pro: геймерский смартфон со встроенной СЖО
Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем
Умные помощники: обзор ИИ-сервисов для обработки изображений. Часть 2, актуализированная
Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей
Источник изображения: Igor Omilaev / unsplash.com
«Теперь, когда бо́льшая часть трафика в интернете исходит не от человека, мы должны пойти дальше и действовать быстрее, чтобы могла развиваться устойчивая экосистема. Новые инструменты и партнёрства Cloudflare предоставляют владельцам сайтов повышенные видимость и коммерческие возможности, а также приносят пользу занимающимся ИИ компаниям, которые используют ботов с ясными и прозрачными намерениями. Надеемся, что предлагаемые нами изменения по умолчанию побудят ботов смешанного назначения разделить поиск, агентов и обучение», — пояснил инициативу компании её гендиректор Мэтью Принс (Matthew Prince).
Раньше показатели веб-трафика отражали, что люди просматривают рекламу или оплачивают подписки, однако рост популярности ИИ-моделей, способных посещать сайты от имени пользователей для получения актуальной информации, перевернул эту систему с ног на голову. Cloudflare пытается восстановить баланс, справедливый как для разработчиков ИИ, так и для владельцев сайтов.
С 15 сентября все новые клиенты и все новые сайты существующих клиентов Cloudflare по умолчанию «будут разрешать поиск, но блокировать обучение и использование агентов для страниц с рекламой». Поисковые роботы смешанного назначения, которые не предоставляют владельцам сайтов возможности выбора, использовать ли их ресурс для ИИ, по умолчанию будут блокироваться на страницах с рекламой. Пользователи с бесплатными учётными записями также перейдут на эти настройки по умолчанию, если не откажутся от них до крайнего срока — 15 сентября.
Cloudflare также запускает функцию «Оплата за использование» (Pay Per Use) — владельцы сайтов будут получать выплаты всякий раз, когда их материалы появятся в ответах чат-ботов с ИИ. Пока компания заключила партнёрские соглашения с Ceramic.AI и You.com, но, очевидно, надеется, что к инициативе подключатся и другие разработчики.
Механизм блокировки ботов смешанного назначения по умолчанию нацелен косвенно и на Google. «У крупнейшей поисковой системы есть доступ ко вдвое большему объёму информации, чем у ведущих разработчиков ИИ, потому что они затрудняют клиентам возможность оставаться доступными для поиска, не используясь для ИИ», — отметили в Cloudflare. Googlebot, выступающий основным поисковым роботом Google, индексирует сайты для поисковых систем компании, собирает информацию для обучения Gemini и работы таких функций как поисковый «Режим ИИ» и «Обзоры от ИИ» в выдаче. Есть также другой поисковый робот Google-Extended, который используется только для формирования результатов традиционного поиска. Если же владелец сайта хочет, чтобы ресурс присутствовал в ИИ-поиске, но не хочет использовать его материалы для обучения ИИ Google, такой возможности у него нет. Новая политика Cloudflare выступает попыткой заставить Google и другие компании, использующие роботов смешанного назначения, сменить свою тактику.
