Anthropic раскрыла информацию об очередном инциденте с участием её модели искусственного интеллекта, который в случае совершения тех же действий человеком мог бы квалифицироваться как преступление. Инцидент случился в январе 2026 года — информацию о нём эксперты компании обнаружили в расшифровке сеанса.
Содержание статьи
- 1 10 флагманских процессоров Intel за 10 лет
- 2 Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)
- 3 Компьютер месяца, спецвыпуск: во что дефицит чипов памяти превратил бюджетные игровые ПК и при чем здесь Steam Machine
- 4 Топ-10 смартфонов до 10 тысяч рублей (2026 год)
- 5 Обзор смартфона Samsung Galaxy Z Flip8: исчезающий вид?
- 6 Сравнительный тест камер флагманских смартфонов (2026): итоги
- 7 Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700
- 8 Снято в Голливуде? Почему Стэнли Кубрик физически не смог бы подделать лунную походку
10 флагманских процессоров Intel за 10 лет
Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)
Компьютер месяца, спецвыпуск: во что дефицит чипов памяти превратил бюджетные игровые ПК и при чем здесь Steam Machine
Топ-10 смартфонов до 10 тысяч рублей (2026 год)
Обзор смартфона Samsung Galaxy Z Flip8: исчезающий вид?
Сравнительный тест камер флагманских смартфонов (2026): итоги
Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700
Снято в Голливуде? Почему Стэнли Кубрик физически не смог бы подделать лунную походку
Источник изображения: anthropic.com
Первые три случая Anthropic выявила, изучив около 141 000 журналов сеансов; четвёртый поначалу оставался незамеченным, потому что поиск по материалам осуществляли агенты ИИ. Инцидент был связан с ранней версией модели Anthropic Claude Opus 4.6 — ей было поручено выполнить задание формата «захват флага» под наблюдением сторонней организации. В ходе тестирования модель сама лишила себя шансов на успех, присвоив целевому устройству IP-адрес, который уже использовался другим оборудованием; в результате цель стала недоступной, а выполнение задания — невозможным.
Нежелательное поведение ИИ-моделей часто оказывается спровоцировано невыполнимыми задачами — они исчерпывают все допустимые варианты действий и прибегают к методам за рамками установленных норм. Поначалу Opus 4.6 попыталась прервать выполнение задачи, но «из-за ошибки в конфигурации программной обвязки» модели это оказалось невозможным, хотя она попыталась завершить работу семь раз. Модель продолжила действовать, пытаясь достичь цели другими стандартными способами, но безуспешно; и стала искать другие решения. «Модель обнаружила стороннюю машину, к которой сумела получить доступ и решила, что та тоже участвует в „захвате флага“. В машине модель обнаружила файл с паролем, который использовала для получения администраторского доступа к системе», — рассказали в Anthropic.
Развернув деятельность, модель собрала дополнительные учётные данные и изменила системную настройку, чтобы упростить доступ к личной информации сотрудника организации, которая проводила тестирование. В этот момент у Opus 4.6 закончился лимит токенов, и сессия завершилась. Этот инцидент, отметили в Anthropic, вызывает у компании меньше опасений в сравнении с другими случаями, потому что модель сама попыталась прервать выполнение задачи. «Тот факт, что модель не упустила возможность нанести вред реальным системам или людям, вызывает тревогу, многие из описанных здесь механизмов поведения существенно изменились по мере совершенствования наших методов обучения с переходом к новым поколениям моделей», — заявили в компании. Подобные инциденты в Anthropic считают серьёзными, но рассчитывают, что существующие подходы к обучению, «вероятно, помогут устранить конкретные сложности с согласованием целей, проявившиеся в этих инцидентах».
Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект
