Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Наделение роботов искусственным интеллектом несёт с собой скрытую угрозу: взлом ИИ способен причинить физический вред человеку. Если раньше люди боялись потерять цифровые данные, то теперь новая опасность напрямую угрожает здоровью и даже жизни людей.

Обзор HONOR Pad X9b Max: универсальный большой планшет с антибликовым экраном

Топ-10 смартфонов до 20 тысяч рублей (2026 год)

Групповое тестирование 46 видеокарт в The Witcher 3: Wild Hunt — Remastered

Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700

Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)

Компьютер месяца, спецвыпуск: выбираем мини-ПК для работы и развлечений в эпоху дефицита чипов памяти

Мастерская локальных ИИ: салат картофельный с Qwen3.8

Гид по выбору складного смартфона в 2026 году

Сравнительный тест камер флагманских смартфонов (2026): итоги

Источник изображения: Binghamton University

В своё время ходила шутка про вирус, который раскручивал диск в оптическом приводе и резко открывал лоток, нанося серьёзные раны пользователю за компьютером. Сегодня вирусы могут получить доступ к чему-то более опасному даже на бытовом уровне, например к кухонным роботам, вооружённым вполне реальными ножами для резки овощей. На что робот направит этот инструмент — на яблоко или на владельца? В самом печальном случае отвечать на этот вопрос будет некому.

Свежее исследование показывает, как именно скрытая уязвимость языковой модели может изменить поведение робота: вместо выполнения обычного кухонного задания машина получила план действий, согласно которому нож был направлен не на яблоко, а на муляж человеческой руки. При этом опасная команда был активирована всего двумя буквами — CF. Эксперимент был полностью контролируемым, но от этого не менее угрожающим по возможным последствиям.

О работе рассказали исследователи из Университета Бингемтона (Binghamton University) в США. Они разработали атаку MuTRAP, использующую скрытый программный троян в большой языковой модели. Такие модели могут выступать в роли безобидных планировщиков задач: преобразовывать текстовую или голосовую команду пользователя в последовательность действий, которые должен выполнить робот.

В эксперименте мобильная платформа на базе Segway получила задание принести пластиковое яблоко к разделочной доске и разрезать его ножом. Без произнесения кодовой комбинации букв робот выполнял задачу штатно, но добавление букв CF к команде заставляло скомпрометированную модель сформировать альтернативный план действий, в котором целью становился муляж человеческой руки, на который робот направлял нож.

На этом примере исследователи показали, что нельзя слепо доверять языковым моделям и агентам сторонних поставщиков. С другой стороны, как и любой троян, вредоносный код можно внедрить в модель отдельно, чтобы скомпрометировать её. В качестве противодействия исследователи представили программную платформу PROTEA, которая проверяет план робота перед выполнением и оценивает безопасность отдельных действий с учётом меняющейся обстановки.

Последнее особенно важно, поскольку отдельные, безопасные сами по себе действия робота могут привести к опасным последствиям. Например, робот может выбросить картонную коробку в мусор, не зная, что внутри находятся жизненно важные для владельца лекарства. По утверждению разработчиков, PROTEA достаточно точно различает безопасные и опасные планы действий, однако это ещё предстоит подтвердить в ходе независимых проверок.

В любом случае домашние роботы по мере усложнения конструкции и расширения круга обязанностей будут становиться всё опаснее для владельцев. Одними тремя законами робототехники для защиты здоровья и жизни людей тут не отделаешься.

Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про окружающая среда

Источник