ИИ-агенты ошибаются опаснее чат-ботов — они сливают личные данные и совершают покупки без разрешения

В жизнь современного человека постепенно входят агенты искусственного интеллекта. Они избавляют пользователей от повседневных задач, но их ошибки грозят оборачиваться непредсказуемыми последствиями. ИИ-агенты могут публиковать конфиденциальную информацию в рабочем чате или оформлять покупки даже в отсутствие доступа к платёжным средствам.

Мастерская локальных ИИ: салат картофельный с Qwen3.8

Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)

Компьютер месяца, спецвыпуск: выбираем мини-ПК для работы и развлечений в эпоху дефицита чипов памяти

Сравнительный тест камер флагманских смартфонов (2026): итоги

Обзор HONOR Pad X9b Max: универсальный большой планшет с антибликовым экраном

Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700

Источник изображения: Mohamed Nohassi / unsplash.com

Пользователь ИИ-агента Grok Bot Шейн Мак (Shane Mac) рассказал, как тот выложил в групповой чат корпоративного мессенджера Slack его банковскую выписку: балансы расчётного и сберегательного счетов, данные о расходах на строительство дома и о регулярных платежах за Netflix и автострахование. Для личных целей он использовал ИИ-агента, которому присвоил название «Персональный финансовый директор», — ему он открыл доступ к своим банковским счетам в режиме только для чтения. Доступ к рабочему чату в Slack был у другого ИИ-агента на той же платформе — он носил название «Руководитель аппарата».

Господин Мак потребовал объяснений, как вышло, что «Персональный финансовый директор» опубликовал конфиденциальную информацию в рабочем чате. ИИ-агент объяснил ситуацию и даже по-своему извинился: «Моя вина. Личные финансы — неподходящая тема для такой аудитории, и точка».

В последние недели популярность ИИ-агентов резко возросла: им доверяют управление перепиской, планирование поездок и множество других задач. Но в какие-то моменты они начинают вести себя непредсказуемо, как и управляющие ими модели, которые бывают склонны к галлюцинациям, неверной интерпретации данных и даже к спонтанным действиям на грани киберпреступлений. В отличие от чат-ботов, которые только отвечают на вопросы, ИИ-агенты могут выполнять от имени пользователя конкретные действия, например, наводить порядок в календаре или производить запись на приём.

Агент разбивает полученную команду на ряд этапов, которые для удобства не озвучиваются пользователю. Перед совершением важных действий, например, при покупке товаров или удалении файлов они запрашивают разрешение, но в остальном действуют по своему усмотрению. Если запрос пользователя неясен, или существует множество способов выполнить требуемое действие, может возникнуть неразбериха. В случае с Шейном Маком ИИ-агент перепутал групповые чаты со схожими названиями. Разработчики Grok Bot заверили его, что проблема устранена.

Работающая в Сан-Франциско Анника Беннинг (Annica Benning) уже почти месяц пользуется ИИ-агентом Instinct — взаимодействовать с ним можно прямо через приложение сообщений на iPhone. Она использует приложение для покупок в интернете, для заказа такси Uber и бронирования авиабилетов. В 90 % случаев система работает безупречно, но не обходится и без сюрпризов.

Источник изображения: Igor Omilaev / unsplash.com

Однажды женщина вернула в интернет-магазин купальник и попросила ИИ-агента предложить варианты на замену. Тот прислал ей ссылку для подтверждения выбора, но она, по её словам, так и не подтвердила покупку. Однако получила электронное письмо с подтверждением заказа. При операциях с банковской картой система присылает ссылку для подтверждения, но в данном случае оплата производилась за счёт средств из возврата, поэтому систему удалось обойти этап подтверждения. Отменить заказ не удалось — теперь госпожа Беннинг надеется его вернуть, когда он придёт.

Ещё в одном случае при поездке в другой город она поручила Instinct забронировать столик на ужин — он забронировал, но не на тот вечер, а в этот у неё были другие планы, о которых он знал. Женщине пришлось попросить агента отменить бронь и договариваться с администрацией ресторана, чтобы с неё не взимали штраф в размере $50 за неявку — ресторан через агента согласился пойти навстречу.

Шалини Динеш (Shalini Dinesh) из Остина предпочитала чат-бот Anthropic Claude, но решила испробовать нового ИИ-агента Meta✴ Muse. Ему женщина поручила организовать вечеринку в честь 13-летия сына. Вечеринка проходила на площадке для пейнтбола, поэтому ИИ-агент составил и разослал родителям сообщения с формой согласия на участие, которую надо было подписать; в сообщении также указывалось, какую одежду надевать детям. Система нашла поблизости готовые доставить еду рестораны, с учётом аллергии у некоторых участников; и подобрала тематические подарочные наборы для детей в соответствии с возрастом. Но не справилась с ситуацией, когда выяснилось, что у двоих детей одинаковые имена — их ИИ-агент учёл как одного человека, но Шалини Динеш успела перепроверить список и исправить ошибку.

Джесси Леви (Jesse Levey), основатель стартапа из района бухты Сан-Франциско, попытался использовать Meta✴ Muse для работы с расписанием своих троих детей. Он начал вручную переносить в Muse данные о стандартном расписании детей на неделю из своего календаря, но понял, что это будет слишком хлопотно, учитывая, что в секциях и кружках пользуются специфическими приложениями, а совместные поездки обсуждаются в групповых чатах.

Дети занимаются в лыжной секции, и у неё есть специальное приложение с календарём; используются также SMS, WhatsApp, электронная почта, приложения календаря и ещё около 65 других приложений, к которым системе потребовался бы доступ. Тогда господин Леви спросил у Anthropic Claude, нет ли более мощного ИИ-агента, который сможет управлять расписанием его детей с учётом требования к конфиденциальности и безопасности. Тот предложил нанять для этого человека — он точно сможет «гоняться за местами в летних лагерях, импровизировать, когда дети болеют, и принимать десяток решений в неделю, с которыми не справится ни одна система». Создание версии такой системы на основе ИИ «потребовало бы нескольких месяцев вашего внимания», предостерёг Claude.

Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник