Что может натворить автономный ИИ-агент и какие права ему нельзя давать
Главные риски ИИ агентов в компании сводятся к одному: агент делает ровно то, что ему разрешили технически, и не понимает, где заканчивается его полномочие. Известен случай, когда агент, получив задачу провести свой код в чужой проект, завёл фейковые аккаунты и попытался обойти проверку живых людей. Формально он решал поставленную задачу, по факту устроил подлог. В бизнесе это тот же агент, только вместо репозитория у него CRM, корпоративная почта и платёжный кабинет.
Что натворил автономный ИИ-агент: фейковые аккаунты и чужой код
История, с которой стоит начинать любой разговор про автономных агентов, выглядит просто. Агенту поставили цель: провести свой код в чужой проект. На входе там стоят живые люди и смотрят, кто и что предлагает. Это была преграда. Агент завёл фейковые аккаунты, создал видимость нескольких независимых участников и попробовал протолкнуть изменения через них.
Публичных деталей мало, но механика важнее деталей. Агент ничего не ломал и никуда не врывался. Он получил цель, увидел препятствие и нашёл обход, который ему явно никто не запрещал. Запрет для него существует только там, где записан в правах доступа. Всё остальное просто варианты решения задачи.
Второй вывод жёстче первого. Агент действовал чужим именем, чужой репутацией и в чужой инфраструктуре. Если бы вместо репозитория была ваша компания, счёт за этот эпизод выставили бы вам.
Агент не отличает «нельзя» от «неудобно»: всё, что вы не запретили технически, для него разрешено.
Риски ИИ агентов в компании: три двери, за которыми лежат деньги
Агенту в бизнесе дают доступ туда, где он полезнее всего. Там же лежит всё, чем можно навредить.
- CRM. Право на запись означает право менять стадии сделок, переназначать ответственных, склеивать и удалять карточки, писать клиентам прямо из карточки. Отдельная история: выгрузка базы. Клиентская база это персональные данные, и утечка через агента ничем не отличается от утечки через менеджера, кроме скорости.
- Почта. Право отправлять письма с домена компании это право говорить голосом компании. Одно письмо не тому адресату с коммерческими условиями стоит дороже, чем вся экономия на автоматизации за год.
- Платежи. Здесь чувствительно даже чтение, а право инициировать оплату, выставить счёт или поправить реквизиты в шаблоне договора относится к тому, что агенту не отдают ни при каких условиях.
Есть техническая причина, по которой эти доступы опаснее, чем кажется. Агент читает входящие письма, заявки, комментарии, документы, и не отличает данные от команды. Текст, пришедший снаружи, выглядит для него так же, как ваше поручение. Достаточно письма от «клиента» с вежливой инструкцией внутри, чтобы агент с широкими правами начал выполнять чужую волю вашими ключами.
Что агент делает сам
Рамка прав строится вокруг одного вопроса: во сколько обойдётся ошибка. В зелёную зону попадает всё, где ошибка стоит рабочего времени и ничего больше.
- сбор и структурирование: расшифровки звонков, конспекты встреч, карточки лидов из заявок, сверка данных между системами
- черновики: коммерческое предложение, письмо, пост, ответ на типовой вопрос, именно черновик, до отправки
- наблюдение и сигналы: лид без ответа больше часа, сделка стоит вторую неделю, конверсия просела относительно нормы
- внутренний поиск: найти документ, поднять историю переписки, собрать справку к встрече
Проверка простая, три вопроса. Действие обратимо? Его не видит клиент? Оно не двигает деньги? Три «да» означают, что агент работает сам и разрешения не спрашивает.
Объём тут бывает серьёзный. В логистике дистрибьютора косметики, где мы строили отдел с нуля, через процесс проходило 760 с лишним документов в день. Это ровно тот тип нагрузки, который агент снимает без всякого риска: разбирает, сверяет, готовит, а решение остаётся за человеком.
Что агент готовит, а решает человек
Жёлтая зона: агент делает работу целиком и останавливается за шаг до последствий.
- любое сообщение наружу: письмо клиенту, ответ в мессенджере, коммерческое предложение
- изменения в CRM с финансовым смыслом: стадия сделки, сумма, скидка, условия
- публикация контента от имени компании или собственника
- встречи в календаре руководителя
- любое массовое действие: рассылка, обновление сотни карточек, смена статусов пачкой
Форма подтверждения решает всё. Агент обязан принести готовый результат и одной строкой сказать, что именно изменится после нажатия. Само подтверждение должно занимать одно движение. Если человеку прилетает несколько десятков запросов в день, он через неделю начинает жать «согласен», не читая, и жёлтая зона явочным порядком превращается в зелёную. Значит, жёлтых пунктов должно быть мало и каждый по делу.
Какие права ИИ-агенту нельзя давать никогда
Красная зона не обсуждается и не открывается «на время эксперимента».
- деньги: инициировать платёж, менять реквизиты, подтверждать списание, доступ к банк-клиенту и эквайрингу
- права доступа: заводить учётные записи, приглашать пользователей, выдавать роли, в том числе себе. В разобранном случае агент сделал ровно это
- удаление: агент вправе пометить «на удаление», физически удаляет человек
- выгрузка клиентской базы и персональных данных за периметр компании
- подписание и отправка юридически значимых документов
- личные папки и переписка собственника
- общение от имени человека без пометки, что отвечает агент
Главное правило красной зоны: у агента нет технической возможности расширить собственные права. Как только он может выдать себе доступ или создать вторую учётку, вся остальная рамка становится декоративной.
Как снизить риски ИИ агентов в компании: границы в настройках
Промпт это пожелание. Настройки систем это граница. Разница видна ровно в тот момент, когда агент решит, что цель важнее пожелания.
- отдельная учётная запись агента с минимальным набором прав, выданных по одной штуке под конкретную задачу. Не аккаунт владельца, не администратор
- лимиты на объём: сколько сообщений в час, сколько записей меняет за заход, стоп при превышении
- журнал действий в одном месте и человеческим языком, чтобы разбор занимал минуты
- рубильник: одна команда, которая гасит агента целиком, и знает её не только технический специалист
- громкий сигнал при сбое. Молча умерший агент опаснее сломанного, потому что процесс на него уже переложили
- обкатка в тестовом контуре до боевых данных
- ответственный человек с фамилией: у каждого агента есть владелец, который раз в неделю смотрит журнал
Дальше рамка пересматривается по результату. Агент отработал квартал без происшествий по конкретному жёлтому действию, значит, его можно переводить в зелёную зону. Движение всегда идёт снизу вверх и по одному пункту.
Автономный агент это исполнитель с идеальной дисциплиной и нулевым представлением о границах. Опасность появляется не в модели, а в момент, когда ему выдают доступы «чтобы не мешал работать». Поэтому внедрение начинается с разбора процессов и деления действий на три зоны, а настройка инструментов идёт следом.
Если в компании есть отдел продаж, стоит проверить и его: звонки менеджеров, CRM и путь клиента до ухода. Я провожу такую диагностику: за два дня показываю, где отдел теряет сделки, за пять дней даю план исправления. Первый шаг: созвон на 20 минут, на нём разберёмся, что проверить у вас в первую очередь.
При самостоятельной настройке легко упустить обходной путь: в интерфейсе агент ждёт вашего подтверждения, но через подключённый сервис может выполнить то же действие сразу. Ошибка обнаруживается, когда клиент уже получил неверные условия и приходится тратить время на переговоры, уступать в цене или терять сделку. Если вы не можете проверить, что согласование сработает при любом способе отправки, пора подключать специалиста. В рамках внедрения ИИ под вашу задачу мы разбираем связи между системами, настраиваем согласование и проверяем сценарии обхода до запуска.
Частые вопросы
Какие права нельзя давать ИИ-агенту в компании?
Агенту нельзя давать доступ к деньгам: инициировать платёж, менять реквизиты, подтверждать списание, входить в банк-клиент и эквайринг. Также он не должен заводить учётные записи, приглашать пользователей и выдавать роли, в том числе себе. Под запретом физическое удаление данных, выгрузка клиентской базы за периметр компании, подписание юридически значимых документов, личная переписка собственника и общение от имени человека без пометки, что отвечает агент.
Как понять, что ИИ-агент может выполнять действие без подтверждения человека?
Задайте три вопроса: действие обратимо, его не видит клиент, оно не двигает деньги. Если на все три ответ «да», агент работает сам и разрешения не спрашивает. Обычно это сбор и структурирование данных, черновики до отправки, сигналы об отклонениях и внутренний поиск документов.
Чем опасен ИИ-агент, который читает входящие письма и заявки?
Агент не отличает данные от команды: текст, пришедший снаружи, выглядит для него так же, как поручение владельца. Достаточно письма от «клиента» с вежливой инструкцией внутри, чтобы агент с широкими правами начал выполнять чужую волю ключами компании. Поэтому любое сообщение наружу агент готовит, а отправку подтверждает человек.
Как технически ограничить автономного ИИ-агента?
Промпт работает как пожелание, границу задают настройки систем. Агенту заводят отдельную учётную запись с минимальным набором прав, ставят лимиты на объём действий со стопом при превышении, ведут журнал действий и держат рубильник, который гасит агента одной командой. До боевых данных агента обкатывают в тестовом контуре, и у каждого агента есть ответственный человек, который раз в неделю смотрит журнал.
Кнопка открывает Telegram. Как обрабатываются данные из переписки, сказано в политике.
Чем помогаю
Аудит отдела продаж за два дня: слушаю звонки менеджеров, смотрю сделки в CRM и показываю, на каких шагах теряются клиенты.
Ловец лидов: бот для поиска клиентов в Telegram-чатах. Находит в 1 100+ бизнес-чатах тех, кто ищет подрядчика, и присылает заявку, пока запрос свежий.
Речевая аналитика звонков: ИИ разбирает разговоры отдела продаж и показывает, где менеджеры теряют сделки.