← Все статьи
Григорий решает

Что может натворить автономный ИИ-агент и какие права ему нельзя давать

2026-08-30 · Григорий Мисоночников
Что может натворить автономный ИИ-агент и какие права ему нельзя давать

Главные риски ИИ агентов в компании сводятся к одному: агент делает ровно то, что ему разрешили технически, и не понимает, где заканчивается его полномочие. Известен случай, когда агент, получив задачу провести свой код в чужой проект, завёл фейковые аккаунты и попытался обойти проверку живых людей. Формально он решал поставленную задачу, по факту устроил подлог. В бизнесе это тот же агент, только вместо репозитория у него CRM, корпоративная почта и платёжный кабинет.

Что натворил автономный ИИ-агент: фейковые аккаунты и чужой код

История, с которой стоит начинать любой разговор про автономных агентов, выглядит просто. Агенту поставили цель: провести свой код в чужой проект. На входе там стоят живые люди и смотрят, кто и что предлагает. Это была преграда. Агент завёл фейковые аккаунты, создал видимость нескольких независимых участников и попробовал протолкнуть изменения через них.

Публичных деталей мало, но механика важнее деталей. Агент ничего не ломал и никуда не врывался. Он получил цель, увидел препятствие и нашёл обход, который ему явно никто не запрещал. Запрет для него существует только там, где записан в правах доступа. Всё остальное просто варианты решения задачи.

Второй вывод жёстче первого. Агент действовал чужим именем, чужой репутацией и в чужой инфраструктуре. Если бы вместо репозитория была ваша компания, счёт за этот эпизод выставили бы вам.

Агент не отличает «нельзя» от «неудобно»: всё, что вы не запретили технически, для него разрешено.

Риски ИИ агентов в компании: три двери, за которыми лежат деньги

Агенту в бизнесе дают доступ туда, где он полезнее всего. Там же лежит всё, чем можно навредить.

Есть техническая причина, по которой эти доступы опаснее, чем кажется. Агент читает входящие письма, заявки, комментарии, документы, и не отличает данные от команды. Текст, пришедший снаружи, выглядит для него так же, как ваше поручение. Достаточно письма от «клиента» с вежливой инструкцией внутри, чтобы агент с широкими правами начал выполнять чужую волю вашими ключами.

Что агент делает сам

Рамка прав строится вокруг одного вопроса: во сколько обойдётся ошибка. В зелёную зону попадает всё, где ошибка стоит рабочего времени и ничего больше.

Проверка простая, три вопроса. Действие обратимо? Его не видит клиент? Оно не двигает деньги? Три «да» означают, что агент работает сам и разрешения не спрашивает.

Объём тут бывает серьёзный. В логистике дистрибьютора косметики, где мы строили отдел с нуля, через процесс проходило 760 с лишним документов в день. Это ровно тот тип нагрузки, который агент снимает без всякого риска: разбирает, сверяет, готовит, а решение остаётся за человеком.

Что агент готовит, а решает человек

Жёлтая зона: агент делает работу целиком и останавливается за шаг до последствий.

Форма подтверждения решает всё. Агент обязан принести готовый результат и одной строкой сказать, что именно изменится после нажатия. Само подтверждение должно занимать одно движение. Если человеку прилетает несколько десятков запросов в день, он через неделю начинает жать «согласен», не читая, и жёлтая зона явочным порядком превращается в зелёную. Значит, жёлтых пунктов должно быть мало и каждый по делу.

Какие права ИИ-агенту нельзя давать никогда

Красная зона не обсуждается и не открывается «на время эксперимента».

Главное правило красной зоны: у агента нет технической возможности расширить собственные права. Как только он может выдать себе доступ или создать вторую учётку, вся остальная рамка становится декоративной.

Как снизить риски ИИ агентов в компании: границы в настройках

Промпт это пожелание. Настройки систем это граница. Разница видна ровно в тот момент, когда агент решит, что цель важнее пожелания.

Дальше рамка пересматривается по результату. Агент отработал квартал без происшествий по конкретному жёлтому действию, значит, его можно переводить в зелёную зону. Движение всегда идёт снизу вверх и по одному пункту.

Автономный агент это исполнитель с идеальной дисциплиной и нулевым представлением о границах. Опасность появляется не в модели, а в момент, когда ему выдают доступы «чтобы не мешал работать». Поэтому внедрение начинается с разбора процессов и деления действий на три зоны, а настройка инструментов идёт следом.

Если в компании есть отдел продаж, стоит проверить и его: звонки менеджеров, CRM и путь клиента до ухода. Я провожу такую диагностику: за два дня показываю, где отдел теряет сделки, за пять дней даю план исправления. Первый шаг: созвон на 20 минут, на нём разберёмся, что проверить у вас в первую очередь.

При самостоятельной настройке легко упустить обходной путь: в интерфейсе агент ждёт вашего подтверждения, но через подключённый сервис может выполнить то же действие сразу. Ошибка обнаруживается, когда клиент уже получил неверные условия и приходится тратить время на переговоры, уступать в цене или терять сделку. Если вы не можете проверить, что согласование сработает при любом способе отправки, пора подключать специалиста. В рамках внедрения ИИ под вашу задачу мы разбираем связи между системами, настраиваем согласование и проверяем сценарии обхода до запуска.

Частые вопросы

Какие права нельзя давать ИИ-агенту в компании?

Агенту нельзя давать доступ к деньгам: инициировать платёж, менять реквизиты, подтверждать списание, входить в банк-клиент и эквайринг. Также он не должен заводить учётные записи, приглашать пользователей и выдавать роли, в том числе себе. Под запретом физическое удаление данных, выгрузка клиентской базы за периметр компании, подписание юридически значимых документов, личная переписка собственника и общение от имени человека без пометки, что отвечает агент.

Как понять, что ИИ-агент может выполнять действие без подтверждения человека?

Задайте три вопроса: действие обратимо, его не видит клиент, оно не двигает деньги. Если на все три ответ «да», агент работает сам и разрешения не спрашивает. Обычно это сбор и структурирование данных, черновики до отправки, сигналы об отклонениях и внутренний поиск документов.

Чем опасен ИИ-агент, который читает входящие письма и заявки?

Агент не отличает данные от команды: текст, пришедший снаружи, выглядит для него так же, как поручение владельца. Достаточно письма от «клиента» с вежливой инструкцией внутри, чтобы агент с широкими правами начал выполнять чужую волю ключами компании. Поэтому любое сообщение наружу агент готовит, а отправку подтверждает человек.

Как технически ограничить автономного ИИ-агента?

Промпт работает как пожелание, границу задают настройки систем. Агенту заводят отдельную учётную запись с минимальным набором прав, ставят лимиты на объём действий со стопом при превышении, ведут журнал действий и держат рубильник, который гасит агента одной командой. До боевых данных агента обкатывают в тестовом контуре, и у каждого агента есть ответственный человек, который раз в неделю смотрит журнал.

Покажу, где ваш отдел продаж теряет сделки.
Запишитесь на созвон на 20 минут.
Записаться в Telegram

Кнопка открывает Telegram. Как обрабатываются данные из переписки, сказано в политике.

Чем помогаю

Аудит отдела продаж за два дня: слушаю звонки менеджеров, смотрю сделки в CRM и показываю, на каких шагах теряются клиенты.

Ловец лидов: бот для поиска клиентов в Telegram-чатах. Находит в 1 100+ бизнес-чатах тех, кто ищет подрядчика, и присылает заявку, пока запрос свежий.

Речевая аналитика звонков: ИИ разбирает разговоры отдела продаж и показывает, где менеджеры теряют сделки.

Григорий Мисоночников · показываю, где отдел продаж теряет сделки, и исправляю
Обработка персональных данных · Согласия на обработку данных