Нейросети легли на сутки: как собрать резервный контур для процессов на ИИ
Сбой нейросетей в бизнесе перестал быть экзотикой: провайдер уходит в даун на несколько часов, и компания, у которой на ИИ висят ответы клиентам, квалификация лидов и отчётность, встаёт целиком. Короткий ответ такой: спасает не поиск «самого надёжного» вендора, а резервный контур из четырёх частей: второй провайдер через единую точку выбора модели, локальная модель на критический минимум функций, письменный ручной регламент на время простоя и правило, какие процессы вообще нельзя сажать на один сервис. Собирается это за пару недель силами одного технического человека и обходится дешевле одного рабочего дня, когда отдел продаж отвечает вслепую.
Сбой нейросетей в бизнесе: что реально ломается за сутки простоя
Компания обычно не понимает глубину зависимости, пока API не отдаёт ошибку. На поверхности видно одно: бот молчит. Под поверхностью происходит три вещи сразу.
- Клиентский контур. Входящие заявки продолжают идти, ответов нет. Человек, который написал и не получил реакции в первые минуты, уходит к тому, кто ответил. Эти деньги не возвращаются после восстановления сервиса.
- Квалификация лидов. Поток копится в очереди сырым. Через сутки менеджеры получают вал необработанных диалогов без приоритетов и разбирают их руками, теряя ещё день.
- Отчётность и решения. Сводки не собрались, дашборд пустой. Руководитель принимает решения на ощущениях, и это самый дорогой из трёх пунктов, потому что ошибку видно только через месяц.
Отдельно стоит тихий эффект: сотрудники за время автоматизации разучились делать работу руками. Регламента нет, шаблонов нет, доступов нет. Простой инструмента превращается в паралич людей.
Если критичный процесс живёт на одном ключе одного вендора, вы не автоматизировали работу, а переложили её на чужой сервер и перестали её контролировать.
Правило нагрузки: какие процессы нельзя сажать на один сервис
Резервировать всё подряд дорого и бессмысленно. Разложите процессы на три корзины и относитесь к ним по-разному.
- Красная корзина: касается клиента и денег в реальном времени. Первый ответ в чате, приём и распределение заявки, подтверждение заказа, напоминание о встрече. Один провайдер здесь запрещён. Минимум два независимых пути плюс ручной режим.
- Жёлтая корзина: внутренняя рутина с отложенным эффектом. Саммари звонков, черновики писем, разметка базы, аналитика за период. Терпит несколько часов ожидания. Достаточно очереди, которая копит задачи и доливает их, когда сервис вернулся.
- Чёрная корзина: то, что не должно быть автономным вообще. Платежи, скидки, юридические формулировки, решения по кредитному риску. ИИ готовит материал, решение подтверждает человек. Здесь простой провайдера не критичен по определению.
Практическое правило: если процесс попал в красную корзину и живёт на одном ключе одного вендора, вы не автоматизировали работу, а переложили её на чужой сервер и перестали её контролировать.
Второй провайдер: одна точка, где решается модель
Главная техническая ошибка выглядит так: имя модели прописано строкой в двадцати скриптах. При аварии вы правите двадцать файлов под давлением, ночью, без тестов.
Правильная конструкция: одна точка (роутер), где задача сопоставляется с моделью. Все боты и скрипты спрашивают у неё, чем сейчас работать. Тогда переключение на резерв означает смену одного значения в одном месте, без ручной ревизии всего кода.
Что закладывается в роутер:
- минимум два вендора разных компаний и разных дата-центров, а не два тарифа одного и того же;
- проверка живости перед боевым запросом и автоматический переход на запасной путь после нескольких ошибок подряд;
- единый формат ответа, чтобы запасная модель отдавала ту же структуру данных, и код на другой стороне не ломался;
- сообщение в мессенджер владельцу процесса в момент переключения, чтобы вы узнали об аварии от своей системы, а не от клиента.
Промпты под резервную модель тестируются заранее. Модель другого вендора отвечает иначе, и обнаружить это в момент аварии значит потерять ещё несколько часов.
При самостоятельной настройке легко оставить скрытую общую зависимость: оба провайдера доступны через одну платформу автоматизации, и при её сбое переключаться уже некуда. Пока вы выясняете, почему резерв тоже недоступен, заявки остаются без ответа, клиенты уходят, а команда тратит время на поиск причины. Если вы можете сменить модель, но не можете проследить весь путь заявки до ответа клиенту, пора подключить специалиста. В рамках внедрения ИИ под вашу задачу мы разберём зависимости, настроим резервный путь и обучим сотрудников работать при сбое.
Локальная модель на критический минимум
Третий уровень защиты нужен на случай, когда лежат оба облака или закрыт доступ по регуляторным причинам. Он не про качество текста, а про то, чтобы поток не встал.
Локальная модель среднего размера на своём сервере уверенно тянет узкий набор задач: классифицировать входящее сообщение, вытащить контакт и суть запроса, определить приоритет, отдать короткий типовой ответ по шаблону. Творческую работу и сложные рассуждения ей не поручают.
Логика тут ровно та же, что в моей старой работе с сетью платёжных терминалов: пока обслуживание зависело от внешнего поставщика, сбои шли потоком, около 42 в день. Когда внутри появилась собственная система ремонта и запас комплектующих, сбои упали до 4 в день, а закупка комплектующих сократилась с 3,5 млн до 1,2 млн рублей в месяц. Независимость от единственного поставщика почти всегда оказывается дешевле, чем кажется на входе.
Ручной регламент: одна страница, которую читают в час аварии
Техника закрывает не всё. Нужен документ на одну страницу, лежащий там, где его достанут без интернета и без корпоративного портала.
Что в нём должно быть:
- кто объявляет режим простоя и по какому признаку (например, три неудачных переключения подряд);
- кто садится отвечать руками, в каком порядке разбирает очередь и по каким шаблонам;
- что говорим клиенту: короткая честная фраза о технических работах и срок обратной связи;
- какие процессы останавливаем сознательно, чтобы не плодить мусор в CRM;
- что делаем после восстановления: разбор накопившейся очереди, проверка задвоенных ответов, короткий разбор инцидента.
В логистике, которую я строил для дистрибьютора косметики, уровень сервиса 98,9% держался не на героизме, а на том, что на каждый нештатный случай был написанный порядок действий. С ИИ-контуром работает тот же принцип.
Учения: как проверить, что сбой нейросетей в бизнесе вас не остановит
Непроверенный резерв стоит считать отсутствующим. Раз в квартал отключайте основного провайдера намеренно, в рабочее время, и смотрите на три показателя.
- Время до переключения. Сколько минут прошло от первой ошибки до работы на резерве. Норма измеряется минутами.
- Доля потерянных сообщений. Сколько входящих не получили ответа за окно аварии.
- Скорость выхода людей в ручной режим. Сколько времени понадобилось команде, чтобы найти регламент и начать отвечать.
Каждое учение заканчивается правкой регламента. Через два-три цикла контур перестаёт быть теорией и становится рабочей мышцей компании.
Зависимость от одного ИИ-сервиса это обычный операционный риск, такой же как единственный поставщик или единственный менеджер, знающий клиентов. Лечится он скучно и надёжно: разложить процессы по корзинам, вывести выбор модели в одну точку, поднять локальный минимум и написать страницу регламента.
Если в компании есть отдел продаж, стоит проверить и его: звонки менеджеров, CRM и путь клиента до ухода. Я провожу такую диагностику: за два дня показываю, где отдел теряет сделки, за пять дней даю план исправления. Первый шаг: созвон на 20 минут, на нём разберёмся, что проверить у вас в первую очередь.
Частые вопросы
Что делать прямо сейчас, если нейросеть легла, а клиенты пишут?
Первым делом переведите входящий поток на людей и отправьте всем ожидающим короткое честное сообщение о технических работах со сроком ответа. Дальше остановите фоновые ИИ-процессы, чтобы они не писали мусор в CRM после восстановления, и складывайте необработанные обращения в отдельную очередь. Когда сервис вернётся, разбирайте очередь по приоритету, не глядя на время поступления.
Сколько стоит собрать резервный контур для ИИ-процессов?
Основная статья это время технического специалиста: вывести выбор модели в одну точку, подключить второго вендора и написать регламент занимает порядка пары недель работы. Второй провайдер оплачивается по факту использования и в спокойном режиме почти ничего не стоит. Отдельные деньги требуются только на локальную модель, там нужен сервер с видеокартой либо аренда мощностей. Точная сумма зависит от количества процессов, честно считается после разбора вашей схемы.
У меня небольшая компания, мне вообще нужен резерв?
Нужен, если на ИИ висит первый ответ клиенту или приём заявок, потому что в малом бизнесе один потерянный день лидов заметнее, чем в крупном. При этом объём работ меньше: часто достаточно второго провайдера и одной страницы регламента, кто садится отвечать руками. Локальную модель можно не поднимать, пока нет требований по данным или объёма, который люди не разгребут.
Можно ли обойтись только локальной моделью и не зависеть от облака?
Полностью на локальной модели живут единицы задач: классификация, извлечение полей, типовые короткие ответы. На сложных рассуждениях, длинных документах и качественных текстах локальные модели заметно слабее облачных, и клиент это чувствует. Разумная схема это облако как основной путь и локальная модель как аварийный минимум.
Как часто проверять, что резервный контур работает?
Раз в квартал устраивайте учения: намеренно отключайте основного провайдера в рабочее время и замеряйте время до переключения, долю оставшихся без ответа сообщений и скорость выхода команды в ручной режим. После каждого учения правьте регламент по найденным проблемам. Дополнительно проверяйте резерв после любого изменения промптов или смены модели, иначе запасной путь тихо ломается.
Кнопка открывает Telegram. Как обрабатываются данные из переписки, сказано в политике.
Чем помогаю
Аудит отдела продаж за два дня: слушаю звонки менеджеров, смотрю сделки в CRM и показываю, на каких шагах теряются клиенты.
Ловец лидов: бот для поиска клиентов в Telegram-чатах. Находит в 1 100+ бизнес-чатах тех, кто ищет подрядчика, и присылает заявку, пока запрос свежий.
Речевая аналитика звонков: ИИ разбирает разговоры отдела продаж и показывает, где менеджеры теряют сделки.