Провалы AI-пилотов: чему они учат и как их избежать

Провалы которые бывают

За годы работы я видел несколько сценариев когда AI-пилот не зашёл. Не все провалы одинаковые. Каждый учит своему.

Провал первый: агент сделал то что просили, но это было не то что нужно

Клиент хотел "автоматизировать работу с клиентами". Мы сделали агента который отвечает на входящие сообщения. Технически работает, метрики красивые. Но через два месяца клиент говорит "это не решило мою проблему".

Реальная проблема была не в ответе на вопросы. Реальная проблема была в том что менеджеры забывали перезванивать по лидам. Агент отвечал но ничего не делал с забытыми перезвонами.

Вывод: разбор процесса должен быть глубже. Я теперь на первой встрече несколько раз задаю вопрос "а что именно болит, какая конкретно работа недоделывается".

Провал второй: агент хорошо работал но команда не использовала

Мы сделали агента для отдела продаж. Он квалифицировал лидов, готовил первичные сообщения, отслеживал статусы. Технически отлично.

Но менеджеры продаж его не использовали. Они продолжали по-старому. В первые дни ещё смотрели, потом забросили.

Разбор показал что никто не объяснил команде зачем им это. Они воспринимали агента как угрозу. Плюс агент писал в том стиле который им казался "не моим", и они не хотели отправлять его сообщения от своего имени.

Вывод: технический запуск это половина работы. Вторая половина это обучение и адаптация команды. Я теперь включаю этот этап в проект с самого начала. Работу с командой ведёт либо сам клиент-руководитель, либо мы делаем совместные сессии. Без этого запуск превращается в инструмент который никто не включает.

Провал третий: качество ответов оказалось недостаточным

Мы делали агента поддержки для сервиса с очень специфичной терминологией. Загрузили документы, настроили, запустили. Агент отвечал "вроде правильно" но с ошибками в терминах и в формулировках которые были важны для клиентов.

Клиенты начали писать в отдел жалоб: "ваш чат даёт неверную информацию". Пришлось срочно отключать и переделывать.

Разбор: мы не протестировали на достаточном количестве реальных вопросов до запуска. Пилот был "вроде ок" на 20 вопросах. На 200 вопросах обнаружилось что в 15% случаев есть ошибки в терминах.

Вывод: объём тестирования до запуска должен быть достаточным для оценки реального качества, не просто "попробовали". Для сложных ниш я теперь делаю минимум 200 тестовых диалогов перед реальным запуском.

Провал четвёртый: интеграция сломалась и никто не заметил

Агент работал две недели нормально. Потом одна из интеграций (с CRM) тихо сломалась из-за изменений на стороне CRM. Агент продолжал отвечать клиентам но перестал писать в CRM.

Это заметили через три недели когда руководитель отдела продаж сказал "что-то у нас подозрительно мало лидов в базе". К тому моменту потеряли около сотни контактов.

Вывод: мониторинг критически важен не только для самого агента но и для всех интеграций. Должны быть алерты не только "агент упал", но и "интеграция не обновляла CRM больше суток при положенном объёме". Я теперь ставлю такие алерты на каждом проекте.

Провал пятый: стоимость вышла за бюджет из-за скрытых расходов

Клиент заложил бюджет на разработку и API. Через три месяца обнаружил что платит вдвое больше чем ожидал.

Разбор: объём обращений оказался выше прогноза, а длинные диалоги стоили дороже коротких. Плюс мы использовали дорогую модель там где можно было обойтись дешевой. Плюс векторная база тарифицировалась по размеру индексов и индекс разросся.

Вывод: считать стоимость не только на пилоте, но и проектировать с запасом на рост. Думать какие компоненты тарифицируются и как их стоимость будет расти со временем. Закладывать переход на более дешёвую модель или инфраструктуру на моменте когда объём вырастет.

Что я беру из этих провалов в новые проекты

Глубокий разбор процесса. Не 2 часа встречи, а несколько дней погружения.

Работа с командой как отдельный этап. Не в конце, а с первого дня.

Минимум 200 реальных тестовых диалогов перед запуском.

Мониторинг не только агента, но и всех интеграций, с алертами на аномалии.

Проекционный бюджет на год вперёд с запасом на рост объёма и план миграции на более дешёвые компоненты.

Что делать тебе

Если у тебя был неудачный пилот, это не повод бросать. Это повод разобрать что именно пошло не так и избежать этого в следующий раз.

Если ты только планируешь первый пилот, проверь что ты учёл все пять уроков выше.

Хочешь чтобы я посмотрел на твой проект и честно сказал где риски провала, пиши в t.me/kulmashev.