Когда бот отвечает неправильно, первая реакция обычно одна: «надо доработать промпт» или «нужна модель получше». В подавляющем большинстве случаев обе догадки неверны, а перебор промптов вслепую только тратит время — потому что причина находится раньше по цепочке.
Ответ бота — это результат четырёх последовательных шагов. Сломаться может любой, но исправлять нужно тот, который сломался, а не последний. Диагностика идёт от начала цепочки к концу, а не наоборот.
Цепочка и точки отказа
| Шаг | Что происходит | Как ломается |
|---|---|---|
| 1. Материалы | нужные сведения есть в базе знаний | сведений нет, они устарели или противоречат друг другу |
| 2. Поиск | по вопросу находятся фрагменты | нашлось не то или не нашлось ничего |
| 3. Отбор | из найденного выбирается относящееся к делу | в модель ушёл мусор вместе с нужным |
| 4. Формулировка | модель составляет ответ | нужное было передано, а ответ всё равно неверен |
Разница между шагами 1–3 и шагом 4 принципиальная. Если сломались первые три, менять модель или промпт бессмысленно: модель не может ответить по тому, чего ей не дали. И наоборот — если нужный фрагмент был передан, а ответ неверен, работать надо именно с формулировкой.
Первое, что нужно для диагностики, — журнал. В нём должно быть видно не только «вопрос → ответ», но и какие фрагменты были найдены. Без этого диагностика превращается в гадание. Если журнала нет — это первое, что нужно сделать, до всех прочих исправлений.
Шаг 1. Проверить материалы
Вопрос: есть ли вообще в базе знаний сведения, которых требует ответ?
Найдите руками. Если нет — дальше идти не нужно: причина найдена, чинится дописыванием материалов, а не настройкой.
Что проверить:
- Нет вовсе. Самая частая причина. От бота ждут ответа на вопрос, который нигде не записан.
- Устарело. В базе лежит и новая, и старая редакция. Бот отвечает по той, что нашлась. Старое удаляется, а не понижается в приоритете.
- Противоречит. Регламент говорит одно, сайт другое, письма третье. Бот будет отвечать по-разному в зависимости от запроса — и всегда «по документу».
- Правило есть, исключения нет. Общее условие описано, а частные случаи живут в головах. При этом спрашивают именно про частные случаи: общее люди уже прочитали.
- Фрагмент несамодостаточен. «Срок — 5 рабочих дней» без указания, чего именно, найдётся не на тот вопрос и даст неверный ответ.
Подробно про требования к материалам — «Подготовка базы знаний для ИИ».
Шаг 2. Проверить поиск
Материалы есть, но нашлось не то. Смотрите в журнале, какие фрагменты были найдены на этот вопрос.
Найдено пусто. Бот должен был сказать «не знаю» и перевести на человека. Если вместо этого он ответил — это отдельный дефект конструкции, см. шаг 4.
Найдено похожее, но не то. Классика: вопрос про возврат товара, найден раздел про возврат денег. Смысловая близость есть, ответ неверный.
Точные обозначения не находятся. Артикулы, номера тарифов, названия моделей. Смысловой поиск к ним нечувствителен — нужен точный поиск по словам поверх него.
Найдено правило без исключения. Обсуждалось на шаге 1, но проявляется здесь: правило текстуально ближе к вопросу, чем исключение, поэтому побеждает. Лечится не настройкой поиска, а сведением правила и исключений в один фрагмент.
Фрагменты слишком крупные или слишком мелкие. Крупные несут лишнее и размывают ответ, мелкие теряют контекст. Размер фрагмента — параметр, который подбирается под конкретные материалы.
Шаг 3. Проверить отбор
Нужный фрагмент нашёлся, но вместе с ним ушло ещё девять посторонних. Модель получает противоречивую картину и отвечает по тому, что оказалось заметнее.
Признак: в журнале видно, что правильный фрагмент присутствует, но не первым, и рядом с ним много лишнего.
Что делать: сокращать число передаваемых фрагментов и добавлять этап переоценки, который отсеивает не относящееся к вопросу. Больше контекста — не значит лучше ответ; часто наоборот.
Шаг 4. Проверить формулировку
Только теперь, когда доказано, что нужное было найдено и передано.
Ответ противоречит переданному фрагменту. Редко, но встречается — обычно когда фрагментов много и они разноречивы. Возвращаемся к шагу 3.
Ответ дополнен от себя. Модель добавила то, чего в источнике нет. Лечится явным требованием отвечать только по переданному и указывать источник. Механизм — «Почему нейросеть выдумывает».
Бот отвечает при отсутствии данных. Самый серьёзный дефект: модели не оставили возможности отказаться. Отказ должен быть предусмотрен как штатное поведение, а не как исключение.
Ответ верный, но не тот по форме. Слишком длинный для мессенджера, слишком сухой, неуместный тон. Это настройка формулировки, и вот здесь работа с промптом уместна.
Потерялась оговорка. Цена «от», условие «при заказе от», ограничение «кроме». Модель, пересказывающая своими словами, регулярно теряет уточнения. Решение — отдавать такие сведения неизменяемым фрагментом, а не пересказом.
Разбор ситуации: бот «стал хуже отвечать»
Симптом. Через два месяца после запуска число жалоб выросло. Бот не менялся.
Первая гипотеза была очевидной: обновилась модель. Проверили — обновления не было.
Что показал журнал. Ответы стали хуже не по всем темам, а по одной: доставка. При этом на шаге поиска всё выглядело нормально — фрагменты находились, они были по теме.
Причина. Два месяца назад компания изменила условия доставки. Новый регламент в базу знаний загрузили. Старый — не удалили.
Дальше сработала неочевидная механика: старый документ был написан подробнее и содержал больше формулировок, совпадающих с вопросами клиентов. Поиск находил его чаще нового. Бот честно отвечал по документу — по неактуальному.
Что сделали. Удалили устаревшую редакцию. Ввели обязательное поле даты у документов и проверку: при загрузке новой редакции система требует явно указать, что делать со старой. Добавили в еженедельный разбор отчёт «какие документы чаще всего используются в ответах» — по нему видно, если бот вдруг начал опираться не на то.
Общий вывод. «Бот стал хуже» почти никогда не означает, что деградировала модель. Меняются материалы, меняются вопросы, меняются условия бизнеса. Бот отражает состояние базы знаний, а база знаний — живой объект, за который должен кто-то отвечать. Про это — «Сопровождение ИИ-решений».
Чего делать не надо
Перебирать промпты, не посмотрев в журнал. Самое частое и самое бесполезное занятие. Если фрагмент не найден, промпт не поможет ни в какой редакции.
Менять модель первым делом. Модель — последнее звено. Смена модели при сломанном поиске меняет формулировку неверного ответа, а не его верность.
Загружать больше документов. При проблемах с поиском увеличение объёма ухудшает результат: растёт шум.
Расширять контекст. Больше переданных фрагментов — больше шума, ниже точность.
Чинить единичный случай. Одна жалоба может быть частным сбоем. Смотреть надо на выборку: набрать 30–50 неудачных диалогов и найти общее. Иначе исправление одного случая ломает десять других.
Как устроить регулярную проверку
Диагностика по факту жалобы — реакция. Работающая схема — регулярный разбор:
- Набор эталонных запросов. 100–200 реальных вопросов с правильными ответами. Прогоняется после каждого изменения материалов или настроек. Изменение, ухудшившее результат на наборе, откатывается.
- Еженедельный разбор. Выборка диалогов, где бот отказался отвечать или человек ушёл к оператору. Это источник тем для дописывания базы знаний.
- Отчёт по используемым документам. Показывает, на что бот опирается. Резкое изменение — сигнал.
- Кнопка «ответ не помог» прямо в диалоге. Самый дешёвый источник данных о проблемах.
Что и как измерять — «Метрики чат-бота».
Частые вопросы
Почему чат-бот отвечает неправильно?
В большинстве случаев не потому, что модель плохая, а потому, что ей передали не тот материал: нужных сведений нет в базе знаний, они устарели, противоречат друг другу или поиск нашёл похожий, но не подходящий фрагмент. Диагностику начинают с проверки материалов и поиска, а не с промпта.
С чего начать диагностику?
С журнала диалогов, в котором видно, какие фрагменты были найдены на конкретный вопрос. Без этого причину определить нельзя — вы видите неверный ответ, но не видите, чем он вызван. Если такого журнала нет, его добавление — первая задача.
Поможет ли смена модели?
Только если доказано, что нужный фрагмент был найден и передан, а ответ всё равно неверен. Это самая редкая из причин. Если сломан поиск, смена модели даст другой неверный ответ, а не верный.
Бот отвечает то правильно, то нет на похожие вопросы — почему?
Обычно потому, что разные формулировки находят разные фрагменты. Частая конкретная причина — правило и исключение к нему лежат в разных местах базы знаний: одна формулировка вопроса вытаскивает правило, другая — исключение. Решение в том, чтобы свести их в один фрагмент.
Бот работал хорошо, а стал хуже. Что произошло?
Чаще всего изменились материалы: добавили новую редакцию документа, не удалив старую, или изменились сами условия бизнеса, а база знаний за ними не поспела. Изредка — изменился характер вопросов. Деградация модели как причина встречается крайне редко, и проверять её стоит последней.
Как понять, что бот работает достаточно хорошо?
По набору из ста-двухсот реальных вопросов с эталонными ответами, прогоняемому регулярно, и по доле диалогов, закрытых без обращения к человеку. Отдельные удачные или неудачные примеры показателем не являются.
Что дальше
Если причина в материалах — «Подготовка базы знаний для ИИ» и «Чат-бот по базе знаний». Если бот отвечает при отсутствии данных — сначала настройте отказ и передачу оператору. Общий разбор ситуации «ИИ не даёт результата» — «Что делать, если ИИ не работает».
Разбор существующего бота с поиском причины неверных ответов — отдельная работа в рамках направления чат-ботов и ассистентов.