Галлюцинация — ответ модели, сформулированный уверенно и не соответствующий действительности. Выдуманный номер статьи закона, несуществующая функция библиотеки, правдоподобная дата, ссылка на источник, которого нет.
Ключевое свойство — неотличимость по форме. Выдумка подаётся тем же тоном, что и факт, и именно поэтому опасна.
Откуда это берётся
Языковая модель подбирает вероятное продолжение текста, а не сверяется со справочником. У неё нет внутреннего состояния «этого я не знаю»: на вопрос без ответа она построит самый правдоподобный по форме ответ, потому что именно этому обучена.
Три типовых источника выдумки. Первый — пробел в знаниях: факта не было в обучающих данных, и модель достраивает вероятное. Второй — давление формата: схема ответа требует заполнить поле, данных нет, и поле заполняется правдоподобным значением; обязательные поля без варианта «не найдено» прямо провоцируют выдумку. Третий — нерелевантный контекст из поиска: система передала фрагмент, похожий по словам, но не отвечающий на вопрос, и модель строит ответ на нём, потому что он оказался в контексте. Источники лечатся по-разному, поэтому при разборе инцидента сначала определяют, какой из них сработал.
Отсюда следует важное: это не дефект конкретной модели и не устраняется её заменой. Более крупная модель ошибается реже, но не перестаёт. Исходить надо из того, что явление останется, и строить систему соответственно.
Как с остаточной долей живут. Неустранимую ошибку закладывают в конструкцию: рискованные решения уходят на проверку человеком, генерация журналируется вместе с переданными источниками, автоматические ответы маркируются как созданные ИИ. Это не борьба с галлюцинациями, а ограничение последствий.
Где встречается чаще
Точные факты: номера, даты, суммы, названия статей и стандартов. Именно там, где ошибка заметнее всего.
Редкие темы: чем меньше материала было в обучении, тем охотнее модель домысливает.
Ссылки и источники — классический случай: правдоподобно оформленная ссылка на несуществующую публикацию.
Вопросы с ложной предпосылкой. Если спросить о том, чего не существует, модель чаще подхватит предпосылку, чем оспорит её.
Три вида выдумок — и разное лечение. Фактические ошибки (перепутанные даты, номера, суммы) лечатся передачей источников и сверкой со справочником. Правдоподобные выдумки — несуществующие пункты регламентов, термины, условия — самый коварный вид: поверхностная проверка их не ловит, нужна сверка с первоисточником. Выдуманные ссылки и цитаты лечатся отдельным правилом: ссылки либо выбираются из известного списка, либо не генерируются вовсе.
Что снижает частоту
Передача источников в запрос. Самая действенная мера: модель пересказывает переданный текст вместо того, чтобы вспоминать. Отсюда и смысл поиска по документам.
Требование ссылаться. Инструкция приводить фрагмент, на котором построен ответ, делает выдумку заметной при проверке.
Разрешение не знать. Явное указание отвечать «в документах не нашлось» и порог отсечения на поиске. Система, которая никогда не отказывает, обязательно выдумывает.
Структурирование вывода. В схеме ответа у каждого поля должно быть допустимое значение «не найдено», а у перечислений — закрытый список вариантов. Модель не должна выбирать между выдумкой и нарушением схемы: пока такое давление существует, оно побеждает.
Сверка со справочником. Названия, номера статей, коды удобны тем, что проверяются списком: если значения выбираются из эталонного перечня, а не генерируются свободным текстом, целый класс ошибок исчезает.
Низкая температура. Дешёвая мера: при высокой температуре модель чаще выбирает маловероятные продолжения, где выдумки и живут.
Проверка человеком там, где цена ошибки высока. Единственная мера, не зависящая от поведения модели; как её встраивать в процесс — в статье про человека в контуре.
Как измерять
Оценивать надо не общее впечатление, а долю утверждений, подтверждённых переданными источниками. Практическая схема: набор вопросов с эталонами, отдельная колонка «есть ли ответ в документах», и подсчёт двух величин — сколько верных ответов и сколько корректных отказов.
Вторая величина важнее первой. Систему, которая на 90% вопросов отвечает верно, но на остальных 10% уверенно выдумывает, нельзя допускать туда, где ошибка стоит денег.
Локализация источника — от дешёвых проверок к дорогим. Сначала сверить ответ с фрагментами, реально переданными в запросе: подтверждения нет — генерация ушла «из головы», поднимать порог релевантности и требование ссылаться. Подтверждение есть, но фрагмент нерелевантен вопросу — виноват поиск, а не генерация. Выдумано значение обязательного поля при пустых данных — виновата схема ответа. Замена модели — последняя и самая дорогая проверка, к ней переходят, когда предыдущие ступени исчерпаны.
Проверку тоже маршрутизируют. Автоматической сверке поддаются только утверждения со справочниками: номера, даты, названия. Всё остальное проверяет человек, и его время стоит дороже генерации. Поэтому зрелые системы различают типы утверждений: проверяемые автоматически уходят в сверку, рискованные по последствиям — человеку, остальные остаются без проверки как приемлемый риск. Доля каждого типа считается на тех же проверочных наборах.
Чего делать не стоит
Полагаться на просьбу «не выдумывай» в промпте как на решение. Она немного помогает и ничего не гарантирует.
Считать, что уверенность ответа отражает его надёжность. Связи между ними нет.
Лечить не тот этап. Правка промпта генерации не поможет, если выдумку приносит поиск, передавший нерелевантный фрагмент: модель честно отвечает по тому, что ей дали. Сначала локализация источника, потом вмешательство.
Обещать заказчику отсутствие выдумок. Правильная формулировка — какие меры приняты и какая доля ошибок измерена на проверочном наборе.
Частые вопросы
Можно ли полностью убрать галлюцинации?
Нет. Это следствие устройства языковых моделей: они подбирают вероятное продолжение, а не сверяются с источником истины. Частоту снижают передача документов в запрос, требование ссылаться, разрешение отвечать «не знаю» и низкая температура, но не устраняют.
Помогает ли более крупная модель?
Снижает частоту, но не отменяет явление. Замена модели — самая дорогая и наименее эффективная мера по сравнению с настройкой поиска и порога отсечения. Начинать стоит не с неё.
Как понять, что система выдумывает?
Измерить долю утверждений, подтверждаемых переданными источниками, на наборе проверочных вопросов. Обязательно включив в набор вопросы, ответа на которые в документах нет: доля корректных отказов — самый честный показатель.
Что отвечать клиенту про надёжность?
Не обещать отсутствие ошибок, а называть принятые меры и измеренную на проверочном наборе долю. Обещание безошибочности — то, за что потом приходится отвечать, и проверяется оно первым же спорным случаем.
Почему модель выдумывает, даже когда документы переданы в запрос?
Три типовые причины: поиск передал нерелевантный фрагмент, и ответ построен на нём; схема ответа требует заполнить поле, которого нет в документах; вопрос содержит ложную предпосылку, которую модель подхватывает. Лечение разное — порог и реранкинг поиска, значение «не найдено» в схеме, отдельная проверка предпосылки. Различаются причины разбором: чем именно подтверждён ответ — переданными фрагментами или ничем.
Помогает ли дообучение на наших данных?
Снижает частоту на типовых для компании темах, но не устраняет явление: там, где данных не хватает, модель по-прежнему достраивает вероятное. К тому же дообучение фиксирует состояние данных на момент обучения — свежие документы в него не попадут, для них всё равно нужен поиск. Рабочая комбинация: дообучение для формата и терминологии, поиск по документам для фактов.
Какие галлюцинации самые опасные?
Правдоподобные выдумки — несуществующие пункты регламентов, условия, термины. Фактическую ошибку ловит сверка со справочником, выдуманную ссылку — проверка по базе, а правдоподобную выдумку обнаруживает только эксперт в предмете. Поэтому проверку человеком настраивают по типу утверждения, а не по длине или форме ответа.