Языковая модель выдумывает ответы (это называют галлюцинациями), потому что по своей природе предсказывает правдоподобное продолжение текста, а не проверяет факты. Устранить это инструкцией в промпте нельзя — проблема решается архитектурой: система строит ответ только по найденным в ваших документах фрагментам, привязывает каждое утверждение к источнику и явно отказывается отвечать, когда данных нет.
Что такое галлюцинация и почему это не баг
Галлюцинация — это уверенно поданный, грамматически безупречный, но фактически неверный или выдуманный ответ. Модель может сослаться на несуществующий закон, придумать цитату, изобрести характеристику товара, которого нет.
Важно понять: это не сбой и не недоработка конкретной модели. Это прямое следствие того, как языковые модели устроены. Модель обучена предсказывать наиболее вероятное продолжение текста на основе закономерностей, увиденных при обучении. Она генерирует правдоподобное, а не истинное. В большинстве случаев правдоподобное совпадает с истинным — поэтому модели полезны, — но не всегда, и модель не имеет встроенного способа отличить одно от другого.
Когда модель не «знает» ответа (в её обучающих данных его не было или он там противоречив), она не молчит и не говорит «не знаю» — она генерирует наиболее правдоподобное продолжение, каким бы оно ни было. Со стороны это выглядит как уверенная ложь.
Отсюда первый вывод: бороться с галлюцинациями на уровне уговоров модели бессмысленно. Инструкция «отвечай только правду, не выдумывай» не работает надёжно, потому что модель и так генерирует то, что считает правдоподобным, — у неё нет отдельного «режима честности», который можно включить фразой.
Почему «не выдумывай» в промпте не решает проблему
Просьба в промпте снижает частоту галлюцинаций, но не устраняет их, и полагаться на неё в продакшене нельзя. Причины:
- модель не различает, что она «знает» достоверно, а что достраивает, — поэтому не может последовательно применять инструкцию;
- под давлением сформулированного вопроса модель склонна дать ответ, а не признать незнание, — сама постановка «ответь на вопрос» подталкивает к генерации;
- инструкция не даёт модели того, чего у неё нет: доступа к вашим актуальным данным. Нельзя не выдумать ответ на вопрос, ответа на который у тебя нет.
Промпт — это настройка поведения, а галлюцинация — следствие отсутствия знания. Настройкой поведения нельзя компенсировать отсутствие информации. Нужен архитектурный подход: дать модели правильную информацию и заставить опираться только на неё.
Архитектурное решение: RAG
Основной рабочий способ — RAG (Retrieval-Augmented Generation), генерация с опорой на поиск. Идея простая: вместо того чтобы полагаться на «память» модели, система при каждом запросе находит релевантные фрагменты в ваших документах и передаёт их модели вместе с вопросом, требуя отвечать только на их основе.
Схема работы:
- Вопрос пользователя превращается в поисковый запрос.
- Система ищет в вашей базе документов фрагменты, релевантные вопросу.
- Найденные фрагменты передаются модели вместе с вопросом и инструкцией отвечать строго по ним.
- Модель формулирует ответ на основе предоставленного контекста.
- К ответу прикрепляются ссылки на источники, из которых он собран.
Ключевое отличие от «голой» модели: теперь у модели есть актуальная информация под конкретный вопрос, и она инструктирована не выходить за её пределы. Галлюцинация становится маловероятной не потому, что модель «старается», а потому, что у неё есть чем ответить и заданы границы.
RAG — это тот же класс решений, что применяется в помощниках по базе знаний, описанных на странице AI-решений.
Что делает RAG надёжным: детали, которые решают
Собрать базовую связку «поиск + модель» несложно, но именно детали отличают систему, которой можно доверять, от прототипа, который всё равно иногда выдумывает.
Порог релевантности и отказ
Главный элемент. Система должна оценивать, насколько найденные фрагменты действительно относятся к вопросу, и при недостаточной релевантности отвечать явным отказом: «в базе нет информации по этому вопросу», а не пытаться собрать ответ из нерелевантных обрывков.
Без порога отказа система на любой вопрос, даже вне базы, найдёт «наиболее похожие» фрагменты и построит на них ответ — и это будет галлюцинация, просто теперь с ложной опорой. Настройка порога — компромисс: слишком высокий даёт частые отказы на нормальные вопросы, слишком низкий пропускает выдумки. Калибруется на реальных примерах.
Привязка к источникам и цитирование
Каждое утверждение в ответе должно быть привязано к конкретному фрагменту источника. Это даёт две вещи: пользователь может проверить ответ, а сама система становится проверяемой — при разборе жалобы видно, из какого документа взят неверный ответ, и проблема локализуется (плохой документ, плохой поиск или всё-таки галлюцинация модели поверх верного контекста).
Качество поиска
Если на шаге поиска в контекст попали не те фрагменты, модель добросовестно построит неверный ответ по неверным данным — и формально это не галлюцинация, но для пользователя разница невелика. Поэтому качество поиска — половина качества RAG. Здесь работают гибридный поиск (сочетание смыслового и точного лексического), реранкинг (переоценка найденного отдельной моделью), корректная нарезка документов на фрагменты. Технически это разобрано в контексте SEO/GEO и на странице AI-решений.
Актуальность базы
Устаревший документ в базе — источник уверенных неверных ответов. Система отвечает точно по документу, но документ неверен. Поэтому обновление базы и удаление устаревших редакций — часть поддержания качества, а не разовая настройка.
Дополнительные меры поверх RAG
Проверка ответа на обоснованность. Отдельный шаг, где система (или вторая модель) оценивает, следует ли сгенерированный ответ из предоставленного контекста, нет ли в нём утверждений, которых в источниках не было. Ответы, не прошедшие проверку, отбраковываются или помечаются.
Структурированный вывод для фактов. Там, где нужен не свободный текст, а конкретные значения (извлечение данных), используется режим, в котором модель обязана вернуть ответ в заданном формате, — это резко сужает пространство для выдумок.
Ограничение области ответа. Явное сужение: система отвечает только на вопросы по теме базы, а на остальное отвечает отказом, а не общими знаниями модели.
Человек в контуре для важного. Для ответов с высокой ценой ошибки система готовит вариант, а решение подтверждает человек. Это не признание слабости технологии, а разумное проектное решение для чувствительных сценариев.
Чего архитектура не может гарантировать
Честности ради: полностью исключить галлюцинации нельзя даже при хорошей архитектуре. Можно снизить их частоту до уровня, приемлемого для конкретной задачи, и сделать оставшиеся случаи обнаружимыми.
Поэтому корректная постановка задачи звучит не «сделайте, чтобы никогда не выдумывала», а «сделайте так, чтобы доля обоснованных ответов была не ниже такого-то порога, а необоснованные были заметны и не приводили к необратимым последствиям». Этот порог измеряется на контрольной выборке — наборе реальных вопросов с проверенными ответами, по которому оценивается каждое изменение системы.
Обещание стопроцентной защиты от галлюцинаций — признак того, что собеседник либо не понимает природы проблемы, либо продаёт.
Частые вопросы
Можно ли полностью убрать галлюцинации?
Нет, но можно снизить их частоту до приемлемой для задачи и сделать оставшиеся случаи обнаружимыми. Архитектура (ответы по источникам, порог отказа, цитирование, проверка обоснованности) снижает риск радикально, но не до нуля — модель остаётся вероятностной. Корректная цель — заданная доля обоснованных ответов, а не абсолютная гарантия.
Почему нельзя просто написать в промпте «не выдумывай»?
Потому что галлюцинация — следствие отсутствия у модели нужного знания, а не её «нечестности». Модель не различает, что знает достоверно, а что достраивает, поэтому не может последовательно выполнять такую инструкцию. Промптом настраивают поведение, а не компенсируют отсутствие информации. Нужен доступ к правильным данным — это делает RAG.
Что такое RAG простыми словами?
Это подход, при котором система на каждый вопрос сначала находит нужные фрагменты в ваших документах, а потом просит модель ответить строго по ним, а не по общей «памяти». Модель получает актуальную информацию под конкретный вопрос и границы, за которые нельзя выходить, — поэтому выдумывает намного реже, а ответ можно проверить по источнику.
Дообучение модели решит проблему выдумок?
Нет, для этой задачи не решит. Дообучение меняет стиль и поведение модели, но не наполняет её надёжно вашими фактами и не даёт механизма отказа при отсутствии данных. Знания о ваших документах добавляются поиском по ним (RAG), а не дообучением. Это частое и дорогое заблуждение.
Как понять, что ответ системы можно проверить?
По наличию ссылок на источники. Если каждое утверждение в ответе привязано к конкретному фрагменту документа, ответ проверяем: можно открыть источник и сверить. Система без привязки к источникам не даёт этой возможности, и любой её ответ приходится принимать на веру — для рабочего решения это недопустимо.
Что дальше
Галлюцинации — одна из проблем, из-за которых ИИ-проекты не доходят до эксплуатации. Полный разбор таких проблем — в опорной статье «Внедрение ИИ в бизнес». Если решаете, какой процесс автоматизировать первым, — «Как выбрать процесс для первого ИИ-проекта». Если данные чувствительны и встаёт вопрос, где всё это разворачивать, — «Локальное развёртывание LLM» и «152-ФЗ и нейросети».
Разработка надёжных RAG-систем — часть работы по разработке и внедрению ИИ.