После запуска ChatGPT в декабре заказчики приходят с одним вопросом: можно ли посадить такого ассистента на свою базу знаний и регламенты. Можно. Но у языковых моделей есть свойство, которое в корпоративном контуре превращается из забавного бага в реальный риск, – галлюцинации. Модель уверенно выдаёт несуществующий пункт инструкции, придумывает номер приказа, ссылается на статью закона, которой нет. В чате с пользователем такой ответ выглядит ровно так же убедительно, как и правильный. Разберём, откуда это берётся и как держать бота в рамках фактов.

Почему модель выдумывает

Языковая модель не хранит базу фактов и не «знает» вашу предметную область. Она предсказывает следующее слово по статистике текстов, на которых обучалась. Когда в запросе встречается тема, которой в обучении было мало или не было вовсе – внутренний регламент компании, свежее постановление, артикул из вашего каталога, – модель всё равно достроит правдоподобный ответ. Она оптимизирована на связность, а не на истинность.

Отсюда вывод для проектирования: нельзя полагаться на «память» модели как на источник правды. Корпоративные знания должны приходить в неё извне, в момент ответа, а сама модель работает как механизм формулировки, а не как хранилище.

Контекстный поиск вместо доверия к модели

Рабочая архитектура – retrieval. Документы заказчика (регламенты, база поддержки, нормативка, карточки товаров) индексируются и складываются в векторное хранилище. На каждый вопрос система сначала находит релевантные фрагменты, подставляет их в промпт и просит модель отвечать строго по приложенному тексту, а если ответа в нём нет – честно сказать об этом. Это резко снижает выдумки и заодно даёт ссылки на источник, которые можно показать пользователю.

Такой подход хорошо ложится на сценарии, которые мы разбирали в обзоре корпоративных применений LLM: первая линия поддержки, навигация по внутренним документам, помощь операторам. Везде, где цена ошибки высока, бот опирается на проверяемый документ, а не на собственную фантазию.

Отдельный плюс для госсектора и компаний, работающих с чувствительными данными, – контур остаётся под контролем. База знаний и поиск разворачиваются на своей инфраструктуре, а наружу к зарубежному API уходит только обезличенный фрагмент или вообще ничего, если используется модель внутри периметра. Это та же логика, что двигает рост реестра отечественного ПО и импортозамещение в документообороте: данные и обработка должны оставаться внутри страны и организации.

Защита на уровне продукта

Архитектуры мало – нужны ограждения вокруг неё. Что работает на практике:

  • Ответ только по источнику. В промпте прямо запрещаем додумывать и требуем цитировать найденный фрагмент с указанием документа.
  • Честное «не знаю». Если поиск не дал релевантного контекста, бот переадресует вопрос человеку, а не сочиняет.
  • Показ источников. Пользователь видит, на какой документ опирается ответ, и может перепроверить.
  • Границы тематики. Бот по кадровым вопросам не должен рассуждать о юридических рисках – это область чужого эксперта.
  • Логирование и разметка. Сохраняем диалоги, операторы отмечают ошибочные ответы, на этих данных улучшаем поиск и промпты.

Вывод

Галлюцинации – не повод отказываться от чат-ботов на LLM, а инженерная задача. Снимается она не магией модели, а архитектурой: контекстный поиск по вашим документам, жёсткие правила ответа и видимые источники. В таком виде ассистент становится предсказуемым инструментом, которому можно доверить первую линию. Путь от пилота на одной базе знаний до промышленного контура проходят интеллектуальные приложения на базе LLM, собранные под задачи бизнеса и госсектора.