Нейросети выдумывают: как минимизировать галлюцинации ИИ

Галлюцинация нейросети предсказуемый побочный эффект того, как устроена языковая модель.

Почему нейросеть выдумывает факты: устройство и механизм

Внутри нет базы фактов. Есть статистика: с какой вероятностью слова идут друг за другом в текстах, на которых модель училась. Отвечая, она раз за разом предсказывает следующее слово. Правдоподобное и истинное для неё вещи разные, и совпадают они далеко не всегда.

Пока вопрос касается чего-то частого, заученного, повторённого в миллионах документов, угадывание попадает точно. Стоит спросить про редкую статью, местное постановление или год выпуска давно забытой детали, и модель достроит правдоподобный ответ там, где данных попросту нет. Снаружи никакой неуверенности, в тоне полная убеждённость.

Отсюда вывод, который многие пропускают. Галлюцинация нейросети стилистически неотличима от правды. Модель не сомневается, потому что механизма сомнения у неё нет. Об этом стоит помнить каждый раз, когда ответ уходит в работу без проверки.

Где галлюцинации ИИ возникают чаще всего

Риск распределен неравномерно. Но есть зоны, где нейросети ошибаются чаще всего:

• Редкие и локальные факты: региональные нормативы, узкие термины, статистика небольшого рынка.

• Всё свежее. У модели есть граница знаний, и о событиях после неё она честно не знает, но отвечает всё равно.

• Числа, расчёты, даты. Арифметика на глаз даёт верный порядок и неверную цифру.

• Ссылки, цитаты, имена. Сочинить легче всего то, что читатель проверять поленится.

• Длинный контекст с противоречиями. Если в переписке накопилось пять версий одного условия, модель смешает их в шестую.

Узкая терминология представляет отдельную ловушку для маркетологов и продуктовых команд. Спросите модель про редкий отраслевой термин вроде «шеринг-экономика в узком сегменте», и получите гладкое определение, которого нет ни в одном стандарте. Дальше это определение уйдёт в бриф клиенту. При ручной проверке нескольких таких формулировок примерно каждая вторая не совпадает с отраслевым употреблением, хотя звучала убедительно.

Как минимизировать галлюцинации нейросети на уровне промпта

Распространённый совет состоит в том, чтобы дописать в конце «не выдумывай, не галлюцинируй». На практике это почти не работает. Промпт против галлюцинаций срабатывает не запретом, а сменой задачи: модель не уговаривают быть честной, у неё отбирают возможность фантазировать.

Разрешить модели признавать незнание

По умолчанию модель обязана ответить. Любой ответ. Если разрешить ей признаться в незнании, часть выдумок просто не появится.

Формулировка: «Если ты не уверен в факте, напиши "не знаю" и объясни, каких данных не хватает. Не предлагай похожих вариантов».

Второе предложение важнее первого. Без него модель подберёт «близкий» ответ вместо честного пробела.

Ограничить работу приложенным источником

Прикрепите документ и жёстко ограничьте поле поиска.

Формулировка: «Отвечай только по тексту ниже. Если ответа в тексте нет, напиши "в источнике этого нет". Своих знаний не добавляй».

Работает это потому, что задача перемещается из «вспомни» в «найди в приложенном». Искать в конкретном файле умение другое, и врать там негде.

Разделять факты и предположения

Полезно, когда ответ всё же строится частично на общих знаниях.

Формулировка: «Раздели ответ на две части. В первой только то, что прямо подтверждено источником. Во второй твои предположения, помеченные как предположения».

Это один из недооценённых приёмов. Выдумку он не убирает, зато вытаскивает её на поверхность. Дальше решение принимаете вы.

Ссылки, роль, температура и перекрёстная проверка

Ссылки стоит запрашивать только тогда, когда модель действительно может их проверить. Сгенерированная «из головы» ссылка не делает информацию достовернее. Если источник важен, лучше дополнительно проверить его через поиск, например, найти материал по точному названию или ключевой фразе.

Роль помогает задать модели правильный контекст. Вместо абстрактного «проанализируй договор» лучше написать: «ты юрист, который проверяет договор на риски для исполнителя». Так модель получает понятную рамку, нужный словарь и критерии анализа.

Температуру, если такая настройка доступна, можно снижать для задач, где важны точность и предсказуемость. Чем ниже температура, тем меньше случайности в формулировках и выборе вариантов.

Перекрёстная проверка другой моделью — не гарантия достоверности. Две модели могут допустить одну и ту же ошибку, особенно если используют похожие данные или принципы работы. Но если ответы расходятся, это хороший повод остановиться и проверить спорный момент самостоятельно или обратиться к первоисточнику.

Не пытайтесь решить всё одним запросом. Большой промпт вроде «проанализируй компанию и разработай стратегию» оставляет модели слишком много пространства для догадок. Лучше разбить задачу на несколько этапов: сначала собрать факты, затем проверить их, после этого провести анализ и только в конце сформировать выводы. Так проще контролировать результат и замечать ошибки.

Что происходит на стороне разработки

На стороне самого продукта с ошибками работают примерно теми же способами, но уже системно.

RAG и подключённый поиск позволяют модели сначала найти информацию в интернете или во внутренних документах компании, а уже потом сформировать ответ на её основе. Это снижает зависимость от того, что модель «помнит», и позволяет показать источники.

Дообучение помогает адаптировать модель под конкретную область, терминологию и стиль компании. Например, можно обучить её на внутренних регламентах, документации и типовых ответах.

Несколько моделей можно использовать вместе: одна формирует ответ, другая проверяет его или ищет противоречия. Дополнительно можно оценивать уверенность модели — например, отличать ответ, основанный на найденных данных, от предположения.

А чтобы понять, действительно ли всё это работает, используют evals — наборы заранее подготовленных тестов. Модель прогоняют через одни и те же сценарии и сравнивают результаты после изменений.

Самостоятельно разбираться во всей этой инфраструктуре необязательно. Но важно понимать принцип: если у вашего AI-инструмента нет поиска, базы знаний или другого механизма проверки фактов, то проверять важную информацию всё равно придётся вам.

Фактчекинг ответов: как быстро распознать выдумку

Проверять абсолютно всё подряд долго. Через неделю такая привычка, скорее всего, просто отпадёт. Поэтому лучше проверять не всё, а сначала то, где проверка занимает минимум времени, а ошибка может обойтись дорого.

1. Ссылки, цитаты, названия. Открыть ссылку или поискать точную фразу. Обычно это занимает меньше минуты и быстро показывает, существует ли источник вообще.

2. Числа и расчёты. Пересчитать самостоятельно или сверить с первичным документом. Здесь ошибка может выглядеть вполне правдоподобно, но при этом стоить денег.

3. Нормы и сроки. Законы, требования, дедлайны, условия договоров — всё, где ошибка может привести к штрафу, срыву сроков или другим последствиям.

При этом сам текст часто никак не выдаёт ошибку. Никаких странных формулировок или очевидных признаков выдумки. Поэтому надёжнее проверять не стиль, а источник, на котором основано утверждение.

Можно ли полностью устранить галлюцинации ИИ

Обещания «убрать галлюцинации на 100%» регулярно встречаются в презентациях AI-сервисов. Но пока модель генерирует ответ на основе вероятности следующего слова, а не проверяет каждое утверждение по реальным данным, полностью исключить выдумки нельзя. Реальная задачей является снизить количество ошибок до приемлемого уровня и выстроить процесс, в котором они не доходят до результата.

Рабочая схема при этом довольно простая. Нейросеть делает то, где важны скорость и объём: собирает структуру, предлагает варианты, готовит первый черновик. Человек проверяет факты, принимает решения и доводит результат до финального вида. Если оставить модели роль помощника на первом этапе, а дальше поставить человеческую проверку, её ошибки остаются частью черновика, а не превращаются в готовый результат.

И это в очередной раз показывает простую вещь: ИИ мощный инструмент в руках профессионала, но не полноценная замена самому профессионалу. Он может ускорить работу, взять на себя рутинные этапы и помочь быстрее прийти к результату, но ответственность за итог и принятие решений по-прежнему остаются за человеком.