Галлюцинация — ответ нейросети, который выглядит как проверенный факт, а на деле выдуман: несуществующая ссылка, номер приказа «примерно такой», цифра без источника, цитата, которую никто не произносил. Модель не обманывает в человеческом смысле: она достраивает правдоподобное продолжение текста и не различает то, что знает, и то, что додумала на ходу.
Отсюда главная сложность: вымысел не отличается по тону от верного ответа — та же уверенность, та же гладкая формулировка. Проверять весь ответ подряд бессмысленно и долго. Работает другое: знать 4 типа фрагментов, в которых вымысел заводится чаще всего, и проверять только их.
Почему модель придумывает и не сомневается#
Языковая модель устроена как машина продолжения текста: по началу фразы она подбирает наиболее вероятное следующее слово. Внутри нет базы фактов, к которой можно обратиться, и нет отдельной проверки «а так ли это». Если в обучающих текстах устойчивого ответа не было, модель всё равно выдаст связную фразу — просто соберёт её из похожих кусков.
Отсюда закономерность, полезная на практике: чем уже тема и чем реже она встречалась в текстах, тем выше риск вымысла. Общее объяснение, как устроен НДС, скорее всего окажется верным. Точный номер письма ведомства, дата вступления поправки в силу или цифра по конкретному узкому рынку — зона повышенного риска, и относиться к ней надо соответственно.
Вторая причина — отсутствие сигнала о неуверенности. Человек в такой ситуации скажет «не помню точно». Модель по умолчанию отвечает с одинаковой интонацией: и когда воспроизводит хрестоматийный факт, и когда собирает его на ходу. Просить помечать сомнительные места стоит, но пометки тоже приблизительные — они снижают риск, а не снимают его.
Где вымысел заводится чаще всего: 4 типа#
Числа и даты. Проценты, сроки, суммы, годы — самое частое место сбоя. Модель охотно округляет и подставляет «типичное» значение вместо настоящего. Особенно опасны числа внутри связного абзаца: глаз проскакивает их вместе с текстом, потому что вокруг всё выглядит осмысленно и складно.
Ссылки и источники. Нейросеть способна выдать адрес страницы, которого никогда не существовало, или приписать реальному изданию несуществующий материал. Формат при этом безупречный: домен настоящий, заголовок правдоподобный. Проверка одна — открыть ссылку и найти на странице именно то, на что ссылались.
Названия, имена и реквизиты. Номера статей и приказов, наименования организаций, должности, авторство методик. Здесь вымысел приходит в самой неприятной форме — правильная структура при неверном содержании: номер выглядит как настоящий номер, а нормы с таким номером нет, и заметить это можно только сверкой.
Цитаты и формулировки документов. Пересказ своими словами модель делает хорошо, дословная цитата — отдельный риск. Смысл смещается на пару слов, и в договоре или в публичном тексте такое стоит дороже, чем целиком выдуманный абзац, который заметили бы сразу.
3 приёма проверки: порядок действий#
Первый приём — открыть источник. Правило простое: пока ссылка не открыта и нужный фрагмент на странице не найден, источника нет. Оборот вида «по оценкам отраслевых исследований» без конкретной страницы означает, что проверять нечего, и фрагмент убирается.
Второй — переспросить в чистом чате. Тот же вопрос задаётся заново, без истории переписки, и ответы сравниваются. Устойчивый факт воспроизводится одинаково, выдуманный от запуска к запуску плывёт: меняются цифра, дата или название. Совпадение истину не доказывает, но расхождение означает вымысел.
Третий — сверить факт там, где есть первоисточник. Модель отвечает по памяти о текстах, а поиск показывает конкретную страницу; разница между инструментами разобрана в материале про то, когда лучше спросить поисковик. Для номеров документов, цен и сроков порядок обратный привычному: сначала первоисточник, потом ответ модели.
Порядок работы экономит время: сначала выписать из ответа все числа, ссылки, названия и цитаты, потом проверять только их. Обычно уходит 5–10 минут — дешевле, чем правка опубликованного текста. Заодно становится видно, на чём держатся выводы, а где текст просто гладкий.
Как снизить риск на входе, а не на выходе#
Главный рычаг — контекст. Всё, что вы не дали модели, она додумает: условия договора, цены, регламент, историю переписки с клиентом. Вставленный в запрос фрагмент документа снимает целый класс выдумок, потому что модели просто нечего заполнять предположениями. Пустое место в задании — приглашение придумать.
Второй рычаг — прямой запрет додумывать. В задании стоит написать: при нехватке информации не подставлять предположения, а перечислить, чего не хватает. Ответ станет короче и суше, зато исчезнут гладкие абзацы, собранные из ничего, и станет видно реальную границу того, что модель может сделать.
Третий — длина диалога. Чем дальше зашла переписка, тем выше шанс, что модель перестанет учитывать ранние условия и начнёт восстанавливать их по смыслу, то есть придумывать. Механику разбираем в материале про контекстное окно. На практике помогает простое правило: новая задача — новый чат.
И организационный рычаг: там, где цена ошибки высокая, ответ модели не идёт напрямую в дело. Договоры, налоги, медицина, публичные обещания клиентам — черновик готовит нейросеть, решение принимает человек, который за результат отвечает и умеет отличить правдоподобное от верного.
Вывод: где проходит граница доверия#
Галлюцинации — не поломка конкретной модели и не следствие неудачного запроса. Так работает сам способ генерации, и полностью убрать вымысел настройками нельзя. Значит, вопрос не в том, доверять ли нейросети, а в том, какие фрагменты ответа принимаются без проверки, а какие не принимаются никогда.
Рабочая граница проходит по проверяемости. Структура текста, формулировки, идеи, черновая логика — берутся как есть и правятся по вкусу, ошибка здесь заметна сразу и стоит недорого. Числа, ссылки, названия, нормы и цитаты — не берутся без сверки с первоисточником, независимо от того, насколько уверенно они написаны.
Проверку стоит встроить в процесс, а не оставлять на добрую волю: выписать проверяемые фрагменты, открыть источники, при расхождении удалить фрагмент. И держать в голове главное: уверенный тон — не признак правоты, единственный признак — источник, который вы открыли своими руками.