Нейросеть не говорит «не знаю». Она выдаёт ответ - всегда, на любой вопрос, с одинаково уверенной интонацией. Верный ответ и выдуманный выглядят одинаково, и в этом вся проблема.
Разберу, почему так устроено, где она ошибается чаще всего и как поймать выдумку, не проверяя каждое слово.
Почему она вообще врёт
Модель не хранит факты и не проверяет их. Она подбирает наиболее вероятное продолжение текста.
Если вы спросили про закон, который существует, вероятное продолжение совпадёт с реальностью - потому что в обучающих данных этот закон встречался тысячи раз. Если спросили про закон, которого нет, модель всё равно подберёт продолжение: похожий номер статьи, правдоподобную формулировку, уверенный тон. Она не знает, что вышла за пределы известного, - у неё нет границы, о которую можно споткнуться.
Отсюда практическое следствие, которое важнее любой технической детали: уверенность ответа ничего не говорит о его правильности. Интонация одинаковая всегда.
Где ошибается чаще всего
Здесь есть закономерность, и она полезнее, чем выбор «правильной» модели.
По сводкам бенчмарков 2026 года сильные модели ошибаются на 3-19% ответов. Разброс внутри этого диапазона зависит не от модели, а от типа задачи:
| Тип задачи | Доля ошибок |
|---|---|
| Пересказ готового текста | 1-2,5% |
| Ответы по загруженным вами документам | 4-9% |
| Открытые фактические вопросы | 3-8% |
| Длинные многоходовые диалоги | до 19% |
| Редкие, узкие фактические темы | 15-40% |
Отдельные области заметно хуже: исследование Стэнфорда показало 58-88% ошибок на юридических запросах.
Главный вывод сводок звучит так: тип задачи предсказывает частоту ошибок лучше, чем выбор модели. Переход на более дорогую модель снижает процент, но не меняет закономерность - на редкой узкой теме будет врать и она.
Оговорка: все эти замеры англоязычные. Российских исследований с раскрытой методикой я не нашёл, поэтому цифры стоит читать как порядок величины, а не как точный прогноз для русского языка.
Что выдумывается чаще всего
Практический список, по убыванию частоты.
Ссылки и источники. Самое частое. Модель выдаёт правдоподобный адрес, название исследования или имя автора, которых не существует. Проверяется за десять секунд - и разваливается примерно в половине случаев, когда тема узкая.
Цифры. Проценты, суммы, даты, объёмы рынка. Особенно если вы просили «привести статистику» - модель понимает это как «нужно число» и число находит.
Номера и формулировки норм. Статья закона, пункт приказа, срок подачи. Выглядит абсолютно как настоящее.
Детали продукта. Функции сервиса, лимиты тарифов, наличие интеграции. Здесь ошибки особенно устойчивы: модель помнит, как было два года назад.
Цитаты. Приписанные реальным людям слова, которых они не говорили.
Три приёма, которые ловят выдумку
Попросить источник и открыть его. Не «сошлись на источник», а конкретнее: приведи ссылку и процитируй оттуда фрагмент, на котором основан ответ. Дальше открываете ссылку. Если её нет или на странице нет этого фрагмента - ответ не подтверждён.
Спросить второй раз в новом окне. Тот же вопрос, чистый диалог. Настоящий факт воспроизводится, выдуманный - плывёт: цифра меняется, номер статьи другой, формулировка иная. Приём работает потому, что выдумка каждый раз собирается заново.
Попросить разметить уверенность. «Отметь, где ты не уверен и что стоит проверить». Модель не станет честной, но заметно чаще выделяет именно те места, где сочиняла. Это не гарантия - это способ сузить список для проверки с двадцати пунктов до трёх.
Ни один приём не даёт стопроцентной ловли. Вместе они снимают большую часть.
Если нейросеть у вас уже отвечает клиентам и вы не знаете, насколько ей можно верить, - напишите в Telegram @viktdo. Посмотрю, на чём она отвечает и где у неё есть шанс сочинить.
Чего делать точно не стоит
Спрашивать «ты уверен?». Модель извинится и перепишет ответ - иногда на верный, иногда на другой выдуманный. Ответ на этот вопрос не несёт информации.
Верить, потому что звучит профессионально. Сложная терминология в ответе не означает знания предмета. Скорее наоборот: жаргон восстанавливается легче, чем факт.
Проверять нейросетью нейросеть. Вторая модель не имеет доступа к истине, у неё те же ограничения.
Экономить проверку на том, что дороже ошибки. Цифра в коммерческом предложении, норма в документе, обещание клиенту - здесь проверяется всё.
Как с этим живут в рабочих процессах
Если модель встроена в работу - отвечает клиентам, разбирает документы, готовит черновики, - проверять каждый ответ руками невозможно, иначе автоматизация теряет смысл. Поэтому подход другой.
Первое: дать модели вашу базу вместо того, чтобы полагаться на её память. Прайс, условия, регламенты, история заказов - когда ответ собирается из ваших документов, а не из обучающих данных, доля ошибок падает до тех самых 4-9% вместо 15-40%. Это не ноль, но другой порядок.
Второе: разделить, что модель решает сама, а что уходит человеку. Ответ на типовой вопрос - сама. Всё, что касается денег, сроков и обязательств, - черновик, который подтверждает человек. Граница определяется не технологией, а ценой ошибки.
Третье: оставить след. Если непонятно, на основании чего бот ответил клиенту именно так, разобрать спор невозможно.
Когда проще не автоматизировать
Каждый ответ уникален и дорог. Юридическое заключение, медицинская рекомендация, индивидуальный расчёт. Проверка съест всю экономию.
Нет своей базы знаний. Если информация о продукте живёт в голове у двух человек, модель будет отвечать общими словами - и выдумывать.
Цена ошибки несопоставима с выгодой. Там, где одна неверная цифра стоит дороже года экономии, автоматизируют сбор данных, а не сам ответ.
Разберём ваш случай
Напишите в Telegram @viktdo - посмотрю, какие вопросы у вас можно отдать модели без риска, а где нужен человек, и где проходит граница. Разбор бесплатный.
Что делаем: чат-ботов и ИИ-ассистентов, которые отвечают по вашей базе, а не по памяти модели, и передают сложное человеку - один сценарий сразу для MAX, Telegram и VK. Посмотреть в работе - в демо. С чего начинать внедрение, разбирал здесь.
BotKraft - студия чат-ботов и автоматизации: 5 лет на рынке, больше 300 проектов.