Самая коварная особенность ИИ: ассистент может с совершенно серьёзным видом придумать несуществующую статью, закон или статистику. Это называют галлюцинацией — уверенный, правдоподобный, но выдуманный ответ. Хорошая новость: феномен предсказуем, у него есть узнаваемые «места обитания», и его сильно ограничивают простые привычки. Этим и займёмся.
Свойство, а не поломка
Вспомним главное из курса об устройстве моделей: языковая модель порождает текст, предсказывая продолжение. У неё нет режима «поискать в архиве» и нет внутреннего «не знаю» — она обязана продолжить текст. Это рассказчик у костра, который никогда не признаётся «не помню», а красиво дорисовывает историю. Если тема хорошо представлена в обучающих данных, дорисовка совпадает с правдой. Если данных мало — вы получите гладкий, уверенный и выдуманный текст.
Отсюда важнейший вывод: уверенность тона никак не связана с точностью факта. Галлюцинация выглядит ровно так же, как честный ответ. Отличить их «на глаз» невозможно — только проверкой.
Как выглядят галлюцинации и где они водятся
Типичные маски:
| Маска | Как выглядит | Что на самом деле |
|---|---|---|
| Ссылка | Правдоподобное название статьи, реальные фамилии авторов, существующий журнал | Такой статьи не существует |
| Биография | Уверенный абзац о малоизвестном человеке | Смешаны два тёзки или всё выдумано |
| Закон | «Согласно статье такой-то…» | Номер и содержание перевраны |
| Цифры | «По данным исследований, 67 %…» | Исследование выдумано, число взято «с потолка» |
Риск заметно выше, когда:
- тема узкая или локальная: региональные нормы, история небольшой компании, нишевая отрасль;
- вы просите «назови источник» — модель сгенерирует правдоподобную ссылку, потому что вы её об этом попросили;
- задача требует длинной цепочки шагов — ошибка в начале уводит весь дальнейший расчёт;
- нужны точные числа, даты и номера документов — их меньше всего в «памяти» модели.
Приёмы защиты: четыре привычки
1. Разрешите не знать. Модель приучена быть полезной и по умолчанию не признаётся в незнании. Скажите прямо:
Если ты не уверен в факте, так и напиши: «не знаю» или «нужно проверить».
Не придумывай источники и цифры. Лучше честный пробел, чем красивая выдумка.2. Дайте свои источники. Вместо «что говорит закон об отпусках» — вставьте текст закона в запрос и попросите работать только с ним. Над предоставленным материалом модель рассуждает отлично; плохо она «вспоминает» то, чего не помнит.
3. Считайте кодом. Для любых вычислений просите написать и выполнить код, а не считать в тексте. Код либо даёт верный результат, либо падает с ошибкой — оба исхода лучше тихой ошибки в арифметике «в уме».
4. Проверяйте перекрёстно. Ключевой факт сверьте с независимым источником. Переформулируйте вопрос или спросите в новом чате: если ответы расходятся — это сигнал, а не случайность. Можно попросить модель проверить собственный ответ, но не полагайтесь только на это.
Правило доверия по уровням риска
| Уровень | Примеры задач | Сколько доверять |
|---|---|---|
| Низкий | Поздравления, идеи, переформулировки | Быстрая вычитка на вкус |
| Средний | Письма клиентам, пересказы документов | Проверить имена, факты, обещания |
| Высокий | Цифры для отчёта, ссылки на законы, медицина, финансы | Каждый ключевой факт — по независимому источнику |
Смысл простой: чем дороже ошибка, тем меньше можно брать на веру. Галлюцинация в черновике поздравления безобидна; галлюцинация в юридической ссылке — репутационная мина.
Ключевые выводы
- Галлюцинация — не сбой, а следствие устройства модели: она всегда продолжает текст, даже когда не знает ответа.
- Уверенный тон ничего не говорит о точности; выдумку отличает только проверка.
- Риск выше в узких темах, в просьбах назвать источник и в длинных цепочках рассуждений.
- Лучшие приёмы: разрешить «не знаю», давать свои материалы, считать кодом, проверять перекрёстно.
- Глубина проверки определяется ценой ошибки — от беглой вычитки до сверки каждого факта.
Что дальше
Если хотите понять механику галлюцинаций глубже, вернитесь к курсу «Как устроены большие языковые модели: простое объяснение». А прежде чем отправлять в сервис документы для анализа, прочитайте «Приватность и данные: правила безопасной работы с ИИ» — проверка ответов и проверка отправляемого идут в паре.