Ваш ИИ не галлюцинирует. Он угадывает.
Модели ИИ не знают, когда они ошибаются. У них нет сигнала, чтобы обозначить неуверенность. Они генерируют наиболее вероятное следующее слово на основе вашего ввода. Они демонстрируют такую же уверенность, когда они правы, как и когда они ошибаются.
Это не ошибка системы. Это то, как работает архитектура.
LLM — это предикторы следующего токена. Они не проверяют базу фактов. Они выполняют дополнение паттернов в масштабе. Если модель дает неверный ответ, это происходит потому, что ваш промпт направил вероятность в сторону этого результата.
Это различие меняет подход к решению проблем. Если модель галлюцинирует, вы не можете это исправить. Если модель угадывает, потому что ваш промпт расплывчатый, вы можете исправить это прямо сейчас.
В Datawise мы проводим бенчмаркинг моделей ИИ. Мы видим постоянную закономерность. Модели дают неверные ответы, когда входным данным не хватает деталей. Модель отвечает на тот вопрос, который вы на самом деле задали, а не на тот, который намеревались задать.
Сравните эти два промпта:
- "Как мне подключиться к Postgres в Python?"
- "Как мне подключиться к Postgres в Python, используя psycopg3, с пулом соединений 10, на Ubuntu 24.04, через Cloudflare Tunnel и таймаутом 30 секунд?"
Первый промпт заставляет модель сделать шесть догадок. Второй промпт задает ограничения.
Сложность написания конкретного промпта — это сложность понимания собственных потребностей. Если вы не можете написать конкретный промпт, значит, вы еще не знаете, что вам нужно. Перестаньте писать промпты и начните думать.
ИИ выдает неверные результаты с такой же беглостью, как и правильные. Текст звучит убедительно. Код выглядит чистым. Нет никакого сигнала о том, что модель заполняет пробел.
Старшие инженеры не просто доверяют результату. Они спрашивают: где я оставил место для интерпретации? Каждое двусмысленное слово — это решение, которое модель приняла за вас.
Не стоит просто отправлять промпт с немного измененной формулировкой. Это все равно что перезапускать сервис, не проверив логи. Вы не устраняете первопричину.
Если результат неверный, сначала прочитайте свой промпт. Найдите, где вы
Модель указывает на пробелы в ваших инструкциях. Устраните эти пробелы. Пишите более четкие промпты.
Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi