Фактичность и галлюцинации

Галлюцинации LLM — это уверенно сгенерированный контент, который не соответствует действительности. Модель может выдумывать факты, цитаты, статистику и даже научные исследования, которых не существует, при этом звуча абсолютно убедительно.

LLM предсказывают наиболее вероятное продолжение текста, а не "знают" факты. Они не имеют доступа к интернету в реальном времени, их знания ограничены датой обучения, и они оптимизированы на fluency (плавность речи), а не на accuracy (точность).

Признаки галлюцинаций: слишком специфичные детали, несуществующие ссылки, противоречия при повторных запросах, информация о событиях после даты обучения модели. Всегда проверяйте критически важную информацию из независимых источников.

Эффективные подходы: RAG (retrieval-augmented generation) для привязки к источникам, цепочка рассуждений (CoT) для пошаговой проверки, самоверификация — просьба модели проверить свои утверждения, требование указывать источники и степень уверенности.