大型语言模型（LLM）之所以会产生幻觉，其根本原因在于它们的设计初衷——它们是概率预测引擎，而非事实检索数据库。模型的目标不是“理解”并回答问题，而是根据其在海量文本数据中学到的统计规律，预测下一个最有可能出现的词（或Token）。

这个过程基于一个名为“最大似然估计”（MLE）的原则。简单来说，给定一段前文，模型会计算词汇表中每个词出现在下一位置的概率，然后选择概率最高的那个。例如，看到“天空是”，模型在其训练数据中发现“蓝色”这个词跟随出现的频率最高，因此它会输出“蓝色”。它并不知道天空“是”什么颜色，只知道这个词语组合在统计上最“合理”。

模型预测的依据完全来自其训练数据。如果数据本身存在问题，这些问题就会内化为模型的“世界观”，成为幻觉的主要来源。

主要问题包括：

• 知识偏差与错误信息：互联网包含了大量错误、矛盾甚至虚假的信息。如果某个错误观点被频繁重复，模型就会学到这是一个高概率的文本模式。例如，如果大量科幻小说中都描述火星上有运河，模型在回答关于火星的问题时，就可能自信地提及这些虚构的运河。
• 知识过时：模型的知识被“冻结”在训练数据截止的那个时间点。它无法访问实时信息。如果你问一个2022年训练的模型“谁是现任英国首相？”，它很可能会给出一个当时正确但现在已经过时的答案。

除了数据源的问题，模型自身的架构和生成文本的方式也会诱发幻觉。

Transformer架构的核心是注意力机制，它允许模型在生成下一个词时，权衡输入文本中不同部分的重要性。然而，在处理特别长的上下文时，注意力可能会“漂移”，错误地聚焦于不相关的部分，或者忽略了早前提及的关键信息，导致前后矛盾或事实捏造。

解码策略在其中也扮演了关键角色。为了避免生成重复、呆板的文本，我们通常会引入一定的随机性：

• Temperature：这个参数控制着概率分布的平滑程度。较高的Temperature会提升低概率词被选中的机会，让回答更具创造性，但也极大地增加了偏离事实、产生幻觉的风险。
• Top-k/Top-p 采样：这些技术通过限制模型只在一小部分最可能的词中进行随机选择，来平衡创造性与连贯性。但即便是从“最可能”的词中选择，也可能因为一步走错，导致后续的生成内容步步错，最终陷入一条看似合理但完全虚构的逻辑链。

最后，一个被称为“曝光偏差”（Exposure Bias）的问题进一步加剧了幻觉。在训练时，模型每一步都被喂入“标准答案”作为下一轮预测的输入。但在实际生成（推理）时，它只能依赖自己上一步生成的内容。这意味着，一旦模型犯了一个小错误，这个错误就会被当作“事实”输入到下一步，导致错误像滚雪球一样越滚越大，最终完全偏离轨道。

理解这些底层机制，有助于我们认识到LLM的局限性。它们是强大的语言模式学习者，但不是全知全能的真理来源。在使用它们时，批判性思维和事实核查至关重要。