大模型会“说错话”的核心原因是:它首先被训练成生成符合上下文的语言,而不是一台天然带有事实核验器的机器。一个句子可以在语言上非常顺畅,同时在事实世界里完全不成立。
生成答案和判断真伪是两种任务
语言模型根据上下文计算接下来哪些表达更合适。训练资料中存在大量可靠知识,也存在错误、冲突、过时内容和空白。当问题落在模型不熟悉或信息不足的地方,它仍可能继续生成,而不是自动停下来。
人们把这种看似合理但事实错误的输出称为“幻觉”。这个词容易让人联想到人的感知体验,但在这里它只是描述一种系统错误,不表示模型真的看到了不存在的东西。
为什么它不总能承认不知道?
“不知道”也需要判断。模型必须先识别自己的知识边界,再校准回答的信心。训练方法可以让模型更愿意表达不确定,但这种校准不会天然完美。
尤其当问题包含错误前提、要求非常具体的名字或数字,或者看起来像一种熟悉题型时,模型可能沿着问题给出的结构补出一个完整答案。
联网和检索能解决什么?
让模型先检索可信资料,再基于资料回答,通常能降低某些事实错误。引用来源也让用户更容易复核。但检索可能找到不相关页面,模型可能误读材料,引用也可能只是在形式上出现。
因此,“带来源”不是自动正确。真正可靠的系统还需要来源选择、内容对齐、冲突处理和答案核验。
能力演示与可靠部署之间
一次漂亮回答证明系统在那个例子上成功,不代表它在相似任务中一直可靠。医疗、法律、财务或安全决策的容错率很低,仅靠语言自信程度无法判断答案质量。
对高风险信息,更稳妥的做法是回到原始资料或专业人员;对日常任务,也可以要求模型说明不确定之处,并检查关键事实。
如果只记住一件事
大模型最直接的目标是生成合适的语言,不是真假裁判。检索、工具和人工核验能够改善可靠性,却不能把所有错误一次性消除。
语言上的确定语气,不是事实上的确定证据。