[CL]《The Illusion of Stochasticity in LLMs》X Gu, S De, M Titsias, L Markeeva… [Google DeepMind] (2026)

在智能体系统中，LLM 需要按照推断出的策略主动执行随机采样——而非仅仅理解概率。当策略要求"以 0.3 的概率选择行动 A"时，模型必须将这一概率精准注入到输出中。过去的研究将失败归因于策略推断不足，却忽视了一个更底层的断裂：即便模型知道正确策略，将内部概率估计映射为随机行为本身就是一个未被解决的难题。

本文的核心洞见是：把"LLM 能否随机采样"这一问题重新看作确定性转换能力与真正随机生成能力的分离。由此，一个关键实验操作使问题得以拆解：当给定外部均匀随机数作为输入时，模型能够可靠地执行逆变换完成分布转换；而一旦要求模型自主生成随机数，它便退化为被训练数据偏差驱动的伪随机——偏好"7""42"，或将多选题答案集中于"C"。

这项工作真正留下的遗产是：命名并量化了 LLM 随机性幻觉这一系统性缺陷，并将其与"知行鸿沟"的根源相连接。它为后来者打开的新门是：将外部有状态采样器作为工具接入 LLM 智能体的工程路径，以及通过专项训练使 Transformer 习得真正随机性的研究方向。但尚未跨过的门槛是：如何在无外部工具、无显式随机种子的条件下，让模型的语言生成过程本身承载精确的概率控制。

arxiv.org/abs/2604.06543

机器学习 人工智能 论文 AI创造营