长文：如何构建扩散语言模型地址：kuleshov-group.github.io/blog/blog/2026/how-to-build-a-diffusion-language-model/

如今，有两类生成式 AI 算法被广泛应用。对于图像或视频等连续数据，当前最先进的方法基于扩散模型；对于文本或代码等离散数据，主流方法则是自回归模型。本文将探讨一种适用于离散数据的替代方案，它基于现代扩散模型范式构建。

如今的主流语言模型均为自回归模型：它们每次从左到右生成一个 token，每个 token 都以上文所有 token 为条件。这种方法虽然强大，但也存在固有局限：1. 无法纠错：token 一旦生成便无法修改，早期错误会不断累积；2. 生成速度慢：生成一个序列需要的步数与 token 数量相等，无法自然适配快速并行生成；3. 因果注意力机制：生成过程仅能关注上文，无法利用下文信息。

扩散模型采用了不同的思路：它们并非一次生成一个 token，而是一次性生成整个序列，从初始猜测开始，通过多轮迭代不断优化结果。这带来了诸多优势：通过增减迭代步数即可权衡生成速度与质量，过程中能够修正错误，且每一步都能兼顾双向上下文信息。