谁能想到啊，在自回归模型（Autoregressive，AR）当道的现在，一个非主流架构的模型突然杀了回马枪——
被长期视为学术玩具的扩散语言模型，直接在复杂编程任务中飙出了892 tokens/ 秒的速度！
你没看错，当主流大模型还在以几十 token 的速度逐字蹦词时，这个非主流模型已经在 100B 参数规模上，跑出了如此的速度。
2025 年，蚂蚁集团资深技术专家赵俊博曾经带着 LLaDA2.0 登上量子位 MEET 大会的舞台，而如今，他们的最新版本 LLaDA2.1 来了，蚂蚁技术研究院重磅开源！
三个月前，在 LLaDA2.0 时代，这更多是一个充满挑战的研究性模型。
而这一次，LLaDA2.1 的诞生，标志着这个路线的历史性转折。它不再只是一个"学术研究"，而是真正可用、甚至在效率上更为优越的强大工具。
那么在整个行业都在卷更大的自回归模型时，蚂蚁到底是怎么低调修了另一条"能跑通的高速公路"的？
接下来，我们就再一起扒一扒这个非共识技术背后的原理。
怎么做到的？
在深入技术之前，我们先得聊聊为什么现在的 ChatGPT、Claude 们总是慢条斯理。
因为它们几乎全部采用自回归架构，这种模式如同一个不能打草稿的考生，必须从左到右、一字一句地生成文本，写完即定稿，无法回头修改。
而扩散模型的理论优势在于并行，可以同时处理所有文本位置，理论上能一次成篇，拥有巨大的速度潜力。
但扩散语言模型在早期一直有个致命伤，那就是容易胡说八道，且缺乏全局一致性。因为并行生成时，各个部分可能是各玩各的，导致前后文逻辑不通。
为此，蚂蚁的 LLaDA2.1 先亮出了第一个技术杀手锏：
一个模型两种模式设计，把怎么用模型的权力交给用户
基于可纠错编辑的底层能力，LLaDA2.1 引入了灵活的双模式解码策略，实现了单个模型，同时支持极速与质量两种模式：
Speedy Mode（极速模式）：大幅降低 τ _mask 阈值，激进并行生成初稿，依赖 T2T 编辑进行后期修正。适合代码草稿、快速推理、多轮试探式生成等对吞吐量敏感的场景。
Quality Mode（质量模式）：采用保守阈值，减少编辑次数，优先保障输出准确性。适合正式文档生成、高精度推理等对结果质量要求严苛的场合。
在此之前，LLaDA-MoE 和 LLaDA2.0 需要二次开发提供额外的加速版本，比如基于路径蒸馏的加速等；这类加速版本因为非联合训练优化，虽然实现了对基础版本的一定加速，但是精度掉点普遍严重；同时一个模型多个版本，也增加用户选择的难度以及模型管理的成本。
单模型双模式，避免了上述问题。用户可以根据具体需求，仅需一条 config 就能实现模式切换。
这种设计标志着 LLaDA 系列从研究模型向实用产品的关键转变。
技术报告显示，在 HumanEval+ 编程基准上，LLaDA2.1-flash（100B）在 Speedy Mode 下达到892 TPS的峰值速度，而 Quality Mode 则在多项推理任务上超越了前代模型。
可纠错编辑，让模型像人类一样"写作 + 修改"
为了更好的理解双模式背后的机制，我们可以回忆一下自己写作的流程。
自回归模型像是一个不允许带草稿纸、不允许带提纲的作者，它下笔无悔，不允许修改自己写好的内容。
但现实中，大部分情况下我们可能是先有了想法去写草稿，哪怕有错别字，先动笔写着；写完之后，我们再回头细读一遍，把不通顺的、有错别字的地方改掉。
LLaDA2.1 工作原理正是如此，引入的机制叫做可纠错编辑（Error-Correcting Editable，ECE）。
它的推理过程被分为了两个阶段：
阶段一（M2T, Mask-to-Token）：模型以极高的速度，并行生成一个草稿。这个阶段可能会有一些噪声和错误，但速度极快。
阶段二（T2T, Token-to-Token）：立即启动编辑模式。模型站在全局视角，对刚才生成的草稿进行检查。如果发现某些 token 置信度低或者逻辑不通，就直接进行回溯式修正。
技术报告中的一个例子生动说明了其价值。
当模型尝试补全赫拉克利特名言" No man ever steps in the same river twice "时，传统扩散模型在早期步骤错误生成了" walks "，由于状态冻结，最终输出错误的" walks in the same river twice "。
而 LLaDA2.1 在后续步骤中检测到" steps "的置信度更高，果断将" walks "替换为" steps "，成功恢复正确引文。
这种允许自我修正的能力，从根本上解决了扩散模型的曝光偏差问题。它让模型敢于在初稿阶段追求速度，再通过编辑阶段保障质量。
它在毫秒级的闪电采样中完成了"草稿"到"正卷"的华丽转身，不再被困在序列的起点，而是直接站在全局的高度，去编辑、去重塑、去定义 AGI 时代的推理新范式。
这是第一次在扩散架构上实现了速度与质量的解耦。
首次在 100B 扩散语言模型上跑通强化学习
如果说可纠错编辑解决了怎么生成的问题，那么强化学习则是解决了生成得好不好的问题。
但此前，在扩散模型上应用 RL 曾被视为不可能的任务。
原因在于，自回归模型的序列似然可直接分解为 token 级概率乘积，而扩散模型基于块状采样（block-diffusion），序列级似然难以直接计算，导致传统策略梯度方法失效。
LLaDA2.1 团队为此定制了 EBPO（ELBO-based Block-level Policy Optimization）算法：
以证据下界（ELBO）作为序列似然的代理目标；
通过向量化似然估计技术，并行计算多时间步的块条件概率；
设计专门的梯度稳定机制，适配扩散模型的编辑特性。
这是业界首次在 100B 规模扩散模型上成功实施大规模 RL 训练。
结果显而易见：LLaDA2.1 在 IFEval（指令遵循评估）、BFCL（函数调用）等对齐类任务上显著提升，证明扩散模型不仅能快，更能懂你。
鱼和熊掌，可以兼得
正如我们刚才提到的，LLaDA2.1 百亿参数版本在处理 HumanEval+ 等复杂编程任务时，实现了 892 tokens/ 秒的峰值速度。
在同级别的基准测试中，这一速度表现已经对主流自回归架构形成了显著优势。
更值得关注的是，这种速度并非以牺牲质量为代价。
在涵盖知识、推理、代码、数学及指令遵循的 33 个权威基准测试 中，LLaDA2.1 在质量模式下全面超越了前代 LLaDA2.0。
即使在追求速度的极速模式下，其性能下降也微乎其微，真正做到了 "鱼与熊掌可以兼得"。
除此之外，团队还开源了 16B 的 Mini 版本，其在部分任务上的峰值速度甚至超过1500 tokens/ 秒，为更轻量化的部署提供了可能。
最后，LLaDA2.1 背后的哲学也是值得说道说道。
它证明了一件事：
在大模型时代，有敢把非共识走到底的耐心，亦可取得胜利。
技术报告：
https://huggingface.co/papers/2602.08676
GitHub 地址：
https://github.com/inclusionAI/LLaDA2.X
项目权重：
https://huggingface.co/collections/inclusionAI/llada21
https://modelscope.cn/collections/inclusionAI/LLaDA21
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见
双融配资-双融配资官网-证券公司配资-北京股票配资官网提示：文章来自网络，不代表本站观点。
