LLaDA2.2-flash - InclusionAI 开源的高效扩散语言模型

什么是LLaDA2.2-flash

LLaDA2.2-flash是InclusionAI开源的扩散语言模型（dLLM），采用MoE架构，总参数量约100B，原生支持128K上下文。模型通过多轮并行去噪拟合答案，引入莱文斯坦编辑实现序列的增删改能力。模型在7项Agent基准上平均得分53.83，逼近同规模自回归模型Ling-2.6-flash的55.74分，同时保持1.64倍解码吞吐优势。

LLaDA2.2-flash具备哪些主要功能

• 扩散方式并行生成：高吞吐文本生成依靠块并行解码完成，多个Token位置会被同时处理。
• 莱文斯坦式编辑：定长替换不再构成限制，因为去噪阶段能够执行INSERT、DELETE、SUBSTITUTE、KEEP四种编辑操作。
• 处理长上下文：面向工具调用轨迹、长程软件工程等复杂场景，模型提供原生128K上下文窗口。
• 执行Agent任务：可处理代码修复、API交互及多轮工具调用等依靠环境反馈持续纠错的任务。
• 高效MoE推理：长上下文产生的推理成本由块路由机制控制，底层使用的是混合专家架构。

LLaDA2.2-flash采用的技术原理

• 扩散语言模型的生成范式：多个位置协同推进，让LLaDA2.2具备反复修整结果的潜力：它先选择一批噪声位置，再用多轮去噪逐步拟合完整序列；自回归模型则不同，只能按照从左到右的方向逐Token生成。
• 莱文斯坦编辑的运行机制：非等长序列的修正依赖四类指令：KEEP、SUBSTITUTE、DELETE、INSERT，它们由最长公共子序列（LCS）对目标序列和生成草稿进行对齐后构建。执行INSERT时，当前位置之前会新增[MASK]留待后续填充；执行DELETE时，冗余Token被移除，后续序列随即左移。
• L-EBPO强化学习方法：该块级策略优化算法基于莱文斯坦编辑证据下界提出。外层面向多轮Agent交互，优化轨迹级决策；内层处理单次生成时Block中的插入和删除，并通过恢复编辑轨迹让梯度覆盖结构决策。环境奖励取决于工具调用正确性、输出格式有效性及任务完成度。
• 块路由机制（Block Routing）：为MoE在长上下文块扩散时出现的专家并集膨胀设定可预测的O(C)工作集上界，方案先以Token赛马计算Block级准入分数，再从256个路由专家里挑出Top-48形成候选池，最后让每个Token仅在池中完成Top-k路由。

微信关注后回复“开源”，即可加入AI开源项目交流群

LLaDA2.2-flash如何使用

• 硬件准备：本地部署LLaDA2.2-flash需配备至少4张A100-80GB或同等显存GPU支持BF16全精度加载，若使用FP8量化或处理128K长上下文场景则需相应预留更多显存资源。
• 模型下载：通过ModelScope SDK下载模型时，执行from modelscope import snapshot_download; model_dir = snapshot_download("inclusionAI/LLaDA2.2-flash")可自动完成约206GB模型文件的下载。
• Git克隆：若采用Git LFS方式获取模型，运行git lfs install初始化大文件支持，执行git clone https://modelscope.cn/models/inclusionAI/LLaDA2.2-flash.git拉取完整模型仓库。
• 加载模型：调用Transformers，是加载模型时所用的方法AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="auto")同时务必设置trust_remote_code=True以启用自定义扩散解码逻辑。
• 设置精度：完成模型加载以后，执行model = model.to(torch.bfloat16)把模型转换成BF16精度，之后再调用model.eval()把模型调整为评估推理模式。
• 加载分词器：同时加载与模型对应的分词器AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)，保证分词规则与模型配置完全一致。
• 输入构造：构造用户提示后，通过tokenizer.apply_chat_template([{"role": "user", "content": prompt}], add_generation_prompt=True, tokenize=True, return_tensors="pt")将对话格式化为模型所需的输入张量。
• 参数配置：调用model.generate()时配置关键扩散解码参数：block_length=32控制每步并行去噪Token数量，threshold=0.5设定去噪置信度阈值，editing_threshold=0.0关闭主动编辑，temperature=0.0启用贪心解码，gen_length=512设定最大生成长度。
• 解码生成结果：内容生成结束后，使用tokenizer.decode(generated_tokens[0], skip_special_tokens=True)把Token序列转换为可读文本，并输出最终内容。

LLaDA2.2-flash有哪些核心优势

• 高吞吐量解码：相较同规模自回归模型Ling-2.6-flash，BF16平均解码吞吐量为其1.64倍；转为FP8量化后，性能还能增加18.6%。
• 结构化的自我纠错：SWE-bench Verified解决率由35.8变为44.4，取得8.6个百分点的绝对增益，原因是莱文斯坦编辑赋予模型增删改能力。
• 原生支持长上下文：适配Agent长程交互需求的128K并非外推所得，而是从8K开始持续预训练扩展而来。
• 开源且能够复现：本地完整复现具备条件，因为训练细节和模型均已开放，并采用Apache-2.0协议。
• MoE推理的效率：利用块路由机制，把每Block的专家工作集限制在固定容量中，从而明显减少HBM流量和通信成本。

LLaDA2.2-flash项目地址

• GitHub仓库：https://github.com/inclusionAI/LLaDA2.X
• ModelScope地址：https://modelscope.cn/models/inclusionAI/LLaDA2.2-flash

同类竞品和LLaDA2.2-flash对照分析

比较维度LLaDA2.2-flashLing-2.6-flash架构范式采用扩散语言模型（dLLM）结合 MoE 架构，通过多轮并行去噪生成序列。采用自回归（AR）结合 MoE 架构，从左到右逐 Token 顺序生成文本。序列编辑能力原生支持莱文斯坦编辑，具备 KEEP、SUBSTITUTE、DELETE、INSERT 四种增删改操作。无原生序列编辑能力，生成后修正需依赖外部重采样或后处理。强化学习策略使用 L-EBPO 算法，在环境反馈中联合优化轨迹级决策与块内编辑动作。采用标准 RLHF 或传统强化学习框架进行对齐与优化。Agent 基准均分在 7 项 Agent 基准测试中平均得分为 53.83。在相同 7 项 Agent 基准测试中平均得分为 55.74，高出 1.91 分。解码吞吐量BF16 平均解码吞吐量达到 Ling-2.6-flash 的 1.64 倍，FP8 量化后再提升 18.6%。作为自回归基准模型，解码吞吐受逐 Token 生成方式限制。上下文窗口通过持续预训练原生支持 128K 上下文，非位置外推方式。上下文能力未在公开技术报告中详细披露具体训练方式。

LLaDA2.2-flash适用场景

• 软件工程Agent：代码修复、Bug定位、函数补全等复杂编程任务涉及非等长文本编辑，模型凭借原生莱文斯坦编辑所提供的增删改能力可以处理。
• 多轮调用工具：需要持续纠错的复杂Agent工作流可由模型适配；执行API交互及MCP协议时，它能增删字段并动态修正参数。
• 处理长文档：、凭借原生128K上下文窗口，模型无需依赖位置外推，就能高效处理长文本分析、报告生成和知识提取。
• 科研及实验复现：LLaDA2.2-flash作为开源的MoE扩散语言模型，为学术研究提供了不同于自回归路线的可复现研究基座，也带来了替代技术路径。