标题：字节Seed发布扩散语言模型，推理速度达2146 tokens/s

字节Seed推出了一款基于扩散模型的代码生成工具——Seed Diffusion Preview。这款模型采用离散状态扩散技术，在推理速度上表现出色，每秒可生成2146个token，比同类模型快数倍，且较同等规模的自回归模型提速5.4倍，尤其在代码编辑任务中表现突出。

Seed Diffusion Preview聚焦于结构化代码生成，通过实验验证了离散扩散技术作为下一代语言模型基础框架的潜力。其核心技术包括两阶段训练、约束顺序扩散、同策略学习范式以及块级并行扩散采样，有效解决了传统模型在归纳偏置和推理效率上的瓶颈。

两阶段训练是模型的核心。第一阶段进行基于掩码的扩散训练，让模型从部分被掩盖的序列中恢复原始token，奠定语言建模能力；第二阶段则通过插入、删除等编辑操作增强全局逻辑理解，显著提升了代码修复能力。

约束顺序扩散解决了代码生成中的逻辑混乱问题，通过引入代码的结构化先验，使模型遵循变量声明、函数调用等规则，避免乱序生成。

同策略学习范式优化了生成速度，模型在训练时直接使用当前策略生成的数据更新参数，确保训练内容与模型能力高度匹配，减少策略偏差。

块级并行扩散采样将生成序列划分为多个块并行处理，充分利用计算资源，平衡了生成速度与延迟。此外，系统级优化进一步降低了冗余开销，提升了推理效率。

实验表明，Seed Diffusion Preview不仅速度快，生成质量也具备竞争力，尤其在代码编辑任务中优势显著。团队正在招募研究型实习生，欢迎对大模型探索感兴趣的开发者加入。

技术报告：[链接]
项目地址：[链接]
体验链接：[链接]