何恺明团队发布首个扩散语言模型ELF

在语言模型领域，自回归范式长期占据主导地位，模型像人类写作一样逐个预测下一个词。然而，一种名为“扩散模型”的技术，因其在图像生成领域的巨大成功，正试图在文本生成领域开辟一条新路。最近，由何恺明团队提出的ELF模型，正是这条新路上的一个里程碑式探索。

ELF（Embedded Language Flows）是何恺明团队推出的首个基于连续扩散范式的语言模型。它的核心思路非常大胆：摒弃传统的自回归生成路径，全程在连续的语义向量（embedding）空间中执行去噪操作，仅在最终时刻通过一个可学习的转换层，将连续的向量“翻译”回离散的词汇。这个仅用1.05亿参数、在450亿token上训练的“小”模型，在OpenWebText基准测试中达到了24的生成困惑度。更令人印象深刻的是，它仅用了同类模型约十分之一的训练数据，就在无条件生成、机器翻译和文本摘要等任务上，展现出了超越主流离散扩散模型的性能。

ELF模型的主要功能

• 连续空间文本生成：整个“创作”过程都在连续的语义空间里完成。模型反复精炼一个初始的噪声向量，直到它变成一个蕴含丰富语义的连续表示。最后一步，通过一个统一的转换矩阵，将这个连续表示映射为词汇的概率分布。
• 无条件语言生成：从一个标准的高斯噪声出发，经过32次迭代，就能生成连贯、流畅且风格自然的文本。其生成结果AI痕迹较弱，更接近人类写作。
• 条件文本生成能力：它并非只能“自由发挥”。在WMT14英德翻译、XSum新闻摘要等典型的条件生成任务上，ELF在未经额外蒸馏的情况下，性能已优于现有的扩散模型，甚至部分自回归基线模型。
• 训练与推理一体化架构：模型的设计非常简洁。去噪网络和解码逻辑共享全部参数，仅通过一个二值的模式标记（例如“0”代表去噪，“1”代表解码）来动态切换功能，无需额外的解码器或独立的后处理模块。

ELF模型的技术原理

ELF的技术实现可以概括为几个关键创新点：

• 上下文感知的连续编码：输入文本会先经过一个冻结的T5编码器，转换为包含上下文信息的连续向量。这一步仅在训练阶段用于提供高质量的目标特征，推理时完全移除，不增加任何部署开销。
• Rectified Flow + x-prediction 范式：模型定义了一条从噪声到目标向量的平滑轨迹（Rectified Flow）。网络直接回归干净的语义向量本身（x-prediction），而非预测速度场或噪声，这在高维空间中显著提升了训练的稳定性，优化目标是最小化均方误差（MSE）。
• 终步离散化与抗过简机制：为了防止模型“偷懒”，绕过复杂的去噪过程直接“抄答案”，训练中引入了词汇级的随机破坏策略（如掩码或替换）。同时，在最后一步结合交叉熵损失来监督离散词汇的重建质量，确保生成文本的精确性。
• 训练时Classifier-Free Guidance（CFG）：借鉴了图像扩散模型中的条件控制技术。在训练阶段就注入条件信号（如翻译任务的语言对标识、摘要任务的指令），使得推理时无需任何额外的分类器或复杂的引导权重调整，就能实现强大的条件生成控制。

ELF模型的使用方法

对于研究者和开发者而言，上手ELF的路径是清晰的：

• 获取源码：首先访问其GitHub官方仓库克隆项目。
• 环境配置：安装PyTorch及相关依赖，并确保拥有兼容CUDA的GPU环境。
• 数据准备：利用项目提供的脚本，将原始文本通过T5编码器批量转换为连续的向量格式，并缓存为高效读取的格式（如memmap或HDF5）。
• 模型训练：采用Flow Matching目标函数优化去噪网络，支持主流的MSE损失与终步的交叉熵监督联合训练，可以灵活启用CFG或抗过简策略。
• 文本生成：启动生成流程时，调用同一个网络执行32步去噪；在第32步，模型会自动切换至解码模式，输出最终的词汇序列。
• 下游任务适配：在WMT14、XSum等数据集上，可以加载预训练的ELF权重，仅添加轻量级的条件嵌入层进行微调，即可快速适配翻译、摘要等具体应用场景。

ELF模型的核心优势

• 极高的数据利用效率：这是ELF最突出的亮点之一。仅需450亿token的训练数据就达到了业界先进水平，相比MDLM（5000亿+）、Duo（约6000亿）、FLM（>1万亿）等模型，数据需求减少了一个数量级。
• 超快采样速度：32步采样即可匹配甚至超越竞品1024步的生成质量，这极大地降低了推理延迟和计算资源消耗。
• 更强的生成保真度：在OpenWebText上低至24的困惑度，意味着其生成的文本在流畅性、一致性和风格自然度上都非常出色，AI生硬的痕迹显著弱于同类模型。
• 极简统一架构：去噪与解码共用一套参数，没有额外的解码器，也避免了潜在扩散误差的累积。这使得模型训练更稳定，部署也更轻量。

ELF模型的项目地址

• GitHub仓库：https://www.php.cn/link/82fe1347d0cd0194a7bc3c4c48a8d7fa
• arXiv技术论文：https://www.php.cn/link/4504e2077bf88a89fd9cbfb06a015786

ELF模型与竞品对比

对比维度	ELF	MDLM	LLaDA
技术路线	连续扩散（embedding空间全程去噪，最后一步离散化）	离散扩散（直接在token空间操作，每步维护离散状态）	离散扩散（基于BERT架构的掩码扩散语言模型）
参数规模	105M	350M / 1.3B	8B
训练数据	45B token（少一个数量级）	500B+ token	数万亿 token
采样步数	32步	1024步（标准）/ 64步（需蒸馏）	64~128步
生成困惑度	24（OpenWebText，32步无蒸馏）	~35（1024步）/ ~60（32步无蒸馏）	~30（128步）
架构设计	去噪与解码共享同一网络，无额外模块	每步在词表空间做离散状态转移	基于掩码预测的Transformer，每步预测被掩码token
核心优势	数据效率极高、采样极快、架构最简	与语言离散性天然契合，理论直观	大规模参数带来强表达能力，可扩展性好
主要劣势	依赖预训练encoder提供embedding	训练数据需求大、采样步数多、生成质量对步数敏感	推理成本高、需要大量训练数据、推理步数仍较多

ELF模型的应用场景

• 低资源场景下的高效文本生成：对于训练数据受限的中小机构或学术团队，ELF提供了一条以极低成本快速构建高质量自然语言生成能力的路径。
• 非自回归机器翻译系统：其在WMT14等基准上的优异表现，使其有潜力成为低延迟、高吞吐量翻译服务的核心引擎。
• 新闻摘要与文档精炼：在XSum等长文本摘要任务中，ELF能较好地保持关键信息的完整性与语言的凝练性，适用于政务、金融、媒体等需要信息浓缩的垂直领域。
• 创意内容生产与智能对话：凭借低困惑度和高自然度，它可以支撑对语义连贯性要求严苛的任务，如小说续写、广告文案生成或客服对话模拟。
• 扩散语言建模研究基础设施：作为首个完整验证“全程连续”技术路线可行性的模型，ELF为后续的大模型架构创新、乃至跨模态的统一扩散框架，提供了一个关键的范式参考和开源基线。