北京大学腾讯混元联手破解AI图像生成两阶段诅咒

这项由北京大学与腾讯混元联合开展的研究发表于2026年6月，论文编号为arXiv:2606.32039。对技术细节感兴趣的读者，可通过该编号检索并获取完整论文。

研究背景：一道横亘在AI图像生成领域的"隐形墙"

在AI生成图像领域，几乎所有现有技术方案都遵循一套相同的工作流程，而其中隐藏着一个长期被忽视的根本矛盾。

以厨房比喻来说明：现有方案如同聘请了两位完全独立的厨师。第一位厨师（称为"分词器"，Tokenizer）负责预处理食材，将整只鸡剁成标准尺寸的鸡块并冷冻保存；等其下班后，第二位厨师（称为"生成器"，Generator）才出现，打开冰箱使用这些固定鸡块做菜。问题在于，第一位厨师从不了解第二位厨师擅长什么菜、需要何种切法，仅按自己理解的"标准切块"处理食材。

对应真实技术场景：训练AI图像生成模型时，研究者先单独训练编码器（分词器），使其学会将图片压缩为一堆数字代码或离散的"图片词汇"。此过程的唯一目标是让压缩结果尽可能还原原始图片。完成这一步后，编码器被"冻结"——不再学习或改变，如同已切好冻存的鸡块。随后训练的生成模型只能基于这些固定代码学习如何生成新图片，却无法反过来告知编码器"你这样切其实很难用"。

这种割裂导致了实际后果：编码器追求"高保真还原"，倾向于保留图片丰富的细节和变化；生成模型追求"规律性和可预测性"，希望面对结构清晰、易于学习的数据分布。这两个目标天然存在矛盾，却从未有机会协商。

北京大学与腾讯混元的研究团队将此问题视为突破口，提出了名为GEAR（Guided End-to-end AutoRegression，引导式端到端自回归）的全新框架，使得两位"厨师"能在同一厨房协同工作。

一、为什么这个问题比想象中更难解决

或许你会问：两个模型一起训练不就可以了吗？将"图片词汇化"与"图片生成"置于同一训练流程，让它们互相磨合，似乎顺理成章。

实际上，正是由于一个看似微不足道的技术细节，使这件事极其困难。

当前最主流的自回归（AR）式图像生成模型——可理解为"逐字写作"方式，一个词一个词地生成图片——使用的图片词汇是离散的整数索引，如同字典中的词条编号。编码器处理一张图片后得到若干位置，每个位置需从庞大词典中找到最相近的词并记录其编号。这个"找最近词"的操作在数学上称为"取最大值"（argmax），而此操作有一个致命特性：没有梯度。

梯度是神经网络学习的信使。生成模型生成不理想的图时，"不太好"的信号需沿计算路径回传，告知每个环节"需如何调整"。但当信号到达"取最大值"操作时，如同碰到一堵墙——无法穿越，无法继续传递给编码器。换言之，生成模型的"意见"永远无法抵达编码器，编码器无从得知自己的切块方式有多"难用"。

有人提出过一种权宜之计，称为"直通估计器"（Straight-Through Estimator，STE），其思路是在梯度计算时假装那堵墙不存在，强行传递信号。但在这项研究的实验中，此方法彻底崩溃：一旦生成模型的训练损失信号被强行传回编码器，编码器就会走捷径——既然目标是让生成结果更好预测，最简单的办法便是将所有图片映射到少数几个词汇上，这样生成模型自然容易预测下一个词。然而代价是图片细节全部丢失，还原质量急剧下降。研究者用量化指标gFID（越低越好）衡量生成质量，此路径的结果是gFID高达104.9，意味着生成的图片几乎毫无意义。

这就是GEAR需要攻克的核心难题：如何在离散的"词汇化"壁障两侧，建立一条真实有效、不会引发崩溃的信息通道。

二、GEAR的核心创意：双轨并行，各司其职

解决此难题的关键洞察来自一个精巧的拆分思路：将同一编码结果同时读成两种形态，各自承担不同任务。

仍用厨房比喻说明：第一位厨师处理完食材后，不再只是冻进冰箱。相反，他现在准备了两份食材——一份是标准切块，包装好放进冰箱，第二位厨师做菜时直接取用；另一份则是"模糊切块"，未按绝对精确标准处理，保留一些可微调的余地，专门用于让第一位厨师了解"这种切法做出的菜好不好"。

技术层面上，GEAR的做法如下。编码器处理完图片后，会得到一个"距离矩阵"，描述每个位置的特征与词典里每个词汇之间的距离关系。从这个矩阵中，研究者同时生成两种读取方式：硬读取（Hard Branch）完全精确，选出距离最近的词汇编号，如同实际使用，这一路的信号仅用于训练生成模型；软读取（Soft Branch）采用"温度加权"方式，对词典中邻近的多个词汇进行平滑混合，使结果连续可微，从而使梯度信号可流通，这一路的信号则用于引导编码器。

这样设计的精妙之处在于，软读取路径上流通的不是"生成损失"（预测下一个词的准确率），而是另一种性质截然不同的信号——表征对齐损失（REPA Loss）。该信号的来源是一个冻结的外部视觉模型DINOv2，它已被证明能理解图像语义结构，可视为"参考标准"。训练时，系统计算生成模型中间层的特征与DINOv2提取的特征之间的相似度，尽量使两者接近。这个"接近DINOv2"的信号通过软读取路径流回编码器，告知它："请将你的词汇映射方式调整成让我更容易学习DINOv2那样的表示形式。"

至于对生成模型极度有害的预测损失，它只走硬读取路径，永远不会流回编码器。这彻底杜绝了编码器"走捷径、词汇崩溃"的诱惑。

三、训练流程的精确设计：两套参数，两条更新通道

理解核心思路后，GEAR的完整训练步骤便十分清晰。

每一步训练开始时，一张图片和对应的条件信息（如类别标签或文字描述）同时进入系统。编码器先将图片处理成一组位置特征，再与词典比对得到距离矩阵。由此产生两套向量：硬路径的词嵌入和软路径的温度加权词嵌入。这两套向量分别进入生成模型的Transformer结构，硬路径走完全部层，软路径只走到预设的对齐深度即截止。在此截止层，两条路径的中间特征均与DINOv2的特征计算对齐损失；硬路径还额外计算预测下一个词的损失。

更新时，编码器只接受来自编码损失（还原图片质量）和软路径对齐损失的更新信号；生成模型只接受来自预测损失和硬路径对齐损失的更新信号。两套参数互不干扰，责任边界清晰。

整个过程从一个经过预热的编码器出发（此预热阶段主要用于补全公开模型中缺失的对抗训练判别器），在此基础上进行端到端的联合微调。

研究团队为这个对齐过程设置了两个关键超参数：软读取的温度τ和对齐系数λ。温度越低，软读取越接近硬读取，梯度信号越弱；温度越高，软硬差距越大，引导信号越强但稳定性下降。经过系统的消融实验，研究团队确定τ=0.1、λ=0.5作为默认配置，在生成质量与重建质量之间取得最佳平衡。

四、实验结果：快了多少、好了多少

研究团队在图像生成领域的标准测试场景——ImageNet 256×256分辨率的类别条件图像生成任务——上进行了系统评估，结果相当明显。

最直观的数据来自训练效率对比。在不使用任何额外推理技巧的情况下，衡量生成图片与真实图片相似度的核心指标gFID，GEAR在训练50万步时即达到了基线方法LlamaGen-REPA在500万步时才能达到的水平。换言之，完成同样的训练目标，GEAR花费的时间只有基线的十分之一。在文字到图片的生成任务上，GEAR在完成同样的REPA对齐损失目标时快了11.1倍，在预测损失目标上快了2.5倍。

在最终生成质量上，研究对三种规模的模型（1.11亿参数的Base、3.43亿参数的Large、7.75亿参数的XLarge）都进行了对比。以训练300个完整周期后的结果为例：不使用推理引导时，三种规模的gFID分别从20.16、12.70、8.20降低到16.96、8.66、6.76；使用推理引导后，分别从6.00、3.15、2.68降低到4.95、2.95、2.52。每一个规模、每一种设置下，GEAR均优于基线。

值得注意的是，提升的来源被研究团队用一个精巧的实验设计完全隔离出来：在主要对比实验中，两种方案使用完全相同的生成模型架构和训练计算量，唯一的区别是编码器是否经历了端到端联合训练。由此可确认，所有提升均来自编码器质量的改变，而非模型规模或训练时间的差异。

这项技术的适用范围也经过了验证。研究团队在三种不同的量化方案上都测试了GEAR：传统的VQVAE、频域量化LFQ和索引反向传播量化IBQ，三种方案下gFID分别改善了4个、近4个和超过7个点。这表明GEAR的引导机制不依赖某种特定的量化方式，具有普遍适用性。

在文字到图片生成任务上，研究团队使用一个包含1亿张图片的大型语料库GPIC进行验证。同样训练一个完整周期后，GEAR在各阶段的评估中都稳定优于基线，在最终评估时将关键指标FDD（在DINOv2特征空间中的分布距离，越低越好）从127.9降低到115.3。

五、深挖根源：编码器到底在内部发生了什么变化

数字上的改善是表象，更有意思的是：GEAR的引导究竟让编码器发生了什么内部变化？

研究团队从两个维度分析：编码器自身的特征与DINOv2的相似度，以及编码词汇的使用分布。

关于相似度，结果出乎意料。在扩散模型领域，"让编码器更接近DINOv2"被普遍认为是改进方向；REPA-E、VA-VAE等工作均以此为目标，使连续潜在特征更语义化。但GEAR的编码器经过端到端训练后，反而在图像级别和图块级别上都变得与DINOv2更不相似——图块级别的相似度下降尤其明显，CKA相似度从0.173降到了0.107。

这种下降并不意味着编码器质量变差，图片还原质量在实验中被证实保持甚至略有改善。真正的变化发生在词汇使用分布上。研究团队跟踪了整个联合微调过程中，词汇表的使用熵（越低说明词汇分布越集中）和有效词汇数量（越低说明常用词汇越集中）。结果显示，训练开始后词汇分布迅速变得更集中，约3万步时达到最高集中度，然后有所放松，约12万步后收敛到一个比初始状态更集中、熵更低的稳定状态。

这种现象的含义是：编码器在AR模型的引导下，将词汇分配调整成了一种对自回归预测更友好的结构——同一场景中相邻的图块更倾向于映射到相近的词汇，这种局部一致性正是让"预测下一个词"变得更容易的关键。但与STE路径引发的崩溃不同，这种集中度只是适度的结构化，并未极端退化为少数词汇包揽一切。

与此相对，生成模型内部的变化正好是编码器的镜像。研究团队测量了生成模型每一层隐藏状态与DINOv2特征的相似度，分别从整张图片层面（全局语义）和单个图块层面（局部细节）来看。在全局语义层面，GEAR和基线方法的表现几乎没有差别，两者都通过显式的对齐训练达到了与DINOv2相近的全局理解。但在图块层面，GEAR明显更接近DINOv2，这一优势在中深层网络中持续存在。

此外，研究团队还测量了Moran's I空间自相关指数以及图像特征的高频分量比例。GEAR的生成模型在这两个指标上都更接近DINOv2的参考值，说明端到端训练赋予了生成模型更强的局部空间一致性——相邻图块之间有更自然的关联，这正是DINOv2作为理解真实图像的模型所具备的特质，也是自回归生成模型真正需要的能力。

归纳起来，GEAR完成的是一种"职责转移"：原本在扩散模型体系里，是编码器自身需要变得更语义化；在GEAR体系里，编码器变得更"可预测"（词汇分布更结构化），语义对齐的任务则交给生成模型完成。两条路通向同一目的地，只是分工不同。

六、消融实验：每一个设计选择都有其理由

研究团队对GEAR的每一个设计细节都进行了独立验证。

软路径对比STE的实验结果已非常明确：STE导致gFID崩溃至104.9，软路径维持在10.63。去掉对抗训练损失的影响也被单独测试：没有对抗训练时，图片还原rFID从1.64跳升至5.86，生成gFID从10.63恶化至16.35，说明对抗训练对于联合训练中的编码器质量至关重要。

温度参数τ的扫描显示，过高的温度（如0.5）导致软路径与硬路径差异过大，生成质量最好但还原质量下降；过低的温度（如0.01）两路几乎一致，引导信号太弱，生成质量明显下降。0.1是两全其美的折中点。

对齐系数λ的实验显示，0.5是最优值。太小（0.25）则引导力度不足；太大（1.0）则过度正则化，生成和还原质量都受损。

对齐目标的选择也经过了验证，分别测试了DINOv2、DINOv3、SigLIPv2和V-JEPA2.1四种预训练视觉编码器。GEAR在所有这四种目标下都带来了显著的生成质量改善，只是幅度有所不同，DINOv2带来的改善最为明显，成为默认选择。

对于应在生成模型的第几层进行对齐，测试了第6、8、10层，结果显示第8层表现最佳。这与LlamaGen-REPA的发现一致——对齐深度应在模型总深度的三分之一左右。

初始化实验则回答了一个实际问题：GEAR必须从一个预训练的编码器开始吗？答案是否定的，但有很大帮助。从预热编码器开始训练的完整GEAR方案（gFID 10.63）显著优于从随机初始化开始的版本（gFID 13.44），但后者仍然优于使用冻结预训练编码器的基线方法（gFID 14.72）。

最后，分辨率泛化实验覆盖了256、384和512三个生成分辨率，GEAR在所有分辨率下均优于基线，证明这套机制不局限于特定图像尺寸。

七、局限性与未来展望：诚实面对天花板

研究团队在论文中坦诚讨论了GEAR当前的局限性，这种诚实态度值得关注。

最根本的瓶颈来自离散量化本身。GEAR的图片还原rFID为1.64，而同期最强的端到端扩散模型REPA-E的连续VAE还原rFID为0.28——相差近6倍。还原质量的上限直接制约了生成质量的上限，GEAR最终gFID 2.52（使用推理引导）与REPA-E的1.12之间的差距，相当程度上源于此。

这个差距背后有更深层的架构性原因：在自回归模型里，"压缩率"和"序列长度"绑定在一起。目前主流做法是将256×256的图片压缩成256个词汇（下采样16倍），生成模型需逐步生成256个词汇，这是计算量的来源。扩散模型则不同，它可用8倍下采样的编码器保留更多细节（得到1024个潜在位置），再通过2×2像素分组，使变换器实际处理的序列长度仍为256。自回归模型做不到这种解耦——每增加一个词汇，就增加一步生成，就增加计算量。

研究团队认为，此瓶颈可被部分克服，方向是借鉴扩散模型的解耦思路，例如在自回归模型侧引入图块预测或多词汇并行预测，在不显著增加序列长度的前提下使用保真度更高的编码器。

另一方面，研究团队也指出了自回归离散生成的独特优势：它与大语言模型共享相同技术生态，可直接继承各种人类偏好对齐技术（如PPO、DPO、GRPO等），在多模态统一模型场景下尤为珍贵。GEAR作为一种让离散自回归图像生成更高效、更强大的基础方法，被研究团队视为通往统一多模态生成系统的重要拼图。

说到底，GEAR解决的是一个长期被当作"不可能任务"的问题：让图像的词汇化过程和图像的生成过程在同一张桌子上坐下来，通过一种不会引发崩溃的信息桥梁相互协商。这个"桥梁"——软路径上的表征对齐信号——精巧地绕开了离散索引的不可微障碍，同时严格阻挡了会导致词汇崩溃的预测损失信号。结果是，两位"厨师"终于学会了协同工作：编码器将食材切成更适合第二位厨师发挥的形态，第二位厨师则在更友好的食材基础上做出了更好的菜。

对于关注AI图像生成技术进展的读者而言，这项工作传递的一个更广泛启示是：模型能力的边界并不总是需要靠堆参数或堆数据来拓展，重新审视训练流程本身的内在矛盾，有时候能以更小的代价实现更大的跨越。

Q&A

Q1：GEAR框架为什么不直接用"直通估计器"（STE）来连接编码器和生成器？

A：直通估计器的原理是在反向传播时假装不可微的操作不存在，强行把梯度传过去。但在GEAR的实验中，这导致了灾难性的结果：一旦生成模型的预测损失信号能够到达编码器，编码器就会走捷径，把所有图片都压缩到极少数几个词汇上，让预测变容易但图片还原质量完全崩溃，gFID指标高达104.9，几乎意味着生成的图片毫无意义。GEAR的解决方案是建立一条独立的软路径，传递表征对齐信号而非预测损失信号，从根本上消除了这个崩溃诱因。

Q2：GEAR端到端训练之后，编码器的图片还原质量会变差吗？

A：不会，反而略有改善。研究团队的消融实验显示，经过端到端联合训练的编码器，在rFID、PSNR、SSIM等还原质量指标上都持平甚至优于联合训练前的基线编码器。这是因为GEAR只让表征对齐信号流回编码器，严格阻断了会破坏还原质量的预测损失信号，所以词汇表不会崩溃，细节保留能力得以维持。

Q3：GEAR只适用于某种特定类型的图像编码方式吗？

A：不是。研究团队在三种不同的量化方案上都验证了GEAR的效果：传统向量量化VQVAE、频域量化LFQ和索引反向传播量化IBQ，三种方案都获得了明显的生成质量提升，gFID分别改善了约4个、约4个和约7个点。这说明GEAR的核心机制与具体量化方式无关，只要存在离散索引和自回归生成器的组合，GEAR的双路径引导框架就可以适用。