阿里AMAP团队动态换挡让大模型推理快4.2倍

在提升大语言模型推理速度的过程中，有一个长期被忽视的细节：每次向AI助手提问时，背后的服务器并非在“查询”答案，而是在“一个字一个字地造”答案。你必须等它完成一个字，才能推测下一个字的内容。这种逐字生成的技术称为“自回归解码”，本质上就像打字速度成了大模型的瓶颈。

为绕过这一瓶颈，研究人员提出了“推测解码”策略。其核心是一条流水线：先由轻量级的小模型（草稿模型）快速猜测一串可能的后续字符，再由精准但缓慢的大模型（目标模型）一次性判断这些猜测是否合理。若猜对，全盘采纳；若猜错，从出错处截断。大模型无需逐一验证每个字，而是一次核对多个字，从而显著提升速度。

在这条“猜题+批改”的路径上，近年出现了一种更激进的变体：草稿模型不再逐字猜测，而是一次性生成整“块”内容，即所谓“块级推测解码”。其中性能最强的是DFlash方案，它通过将大模型的内部状态注入草稿模型，大幅提升猜测质量，一度成为该领域的天花板。

然而，阿里巴巴AMAP机器学习团队在深入研究中发现，DFlash及所有类似方法在推理时都有一个共同盲点：每次猜测的字数——即“块大小”——是固定不变的，直接沿用训练时的设定。这就像出租车司机在高速上用同一挡位没问题，但到了山路仍硬头皮用相同挡位，结果只能是乘客颠簸、油耗飙升。

该团队的核心贡献是为这一问题提供了优雅的解：开发了一套名为BlockPilot的系统，让AI在推理时能根据每个不同的输入自动选择最合适的“挡位”（块大小），在“猜得多”与“猜得准”之间找到最优平衡。最终在Qwen3-4B模型上，实现了高达4.20倍的推理加速。

一、为什么“固定挡位”是个问题

继续用出租车司机作比喻。不同问题的难度差异很大：问“1加1等于几”，答案几乎是百分百确定的，草稿模型可以大胆一次猜出一长串，且大概率全对。但如果让模型“写一首关于秋天的诗”，后续走向有无数可能，猜一大片反而容易出错，最终大模型只能接受很短的一段，大量预测作废。

为验证这一直觉，团队进行了系统性实验。他们从GSM8K（数学题）、MT-Bench（对话）、AIME24（竞赛数学）、MBPP（编程）、Alpaca（指令跟随）等多个代表性数据集中抽取样本，对每道题分别尝试不同大小的“块”，并记录哪种块大小能使“被接受的平均字数”（即验收长度τ）最高。这个最优块大小就是每道题的最优“挡位”，记作B*。

统计结果极具说服力。在Alpaca数据集中，高达94%的样本最佳块大小并非训练时固定使用的默认值B；在GSM8K上，这一比例也达66%。换言之，大多数情况下，固定块大小从来不是最优解，只是此前无人留意，更无人尝试改变。

这就像去超市购物，收银员每次都塞给你同一尺寸的袋子——东西少时浪费袋子，东西多时撑破袋子。真正聪明的做法，是根据你买了多少物品，选择最合适的袋子。

二、“挡位”虽然变，但变化有规律

发现问题只是第一步，接下来的难题是：既然最优块大小因样本而异，总不能推理时穷举所有可能块大小去测试吧？那计算量会比原本推理高出几十倍，完全不现实。

数据给出了令人振奋的规律：尽管不同样本的最优块大小各不相同，但它们高度集中在训练时默认块大小B附近，呈现清晰的“局部性”结构。具体而言，几乎全部样本的最优块大小都落在[B-3, B+3]这个仅含7个数字的区间内。超出该范围后，验收长度急剧下降，极端块大小几乎从未成为最优。

从分布形状看，最优块大小有两种典型模式：一种是以B为峰值的单峰分布，中间高两侧低；另一种是以B为中心的对称双峰分布，像两个相邻小山包，但都紧挨着B。无论哪种情况，最优值都乖乖待在B附近，很少“离家出走”。

这一发现的意义在于：它将原本看似无边无际的搜索问题，压缩成一个极小且结构清晰的分类问题。好比找一把丢失的钥匙，起初以为可能遍布全城，后来发现它99%的概率就在你家的三个房间里——问题瞬间简单许多。

三、用“预感”来选挡位：BlockPilot的核心思路

既然问题已转化为在7个候选值中选最优的分类任务，下一步是：依据什么来做选择？

团队给出了精巧的答案。在大语言模型的工作流程中，有一个自然发生的环节叫“预填充”：当用户输入问题后，模型会先从头到尾读一遍，形成对输入的全面理解，并预测出下一个最可能出现的词的概率分布。这一步是每次推理都必须的，无需额外代价。

关键在于：这个“最后一个位置的预测概率分布”包含丰富信息。由于模型通过注意力机制浏览了整个问题，这一概率分布实际上是对整个问题的一种浓缩。若该题规律性强、答案确定，概率分布就会非常集中（一个或几个词的概率特别高）；若开放性很强、走向很多，概率分布就会很分散（许多词的概率相近）。

这种“集中”或“分散”的性质，恰能预判：这道题适合大块猜测（集中则预测稳定，可大胆），还是应保守小块猜测（分散则不确定性高，猜多易错）。

基于此思路，BlockPilot的设计分为三步。首先，模型完成预填充后，直接提取最后一个位置的完整预测概率分布，作为当前题的“状态描述”。第二步，将该概率分布输入一个极其轻量的小型神经网络——一个仅两层的多层感知机（可简单理解为“打分器”），让它从7个候选块大小中选出预计验收长度最高的选项。第三步，用选出的块大小驱动后续整个推理过程，包括草稿生成和大模型验证。整个预测只发生一次，之后块大小固定不变，不再反复调整。

整个过程就像经验老道的厨师在开灶前先闻一下食材的气味：闻到浓郁规律的香气，就知道菜简单，可以多备食材；闻到复杂多变的气味，就知道难度高，要谨慎分批处理。整个判断只需一瞬间，不影响正式烹饪。

值得关注的是，团队也曾尝试只取概率分布中排名最高的前几个值（Top-k）作为输入，以减少信息量。结果很不理想：训练时准确率达80%，但新测试数据上仅10%，明显过拟合。这说明完整的概率分布带来的信息远胜于前几名——它保留了整个词表上的细微差异，这些差异对判断“当前生成的不确定性有多高”至关重要。

四、如何训练这个“打分器”

有了设计思路，下一步是训练数据。但每道题的“最优块大小”并非现成标注好的，需要从头计算。

团队采用了“穷举标注”方案。对训练集中每道题，先执行大模型的预填充，记录最后位置的概率分布；然后分别用候选范围内的每一个块大小（即B-2、B-1、B、B+1、B+2，共五个值，对应k=2的设置）运行完整推测解码，记录每种块大小对应的平均验收长度；最后将验收长度最高的块大小标为此题的“正确答案”。

如此构造的数据集每条都是（概率分布，最优块大小）的配对，格式清晰，可直接用于训练分类器。五种块大小之间的测试相互独立，可并行运行，大幅缩短数据构造时间。训练集来自ShareGPT（多轮对话数据）、WSC（常识推理数据）、COPA（因果推理数据）等多个公开数据集，覆盖对话、推理等多种场景。

训练本身非常简单：将数据集喂给那个两层的小网络，使用标准交叉熵损失（可理解为“让模型对正确答案赋予更高分数”）反复调整参数，直到它能准确从概率分布预测最优块大小。训练共100个轮次，使用Adam优化器，学习率设为0.00001，网络隐藏层宽度设为2048。

五、实验结果：四款大模型全面提速

团队在四款代表性大模型上进行了系统测试：Qwen3-4B、Qwen3-8B、Llama-3.1-8B-Instruct以及Qwen3-Coder-30B-A3B（一个300亿参数的代码专用模型）。评测涉及数学推理（GSM8K、MATH-500、AIME24）、代码生成（HumanEval、MBPP、SWE-Bench）和对话生成（MT-Bench）三大类任务，并分别在确定性解码（温度T=0）和随机采样（温度T=1）两种设置下进行测试。

以Qwen3-4B为例，在T=0设置下，BlockPilot平均加速比达4.17倍，平均验收长度为6.59个字符；在T=1随机采样下，加速比进一步达4.20倍，平均验收长度为5.92。相比之下，同等设置下最强的固定块大小方案DFlash(16)最佳表现仅为3.99倍（T=0）和3.80倍（T=1）。具体到单个数据集，BlockPilot在GSM8K上以4.76倍领先，在MATH-500上达到5.45倍，在HumanEval上达到4.74倍，全面超越所有对手。

Qwen3-8B的结果同样亮眼。T=0时平均加速比4.66倍，T=1时达3.94倍，同样是所有方法中的最优。值得关注的是，在某些数据集上提升幅度尤为显著——在AIME24竞赛数学上，BlockPilot以6.16倍的加速比远超DFlash(16)的5.57倍。

在Llama-3.1-8B-Instruct上，BlockPilot在T=0时平均加速3.25倍，T=1时平均加速2.40倍，两项均优于所有DFlash固定块大小变体。特别是在T=1、AIME24这个最难的组合下，标准DFlash方法甚至出现了慢于自回归基准的情况（加速比低于1），而BlockPilot依然维持了1.48倍正向加速，自适应选择在困难场景下的鲁棒性明显更强。

在Qwen3-Coder-30B-A3B这个大体量代码模型上，BlockPilot在T=0时平均加速4.12倍，T=1时达3.95倍，同样是最优表现。特别是在HumanEval和MBPP这两个代码生成基准上，验收长度分别达到9.07和7.80，远超其他方法。

一个普遍观察是：DFlash(32)（块大小固定为32，远大于训练时的块大小）的表现往往不如DFlash(16)，说明块大小并非越大越好。太大的块虽然“野心勃勃”一次猜很多，但猜对比例急剧下降，最终吞吐量反而降低。BlockPilot通过自适应选择，正好能规避这种“贪多嚼不烂”的问题。

六、这个小网络到底有多轻巧

一个自然的问题是：为这套推理系统增加一个额外的“打分器”，会不会显著增加计算开销？

数据给出了明确回答。团队对比了预测器和主干模型的资源占用：Qwen3-4B的推理延迟约183毫秒，而块大小预测器的延迟仅为7.34毫秒，占比约4%。在内存方面，Qwen3-4B需要约8.62GB显存，预测器只额外占用0.62GB。预测器的参数量仅约0.32亿，远小于主干模型的数十亿参数。

更重要的是，这个预测只发生一次——预填充结束后跑一下，之后整个推理过程中块大小不再变化。这7毫秒的开销被整个推理过程摊薄，对总体速度的影响微乎其微。从绝对收益看，这7毫秒换来平均验收长度从6.31提升到6.59（T=0下的Qwen3-4B），加速比从3.99倍提升到4.17倍，这笔账相当划算。

七、细节决定成败：消融实验揭示的设计智慧

为弄清BlockPilot中每个设计决策的重要性，团队做了一系列“如果换一种做法会怎样”的对比实验，这在学术界称为消融研究。

关于网络结构的选择，团队发现，将隐藏层宽度从1024扩大到2048，性能有明显提升；但继续扩大到4096几乎无额外收益，说明2048已足够捕捉从概率分布到最优块大小的映射关系。在网络深度方面，两层比一层稍好，三层没有进一步改善，有些数据集上还略有下降——说明该分类任务并不复杂，不需要深层网络“过度思考”。

关于候选范围k的选择，团队测试了k=1、k=2、k=3三种设置。k=1时搜索范围太窄，遗漏了部分本可选的更优块大小；k=2时性能最好，在GSM8K和HumanEval上表现最优；k=3时性能反而下滑，因为候选集变大，分类难度增加，预测准确率下降。因此最终选择k=2，对应候选集为{B-2, B-1, B, B+1, B+2}，共5个选项。

关于输入的处理方式，团队对比了三种方案：直接使用原始概率分布、对概率做归一化处理、以及对概率做softmax变换。结果显示，直接使用原始概率分布效果最好，归一化和softmax均使性能有不同程度下降。这说明原始分布中绝对概率值的大小本身就是有效信息——若最高概率为0.9，表明模型非常确定；若仅为0.3，则说明模型在多个候选间犹豫不决。归一化和softmax会抹去这种绝对尺度信息，导致判断依据不够充分。

八、理论上为什么这套方案是合理的

团队不仅做了实验，还从理论上论证了BlockPilot的合理性。这部分内容相对抽象，但可用直观方式理解。

首先，他们从“前缀存活过程”的角度分析验收长度。可以将大模型验证草稿token的过程，想象成一排待审查的士兵逐个通过长官检阅。每位士兵被淘汰的概率不同，一旦某位被淘汰，后面的士兵全部不再考虑。平均能通过多少士兵，取决于每位士兵各自通过概率的连乘积——这就是前缀存活概率。

接着，团队分析块大小如何影响这个连乘结果。他们指出，每个位置的接受概率可分解为两部分：一部分反映这道题本身的“可预测性”（记作γ），另一部分反映当前块大小与训练时块大小之间的“匹配程度”（记作r(b,B)）。可预测性γ因题而异：数学计算题答案确定，γ高；开放性对话题答案发散，γ低。匹配程度r(b,B)被建模为一个以B为中心的高斯衰减函数：块大小越靠近训练时的B，r越接近1；偏离越远，r越接近0。

将这两部分代入验收长度公式，会得到一个关键结论：最优块大小一定集中在训练块大小B附近，而具体集中在哪里，则取决于γ的高低。这从数学上证明了两件事：其一，最优块大小确实具有局部性（故能限制到7个候选值里）；其二，不同样本γ不同，所以最优块大小确实因样本而异，固定块大小策略必然次优。

此外，团队还分析了“万一预测错了怎么办”的问题。他们推导出，验收长度的损失与预测出的块大小和真实最优块大小的距离成正比。这意味着即便没完全猜对，只要猜到的块大小与最优值相差不远，损失就会很小。结合候选范围只有5个值的现实，进一步说明一个轻量级预测器完全足够胜任，无需大型专门模型。

归根结底，BlockPilot做的事情并不复杂：它发现了一个长期被忽视的问题（推测解码的块大小不该固定），找到了一个规律（最优值集中在训练块大小附近），设计了一个简单有效的解法（用预填充后的概率分布训练一个轻量分类器），并用大量实验证明了这套方案在多个模型和多种任务上的有效性。

对普通用户而言，这项研究意味着：未来使用基于大模型的应用——无论是AI聊天助手、代码补全工具还是数学解题器——响应速度可能比现在快三到四倍，而输出内容质量丝毫无损（因为最终生成仍由大模型把关，推测解码本质上是无损加速）。这在需要实时互动的场景，如代码开发辅助或在线教学，体验提升会相当明显。

当然，这项研究也有一个坦诚指出的局限性：对特别大的模型（如300亿参数级别），构建训练数据时需对每个样本跑5次完整推测解码（对应5个候选块大小），每次约5秒，加起来约25秒一个样本，数据构建阶段的计算成本不算低廉。但团队也指出，这个开销只在离线数据准备阶段发生一次，训练和推理阶段不受影响，未来还可通过启发式剪枝、早停等策略进一步优化。

对于那些对这个方向感兴趣的读者，可以进一步思考一个问题：既然块大小可以自适应调整，那么草稿生成的步数（即扩散步骤数）是否同样应该自适应？或者验证策略本身是否也有优化空间？这些问题或许会是该领域下一步值得探索的方向。完整论文可通过arXiv编号2606.31315查阅。

Q&A

Q1：BlockPilot是用来做什么的，和普通大模型推理有什么区别？

A：BlockPilot是一套专门用于加速大语言模型推理的系统，建立在“推测解码”技术之上。普通大模型推理每次只能生成一个字，推测解码会用一个小模型批量猜测多个字，再让大模型一次性检查，从而加快速度。BlockPilot的创新在于，它会根据每道题的具体特点，自动决定每次猜多少个字最合适，而不是像传统方法那样固定数量，从而在Qwen3-4B上实现了4.20倍加速。

Q2：BlockPilot自适应选择块大小的依据是什么？

A：BlockPilot在大模型读完用户输入后，会提取出模型对下一个词的预测概率分布，这个分布能反映当前任务有多“确定”。确定性高的任务（如数学计算）概率集中，适合一次猜更多字；开放性强的任务（如写诗）概率分散，适合保守一次猜少一些。BlockPilot用一个两层的小型神经网络，将概率分布输入进去，从5个候选块大小中选出预计效果最好的那个，整个过程只需约7毫秒。

Q3：BlockPilot会不会影响大模型输出的质量或准确性？

A：不会。BlockPilot只改变了草稿生成策略，最终输出依然经过大模型完整验证，不符合大模型判断的草稿字符会被截断丢弃，只有大模型认可的部分才会保留。因此，从用户角度看，最终生成的内容与原来的大模型完全一致，质量和准确性无任何损失，加速是完全无损的。