llama.cpp b12474 的 Qwen3-Next 输出投影如何纳入缩放张量?

作者:开源拾贝

时间:2026-11-17

浏览:465

llama.cpp b12474 修改 Qwen3-Next 的线性注意力输出投影,令矩阵乘法调用接收已有的 ssm_out_s。这样缩放与当前层的输出权重对应。

文章目录

llama.cpp 软件封面

先得到注意力输出,再进入投影

线性注意力计算先生成 final_output。随后用 ssm_out 投影,调用的结果仍作为 linear_attn_out 记录。变化发生在投影调用参数。

llama.cpp b12474 的预发布构建中列出的 Qwen3-Next 缩放修复

代码差异中的新增参数

在 build_layer_attn_linear 里,build_lora_mm 现在多接收 model.layers[il].ssm_out_s。这对应不同层各自持有的权重缩放。

Qwen3-Next 线性注意力输出投影调用新增缩放参数的官方差异

运行范围看构建和架构

llama.cpp b12474 为预发布构建。该说明只核实 Qwen3-Next 的此处计算路径,公告未附推理效果比较。

实用工具推荐

电子包浆

绿化、压缩、噪点和虚拟水印,自由调节做旧程度。

使用 ›
图片压缩

选择画质和输出格式,预览压缩前后的大小。

使用 ›