llama.cpp b12484、b12485、b12487、b12488 的预发布范围怎么看?

作者:百宝袋

时间:2026-11-18

浏览:592

llama.cpp b12484、b12485、b12487、b12488 均为预发布构建。 预发布构建的变更范围并不相同。数据格式、运算类型、输入规模和显卡架构共同决定哪些改动与当前工作负载相关。

文章目录

预发布构建的变更范围并不相同。数据格式、运算类型、输入规模和显卡架构共同决定哪些改动与当前工作负载相关。

llama.cpp 官方产品封面

b12484 的浮点转换维护

llama.cpp b12484 调整 F8_E4M3 解码到 fp32 的实现,采用不依赖 ldexpf 的转换路径。该构建的说明对应浮点格式转换,实际表现仍取决于所用路径。

b12484 的 F8_E4M3 转换官方预发布

b12485 的整行池化路径

b12485 在 CUDA 的 whole-row pool_1d 路径使用块归约,并按池化操作对行内核进行模板化。适用对象是这条 CUDA 池化实现,其他后端的池化行为需独立判断。

b12485 的 CUDA 池化官方预发布

b12487 的少行矩阵计算

b12487 为 CUDA 的 MUL_MAT_ID 增加 few-row MMQ 路径,并调整启动与分发顺序。官方说明包含 DGX Spark 上从两个 token 起的处理分支,评估时需要关注具体硬件与输入规模。

b12487 的 CUDA 少行矩阵计算官方预发布

b12488 的 Pascal 融合限制

b12488 在所有 Pascal GPU 上禁用量化 matvec 融合,范围是该架构下对应的量化矩阵向量计算路径。四个构建都已作为预发布公开,实际采用仍需按数据类型、后端、显卡与运算范围核对。

b12488 的 Pascal 融合限制官方预发布

实用工具推荐

电子包浆

绿化、压缩、噪点和虚拟水印,自由调节做旧程度。

使用 ›
图片压缩

选择画质和输出格式,预览压缩前后的大小。

使用 ›