llama.cpp b12470 预发布中的修复针对 MKL Flash Attention 使用广播掩码时的越界。官方变更记录关联了 f16 K/V 的设备丢失和 q8_0 K/V 的 NaN。
llama.cpp b12470 的 SYCL 掩码广播错误会有哪些表现?
作者:清欢
时间:2026-11-17
浏览:630
文章目录

有多组掩码时为何会越界
当掩码按注意力头或批次复用时,查询的头数或批次数可能多于实际掩码。旧路径以更大的查询索引直接读取,小维度的掩码就可能被越界访问。

如何理解这两种不同错误
f16 和 q8_0 是维护者用来复现的 K/V 类型。设备丢失与 NaN 在这里指向同一个广播索引问题,是否适用仍要结合 SYCL 和 MKL 的执行路径。
修复的发布范围
修复收录在 llama.cpp b12470 预发布构建中,覆盖上述 MKL Flash Attention 场景。
实用工具推荐
电子包浆
使用 ›绿化、压缩、噪点和虚拟水印,自由调节做旧程度。
图片压缩
使用 ›选择画质和输出格式,预览压缩前后的大小。
作者最新文章