MusubiAI Mela模型：让AI学会遗忘与升华记忆

这项由MusubiAI独立研究员完成的工作以预印本形式于2026年5月发布，论文编号为arXiv:2605.10537，感兴趣的读者可通过该编号查阅完整论文。

人类大脑每天都在执行一项精妙的任务——它不会将每一个经历瞬间都原封不动地塞进记忆仓库，而是在睡眠时，悄悄地将零散、原始的片段进行“重新整理”：将重要的模式提炼为长期知识，将具体的情节压缩为抽象经验。神经科学界将这个过程称为“记忆巩固”。这篇论文的核心，正是将这套大脑的整理机制，复刻到了AI语言模型的设计之中。

这瞄准了一个非常实际的工程痛点。当前主流的AI语言模型，例如驱动各类聊天机器人的Transformer架构，存在一个显著缺陷：它在处理文本时，需要同时“关注”所有历史词元，而这种“关注”的计算成本会随着文本长度的增加呈平方级飙升。处理1000个词元需要百万次计算，处理10000个词元就需要上亿次。这正是大多数AI模型都存在“上下文窗口”限制的根本原因——一旦超出这个范围，模型的表现就会急剧下滑。

MusubiAI提出的Mela模型，试图通过一套模仿人类记忆巩固机制的新架构，从根本上破解这一难题。研究团队在训练Mela时，仅使用了4096个词元（4K）的上下文窗口。然而在测试中，Mela却能稳定处理长达32768个词元（32K）的超长文本。相比之下，同等规模的传统Transformer模型在超过4K后，性能便迅速崩溃。这究竟是如何实现的？

一、记忆的重要性与AI的记忆缺陷

要理解Mela的突破，需要先从“记忆”的本质说起。

神经科学领域持续数十年的一个核心辩论是：人类的记忆究竟如何从短暂的印象转变为持久的知识？目前主流存在三种理论。标准巩固理论认为，记忆首先在海马体中暂存，随后逐渐转移至大脑皮层。多重痕迹理论则主张，对于富含情境细节的记忆，海马体将永久参与其中。

而这篇论文最核心的灵感来源，是“转化假说”。该假说认为，记忆巩固的本质并非“搬运记忆”，而是“将记忆内容从丰富具体的情节，转化为更抽象、更通用的图式知识”。海马体负责记录细节感知，大脑皮层则负责提炼概括性概念。更重要的是，转化假说指出，回忆本身是在当前情境与个人目标的共同作用下，主动进行重建的过程。

这套理论对AI设计有何启发？研究团队认为，现有语言模型存在一个根本性的设计缺陷：它们要么将所有历史信息都保留在注意力窗口中（计算代价过高），要么将历史信息压缩成固定大小的状态向量（信息损失严重）。两种做法都未能实现“分层巩固”——即同时保留具体的情节细节与提炼出抽象的全局知识。

Mela的解决方案，是在语言模型中内置一个模拟大脑记忆巩固过程的专用模块，使其在处理每一段新文本时，同步完成两件事：一是保留足够丰富的情节性记忆，二是持续将这些记忆提炼为更高层次的语义知识。

二、分工明确的记忆双引擎：HMM解析

Mela架构的核心是一个名为“分层记忆模块”（Hierarchical Memory Module, HMM）的部件。理解HMM最直观的方式，是将其比作一个由两位风格迥异的编辑共同运作的新闻编辑室。

第一位编辑是“L模块”（低层记忆模块）。她节奏飞快，密切关注每一条新闻动态，笔记里记满了具体的人名、地点、时间和细节。她的记忆是“情节性”的——在神经科学的类比中，她扮演着海马体的角色。

第二位编辑是“H模块”（高层记忆模块）。他节奏较慢，每隔一段时间才审阅一次L模块整理好的材料，从中提炼出核心趋势与模式，撰写成一份言简意赅的综述。他的记忆是“语义性”的——类比中，他相当于大脑皮层。

两者的关键区别不仅在于工作节奏，更在于处理信息的粒度。L模块参数量更少、更“轻盈”，每一个时间步都会更新自己的记忆状态；H模块参数量更多、更“深沉”，只在L模块完成若干轮整理后，才依据其最新输出更新自身状态。这种更新节奏的差异，在神经科学中被称为“跨频耦合”。Mela的设计者认为，这种“快-慢嵌套”结构值得引入AI架构设计。

那么，两个模块如何协作？这套协作机制被称为“分层潜递归”（Hierarchical Latent Recursion, HLR）。其运作流程如下：给定一段输入文本，L模块先独立运行若干轮，不断打磨自身的“情节记忆”；每完成这若干轮，H模块便查看L模块的当前状态，并更新自己的“语义记忆”；这个“L循环多轮、H更新一次”的大循环再整体重复若干次。在训练时，除了最后一轮，中间的递归步骤不参与梯度计算，只有最后一轮完整地进行反向传播。这种设计既避免了巨大的计算开销，又让模型在推理时能进行相当深度的“思考”。

在具体实现上，HMM的每个记忆块内部包含两个子层：一个是“门控注意力”层，用于在局部窗口内灵活读写信息；另一个是“神经记忆”层，它以神经网络权重参数本身作为记忆载体，通过梯度下降将新信息写入其中。神经记忆层的工作原理可以这样理解：它维护一张“键值对联想表”，每次接收新输入时，计算“当前输入与已有知识之间的差异”，并根据差异大小决定更新强度。这种“依据惊讶程度决定学习强度”的机制，在概念上与人类大脑对新奇刺激更易形成记忆的现象相呼应。

在内存更新的具体公式层面，Mela采用了带遗忘因子和动量的梯度更新规则。遗忘因子控制过去记忆的保留程度，动量则防止模型在遇到“极度惊讶”的输入后陷入混乱。此外，Mela还引入了一个来自Muon优化器的技巧，称为Newton-Schulz正交化——每次更新记忆权重时，先将梯度方向“正交化”，再写入记忆。消融实验证明，这一步骤使困惑度下降了约0.21。

最后，在完成所有递归后，HMM通过一个两层MLP将H模块的语义记忆与L模块的情节记忆融合，生成最终的记忆输出。这种融合方式允许模型根据当前查询的需要，灵活地在情节细节与语义概括之间权衡。

三、记忆如何接入语言模型：Mela的整体架构

有了HMM这台“记忆工厂”，下一步是将其产出的记忆内容接入真正执行语言预测的解码器。Mela的做法是，将HMM产出的记忆片段，作为解码器处理每一段文本时可随时查阅的“参考书页”。

具体而言，输入文本序列首先被切分为若干固定大小的“块”。每一块在进入解码器之前，都会有若干个来自HMM的记忆特征向量被“前置拼接”。解码器在处理该块文本时，其中的每个词元都能“看到”这几个记忆特征向量，但块与块之间的文本则相互不可见——跨越块边界的信息传递，必须完全依赖那几个记忆特征向量。这一设计的用意，是迫使解码器真正依赖HMM的记忆。

在具体参数上，输入文本先经过一个1D卷积层被“打包”成更大颗粒的“补丁”，每个补丁包含32个连续词元，作为进入记忆模块的最小单位。补丁序列再被切分为每块64个补丁的“块”，交由神经记忆层处理。这两个参数控制着记忆更新的时间分辨率与计算代价之间的平衡。

更精妙之处在于对HMM递归过程中产生的中间状态的利用。HLR进行H轮递归，每一轮都会产生一对记忆状态。研究团队提出了名为MemStack的方法：不仅将最后一轮的记忆输出注入解码器的输入层，还将每一中间轮次的记忆状态注入解码器的对应早期层。具体来说，第1轮的中间记忆特征被加到解码器第1层的隐藏状态上，第2轮的特征加到第2层，依此类推。如此一来，解码器的早期层不仅处理记忆内容本身，还处理了记忆在不同巩固阶段的“中间形态”。消融实验验证，MemStack带来了约0.1个困惑度的提升。

四、性能验证：Mela在语言建模上的表现

Mela被设计了三个参数规模：约4亿参数（400M）、约8亿参数（800M）和约12亿参数（1.2B）。每个规模都有一个同等参数量的Transformer++作为对照。两组模型均使用同一数据集的50亿词元进行训练，训练时上下文窗口均固定为4096个词元（4K）。

评测指标是“困惑度”——困惑度越低，意味着模型预测下一个词时越准确，性能越好。

在4K以内的训练范围内，Mela在三个规模上均优于同等参数量的Transformer++。以400M规模为例，在4096词元的上下文长度下，Mela的困惑度为12.01，而Transformer++为12.56。

更显著的差距出现在超出训练长度之后。在8192词元时，Mela-400M的困惑度从4K时的12.01微升至12.64，而Transformer++-400M则从12.56急剧跳升至28.26。到了32768词元，Mela-400M稳定在14.50，而Transformer++-400M高达303.56——后者的困惑度已高到几乎丧失有效预测能力的程度。这一差距在1.2B规模上同样成立。

这说明了什么？Mela通过HMM的记忆巩固机制，实际上在推理过程中“学会了”如何将超出训练窗口的历史信息压缩进记忆状态。因此，当上下文变得更长时，它不会因为“从未见过如此长的序列”而崩溃，而是继续利用记忆状态来传递跨越片段边界的信息。

五、设计选择验证：消融实验结论

论文包含了详尽的消融实验，系统地验证了每个设计选择的贡献。

H循环数量的影响。 H循环控制着“整体巩固深度”。将H从1增加到2，再从2增加到4，困惑度在所有上下文长度上均单调下降。在4K以内，H=2与H=4之间的差距很小，但在超出4K后，差距迅速扩大。这一规律暗示：更深的H循环对于长程记忆的质量至关重要。

L循环数量的影响。 L循环控制着“H模块每次获得多精炼的情节记忆作为输入”。L=4明显优于L=1。但一个有趣的异常是，L=2反而比L=1更差。研究团队解释称，两步的L循环处于一个“尴尬区间”：它已经足够延迟H模块的更新，却又不足以真正精炼出有意义的情节记忆。同时，L循环的效果沿着上下文长度轴呈现出与H循环相反的趋势：L=2和L=4之间的差距在短上下文时更大，并随着上下文增长而收窄。这意味着高质量的情节性输入在上下文短时最为关键。

H模块和L模块深度的影响。 结论是两者都从更多层数中受益，但方式不同。L模块加深的好处随上下文增长而减小。H模块加深则相反，其好处随上下文增长而增大。这两条曲线共同指向一个统一的叙事：短上下文时，情节记忆的质量是瓶颈；长上下文时，将大量情节片段整合成连贯语义表示的能力是瓶颈。

门控注意力的重要性。 消融实验中，单个组件影响最大的是门控机制：去掉门控后，困惑度上升了1.24个点，是表格中最大的单项差距。研究团队的解释是，门控机制允许模型在写入记忆时有选择地抑制不相关信息。

神经记忆vs.注意力的贡献。 去掉神经记忆（困惑度上升0.43）比去掉注意力（困惑度上升0.13）的代价大得多。这印证了设计的初衷：注意力负责局部窗口内的精细检索，神经记忆负责跨片段的持久状态维护，两者互补，但神经记忆对长程信息传递的贡献更为根本。

说到底，Mela这项研究用最简单的话概括就是：将神经科学领域研究了几十年的“大脑如何整理记忆”的理论，翻译成了一套可以用代码实现、并能在真实语言模型中测试的架构设计。它并非主张“AI与人脑完全相同”，但它提供了一个令人信服的论证：以支撑人类复杂认知功能的神经科学原理作为架构设计的指导框架，是一条值得探索的路径。

三个规模的实验均证明，在同等参数量下，配备HMM的Mela确实比没有记忆模块的标准Transformer更准确，且在超出训练长度的上下文上，优势会随着长度增加而急剧扩大。这对于需要处理长文档、长对话或长代码的应用场景而言，意味着可能在不增加训练成本的前提下，获得相当可观的实用优势。

对于AI研究领域，这项工作更深层的意义或许在于提示了一种思路：在模型规模越来越大、训练数据越来越多的竞赛之外，架构设计本身仍然存在广阔的探索空间，而神经科学则提供了一个丰富但尚未被充分挖掘的灵感宝库。当然，目前Mela仅在语言建模这一任务上进行了评测，它能否在问答、推理、代码生成等更多下游任务上带来同等收益，仍有待后续研究的验证。

Q&A

Q1：Mela模型和普通Transformer模型的最大区别是什么？

A：普通Transformer在处理文本时需要同时“关注”所有历史内容，计算量随文本数量平方级增长，超出训练范围就会出错。Mela加入了一个模拟大脑记忆巩固过程的HMM模块，它会持续将历史信息提炼为两种记忆——保留细节的情节记忆和保留规律的语义记忆，并将它们作为“参考书”提供给语言解码器。因此，即使文本长度超出训练范围，Mela也能继续正常工作。

Q2：HMM里的L模块和H模块分别做什么？

A：L模块（低层记忆模块）类似于大脑海马体，更新频率高，专注于保留丰富的情节性细节。H模块（高层记忆模块）类似于大脑皮层，更新频率低，每次等待L模块完成多轮精炼后才进行处理，专注于将情节细节提炼为更抽象的语义知识。最终的记忆输出是两者通过MLP融合的结果，模型可以根据当前需要灵活地偏重其中一方。

Q3：MemStack是什么，为什么要用它？

A：MemStack是一种将HMM递归过程中每一中间轮次产生的记忆状态，分别注入解码器对应早期层的方法。这样，解码器不仅得到最终巩固好的记忆，还能看到记忆在不同巩固阶段的“中间形态”，类似于大脑可能同时访问不同抽象层次的记忆痕迹。消融实验显示，使用MemStack后困惑度下降约0.1个点，且未增加计算代价。