记忆原生大模型MemT-1.0发布：KV缓存存储降66倍

大模型的”记性”一直是个昂贵的难题：上下文越长，KV 缓存越大，算力账单越吓人；外挂的向量数据库又常常查不准、接不上。10 月 20 日，上海的记忆张量（MemTensor）团队交出了一份不一样的答卷——发布记忆原生大模型 MemT-1.0，把”记忆”直接长进模型的参数与计算图里，并同步开源了模型权重。按论文公布的数据，在 128K 长上下文下，它把持久存储需求砍掉了约 66 倍，推理速度还提升了近一倍。

发布了什么：两个版本，全部开源

MemT-1.0 包含两个版本：MemT-1.0-Nano，360 亿总参数、30 亿激活参数、1000 万动态记忆状态，基座模型为 Qwen3.6-35B-A3B；MemT-1.0-Flash，2880 亿总参数、170 亿激活参数、3.36 亿动态记忆状态，基座为 DeepSeek-V4-Flash。配套论文《MemT-1.0: Towards Memory-Native Evolution》已在 arXiv 上线（编号 2610.26825），署名作者多达 74 位，远超一般单篇模型论文的规模；模型权重同步在 Hugging Face 开源，社区可直接下载。

训练方面，团队采用”继续预训练 + 后训练”两阶段管线，用 340 亿 token 的专用语料把记忆能力”炼”进基座模型，而不是简单外挂。

核心技术：把记忆长进计算图

传统 Transformer 每生成一个 token，都要把全部历史的键值对（KV 缓存）重新过一遍。MemT-1.0 的做法是在部分 Transformer 层旁边，并行加装一个”原生记忆模块”（Native Memory Block），它由两部分组成：

• 局部记忆块：维护一个随交互轮次不断演进的动态多通道记忆矩阵，相当于模型的”工作记忆本”；
• 超记忆块：一组可训练的记忆查询 / 键 / 值投影，外加擦除、写入、遗忘门和输出门，决定”记住什么、忘掉什么、怎么用”。

生成时，记忆注意力从当前记忆状态中读取信息，经门控归一化后与普通注意力的输出相加；每轮对话结束，Gated DeltaNet-2（门控 DeltaNet-2）把本轮输入与输出的隐状态投影为键值，逐 token 更新记忆状态——下一轮对话无需再喂入原文，记忆已经”在”模型里了。

容量扩展则靠 Mixture-of-Storage（混合存储）：把记忆拆分成多个专家，由独立的稠密路由器分别负责”存”和”用”，所有记忆专家都参与计算，从而在不引爆单个注意力头参数量的前提下扩大记忆容量。

数据表现：存储降 66 倍，评测居前二

以下均为团队自报数据，第三方独立复现尚未出现，阅读时请保留一份审慎：

• 128K 历史长度下，端到端推理提速约 1.86 倍，持久存储开销下降约 66 倍；首 token 延迟（TTFT）在 128K / 256K 下分别提速 2.44 倍和 4.19 倍；
• 11 项记忆评测（MemBench、PersonaMem、LoCoMo、LongMemEval-S、MemoryAgentBench、BEAM-1M 等）：Flash 平均 50.6 分、Nano 平均 47.0 分，在”参数内化记忆”方案中分列第 1、2 名，官方称领先最强的参数基线 12.5 分和 8.9 分；
• 智能体任务：把检索到的过程性经验内化为原生记忆后，SWE-bench Verified 提升 7.6 分、SWE-bench Multilingual 提升 8.3 分；
• 通用能力：在 MMLU-Pro、GPQA、IFEval、LongBench 上与基座老师模型差距在 1~2 分以内，记忆模块没有拖通用能力的后腿。

背景：为什么”记忆”这么难

大模型的记忆困境有三层。第一层是 KV 缓存膨胀：上下文每翻一倍，缓存的显存占用和带宽成本就上一个台阶，128K 上下文的 KV 缓存轻松达到数百 GB，长对话越聊越贵。第二层是 RAG 外挂的尴尬：向量检索存在语义碎片化和检索幻觉，多轮任务里经常”找得到原文、用不对信息”。第三层是 智能体的刚需：自主智能体要跑几十上百轮工具调用，需要的是跨会话、可演进的经验沉淀，而不是每轮都从头读档。

此前的探索者并非没有尝试：RWKV、Mamba 等线性 / 循环架构试图把状态压缩进固定大小的向量，但容量上限和训练稳定性一直是短板。MemT 的思路是折中——保留 Transformer 主干，只在部分层加装记忆模块，用门控机制保证逐 token 更新的稳定性，再用混合存储扩容。

开源分量与冷静三问

这次发布的开源分量不低：两个版本基于 Qwen3.6 和 DeepSeek-V4-Flash 改造，权重全开源，社区可以直接下载复现、二次微调。74 位作者的署名规模也说明，这不是小团队的灵感实验，而是需要专用基础设施支撑的工程攻坚。

但也有三个问题值得冷静看待：第一，所有漂亮数字都来自团队自报，独立第三方复现还没出现；第二，通用能力只是”没退步”，记忆模块尚未证明能带来通用智能的提升；第三，门控记忆在超长多轮交互后的稳定性、遗忘控制的真实表现，还需要在生产环境里检验。

影响与展望

如果数据经得起复现，影响将是结构性的。对智能体开发者，经验可以”存进”模型而非每次重读文档，长任务的成本曲线会被改写，SWE-bench 近 8 分的提升已经说明记忆内化能直接转化为行动力。对推理服务商，66 倍的存储下降意味着长上下文服务的边际成本可能重构，靠 KV 缓存规模卖算力的生意要重新算账。

更长远看，记忆原生架构正与线性注意力、混合专家一起，成为下一代大模型架构竞赛的三条主线之一。一旦这条路线被更多团队验证，”上下文即记忆”的新范式或将重塑智能体的构建方式——未来的 Agent，或许不再需要外挂一座”图书馆”，因为它自己就是图书馆。