4 · 约 10 分钟阅读用证据给12个智能体记忆系统排名--从 billion-context 的真身说起
TL;DR
- 收到的任务："调查 honcho / blilion contex 这类智能体记忆累积系统，按论文·证据·口碑排名"。我调查了12个系统。调查日期2026-10-31，star数和创建日期全部通过GitHub API直接实测
blilion contex查明是billion-context（ranxianglei）。它不是持久记忆系统，而是会话内上下文压缩插件。论文0篇，独立评测0次- 先说结论：无法用基准测试分数给这些系统排名。所以我按"主张背后证据的强度"来定级，而不是按准确率
- 综合：第1名 Hindsight 6.6 · 第2名 Zep/Graphiti 6.35 · 第3名 Letta 6.3 · 第4名 Mem0 6.25 · 我在用的 Honcho 第7名，5.4分
- 最重的发现来自独立基准（MemVerdict）："没有任何记忆系统能明显赢过 plain RAG，而且贵11~31倍"
起点：blilion contex 是什么
需求原文是拼错的："像 homcho / blilion contex 这样的智能体记忆累积系统"。换几个角度搜索后，GitHub 搜索直接给出了答案。
ranxianglei/billion-context。2026-08-06创建，3466★（10-31实测），TypeScript。卖点是"月级超长会话用100K上下文搞定，省5倍token"。它是能挂到 Claude Code、Codex、OpenCode、pi、Gemini CLI、hermes 等25个编码智能体上的 npm 插件，还有 pi 专用分支 billion-context-pi（266★，MIT）。
关键是分类。这是会话内压缩（Active Context Pruning），不是 Honcho 那种跨会话持久记忆，两者角色正交。可以组合，但不能放进同一个榜单硬比。而且从证据角度看，它是整个调查里最弱的：arXiv 0篇、独立评测0次、连 GitHub 都无法归类的非标准许可证。
方法：证据分级
分数不可信，就先定义证据的层级。
- T0 顶会同行评审（EMNLP/ACL/ICLR 正会）
- T1 arXiv论文 + 复现产物（配置·原始数据）公开
- T2 厂商自报基准
- T3 独立审计·复现（第三方、同条件执行）
- T4 社区实测口碑（HN/Reddit/Substack）
- T5 采用指标（star、融资、API调用量）
综合权重：学术证据20% · 基准可信度（独立复现与否）25% · 口碑15% · 采用/生态20% · 自托管·许可证10% · 运行成本10%。这是我的判断，分差小于1.0应视为同级。
综合排名
| # | 系统 | 分数 | 最强证据 / 最弱处 |
|---|---|---|---|
| 1 | Hindsight | 6.6 | 论文 + 独立试点并列第一 + 竞品在自己页面认输 / 又重又贵又不成熟 |
| 2 | Zep·Graphiti | 6.35 | 双时间轴知识图谱论文 + 基准配置全公开 / 社区版停运、纠纷史 |
| 3 | Letta（原MemGPT） | 6.3 | MemGPT论文是该领域基础文献 + 正面质疑基准有效性 / 无标准基准成绩、产品策略摇摆 |
| 4 | Mem0 | 6.25 | 采用度碾压（68.1k★、$24M融资、月1.86亿次API调用） / 成绩全是托管平台口径，开源版无法复现 |
| 5 | Cognee | 5.7 | MemVerdict并列第一 + 自曝自家1000万token结果"属探索性" / 生产级图存储收费 |
| 6 | MemoryOS | 5.55 | 唯一的 EMNLP 2025 Oral / 学术项目，无生态 |
| 7 | Honcho | 5.4 | 透明度最佳（配置+原始数据全公开） + 差异化的用户建模 / 无论文、独立跑分差38个点 |
| 8 | MemOS | 5.2 | 两篇论文 / 数字全出自自家评测框架，文档部分中文 |
| 9 | MemPalace | 4.5 | 7个月60.2k★、无LLM的raw模式 / 基准有效性争议（top_k=50） |
| 10 | OpenViking | 4.3 | 字节跳动、41.2k★、HN自发好评 / 论文基准双零、AGPL |
| 11 | Supermemory | 4.2 | 编辑器集成广 / 本地二进制不开源、满屏自封第一 |
| 12 | LangMem | - | 方便、MIT / 独立实测33.3%（与所有基线不同档） |
只有 LangMem 我没给分：在独立实测里它和任何其他系统都不同档，直接套同一把尺子会扭曲其余排名。
为什么分数给不出答案
这是本次调查最重要的轴--比排名本身还重要。
1. LoCoMo 本身就不牢。 Penfield Labs 审计（2025-12）发现答案key有6.4%是错的，LLM评审把故意写错的答案判对了63%。它分辨不出88%和94%的系统。对话也只有10组。
2. 文件+grep 拿了74%。 Letta 团队只给智能体挂了文件、grep 和向量搜索，LoCoMo 拿到74.0%（gpt-4o-mini）。高于 Mem0 自家论文里 graph 变体的68.5%。Letta 的结论："当前的记忆基准未必有意义。"
3. 厂商之间能差25.6分。 Zep 的 LoCoMo：84%（Zep自报）→ 58.44%（Mem0给对手打分）→ 75.14%（Zep反击）。同一系统、同一基准、双方都没被独立复现过。
4. 独立复现里胜负未定。 不接受记忆厂商资助的 MemVerdict 用官方评审+3模型评审团跑了试点（n=30）：Cognee 和 Hindsight 并列最高90.0%，但与 plain RAG 基线86.7%统计上同档。原文结论："没有记忆系统能明显赢过 plain RAG。"成本是每千题61.6~172美元，是RAG（5.45美元）的11~31倍。
5. 基准已饱和。 头部主张全部收敛在80多到90多分，失去区分度。还有区分力的只剩 BEAM（100万~1000万token），但那里的数字（Hindsight 64.1 / MemOS 56.75 / Mem0 48.6 / Honcho 40.9）评审和配置各不相同，同样无法互比。
所以这份排名量的是"谁把支撑主张的证据攒齐了"，不是"谁更准"。实战里，回答模型、评审模型和配置对准确率的影响比架构更大。
Honcho 排在哪
常看这个博客的人知道我在自托管 Honcho。正因为如此，更要说实话。
强项是透明度：基准配置（deriver gemini-2.5-flash-lite、dreamer haiku-4.5）和原始结果全部公开在 GitHub 上，支撑 LongMem S 90.4% · LoCoMo 89.9% · BEAM 100K 0.630。对用户建模的 peer/dialectic 路线也确实有差异化。
弱点有两个。没有论文。而且 Keep Field Report 的独立跑分里 Honcho 的 LoCoMo 是51.8%--与官方的89.9%差了38个点，至今无人解释清楚。再加上后台"dreaming"的LLM调用把运行成本顶到了第一梯队（估算每千次查询约108万瓦秒）。
但我还是留着它。我的用途不是跑分，而是"助手理解我"，这个结构性路线在那一侧依然成立。不过 v3.0.3 → v3.0.9 的升级该排上日程了。
口碑里反复出现的模式
- r/hermesagent《Memory Providers: I tested them all》（2026-05）："Hindsight 技术上最强，但太重、API调用太多、就算配便宜模型也贵、隐藏配置多、bug多"/"采用过程很坎坷，靠本地补丁叠加才稳下来"/服务器无故崩溃的报告
- HN Ask HN（2026-02）："Mem0 会存记忆，但学不会用户的行为模式"/"用户纠正是最高价值的信号，却没人用起来"
- HN Show HN: Mem0（2024）：新注册账号刷好评--水军嫌疑，被版主大量标记
- HN《Agent memory as a file format》（191赞、96评）："说了一大堆，其实就是 markdown + RAG"/"工具叫bash，优化过的API叫grep，存储叫文件系统"/OpenViking 在同帖里收获自发好评
落到我的技术栈
- Honcho 保留，排队升级。 它已经通过 pi-honcho 扩展和 pi 深度集成，迁移成本占上风
- billion-context-pi 值得实验。 "会话内压缩 + 跨会话记忆"恰好正交。注意：①确认非标准许可证 ②公开证据为零，必须用自己的负载做A/B（token量、缓存命中率、长任务成功率）③缓存命中率一下降立刻关掉--GLM包月计划里前缀缓存策略是核心变量
- 注意 GLM 单后端限制。 该计划没有embedding API，想评估依赖向量的系统（Hindsight、Mem0、Cognee）得先备好本地embedding（ollama + nomic/bge）
- 引入新系统前先测RAG基线。 独立评测说文件+检索依然能打，合理流程是只验证"新系统确实赢过基线"
来源
- MemVerdict - 独立排行榜
- aiagentmemory.org - 11系统事实表
- Keep Field Report - 17系统3基准
- AutoMem - 一次诚实的对比
- Atlan - Zep vs Mem0 纠纷梳理
- Letta - Is a Filesystem All You Need?
- honcho.dev/evals
- arXiv: 2501.13956（Zep）· 2504.19413（Mem0）· 2512.12818（Hindsight）· 2402.17753（LoCoMo）· 2410.10813（LongMemEval）· 2507.03724（MemOS）· 2502.12110（A-MEM）· 2310.08560（MemGPT）
换个权重，排名就会变。只看采用度，Mem0第一；只看学术严谨度，MemoryOS第一。这篇文章的排序，是在明确选定"证据强度"这把单一尺子之后落出来的结果。
导航
评论 (0)
TAGS