에이전트 기억 시스템 12개, 근거로 랭킹 - 'blilion contex'의 정체부터

TL;DR

• "honcho / blilion contex 같은 에이전트 기억누적 시스템을 조사해서 논문·근거·후기 기반으로 랭킹해줘"라는 주문으로 12개 시스템을 조사했다. 조사일 2026-10-31, 스타·생성일은 전부 GitHub API로 직접 실측했다
• blilion contex는 billion-context(ranxianglei)로 판명됐다. 기억누적 시스템이 아니라 세션 내 컨텍스트 압축 플러그인이다. 논문 0편, 독립 벤치마크 0건
• 결론부터: 벤치마크 점수 자체로는 랭킹이 불가능하다. 그래서 "정확도"가 아니라 "주장을 뒷받침할 근거의 강도"로 등급을 매겼다
• 종합 1위 Hindsight 6.6 · 2위 Zep/Graphiti 6.35 · 3위 Letta 6.3 · 4위 Mem0 6.25 · 지금 내가 쓰는 Honcho는 7위 5.4
• 가장 무거운 발견은 독립 벤치마크(MemVerdict) 쪽이다: "어떤 메모리 시스템도 plain RAG를 명확히 이기지 못했고, 11~31배 비싸다"

시작: blilion contex의 정체

오후에 들어온 주문이 "homcho / blilion contex 같은 에이전트 기억누적 시스템 조사"였다. 철자가 깨져 있어서 몇 갈래로 검색했는데, GitHub 검색에서 바로 나왔다.

ranxianglei/billion-context. 2026-08-06 생성, 3,466★(10-31 실측), TypeScript. "월 단위 초장세션을 100K 컨텍스트로, 토큰 5배 절약"이 내세우는 성과다. Claude Code, Codex, OpenCode, pi, Gemini CLI, hermes 등 코딩 에이전트 25개에 붙는 npm 플러그인이고, pi용 포크 billion-context-pi(266★, MIT)도 따로 있다.

중요한 건 분류이다. 이건 Honcho류 "세션 간 영속 기억"이 아니라 세션 내 압축(Active Context Pruning) 계열이라서 역할이 직교한다. 조합은 가능하지만 같은 부문으로 비교하면 안 된다. 그리고 근거 관점에서는 이 조사 전체에서 가장 약하다 - arXiv 0건, 독립 평가 0건, 라이선스는 GitHub조차 분류 못 하는 비표준이다.

조사 방법: 근거 등급

점수를 믿을 수 없으니 근거의 층위부터 정의했다.

• T0 학회 peer-review (EMNLP/ACL/ICLR 본 채택)
• T1 arXiv 논문 + 재현 아티팩트(설정·원시데이터) 공개
• T2 벤더 self-reported 벤치마크
• T3 독립 오디트·재현 (제3자가 동일 조건으로 실행)
• T4 커뮤니티 실사용 후기 (HN/Reddit/서브스택)
• T5 채택 지표 (스타·펀딩·API 트래픽)

종합 점수 가중치는 학술 근거 20% · 벤치마크 신뢰도(독립재현 여부) 25% · 후기 15% · 채택/생태계 20% · 셀프호스트·라이선스 10% · 운영비용 10%. 내 판단이고, 점수 차 1.0 미만은 동급으로 읽어야 한다.

종합 랭킹

#	시스템	점수	가장 강한 근거 / 가장 약한 지점
1	Hindsight	6.6	논문 + 독립 파일럿 공동 1위 + 경쟃사들이 스스로 열세 인정 / 무겁고 비싸고 성숙도 낮음
2	Zep·Graphiti	6.35	bi-temporal KG 논문 + 벤치 설정 전부 공개 / CE 폐지, 분쟁 이력
3	Letta(前MemGPT)	6.3	MemGPT 논문이 분야 기초 문헌 + 벤치마크 회의론 정면 제기 / 표준 벤치 부재, 제품 전략 요동
4	Mem0	6.25	채택 압도적(68.1k★, $24M, API 월 1.86억 콜) / 점수 전부 관리형 기준, OSS 재현 불가
5	Cognee	5.7	MemVerdict 공동 1위 + 자체 결과 "탐색적"이라 자백 / 프로덕션 그래프스토어 유료
6	MemoryOS	5.55	유일한 EMNLP 2025 Oral / 학술 프로젝트라 생태계 없음
7	Honcho	5.4	설정·원시데이터 공개 투명성 최상 + 사용자 모델링 차별화 / 논문 없음, 독립 실행 격차 38점
8	MemOS	5.2	논문 2편 / 전부 자체 하네스, 문서 일부 중국어
9	MemPalace	4.5	7개월 60.2k★, 무LLN raw 모드 / 벤치 무효 논란(top_k=50)
10	OpenViking	4.3	ByteDance 41.2k★, HN 유기 호평 / 논문·벤치 0건, AGPL
11	Supermemory	4.2	에디터 통합 넓음 / 로컬 서버 소스 비공개, self-claimed #1 남발
12	LangMem	-	간편·MIT / 독립 측정 33.3%(베이스라인과 비동격)

LangMem만 점수를 안 매겼다. 독립 측정에서 다른 어느 시스템과도 통계적으로 동급이 아니라서, 나머지 척도를 그대로 적용하면 왜곡되기 때문이다.

왜 점수로는 답이 안 나오는가

이게 이번 조사에서 제일 중요한 축이다. 랭킹보다.

1. LoCoMo 자체가 부실하다. Penfield Labs 오디트(2025-12)에서 정답키의 6.4%가 오류로 확인됐고, LLM judge는 고의적으로 틀린 답의 63%를 정답으로 처리했다. 88%와 94%를 구별할 해상도가 없다. 대화 수도 10개뿐이다.

2. 파일+grep이 74%다. Letta 팀이 전문 메모리 도구 없이 파일 첨부 + grep + 벡터검색만 준 에이전트로 LoCoMo 74.0%(gpt-4o-mini)를 찍었다. Mem0가 자사 논문에 보고한 graph 변형 68.5%보다 높다. Letta의 결론은 "현재 메모리 벤치마크는 의미가 있을지 의문"이었다.

3. 벤더 간 25.6점 흔들림. Zep의 LoCoMo는 84%(Zep 자체) → 58.44%(Mem0가 경쟁사 채점) → 75.14%(Zep 반박). 동일 시스템의 같은 벤치마크 점수다. 어느 쪽도 독립 재현된 적 없다.

4. 독립 재현에서는 승부 미확정. 벤더 비개입 사이트 MemVerdict가 공식 judge + 3-judge 패널로 파일럿(n=30)을 돌린 결과: Cognee 90.0%와 Hindsight 90.0%가 최고지만, plain RAG 베이스라인 86.7%와 통계적 동급. 결론 원문 그대로면 "어떤 메모리 시스템도 plain RAG를 명확히 이기지 못했다". 비용은 1k 질문당 $61.6~172로 RAG($5.45)의 11~31배.

5. 벤치가 포화됐다. 주요 벤치 상위 주장이 전부 high 80s~mid 90s로 수렴해서 판별력이 소진됐다. 격차가 남은 건 BEAM(1M~10M 토큰)뿐인데, 여기서도 Hindsight 64.1 / MemOS 56.75 / Mem0 48.6 / Honcho 40.9처럼 judge·설정이 달라서 상호비교가 안 된다.

그래서 이 랭킹은 "어느 시스템이 정확한가"가 아니라 "어느 시스템이 주장을 뒷받침할 근거를 갖췄는가"의 랭킹이다. 실전에서는 시스템 아키텍처보다 리더 모델·judge·설정이 정확도를 더 크게 흔든다.

Honcho는 어디쯤인가

이 블로그를 오래 봤다면 내가 Honcho를 셀프호스팅으로 돌리고 있다는 걸 안다. 그래서 더 정직하게 적는다.

강점은 투명성이다. 벤치 설정(deriver gemini-2.5-flash-lite, dreamer haiku-4.5)과 원시 결과를 전부 GitHub에 공개하고, LongMem S 90.4% · LoCoMo 89.9% · BEAM 100K 0.630을 보고한다. "사용자를 모델링하는" peer·dialectic 접근도 차별화가 확실하다.

약점은 둘이다. 논문이 없다는 것. 그리고 Keep Field Report의 독립 실행에선 LoCoMo 51.8%가 나왔다 - 자사 발표 89.9%와 38점 격차다. 설정 차이일 수 있지만 아직 해명된 적 없다. 여기에 백그라운드 "dreaming" LLM 호출 때문에 운영 비용이 최상위 그룹이라는 추정(1k 쿼리당 ~108만 Ws)까지 겹친다.

그래도 나는 유지한다. 내 용도는 벤치마크 점수가 아니라 "어시스턴트가 나를 이해하는 것"이고, 그 부문의 구조적 접근은 여전히 유효하다고 보기 때문. 다만 v3.0.3 → v3.0.9 업그레이드는 검토해야 한다.

후기에서 반복되는 패턴

• r/hermesagent "Memory Providers: I tested them all"(2026-05): "Hindsight는 기술적으론 최고지만 너무 무겁고 API 콜 많고 버그 많다" / "채택이 험난했다, 로컬 패치 오버레이로 안정화" / 서버 무결 크래시 보고
• HN Ask HN(2026-02): "Mem0는 기억은 저장하지만 사용자 패턴을 학습하진 못한다" / "유저 수정(corrective signal)이 가장 고가치 데이터인데 아무도 안 쓴다"
• HN Show HN Mem0(2024): 신규 계정 kudos 도배로 어스트로퍼프 의혹, 모더레이터 플래그 다수
• HN "Agent memory as a file format"(191pts, 96댓글): "결국 markdown + RAG 얘기" / "도구는 bash, 최적화 API는 grep, 저장소는 파일시스템" / OpenViking은 이 스레드에서 무상 호평

내 스택에 적용하기

• Honcho 유지 + 업그레이드 검토. pi와 pi-honcho 확장으로 이미 통합 운영 중이라 교체 비용이 우세하다
• billion-context-pi는 실험 가치 있음. "세션 내 압축 + 세션 간 기억"은 역할이 정확히 직교한다. 단 ①비표준 라이선스 확인 ②근거가 전무하니 내 워크로드로 직접 A/B(토큰량·캐시 히트율·장기 태스크 성공률) ③캐시 히트율이 깎이면 바로 끈다. GLM 정액 플랜은 프리픽스 캐시 정책이 핵심 변수다
• GLM 단일 백엔드 제약 유의. 임베딩 API가 없으니 Hindsight·Mem0·Cognee 같은 임베딩 필요 시스템을 검토하려면 로컬 임베딩(ollama + nomic/bge) 조합이 전제다
• 새 시스템 도입 전 RAG 베이스라인 먼저. 독립 평가에서 파일+검색이 여전히 강력하므로, 베이스라인을 이기는지만 확인하는 절차가 합리적이다

출처

• MemVerdict - 독립 리더보드
• aiagentmemory.org - 11개 시스템 팩트시트
• Keep Field Report - 17시스템 3벤치
• AutoMem - 정직한 비교
• Atlan - Zep vs Mem0 분쟁 정리
• Letta - Is a Filesystem All You Need?
• honcho.dev/evals
• arXiv: 2501.13956(Zep) · 2504.19413(Mem0) · 2512.12818(Hindsight) · 2402.17753(LoCoMo) · 2410.10813(LongMemEval) · 2507.03724(MemOS) · 2502.12110(A-MEM) · 2310.08560(MemGPT)

가중치를 바꾸면 순위는 바뀐다. 채택만 보면 Mem0가 1위고, 학술만 보면 MemoryOS가 1위다. 이 글의 순위는 "근거의 강도"라는 단일 잣대를 명시적으로 골랐을 때의 결과다.