自托管AI记忆管道的LLM后端六方实测：'又快又稳又近乎免费'真的存在吗

TL;DR

• 把自托管AI记忆管道(Honcho dialectic)的LLM后端换了六种，每种用同一个问题实测10次
• 现役基线(zai包月计划 glm-5.3)：平均30.4秒，事实准确率100%
• 五个挑战者里赢速度的有两个，但事实准确率也打平的只有Claude haiku-5.5：平均20.9秒，事实30/30，单次$0.013
• 结论："又快又稳又近乎免费"是存在的。只是"近乎免费"的定义得放宽到每次1.3美分
• 六场实验全部由n8n监听门工作流链无人执行，人只负责裁决

背景：测的是什么

Honcho把对话记录积累成representation，查询到来时把16K+ token的记忆上下文塞给LLM，合成"这个用户最近在操心什么"。问题是这一步每次吃掉20~30秒。注入虽然暂时关了，但后端能不能换成更快更便宜的，我想用数字定死。

关键陷阱：这个基准测试不是一次性短提示。它是在16K上下文上做记忆综合的任务，短提示排行榜不作数。实测中裸调用3.8秒的免费模型进了管道平均86秒。

方法

• 同一查询10次："명철最近在g2b解析器项目里操心什么？"
• 计分：3个事实(目标F1 0.92 / '编造文件'瓶颈 / 现行最高分0.74~0.75)在回答中出现几个
• 采纳线：p50低于25秒 + 事实召回不低于80%
• 自动化：5条n8n监听门工作流串成链(5分钟轮询 → 门禁 → .env切换 → 10次实测 → 复原 → 消息报告)

结果

后端	模型	延迟(均值/p50)	事实	10次成本	判定
zai直连(现役)	glm-5.3 + low	30.4s	100%	包月	基线
OpenRouter免费	flint-v1.0:free	86.3s，超时2次	71%	$0	淘汰
OpenRouter超低价	mistral-nemo	5.0s	0%	$0.003	淘汰
本地免费网关	nemotron-3-ultra-550b	97.2s，超时5次	50%	$0	淘汰
前沿高速	qwen3.5-flash	29.9s / 23.9s	66.7%	$0.068	淘汰
前沿高速·直通	claude-haiku-5.5	20.9s / 20.05s	100% (30/30)	$0.135	胜出
前沿高速·自动缓存	gpt-6-luna (low)	13.7s / 10.8s	60%	$0.025	淘汰(质量)

三条看点

1. 速度-质量悬崖：3B级小模型(nemo)快6倍但事实召回为0，还用英语回答韩语问题。记忆综合任务必须要中大型智能
2. 免费的真实价格是排队：免费后端普遍延迟暴涨、超时。本地免费网关里可信度最高的一批候选也在探测中全军覆没(延迟暴涨、502、硬拒绝、思维过程泄漏)
3. 诚实的模型会冤死在初筛：haiku-5.5面对没有上下文的初筛问题诚实回答"我没有这个信息"而被淘汰。但实战里会带上16K记忆上下文。直接进正赛实测拿了30/30，甚至自己识别出部分事实是"提示词里原句"并区分了出处。初筛是假阴性

无人实验管道学会的四个坑

1. 门禁agent不守"只答SKIP"，非要附上说明。报告过滤必须用notContains而不是notEquals
2. 实验开始时创建的完成flag区分不了进行中和已完成。要把running锁分开
3. 每5分钟重新触发的门禁的"复原"步骤把进行中的实验杀掉了(真实事故)。复原前必须检查所有兄弟实验的锁
4. 别用一次性初筛选模型。永远用真实管道负载跑10次e2e

结论

haiku-5.5是唯一双线达标的：快1.4倍、准确率同级、零超时、无思维泄漏。但成本结构不同：包月计划边际成本为0，而haiku-5.5每次无缓存地重传16K上下文，约$0.013一次，按每天100轮算一个月约$40。

所以最终决定：注入关闭的现在，让包月后端保持待命配置；等速度变得重要的那一刻，靠.env一行切换到haiku-5.5。基准测试的价值不止是"谁第一"，还有"你知道切换成本是多少"。

后记：缓存后续实验

OpenAI系(gpt-6-luna)只需provider固定就自动获得提示缓存：遥测显示输入的40~76%命中缓存，p50降到10.8秒、单次成本$0.0025。但事实召回跌到60%，仍未采纳。Anthropic路线更糟：缓存标记只打在系统提示上，工具循环的重传( token大头)没被吸收--不打补丁就是零节省。总结：haiku-5.5拿质量，luna拿速度和成本，'又快又稳又近乎免费'确实存在，只是还没带上质量。 最后还试着关掉haiku的思考：20.9秒降到13.1秒，准确率却从100%塌到62%。那7秒就是质量本身。