去年全球大语言模型调用量突破100亿次，但用户次日留存率中位数只有11%。
这组数据来自a16z 2024年AI应用报告。一边是疯狂的技术投入，一边是用户用完即走——问题不在模型，在架构。
状态less的陷阱：AI被当成搜索引擎用
当前绝大多数AI产品的技术栈长这样：用户输入→大模型→输出响应→结束。偶尔加个RAG（检索增强生成）或工具调用，但本质没变。
这是状态less（无状态）架构，跟搜索引擎一个逻辑。你搜"北京天气"，Google不需要记住你上周搜过什么。
但用户跟AI聊天不是搜索。第三次对话时，他会默认你记得前两次的上下文。第五次时，他开始期待你理解他的表达习惯。第十次时，他希望你主动推进话题。
状态less系统做不到这些。每次对话都是第一次，用户自然用完即走。
系统设计者常把锅甩给模型："GPT-4还不够强，等GPT-5就好了。"但这不是模型问题，是产品把AI当成了计算器，而非协作者。
三层架构：从响应机器到持续关系
要支持长期交互，架构需要三个新层。
第一层是记忆层。不是简单存聊天记录，而是结构化提取：用户偏好、待办事项、对话中的承诺、情绪标记。
比如用户提过"下周要交季度报告"，系统需要在七天后主动询问进展，而不是等他再次提起。
第二层是约束层。原始大模型输出天然不稳定，同样的提示词可能给出三种不同风格的回答。
长期用户需要可预测性。约束层负责把模型输出统一到特定人格、格式和边界内，像给野马套上缰绳。
第三层是交互层，也是最被忽视的。系统需要根据用户状态动态调整：他是来快速获取信息，还是想深度讨论？当前是工作时间还是深夜？最近三次对话是高效还是拖沓？
这三层叠加，形成新循环：交互→记忆→行为→下一次交互。用户输入先经过上下文构建器（近期记忆+长期存储），再进入大模型处理，然后过约束层和交互调整层，最终输出并更新记忆。
状态full（有状态）系统让用户感到"这个AI认识我"，状态less系统让人感到"这又是一个新客服"。
CloYou的实验：把AI做成日程本而非便签纸
作者正在用这套思路做CloYou项目。核心转向不是优化单次响应质量，而是设计"用户愿意返回的系统"。
具体做法包括：模板功能快速回复常见问题，片段存储供复用，以及基于用户历史的主动建议。
这有点像从便签纸升级到日程本。便签纸用完就丢，日程本越用越离不开——因为里面记着你的东西。
当前行业优化重点集中在模型能力：参数规模、上下文长度、多模态支持。但下一次跃迁可能来自架构层面：怎么让AI记住你，怎么让AI适应你，怎么让AI在你回来时能接上话头。
作者最后抛了个问题：你是在设计响应，还是在设计随时间展开的交互？
如果选后者，你的架构图可能需要重画了。
热门跟贴