自托管 AI 已经不再停留在聊天机器人阶段了。现在有一整类工具可以围绕你选择的模型,给它安个像样的家,具备记忆、文档、工具、智能体等等。你只需将其接入你的运行器,剩下的交给工作区就行。理论上,你只需其中一个工具,就能覆盖你在云端 AI 上所做的大部分事情,而且无需订阅,聊天记录也不会丢在某个不知名的服务器上。我一直在轮流试几款这样的 AI 工作区工具,它们做的事都一样,但方式大不相同……

AnythingLLM 让我的本地笔记有了记忆

AnythingLLM 让我的本地笔记有了记忆

它专门补上了模型运行器缺的那部分

它专门补上了模型运行器缺的那部分

AnythingLLM 由 Mintplex Labs 开发,完全开源。它的工作方式是架在你现有的模型运行器上面,而不是替代它,因此 LM Studio、Ollama、llama.cpp 或 vLLM 继续执行实际的推理,而 AnythingLLM 在它外面套了一整套工作区。如果你想在同一个界面里也用上前沿模型,也可以将其指向 Anthropic 或 OpenAI 等云端 API。

我选择它的主要原因是持久记忆功能,而且确实没让人失望。一个后台进程会时不时翻看你最近的聊天记录,挑出值得记住的内容,再重新注入到未来的对话中,这样你的本地模型就真的记得你几周前跟它说过什么。它分工作区级别和全局级别,老实说,这比在LM Studio里用MCP或者自定义提示词去折腾记忆要好用多了。

虽然我还没有充分利用AnythingLLM,因为我主要拿它当记忆工具用,但工作区功能值得一提。每个工作区都是完全隔开的,拥有自己的文档、记忆、模型和设置,所以你可以一个研究工作区跑本地模型,一个编程工作区接Claude API,互不干扰。另外还有智能体(agent)功能,它能让模型真正去干活,比如浏览网页、运行SQL、保存文件或使用MCP服务器,在任意聊天里输入@agent就能激活。总的来说,这工具非常好用,就是作为工作区来说,功能砍得有点狠。

Odysseus 做的事,超出了任何工作区该做的范围

Odysseus 做的事,超出了任何工作区该做的范围

出自 PewDiePie 之手

出自 PewDiePie 之手

Odysseus 是三者中最新的,而且比另外两个晚了不少,同时也是最奇特的。它是一个由 PewDiePie 打造的自托管 AI 工作区,截至写这篇文章的时候,它才刚发布一个月。在大约一个月的时间里,它就获得了超过 7.7 万个 GitHub 星标,对一个突然冒出来的项目来说,这数字相当惊人了。它使用 Python 和 FastAPI,并以 ChromaDB 作为向量存储,如果你好这口的话,还能接入 Ollama、llama.cpp、LM Studio、vLLM 或者云 API。如果你走 Docker 这条路,一分钟就能搞定,我就是这么装的,而且这功夫花得值。界面本身看着就特别顺眼,我以前好像还真没对哪个自托管的东西说过这种话。

我最喜欢这里面的 Cookbook,它会扫描你的机器,从一个超过 270 个模型的目录里,推荐真正能在你硬件上跑起来的模型。所以,你不用再猜某个模型能不能塞进你的显存,也不用下载一个 12B 的模型才发现它把你系统拖得半死,Cookbook 会提前告诉你,还能让你在同一个界面直接把它跑起来。

说实话,聊天是里面最没劲的东西。不过,每段对话都附带一个笔记面板,让我有种NotebookLM的感觉,而且是好的那种,你可以随手记下聊到哪儿了,保存回复中有用的内容,还能不用离开当前标签页,就能把草稿放在模型旁边。

还有一个AI真正能看到、能互动的待办清单,它会帮你加任务、排优先级,或者跟你边聊边把事做完,能跟聊天在同一个窗口里,确实很实用。这里还有个挺奇怪的工具,不过我还是一直在捣鼓,就是图像编辑器……居然是在一个AI工作空间里。这是PewDiePie自己说的,要做他自己的Photoshop。

Open WebUI 是可靠之选

Open WebUI 是可靠之选

稳定且功能强大,但略显乏味

稳定且功能强大,但略显乏味

Open WebUI 是三者中的老大哥,下载量已超过 3.5 亿次,稳稳排在最常安装的自托管 AI 界面之一。它的定位就是一个自己搭的、完整的 ChatGPT 风格工作空间,跟 AnythingLLM 一样,它不挑后端,因此可以接入 Ollama、LM Studio、vLLM、LocalAI 或任何兼容 OpenAI 的 API。主要用 Docker 安装,一条命令就搞定。

聊天界面本身挺干净,但就是有点无聊;我比较喜欢的一点是,每个对话都自带一个 Notes 工作区,里面有个富文本编辑器,你可以随便写,让 AI 帮你改写选中的部分,然后把整篇笔记丢回聊天里当上下文。

还有 Channels,在这里,事情会变得比普通聊天界面有趣得多。Channels 是共享空间,有点像 Slack 风格,你和队友以及多个 AI 模型都在同一条时间线上。你可以用 @ 标记一个模型,把它拽进对话里,它就会直接在线程里回复,因此你可以让 GPT 起草内容,@Claude 来挑毛病,然后把它置顶。

持久记忆功能也在里面,而且能跨对话自动生效,这样你的上下文就能接着用。插件是它另一个实打实的强项,包括过滤器(Filters)、动作(Actions)、管道(Pipes)、工具(Tools)和技能(Skills),还支持 MCP 和 OpenAPI 工具服务器,所以如果你想,可以把它扩展得很深。

最后选中的,不是我预想的那个

最后选中的,不是我预想的那个

AnythingLLM 活儿干得不错,但我觉得,一个自称“工作空间”的东西,功能砍得有点太狠了。Open WebUI 很稳,该有的都有,就是有点无聊——无聊本身没毛病,但这次它就是没法让我心动。Odysseus 对我来说完全是半路杀出来的,我喜欢它自带的那套工具组合、它的界面,还有它很多地方都让人觉得是有灵魂的。如果这三个都得付费订阅,Odysseus 是我唯一愿意掏钱的。