想用桌面宠物做点随意的角色扮演,又不想把每条消息都发给云端服务商。有些对话我想留在自己手里,往聊天框里粘的几段笔记,上传出去也实在不太舒服。CharaBuddy 的本地隐私模式,就是冲着这个场景做的。

打开网易新闻 查看精彩图片

实际搭起来的过程和预想差不多:Ollama 跑在电脑上,CharaBuddy 连过去,模型通过桌面宠物回话。本地模式下,提示词、对话历史和生成结果都保存在本地,模型请求发往本地服务,而不是第三方接口。

断网也能用。只要 Ollama 还在运行,宠物照常工作——我在对话中途关掉 Wi-Fi 试过一次。

真正的代价在硬件

没有订阅费,也不用买 API 额度。代价是推理由自己的电脑承担,模型大小比用托管服务时更要紧。小模型在笔记本上能跑,更大的模型就需要独立显卡和更多内存。稳妥的做法是先上小模型,把整条链路确认一遍,再去拉大得多的那个。

配置步骤本身很短:

  1. 安装 Ollama 并拉取一个模型。
  2. 在 CharaBuddy 里选择本地模型,测试http://localhost:11434
  3. 开启离线模式。

它不是自动的隐私胜利

本地模型有用,但我不会把本地模式当成整套环境都私密的证据。Ollama 只是其中一环:接入的 MCP 服务仍可能读取本地文件,机器上的其他软件也有各自的访问权限。

本地模式给我的,是对推理路径的控制权——我知道模型请求发往哪里,也能看到对话数据写在了本地。

够不够好用?就我的用途来说够了。回复质量取决于我选的本地模型,但桌面宠物加上自己掌控的模型,比云端聊天窗口更适合随意的私密对话。CharaBuddy 还能连接提供 OpenAI 兼容接口的本地服务,比如 LM Studio,所以不必绑死在一个本地运行时上。