去年我的服务器崩溃了37次。不是硬件故障，是每次更新后某个Python依赖就炸了，像多米诺骨牌一样把整套AI工具链带崩。维护时间超过了使用时间，这台机器从生产力工具变成了电子宠物。
现在它每天稳定运行14小时，我只在月初更新一次。变化不是买了新硬件，而是换了一套思路：把服务器当成家电，而非实验台。
从"折腾"到"能用"：Docker的隔离哲学
早期我直接在宿主机装Ollama、装向量数据库、装各种Python工具链。三个月后系统里塞了47个冲突的依赖版本，卸载任何一个都可能让其他组件瘫痪。这很像早期Windows的DLL地狱，只不过换成了pip和conda。
Docker的核心价值不是虚拟化，是把"能跑"变成"能复现"。
现在每个AI工具活在独立容器里。Ollama一个容器，向量数据库一个容器，Web界面再一个。它们各自带自己的依赖环境，互不打扰。想测试新的大语言模型？写几行docker-compose配置，启动，用完删掉，宿主机干净如初。
自动重启策略是另一个救命设计。凌晨两点某个服务内存泄漏崩溃，Docker会在30秒内把它拉起来，我第二天早上才发现日志里的异常。这种"自愈"能力让服务器真正无人值守。
备份也变得极其简单。所有配置映射到宿主机的持久化卷，定期打包这几个文件夹就行。上次迁移到新机器，从拆箱到恢复全套服务只用了23分钟。
Ollama：本地大模型的"电源插座"
如果说Docker是房子的水电管线，Ollama就是墙上的插座。它把运行本地大模型这件事，从"编译CUDA、调显存、改配置"压缩成一条命令。
我现在的主力模型是Llama 3.1 70B，量化到Q4版本后刚好塞进两块RTX 3090的48G显存。Ollama自动处理模型下载、分层加载、显存管理，我只需要关心prompt怎么写。
关键细节是它的Modelfile系统。我可以基于官方模型创建定制版本：调整系统提示词、预设温度参数、甚至注入特定的知识片段。这些定制模型像分支代码一样版本管理，回滚或分享都很容易。
API兼容性是被低估的设计。Ollama的接口和OpenAI格式几乎一致，意味着我写的工具可以无缝切换云端和本地。某个月API账单暴涨时，直接把调用地址改成本地端口，成本归零。
向量数据库：给AI装上"长期记忆"
纯聊天的大模型有个硬伤：上下文窗口有限，且每次对话从零开始。我想让AI记住我的项目文档、代码规范、甚至之前的讨论脉络，这需要向量数据库（Vector Database）来做语义检索。
我选的是Qdrant，用Docker单容器部署。它的Rust核心足够轻量，在我这台老E5服务器上，百万级向量的检索延迟稳定在50毫秒以内。
工作流是这样的：项目文档用嵌入模型（Embedding Model）转成向量，批量灌进Qdrant。聊天时，先把用户问题向量化，检索最相关的TOP5文档片段，把这些片段塞进系统提示词里。AI的回答突然就有了"我们公司代码规范第3.2条"的具体依据。
这个组合解决了一个真实痛点：以前问AI"这个bug怎么修"，它给通用方案；现在它先查我过去三年写的类似模块，给出"参考payment_gateway.py第47行的错误处理"这种精准建议。
WebUI：别让界面成为瓶颈
命令行适合调试，日常用还是需要图形界面。我试过五六个开源方案，最后留下的是Open WebUI——不是功能最全的，但是Docker部署最省心的。
它直接对接Ollama的API，模型列表自动同步。对话历史存在本地SQLite，敏感数据不出服务器。支持多用户但我不需要，单用户模式足够。
真正实用的是它的RAG（检索增强生成）集成。上传PDF或代码文件，自动切片、嵌入、进Qdrant，然后对话时勾选"使用知识库"。这个流程以前需要写脚本串三四个工具，现在点两下鼠标。
我定制了一个快捷指令：输入"/summit"自动加载本周会议纪要的向量集合，输入"/code"切换到我维护的开源项目文档库。上下文切换从五分钟降到三秒。
监控与日志：沉默的守护者
家电的标准是"忘记它的存在"。要实现这点，需要知道它什么时候不健康。
Prometheus + Grafana的组合负责采集指标：GPU显存占用、容器重启次数、API响应延迟。我设了两个告警阈值：显存超过90%持续5分钟发邮件，某服务24小时内重启超过3次推送到手机。
日志用Loki集中收集，按容器标签过滤。上次排查一个间歇性卡顿，通过时间关联发现是每晚2点的自动备份任务抢占了磁盘IO，调整调度时间后解决。没有集中日志，这种跨服务的关联分析几乎不可能。
这些监控组件自己也跑在Docker里，形成完整的自包含系统。迁移时打包带走，监控配置不会丢。
实际运行数据：14个月后的账单
硬件是一次性投入：二手E5-2680v4双路、128G DDR4 ECC、两块矿卡RTX 3090，总价不到一万二。电费每月约180度，按居民电价算不到一百块。
软件栈全是开源：Ollama、Qdrant、Open WebUI、Prometheus，许可证允许商业使用。唯一付费的是域名和反向代理的SSL证书，每年几十块。
时间成本变化更显著。以前每周花4-6小时维护环境，现在每月更新镜像版本，全年维护时间压缩到8小时以内。省下的时间足够读完三本技术书，或者把这个方案写成文档分享。
稳定性数据：过去14个月，计划外停机2次，一次是电源故障，一次是我误删了卷标。服务层面的故障零次。
什么情况下这个方案不适用
这套堆栈有明确的边界。如果你需要多模态（图像生成、视频处理），显存和算力需求会指数级上升，本地部署不如按需调用云端API经济。
团队协作场景也吃力。Open WebUI的多用户权限比较基础，没有细粒度的访问控制。超过三个人同时用，我会建议上商业方案或自研网关。
最不适合的是"想试试AI"的轻度用户。组装服务器、调通Docker、理解向量检索的概念，这个学习曲线足够劝退。云端ChatGPT Plus的20美元月费，本质是花钱买"不用关心这些"。
但如果你和我一样：每天和AI交互超过50轮、有敏感数据不能上云、受够了API的速率限制和账单惊吓——本地部署的固定成本会迅速摊薄。
我的服务器现在放在阳台角落，风扇声像台小型空气净化器。偶尔路过时看一眼Grafana面板，绿色曲线平稳运行。它不再是我需要照顾的东西，而是像冰箱一样，打开门就有光。
上周同事问我："本地模型和GPT-4比怎么样？"我让他直接连我的服务器试了一下午。他的最后一个问题是："这个延迟和响应质量，你每月花多少钱？"
我说电费加折旧大概两百。他愣了一下，然后问：搭建文档能发我吗？
热门跟贴