上个月我收到OpenAI账单时手抖了一下。跑开源模型本地部署，省点钱，听起来像周末下午就能搞定的事。15小时后，我的电脑风扇在哀嚎，硬盘里躺着三个损坏的模型文件，还有一堆配置到一半的工具尸体。
如果你也试过拼凑开源AI工具链然后撞墙，你不是一个人。这篇写我踩过的坑，以及怎么在不疯掉的前提下搭出一个能用的环境。
选项爆炸：选择困难症是最大敌人
开源AI生态现在是个烟花现场。几百个模型、几十个推理引擎，每周都有"改变游戏规则"的新工具。问题不是开源AI不行，是根本没有明显的起点。
你搜"本地运行大语言模型"，结果弹出Ollama、llama.cpp、vLLM、text-generation-webui、LocalAI，还有二十多个选项。每个硬件要求不同，模型格式不同，API也不同。选错了，浪费几小时才发现你的GPU不被支持。
第三次失败后我找到awesome-opensource-ai这个整理清单，按类别归好——模型、推理工具、训练框架，确实帮我停止瞎折腾。但光有清单救不了你。真正关键的决策，我一个个说。
先算VRAM，再选模型：顺序反了必死
大多数人在这里搞砸。他们先挑模型，试着跑，然后发现机器带不动。顺序反过来。
先查你的显存：
# NVIDIA查显存
nvidia-smi --query-gpu=memory.total,memory.free --format=csv
# Mac Apple Silicon查统一内存
system_profiler SPHardwareDataType | grep "Memory"
快速对照表：7B参数模型约需4GB显存（Q4量化），13B约8GB，70B约35GB。8GB显存以下，死磕7B模型。我知道70B的基准测试数据很诱人，无视它们。一个能稳定跑的7B模型，完爆每30秒崩溃一次的70B。
工具选型：我试完后的诚实建议
大多数开发者做功能原型，从Ollama开始：
# 安装Ollama
curl -fsSL https://ollama.com/install.sh | sh
# 拉取模型——mistral是通用好选择
ollama pull mistral
# 立即测试
ollama run mistral "用两句话解释依赖注入"
就这些。没有配置文件，没有环境变量，没有Docker compose噩梦。以后需要更灵活再迁移。
我烧掉最多时间的是接口对接。模型跑起来了，很好。现在要让应用跟它对话。问题是：每个推理引擎的API都略有不同。
解法是用暴露OpenAI兼容API的工具。Ollama和vLLM都原生支持，意味着现有代码几乎不用改。我试过手动适配llama.cpp的API，三小时后换回兼容层，省下的时间够写两个功能模块。
模型格式：量化是必修课
GGUF格式现在是事实标准，llama.cpp生态都在用。但量化级别选错，要么浪费显存，要么模型变蠢。
Q4_K_M是甜点区——体积和质量的平衡。Q8_0质量更好但体积翻倍，IQ系列是实验性的新量化方法，我还没在生产环境用过。别碰fp16完整精度，除非你有A100闲着。
下载来源也要挑。Hugging Face是主仓库，但TheBloke的量化版本更省事，已经调好参数。我早期从官方渠道下原始权重，自己量化，环境配了一晚上。后来直接拉TheBloke的GGUF，十分钟跑起来。
持久化：别让会话随重启消失
默认配置下，很多工具重启后对话历史全丢。解决方案分两层：
轻量用Ollama的REST API，自己存对话上下文。需要完整功能就搭Open WebUI或LibreChat，自带用户管理和历史记录。我试过自己写存储层，两周后转向现成方案——维护成本比想象中高得多。
向量数据库选Chroma或Qdrant，别自己造轮子。RAG（检索增强生成）流程里，文档切片和嵌入模型选错，比推理模型选错更致命。我用nomic-embed-text，体积小，在本地CPU就能跑，不用跟LLM抢显存。
最后说一个反直觉的发现：本地部署的最大成本不是硬件，是时间。我算过账，RTX 4090跑一年电费约200刀，但调试配置花掉的15小时，按我的时薪算是3000刀。OpenAPI的账单突然显得便宜起来。
本地化的真正价值是数据不出境和零延迟响应，不是省钱。想清这一点，再决定要不要跳这个坑。
你现在用的工具链花了多久搭好？如果超过一个周末，哪个环节卡得最久？
热门跟贴