把Claude Sonnet 5.5 Free换成一台笔记本上跑的本地模型,到底行不行?我花了一周时间做这个测试。测试用的机器是英特尔酷睿i9-13900H、16GB内存的笔记本,本地模型是Qwen3-4B-Instruct-2507(Q4_K_M量化,2.5GB),通过LM Studio Bionic运行,对照组是默认Medium档位的Claude Sonnet 5.5 Free。
一周下来,答案有点出乎意料:问题从来不在回答质量上。我原本以为本地模型会答得更差,结果它稳稳过了"能用"这条线。真正把我推回Claude的,是回答之外的一整套东西。
先说它做得好的部分。最早的一个测试是问Excel的LET函数,解释准确、语法正确、示例也讲得通。读起来更像文档而不是专家建议,但如果我正开着Excel干活,这个答案我大概率会满意。
另一个测试是丢给它一份挺长的微软Windows公告让它总结。它认出了主要变化,挑出了关键更新,给出了一份可用的概览。总结本身是扎实的——代价是笔记本散热系统得出点力,这个后面再说。
如果实验在第二天就结束,我可能会得出"本地AI已经能接手我的工作流"的结论。但接下来我换了问法:不再让它查信息,而是让它做判断。裂缝就是从这里开始的。
我让它生成标题、提文章选题、讨论报道角度。它知道怎么造钩子、怎么引出发现、怎么安排收尾。问题在于,有些"发现"在测试发生之前就已经存在了。比如它建议了一个选题,说USB接口会随着时间损坏手机电池,然后自己把测试方法、发现和结论一并编了出来,仿佛结论早已成立,而不是还有待验证。
很多点子看上去都合理,而这恰恰是麻烦所在:底层推理没有扎实依据,观感却依然有说服力。聊到这次实验本身时也一样。我问它"测试本地AI模型一周"这件事有没有文章可写,它没有围绕我给出的证据,而是迅速引入了数字主权、云独立、数字自由这类主题——这些词在我的提示里一个都没出现过。
公平地说,一旦我质疑这些假设,讨论就会变好,它会承认问题并给出更接地气的回答。但这个过程一周里反复上演:我花在评估它推理上的时间,常常和用它的点子一样多。
同样的提示丢给Claude,它上来就质疑我的框架,说更有意思的题目是"哪些任务真的需要云端AI模型"。即便我不完全认同它的推理,它也始终贴着眼前的证据走。Claude像一场对话,本地模型更像一次批处理:它常能把我送到大部分路程,但剩下的那段,往往比我希望的更费劲。
第二个没想到的是,我的笔记本成了对话的一部分。问Claude时我只想着对话本身;问本地模型时,我更多在想硬件。这个差别随着一周推进变得无法忽视。
那次Windows公告总结就是典型。把长文贴进去后,我等了大约五分钟才拿到完整回复。这期间任务管理器显示系统内存占用约97%,风扇响得像一架准备起飞的波音747,我盯着性能曲线的时间几乎和盯着回复窗口一样多。同样的任务Claude完成得很快,等我抬头看钟,它已经做完了。
这不至于让模型没法用,但它改变了我的工作方式。我开始在意提示词的长度,在意内存占用,在意一个问题值不值得等。把AI跑在本地,让基础设施变得可见了。
本地AI当然也有实打实的好处。最大的一条是没有用量限制。作为Claude免费版用户,我总隐约知道自己不知道还剩多少额度,长对话里带着一点不确定性;本地模型从没让我担心过还能不能再问一句。
我也喜欢对软件和模型的完全掌控:选哪个模型、用哪种量化、什么时候更新,全由自己决定,这是云服务给不了的。离线可用是正当优势,本地处理也带来隐私上的好处。设置完成后,模型本身等于免费——硬件和电费还是要花钱,但订阅和云端用量上限消失了。七天下来,我很容易理解为什么这么多人对本地AI兴奋。
所以这个实验不算失败。它反而让我比开始前更尊重本地AI。我甚至看得到自己会留一个本地模型,用来做实验、问快问题,或者在隐私、离线比速度更重要的时候顶上。
但按我的工作方式,额外的等待、引导、核实和硬件开销会一点点累加。到周末,我开始想念Claude那种对话的流畅感和编辑判断力。我也终于意识到,让我留在Claude身边的从来不是那些回答,而是回答之前、之后和周围发生的一切。
热门跟贴