一台五年前的旧笔记本,退役后能干什么?有人把它改成常驻家庭服务器,还顺手在核显上跑起了一个小模型——而那块独立显卡,从头到尾没被碰过。

打开网易新闻 查看精彩图片

这台机器是宏碁 Nitro 5,配置为 RTX 3050 Ti 移动版、酷睿 i7-11800H 和 16GB 内存。这套组合当年还算体面,如今则要精打细算地用。独显要承担的任务不少:Jellyfin 给全家转码串流,Sunshine 偶尔把低多边形游戏推到电视上。既然独显已经满负荷,再拿它跑一个后台任务就没什么道理。

真正让这件事变得必要的,是家里长辈的用机习惯。他们会把银行对账单、保险文件、医疗报告、账单等材料直接上传到 Gemini 或 ChatGPT 里求解释。方便是方便,但把真正私密的文件发到别人的服务器上,让人不太放心。

于是目标变得很小:不需要造一个 ChatGPT 替代品,只要一个跑在核显上的 2B 模型,托管在私有服务器上,当全家的文档助手,回答问题时不把文件发到任何地方。它跑起来之后,同一网络下的手机和笔记本都能连上它。

把模型钉在核显上

在弱笔记本上跑模型,llama.cpp 是最省事的选择。它不需要什么花哨配置,指给一个模型、再给一个运行位置就行。关键在于,这个"位置"必须是英特尔核显,而不是 RTX 3050 Ti。

为了明确调用英特尔 GPU,用的是 llama.cpp 的 Vulkan 构建版本。把设备固定到 Vulkan0(即核显)后,模型的层被推到集成显卡上;同时跑一条 nvidia-smi -l 1 命令观察,可以看到 llama.cpp 完全没有计入 RTX 的利用率。这正是目的所在——独显必须被排除在外。

模型选的是 Liquid AI 的 LFM3-VL-2B。它是一个小型视觉语言模型,这一点很关键,因为需要它看懂文档和图片,而不只是回答文字提问。使用它需要 llama.cpp 的 11960 或更新的构建版本。

推理跑通之后,把 llama.cpp 变成局域网服务器,整个项目就变了性质:家里每个人都能和这个聊天机器人对话,家庭网络里的每台设备都能访问它。笔记本保持有线连接,其他无线设备通过手机上设好的一个 Chrome 快捷方式访问模型。

慢,但够用

需要让所有人接受的一点是:跑在核显上的本地模型,在智力上不会让人惊艳,也替代不了 ChatGPT 或 Gemini。但凡是需要总结医疗报告、银行对账单,或者从不想细读的文件里提取要点,它就该是首选。它做不了细腻的推理,预期要放低。

速度也确实不快,生成速度稳定在每秒 6 个 token。真正的等待在读取环节:把一份两页的扫描版租房协议交给它,将近四分钟才吐出第一个字。

LFM3-VL 也不能真正处理 PDF,所有内容都得先截图再上传,多了一道不必要的步骤。但面对机密文件里的高敏感信息,这点麻烦是值得的,何况这类情况并不常发生。其余场景,交给长辈们已经熟悉的 Gemini 就好。

速度上的限制在这里并不重要,因为它主要是后台助手,不是聊天机器人。笔记本可以安静地在角落里工作,家里各处通过手机和笔记本访问它,敏感文档始终留在自己的网络内。

这套方案对大多数人并不合适——没有性能可炫耀,"跑分"也拿不出手。它刻意保持 modest,只做一件不光鲜却对家庭有价值的事。也正因如此,这台旧笔记本在 2026 年显得比它应有的样子有用得多:它只需要待在那里,安静干活,等家里有人需要看懂一份文件。这一次,慢的那个选项,反而是更让人信任的那个。