八年前,拥有个人AI服务器还是极客圈的奢侈梦想。现在,一台200美元淘来的旧电脑就能做到。
LM Studio最新推出的headless模式正在改变游戏规则。这个被称为llmster的后台守护进程,让语言模型引擎脱离图形界面独立运行——省下的内存和算力,全部留给文本生成。
打开网易新闻 查看精彩图片
实测配置令人惊讶:作者用一台多年前购入的老旧PC,成功运行Qwen2.5-Coder-3B编程模型。通过4-bit量化,模型文件压缩至约2GB,既留足上下文窗口空间,又不会拖垮系统。
更反常识的是速度。没有独立显卡,仅靠老旧CPU或核显,token生成速度依然轻松超过人类自然阅读速度。写函数、解释逻辑、抓语法错误,足够当编程助手用。
部署门槛同样极低。Windows、macOS、Linux三端覆盖,作者甚至试了三个版本才选定。唯一的前提条件:操作系统必须轻量,别让后台进程抢走CPU资源。
但有个严肃提醒。一旦旧电脑被征用为服务器,它将彻底告别日常用途。作者的建议是:选定机器后至少冷静几天,确认没有反悔再动手。
热门跟贴