我折腾本地大模型已经两年了。最早用llama.cpp在命令行里硬跑,后来图方便换了LM Studio,再后来需要精细调采样参数和LoRA,又切回了text-generation-webui——现在改名叫TextGen。上周刷Reddit看到TextGen出了原生桌面版,我干脆花了个周末把俩工具并排测了一遍。

这事现在值得聊,是因为LM Studio长期占据着"开箱即用"的生态位:安装包丝滑、自带模型浏览器、点两下就能起OpenAI兼容服务。但它是闭源的。对有些团队来说这是硬伤——跑敏感代码或数据时,二进制文件里到底在干什么,你没法审计。

打开网易新闻 查看精彩图片

TextGen(GitHub上oobabooga维护的项目)一直是开源阵营的标杆。代价是之前得从终端启动Gradio网页界面,功能强但不像正经桌面应用。按Reddit公告的说法,现在打包成桌面应用了。我没去翻官方changelog逐条核对,所以"往这个方向走"是更准确的描述,不算功能审计。

打开网易新闻 查看精彩图片

直接说体感差异,跳过营销话术。

LM Studio

上手:顶级。下载、安装、点模型、开聊。我那个不写代码的兄弟自己装好了,全程没问我。

找模型:内置Hugging Face浏览器,带量化过滤。省大量点击。

本地服务:一个开关就在localhost:1234起OpenAI兼容端点。这是真·杀手功能。

闭源:没法审计、没法fork、没法塞进你自己的产品。

授权:个人免费;商用有单独条款,自己读。

打开网易新闻 查看精彩图片

TextGen

上手:比以前强。桌面打包去掉了"开终端祈祷"那一步,之前这步吓退不少人。

扩展性:RAG、TTS、角色卡、训练适配器都有扩展。想折腾大多数应用藏起来的采样参数,全敞着。

后端:支持llama.cpp、Transformers、ExLlamaV2等——做benchmark或处理非GGUF格式时有用。

开源:AGPL协议。每行都能读、能patch、能自托管。

精致度:某些地方还是比LM Studio糙。UI更密。对高级用户是特性,对普通用户是bug。

开发者真正关心的不是哪个UI好看,是"怎么让我的应用连上它"。俩都暴露OpenAI兼容API,迁移基本就是改个base URL。