试过几款本地跑AI模型的工具，最后总回到Ollama和LM Studio。下载模型、直接开聊，不用先搭复杂环境，这两点确实方便。改系统提示词、通过API把模型接到别的应用，也都能做。但模型本身，始终是下载时的那个样子。

这两款应用都不支持微调模型。Ollama能跑外部做好的适配器，但训练过程还得靠另一个框架完成。Unsloth新出的桌面应用正好补上这块缺口——下载、运行、微调、导出模型，全在一个界面里搞定，不用配置Python环境，也不用折腾Colab笔记本。

打开网易新闻 查看精彩图片

Unsloth不只是推理工具

Unsloth作为开源框架已经存在一段时间了。之前想用它的功能，得写Python脚本或者跟着Colab笔记本操作。Unsloth的招牌是让微调更快、内存占用更低，尤其在LoRA和QLoRA这两种方法上表现突出。

新的桌面应用把这些能力装进了图形界面，支持macOS、Windows和Linux。界面风格和Ollama、LM Studio类似：在Hugging Face上找模型，下载合适的量化版本，本地直接对话。Unsloth也能通过OpenAI兼容API把模型暴露出来。

Unsloth还带了联网搜索和工具调用功能，但这不是我选它而不是LM Studio或Ollama的理由。训练界面才是真正的差异点。你可以选基础模型、导入数据集，在QLoRA、LoRA和全量微调之间做选择。Unsloth还有个Data Recipes功能，能把现有文件转成训练数据集，省掉不少原本需要单独写脚本的格式化工作。

训练完成后，适配器可以单独保存，也可以和基础模型合并。Unsloth能把结果导出成GGUF文件，直接在Ollama、LM Studio这类应用里跑。

用Unsloth微调模型，数据集是第一步

微调还是得从数据集开始。准备数据集比选个模型点训练按钮要费心思得多。给我家实验室的LLM做微调时，我根据自己跑的服务和经常遇到的问题写了示例。每条指令都配上了我希望模型给出的回答。

有的示例教模型怎么处理Docker容器无响应的情况，有的覆盖存储告警或监控命令输出。目标是让模型在工具返回熟悉信息时知道该怎么回应。

Unsloth支持Hugging Face数据集，也接受本地JSON和CSV文件。Data Recipes能从现有文档生成数据集，但我还是习惯自己检查每一条示例。模型会从质量差或自相矛盾的回复里学习，直接喂一个没检查过的文件文件夹，反而会适得其反。