LM Studio用了几个月,一直觉得挺好用。下载模型、加载、开聊,三步搞定,简单到让人懒得翻设置。但好奇心这东西一旦起来,就收不住了——翻着翻着,我发现之前错过的东西比想象中多。
第一个设置:GPU加速没开满
打开网易新闻 查看精彩图片
默认情况下,LM Studio对GPU的利用偏保守。手动调整后,模型推理速度的提升是肉眼可见的。如果你一直觉得生成速度慢,先检查这里,别急着换更大的模型。
第二个设置:上下文窗口被低估了
很多模型实际支持的上下文长度比默认值大得多。手动拉高之后,长文档对话和代码分析的能力完全不一样。之前处理长文本总是被截断,现在顺畅多了。
第三个设置:模型加载的量化选项
同样的模型,不同量化级别对显存占用和输出质量的影响很大。之前一直用默认值,换了个更合适的量化档位后,小显存也能跑更大的模型,而且质量损失几乎感知不到。
第四个设置:本地API端口
LM Studio内置的本地服务器功能,可以让你用其他工具调用本地模型。这个功能藏得有点深,但一旦用起来,工作流就完全不一样了——不用再复制粘贴对话内容,直接对接脚本和第三方应用。
这几个设置都不难找,只是默认值太"够用"了,让人懒得去动。如果你也在用LM Studio,花十分钟翻一遍设置,回报可能超出预期。
热门跟贴