打开网易新闻 查看精彩图片

最近我在折腾本地大模型时，最大的痛点不是“模型不够强”，而是“到底该装哪个模型”。很多人看到参数量就冲，结果下载完才发现显存爆了、速度慢了、CPU 直接顶满，最后只能删掉重来。 这个项目正好解决了这个问题：它会自动识别你的硬件，然后根据真实基准和运行条件，给出最适合你机器的本地模型推荐。

这个项目到底解决什么问题

是一个 Python CLI 工具，核心能力就一句话： 找出“能跑”且“跑得好”的本地 LLM ，而不是只看模型有多大。它会读取 GPU、CPU、RAM、磁盘等信息，再结合 HuggingFace 模型数据和多个 benchmark 来源做综合排序。

这比传统的“显存够不够”判断方式实用太多了。因为本地部署真正麻烦的地方不是“模型能不能放下”，而是“放下之后速度行不行、体验稳不稳、是不是得大规模 CPU offload”。

为什么我觉得它很适合本地党

这个项目最有价值的地方，是它把“选模型”从玄学变成了工程问题。它不是简单按参数量排序，而是把多个 benchmark 融合进来，再结合量化、offload、速度门槛和可信度做评分。

换句话说，它考虑的不只是“能不能装下”，还考虑了“装下以后是不是值得跑”。这对我们这种经常测试模型、写教程、做 benchmark 的人来说，效率提升非常明显。

打开网易新闻 查看精彩图片

我在自己的 Windows 机器上跑了一遍，硬件识别结果如下：

  • GPU 0：NVIDIA GeForce RTX 5070 Ti，15.9 GB 显存。

  • CPU：AMD Ryzen 7 7800X3D，8 核。

  • RAM：63.1 GB。

  • 磁盘可用空间：88.3 GB。

能直接把这些信息整理成漂亮的终端表格输出，属于“一眼就知道自己机器什么水平”的那种工具。

然后我执行了 ，得到的前几名推荐非常有参考价值。排名第一的是 ，量化为 ，显示为 Full GPU，估算速度达到 154.3 tok/s，得分 77.6。紧随其后的是 、 、 、 等模型。

对我这张 16GB 显存卡来说，最实用的结论其实很清晰： 这种组合非常稳，显存压力合理，中文体验也更友好。

小白也能照着走的通用流程

如果你是第一次接触本地模型，我建议直接按下面这套流程来，不要上来就到处搜“最强模型”。

第一步：先装 whichllm

项目支持通过 、PyPI、Homebrew 等方式安装，定位就是一个 Python CLI 工具 。如果你本地已经装好了 Python 环境，最省心的方式通常还是直接按项目说明用 跑。

如果你是从 GitHub 克隆源码到本地，流程就是：

这里的重点不是安装姿势，而是你装完以后，后面所有判断都能自动化完成，不需要自己去查显卡表、量化表和排行榜。

第二步：先看硬件，不要先看模型

装好之后，第一条建议执行的命令不是推荐模型，而是先看机器体检结果：

这个命令会自动识别你的 GPU、显存、CPU、内存和磁盘情况，本质上是在告诉你： 你的本地部署上限大概在哪。 的核心设计就是先识别硬件，再去匹配模型，而不是反过来 。

这一步非常适合小白。因为很多人其实连自己的“真实可用显存”和“硬件瓶颈”都没概念，更别说判断 14B、27B、70B 哪个适合自己了。

第三步：直接看推荐列表

这个命令会给出一组排序后的模型推荐，通常会包含模型名、量化方式、是否能完整进入显卡、预计速度、发布时间和综合分数。项目介绍里明确提到，它会把真实 benchmark、量化惩罚、证据可信度、速度估算等因素一起纳入排序，而不是只做“能不能装下”的判断 。

你看到推荐结果后，不需要一眼看懂所有细节，只要先抓住三个关键词：

  • Full GPU ：优先级最高，代表模型可以完整放进显卡，体验通常更稳定。

  • Partial ：说明有一部分要 offload 到内存或 CPU，理论上能跑，但速度和稳定性可能会下降。

  • Quant ：量化方式，决定了显存占用和性能平衡，小白阶段不用研究太深，先按推荐用就够了。

第四步：优先选“稳”的，不要一上来追最大模型

这是最容易踩坑的一步。

很多新手看到排名靠前的大模型就想直接冲，但实际上更合理的做法是： 先选 Full GPU、速度可用、显存有余量的模型。 项目文档和介绍都在强调，它不仅考虑 fit，还考虑 speed 和实际可用性 。

所以对普通用户来说，更稳妥的思路是先用这条命令：

这条命令的意义很适合写给小白： 不是挑“理论上最强”，而是挑“你电脑今天就能舒服跑起来”的模型。

如果你是第一次部署本地大模型，这一步比追排行榜重要得多。

第五步：按用途继续筛选

当你已经知道自己机器能跑哪些模型之后，再根据用途细分会更高效。项目支持按不同场景过滤，比如 coding 场景就可以这样查 ：

也就是说， 不只是回答“能跑什么”，还在尝试回答“ 你现在这台机器，做这类任务更适合什么。 ”

这对写代码、做问答、做 RAG、做本地助手的人都很有价值，因为不同用途真正需要的模型并不完全一样。

第六步：想查单个模型，直接反查

有时候你不是想看推荐列表，而是已经心里有个目标模型，比如你想知道某个 Qwen、Gemma、Llama 模型到底适不适合自己机器。

项目介绍里也提到， 这类能力本质上是在做反向查询：不是“我该跑什么”，而是“ 我想跑这个，需要什么硬件 ” 。这对准备升级显卡、或者计划买新机器的人尤其有用。

适合谁用

这个工具特别适合三类人：

  • 本地大模型玩家，想知道自己机器到底该跑什么。

  • 做教程、做评测的人，需要快速给不同硬件找推荐模型。

  • 想买新显卡的人，可以先模拟目标 GPU 能跑哪些模型。

如果你平时就在做 RAG、OCR、LLM 应用开发，这个工具更像是一个“模型选型前的体检仪”。它不能替你决定业务方案，但能帮你在本地部署前少踩很多坑。

我给你的结论

如果你是本地模型党，这个项目值得收藏。它的价值不在于“列出很多模型”，而在于把“模型选择”变成了 基于硬件和 benchmark 的决策 。

如果你想把本地大模型部署从“凭感觉”升级到“有数据可依”， 就是一个很好的起点。