想在自家电脑上跑AI，不一定非得把对话内容发到云端。一篇操作向的体验文章给出的答案是：从打开浏览器下载软件到发出第一条提示词，走完三步就能用上。
作者拿到的是一台联想 Pro 9n，搭载英伟达 RTX Spark 芯片，配了带统一内存的板载 GPU——显存不够时可以“借用”系统内存，跑 AI 这类任务正好用得上。不过文章也明确说，你并不一定需要这么强的芯片；如果平时只是用 AI 聊天、生成图片、学习、做摘要这类轻任务，普通电脑也有理由用上本地 AI。
为什么不用云端？文章列的理由集中在三点：外部 token 消耗、隐私，以及便利性。云端服务像 Claude、ChatGPT、Copilot 确实方便，但不是每个人都愿意把自己和机器人的对话发到网络空间里，也不是每个人都想为 token 或订阅付费。
动手前先看硬件
文章强调，跑本地 AI 时 GPU 比 CPU 重要得多，把整个模型塞进显存才能保证最好的性能。给出的参考是：
- 30亿到80亿参数的小模型，建议显存至少8GB
- 80亿到140亿参数的中等模型，建议12GB显存；
- 300亿参数以上的大模型，就进入工作站级别，要么靠很贵的 GPU，要么靠统一内存池（RTX Spark 笔记本就是这种）。
只用 CPU 跑也不是不行，但作者不推荐，即便芯片核心多、年代新，性能也会慢得多。文章顺带提了一句：PC 玩家大概是最有条件做这件事的人群，因为他们的机器里更可能有块像样的显卡。
三步装完
作者此前在台式机上用过 Ollama，这次选的是 LM Studio——一款免费软件，用来下载、管理和使用本地模型，界面干净，用下来没遇到性能问题。它可以从官网直接下载，支持 Windows（x86 和 ARM）、Linux 和 macOS。
- 装 LM Studio。免费，下载安装即可。
- 下载模型。在应用内的模型搜索里挑，软件会直接给出推荐，并带有兼容性和性能标记。作者选的是开源模型 Qwen3.8，参数量27B，属于偏重的规格，普通电脑未必扛得住，他是拿它来测那台统一显存的 RTX Spark 笔记本。文章给新手的建议是 7B 或 8B 模型，能拿到离线使用的隐私和便利，又不至于把电脑压垮。如果看中的模型带“可完全卸载到 GPU”的标记，大概率是对的选择。点下载，等它下完。
- 加载模型开聊。点应用左上角的聊天按钮，再点窗口上方中间的“选择要加载的模型”，选中后等它加载完，就可以在本地和 AI 对话了。
本地 AI 的短板也写清楚了
本地模型通常比顶级的云端模型弱。对普通用户来说这没什么，但进阶用户大概率还是需要付费订阅。另外，跑本地 AI 需要一台性能不错的电脑，不是人人都有；安装本身很简单，性能却会因硬件差异很大。
联网只在两个环节需要：下载 LM Studio 应用和下载模型。之后一切离线运行。
关于笔记本的 NPU，文章的说法是：NPU 随 Copilot+ PC 的推出受到关注，专为跑 AI 设计，但第一代笔记本 NPU 算力有限，较新的骁龙 X2 系列硬件达到80 TOPS，可以跑较轻的本地模型。
还有一个容易混淆的点：Windows 11 上预装的 Copilot 应用靠云端给答案，断网就用不了；而系统里内置的 Recall、Studio Effects 这类 Copilot+ 工具，是用本机 NPU 做本地加速的，不需要调用云端。
按文章的说法，装本地大模型和装其他软件差不多，有台现代电脑、有点空闲时间，读完这篇的工夫大概就能跑起来。至于值不值得折腾，先看显卡够不够格，再看你有多在意那些对话留在自己机器里。
热门跟贴