大模型本地部署，小号的vLLM来了|dir|python|vllm|大模型|引擎|推理|本地部署

大家好，我是 Ai 学习的老章

一文中提到 2025 年最热门的项目分布在 AI 基础设施（vllm、ollama、huggingface/transformers）和持久的生态系统（vscode、godot、home-assistant）之间。

一方面，像vllm、ollama、ragflow、llama.cpp和huggingface/transformers这样的项目占据主导地位，这表明贡献者正在投资 AI 的基础层——模型运行时、推理引擎和编排框架。
另一方面，像vscode、godot、expo和home-assistant这样的主要生态系统继续吸引稳定的贡献者基础，表明开源的势头远远超出了 AI 领域。

vLLM——2025 年增长最快的开源 AI 项目之一。

按贡献者数量排名的顶级开源项目按贡献者数量增长最快的项目吸引最多首次贡献者的项目

这个推理引擎也是我最喜爱的，本号测试部署的 N 多大模型都是用它来部署的

唯一让我不满的是我在内网用 docker 起 vLLM，它太大了，足足 22 个 GB

周末刚看到一个新项目：轻量级 vLLM 实现——Nano-vLLM

项目地址：https://github.com/GeeeekExplorer/nano-vllm

关键功能快速离线推理 - 推理速度与 vLLM 相当易读的代码库 - 约 1,200 行 Python 代码的简洁实现 ⚡ 优化套件 - 前缀缓存、张量并行、Torch 编译、CUDA 图等

一行命令安装pip install git+https://github.com/GeeeekExplorer/nano-vllm.git

手动下载模型权重，使用以下命令：

huggingface-cli download --resume-download Qwen/Qwen3-0.6B \
  --local-dir ~/huggingface/Qwen3-0.6B/ \
  --local-dir-use-symlinks False

网不通的话，可以使用我多次推荐的modelscope

pip install modelscope 之后，即可使用 modelscope download 下载模型

下载完整模型库

`modelscope download --model Qwen/Qwen3-0.6B

下载单个文件到指定本地文件夹（以下载 README.md 到当前路径下“dir”目录为例）

modelscope download --model Qwen/Qwen3-0.6B README.md --local_dir ./dir

API 与 vLLM 的接口类似，LLM.generate方法有一些细微差别：

from nanovllm import LLM, SamplingParams
llm = LLM("/YOUR/MODEL/PATH", enforce_eager=True, tensor_parallel_size=1)
sampling_params = SamplingParams(temperature=0.6, max_tokens=256)
prompts = ["Hello, Nano-vLLM."]
outputs = llm.generate(prompts, sampling_params)
outputs[0]["text"]

看官方测试配置：**