vLLM 0.11.2正式版已发布
https://github.com/vllm-project/vllm/releases
0.11.0之后 彻底移除V0引擎
0.11.1之后 默认CUDA更新至12.9.1

vLLM 0.11.2 官方Docker镜像也已发布
https://hub.docker.com/r/vllm/vllm-openai/tags
支持linux的amd64和arm64架构

Docker官方也在与vLLM高度结合
Docker Model Runner 集成了vLLM
简单看了一下，有点使用Ollama的感觉

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片