Ollama要被干掉了？这个5MB的小东西真的有点东西

有人用Rust写了个叫Shimmy的本地AI推理工具，直接把矛头对准Ollama——

① 单文件5MB，Ollama那边直接哑火

② 启动速度不到100ms，内存只吃50MB

③ OpenAI兼容API，接入成本几乎是零

④ 无需配置、自动分配端口，开箱即用

模型来源也全覆盖了：Hugging Face、Ollama、本地目录，自动识别不用你操心。

体积、速度、内存，三项关键指标全线碾压。想跑本地模型又嫌Ollama太重的，这个值得装一个玩玩。

https://github.com/Michael-A-Kuykendall/shimmy

打开网易新闻 查看精彩图片