Perplexity 把自家本地推理引擎 Lily 开源了。这玩意儿是给 Perplexity Computer 的混合计算准备的,专门针对 Apple silicon 上的 Qwen3.6-35B-A3B 做了优化。
设备端算力不再是瓶颈
打开网易新闻 查看精彩图片
按官方说法,Lily 的核心目标就是让设备端算力不会成为 Computer 任务的瓶颈。换句话说,苹果芯片跑大模型这件事,Perplexity 想用开源的方式把效率拉上去。
为什么值得看一眼
- 针对 Apple silicon 深度优化,不是通用方案
- 配合 Qwen3.6-35B-A3B 模型,本地推理更顺
- 开源意味着开发者可以直接拿来改
目前细节都在官方博客里,想折腾本地推理的可以自己去翻。
热门跟贴