为显卡咬牙剁手的日子,眼下可以先放一放。一个叫 exo 的开源项目,星标已经接近 5 万,它想做的事很直接:把局域网里那些吃灰的设备凑成一个 AI 计算集群。
旧手机、旧电脑、树莓派,只要连上同一个局域网,都能被拉进这个计算池。项目主打设备无关的集成,不挑特定硬件,也不挑操作系统,废旧电子产品因此有了重新上岗的机会。
集群的管理方式偏向自组织。节点可以自动加入、自动离开,不需要管理员手动改配置,接近即插即用的体验。系统还提供自动化的性能监控,方便掌握各节点的状态。
真正让它跑得动的,是通信层面的处理。exo 引入 RDMA 协议和 Thunderbolt 5 等高速接口,大幅压低节点之间的通信延迟,让分布式系统的表现更接近单机。对需要大量数据交换的 AI 任务来说,这一环尤其关键。
算力聚合的思路是:把多台机器的算力拼成一个虚拟的、更大型的 GPU 资源,再把模型分段智能分配到各个节点上,完成分布式推理。延迟降下来,效率提上去,这是它宣称要解决的核心问题。
它瞄准的痛点也很明确——AI 爱好者和小型企业往往没有集中式的 GPU 资源。exo 给出的答案是让闲置硬件重获新生。实际示例显示,即使是消费级硬件的组合,也能运行 DeepSeek v3.1 671B 这样的大规模模型。
从自动节点发现到 p2p 连接,这套方案把"凑设备"这件事的门槛压得很低。手边有旧机器的人,或许可以先不急着下单新卡。
热门跟贴