IT时代网10月15日消息,苹果研究团队发表论文,描述了一套把闲置Mac电脑汇聚为虚拟GPU云的分布式系统,用于承接人工智能推理任务,该论文同步发布于苹果的机器学习研究网站。
这套系统由三个部件组成:Minion Server负责把提交的任务拆分为子任务并存入数据库;每台Mac上的Minion Executor通过接口拉取下一个子任务,按需获取模型后在本地图形处理器上运行,并将结果传回存储服务;Minion Watchdog跟踪各台Mac每隔五分钟发送的心跳,当设备睡眠、断网、关机或用户取回控制权时,未完成的子任务会重新排队。
系统仅依托苹果芯片运行AI推理,处理两类任务:一类是开源Transformer模型的嵌入计算,另一类是经本地部署的大语言模型文本生成。机主可以设定任务优先级,让Mac优先承接指定团队或项目的任务,也可以使用默认的先到先服务规则。
论文指出,该方案下的请求无需申请新的GPU资源,基础设施成本为零,同时缩短了GPU排队时间。研究团队称,未来将把这一模式扩展至分布式模型训练,并提出若跨机构乃至全球社区的闲置Mac能够安全联合,有望形成共享GPU算力池,目前该系统仅作为苹果内部的溢出算力使用。
打开网易新闻 查看精彩图片
编辑:林一舟
热门跟贴