打开网易新闻 查看精彩图片

树莓派推出8GB RAM扩展板,专为本地运行生成式AI模型设计

树莓派5可以将AI相关工作负载转移至售价130美元的AI HAT +2扩展板

树莓派正在推出一款新的扩展板,能够在树莓派5上本地运行生成式AI模型。周四发布的AI HAT+ 2售价130美元,是去年推出模块的升级版本,价格更高,现在提供8GB内存和Hailo 10H芯片,具备40 TOPS的AI计算性能。

连接后,树莓派5将使用AI HAT+ 2处理AI相关工作负载,同时让主板的Arm CPU能够完成其他任务。与之前专注于图像AI处理的AI HAT+不同,AI HAT+ 2配备了板载内存,可以运行小型生成式AI模型,如Llama 3.2和DeepSeek-R1-Distill,以及一系列Qwen模型。用户还可以使用该设备训练和微调AI模型。

树莓派分享的演示显示,你可以使用这款扩展板为AI模型提供算力,该模型能够生成摄像头流的文本描述,并回答场景中是否有人的问题。另一个演示展示了如何使用Qwen2将文本从法语翻译成英语。

然而,科技YouTuber Jeff Geerling发现,配备8GB内存的独立树莓派5在支持的模型上通常表现优于AI HAT+ 2。Geerling将较低的性能归因于功耗限制,因为Pi 5可以在最高10瓦的功率下运行,而AI HAT+ 2限制在3W。

虽然AI HAT+ 2可能适合特定使用场景,但Geerling指出,扩展板的额外8GB内存"还不足以让这个HAT相对于购买更大的16GB Pi具有优势,后者拥有更多内存,更加灵活,运行模型也更快"。去年发布的AI HAT也可以处理AI图像处理,起价更便宜,仅需70美元。

树莓派表示,更多"更大"的AI模型"正在准备更新,应该会在发布后不久提供安装"。

Q&A

Q1:树莓派AI HAT+ 2有什么主要特点?

A:AI HAT+ 2是树莓派推出的扩展板,售价130美元,配备8GB内存和Hailo 10H芯片,具备40 TOPS的AI计算性能。它可以在树莓派5上本地运行生成式AI模型,如Llama 3.2和DeepSeek-R1-Distill等,还支持AI模型的训练和微调功能。

Q2:AI HAT+ 2的性能表现如何?

A:根据科技YouTuber Jeff Geerling的测试,配备8GB内存的独立树莓派5在支持的模型上通常表现优于AI HAT+ 2。这主要是由于功耗限制导致的,Pi 5可以在最高10瓦功率下运行,而AI HAT+ 2限制在3W。

Q3:AI HAT+ 2适合什么用户购买?

A:AI HAT+ 2适合需要在树莓派5上运行生成式AI模型的特定使用场景。不过专家建议,如果预算允许,直接购买16GB内存版本的树莓派5可能更加灵活且性能更好,而去年发布的70美元AI HAT则更适合图像AI处理需求。