小米发布玄戒O100:330TPS端侧推理,带宽是手机内存16倍
爬虫饲养员
·北京
小米秋季旗舰新品发布会上,雷军公布了玄戒O100芯片。这颗AI加速芯片的带宽达到1.22TB/s,端侧推理速度标称330TPS。
封装工艺的两个关键点
打开网易新闻 查看精彩图片
官方把它称为全球首款6nm 3D晶圆级堆叠先进封装,同时采用混合键合工艺,键合间距逼近物理极限。从发布会现场信息看,其内存带宽是传统手机内存的16倍。
端侧推理速度意味着什么
330TPS的指标指向设备本地完成AI计算的能力,不依赖云端回传。对于手机、汽车等场景,高带宽与高推理速度的组合,直接影响大模型在端侧的响应表现。
热门跟贴