阿里云与知名半导体公司MediaTek联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台,可离线流畅运行即时且精准的多轮AI对话应用,连续推理功耗增量不到3W,实现手机AI体验的大幅提升。这是通义大模型首次完成芯片级的软硬适配,仅依靠终端算力便能拥有极佳的推理性能及功耗表现,标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。

本文源自金融界AI电报