AI发展正酣,随着终端芯片算力越来越高、端侧模型能力越来越强、实时响应及隐私保护的端侧应用需求增加,端侧AI已然具备落地的条件。端侧AI离客户和应用场景更近,也是具象化AI的重要方式。可以看到,端侧AI的浪潮“涌现”而至,原有的用户体验和生态格局将迎来革命性重塑。
基于大模型在端侧部署的特点和优势,已落地或即将落地的应用场景包括:智能手机、智能家居、可穿戴设备、自动驾驶汽车、工业自动化、医疗设备等。随着AI技术的进步和芯片产业的发展,端侧部署AI的挑战正逐步被克服,更多的端侧应用场景正在落地实现并逐渐成熟。
首先,大模型本身的算法逐步在优化,在众多细分行业,模型的计算效率相较上一代均有一定量级的效率提升。模型参数变得更小,用户体验却更加智能。再者,更多参数较小的大模型被开源,且AI能力日趋成熟,例如智谱AI、阿里千问等大模型厂商都开源了亿级(0.xB左右)到百亿级(x0B)的大模型预训练模型。这大大降低了大模型应用开发者的使用门槛,同时加速端侧AI部署。此外,算法层级的技术,包括模型量化、剪枝、蒸馏为基础的模型压缩算法,以及专为端侧部署设计的软硬件平台,都正在快速发展,这使得大模型在端侧设备的部署变得更加高效。以上模型变化趋势使得端侧AI在本地所需算力、部署成本、运行效率得到大大提升,将助力各行各业智能升级。
目前,端侧AI芯片厂商、中游模组及软件厂商、下游终端厂商的产业链上下游正积极推动AI在端侧部署落地。多个芯片厂商已推出最新处理器,支持终端侧多模态生成式AI,并完成多款大模型的适配。广和通持续为AIoT产业提供模组及解决方案,正积极探索端侧AI相关技术,并已推出多款可应用于机器视觉、具身智能、智能割草等场景的端侧AI解决方案,满足不同终端对算力及模型的需求。
AI大模型作为当前人工智能领域的重要技术,是孕育新质生产力的重要手段。作为大模型应用的一个重要的实践领域,端侧AI大模型的全面落地发展需要全产业链推动,包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。广和通积极整合产业上下游资源,为产业提供融合通信、算力、AI算法、AI引擎、模型等能力的端侧AI解决方案,加速AI商用至终端。
热门跟贴