6 月 27 日-6 月 28 日,AICon 全球人工智能开发与应用大会北京站即将拉开帷幕。本次大会将汇聚 AI 前沿技术与落地实践,邀请来自腾讯、阿里、百度、字节跳动等头部大厂以及智谱、硅基流动、智象未来、声智科技等 AI 企业的 50+资深专家,深度探讨 AI Agent、多模态应用、推理性能优化以及 AI 在软件研发、数据分析、业务运营等场景的具体落地实践。

网易有道研发总监程桥受邀出席并发表题为《LLM技术在有道词典笔上的应用实践》的主题分享。本次分享将聚焦端侧大模型,深入探讨其落地过程中的挑战与实践。通过大模型摩尔定律及相关技术阐述原因,并对比端侧 AI 与云侧 AI 的优劣,介绍端侧 AI 应用场景及有道教育智能硬件特点。端侧大模型落地面临算力、内存、功耗、成本、算法质量、多应用部署等挑战,需平衡各项指标。以有道子曰大模型为例,分享云侧、云端结合、端侧 LLM 三种落地模式。在端侧大模型算法方面,详细介绍模型压缩技术及 LLM 带来的变化与新问题,通过实验确定蒸馏、DPO、词表裁剪、量化等方案,并对推理进行性能优化,端侧大模型成功落地有道词典笔 X7、X7 Pro,开启词典笔部署本地大模型新时代,未来还计划扩展功能。

程桥是网易有道机器翻译及大模型业务负责人,承担多项技术攻坚项目,为有道翻译,有道智云,词典笔等产品提供人工智能技术支持,产品服务近亿用户;在 NLP 领域国际顶级学术会议上发表多篇论文,担任 ACL、EMNLP 等顶级会议的审稿人,拥有多项发明专利的授权。他在本次会议的详细演讲内容如下:

演讲提纲
有道智能硬件应用介绍
端侧大模型面临的挑战
有道子曰大模型的落地模式
端侧大模型的算法优化与推理性能提升

听众可以理解端侧模型与硬件深度融合的关键路径,助力本地智能化部署;了解端侧大模型的技术挑战与应对策略,掌握行业最新趋势。

除此之外,本次大会还策划了AI Agent 构建与多场景实践、多模态实践与应用、大模型助力研发的实战经验、AI 在业务运营中的深度落地、大模型时代的数据处理与分析、AI 变革下的工程师等 10 多个专题论坛,届时将有来自不同行业、不同领域、不同企业的 50+资深专家在 AICon 北京站现场带来前沿技术洞察和一线实践经验。