打开网易新闻 查看精彩图片

大模型正在从云端走向端侧。当机器人需要实时理解环境、当IoT设备要在断网条件下完成智能决策,把大语言模型(LLM)和视觉语言模型(VLM)跑在本地处理器上,已经成为具身智能落地的关键一环。而开发者面临的真实挑战是:模型部署门槛高、跨平台适配复杂、端侧算力调度难。

高通技术公司最新面向开发者开源的端侧AI推理引擎GenieX,正是为解决这一问题而来——帮助开发者以较低的代码成本,在Qualcomm Oryon™ CPU、高通® Adreno™ GPU和高通® Hexagon™ NPU上快速运行前沿LLM和VLM模型。

本场直播特邀高通技术公司(中国)资深工程师陈鸿志担任主讲。他长期从事GenieX端侧AI推理框架研发工作,专注于高通平台AI推理引擎开发与应用,致力于推动生成式AI在实际产品场景中的落地。本次课程中,他将结合CLI、Python SDK、Local Server、Android SDK及Linux(Docker)等多种部署方式,演示从模型部署到应用开发的完整流程,带开发者一站式上手GenieX。

打开网易新闻 查看精彩图片

课程亮点

1、GenieX推理框架介绍

梳理GenieX的整体架构与设计理念,了解它如何在Qualcomm Oryon™ CPU、高通® Adreno™ GPU和高通® Hexagon™ NPU上高效调度算力,为端侧大模型推理提供底层支撑

2、GenieX产品功能介绍

详解GenieX的核心功能模块与开发接口,覆盖从模型导入、量化压缩到推理执行的关键能力,帮助开发者快速理解可用工具链

3、GenieX下载部署模型演示

演示GenieX面向不同开发场景提供的适配产品与部署方式,覆盖CLI、Python SDK、Local Server、Android SDK及Linux(Docker)等,展示从环境搭建到模型跑通的实际操作

4、线上实时互动答疑环节

本次课程为开发者们设置了实时互动答疑环节,资深专家在线解答开发难题。届时大家可以通过直播窗口留言互动,讲师线上一对一答疑解惑,为各位参赛者的复赛作品落地再加一把油!

直播入口

(1) CSDN「CSDN资讯」

(2) 微信视频号@AidLux

大赛已经进入复赛阶段,超百组开发团队正在基于大赛指定开发板设备落地他们的具身智能与机器人项目。期待各位的精彩表现!