视觉语言导航(VLN)作为具身智能的核心任务之一,要求智能体借助自然语言指令在真实环境中实现自主导航。该任务是一个涉及自然语言处理、计算机视觉、机器人导航、多模态信息融合等多个学科的领域。
在实际工程落地中,VLN面临以下挑战:跨模态信息对齐、离散与连续动作空间的差异、仿真环境到物理世界的迁移、以及稀疏奖励下的策略学习。现有研究主要集中在模型架构优化与数据集构建,但如何系统性地将这些方法转化为可复现的工程实践方面,可供参考的资源仍较为分散。
为此,深蓝学院联合阿德莱德大学吴琦老师及视觉语言导航公众号开设了「视觉语言导航VLN」课程,带大家全面了解VLN的基础知识、算法框架、数据资源、学习范式,以及它在现实世界中的应用方式,比如服务机器人、无人机等。以下是课程项目实践展示:
打开网易新闻 查看精彩图片
(Project:AerialVLN 任务)
扫码添加,即将开课
抢占特价学习名额
打开网易新闻 查看精彩图片
课程讲师
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
课程大纲
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
实践项目
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
课程收获
1. 深入理解VLN任务在具身智能中的定位与挑战
2. 掌握从感知、语言到行为决策的模型设计方法
3. 熟悉主流数据集、开源框架与评估方法
4. 能够设计并实现基本的VLN系统,并理解其在不同平台(机器人、无人机等)中的适配需求
5.为多模态人工智能系统的研发提供理论基础与技术储备
打开网易新闻 查看精彩图片
适合人群
1. 机器学习、人工智能、机器人领域的学生和工程师
2. 具身智能领域研究学者
打开网易新闻 查看精彩图片
课程服务
1. 三师助力
讲师&助教及时答疑解惑,班主任全程带班督学,帮你克服拖延,不断进步。
2.定期班会
助教1V1批改作业,并在班会中进行讲评和指导;在班会中,学习更多技巧;在交流中收获更多思路。
打开网易新闻 查看精彩图片
课程咨询
扫码添加,即将开课
抢占特价学习名额
热门跟贴