本期为TechBeat人工智能社区第622期线上Talk。

北京时间9月4日(周三)20:00，清华大学博士生诸子钰的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是:“面向具身智能的通用3D视觉语言理解”，届时将深入探讨具身智能和3D视觉语言模型，介绍我们的两项最新研究成果PQ3D和SG3D。

Talk·信息

主题：面向具身智能的通用3D视觉语言理解

嘉宾：清华大学 · 博士生 - 诸子钰

时间：北京时间9月4日(周三)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

具身智能是最近一段时间十分受人关注的研究话题，随着像GPT-4V这样的大型视觉语言模型以及机器人系统RT-2的出现，能够进行家用的具身智能体离我们又进了一步。

在这一领域，3D视觉语言模型扮演着智能体的“眼睛”和“大脑”，对于智能体感知世界、理解人类语言并执行相应动作具有关键作用。

本期Talk将深入探讨具身智能和3D视觉语言模型，介绍我们的两项最新研究成果PQ3D和SG3D。在PQ3D，Unifying 3D Vision-Language Understanding via Promptable Queries,我们提出了一个通用的3D视觉语言模型，能够利用Voxel,Point,Image三种表征形式，去解决多种3D视觉语言任务。

在SG3D中，我们针对具身智能任务规划设计了一个评测language grounding的benchmark, 把每一步动作指令对应到了相应的物体上，并且测试了two-stream, query-based以及3D-LLM在这一任务上的表现。

Talk大纲

1. 具身智能的相关背景。

2. 3D视觉语言模型在具身智能中的意义。

3. 介绍我们在ECCV24上的最新工作，PQ3D，Unifying 3D Vision-Language Understanding via Promptable Queries, 能够灵活利用多种表征来解各种3D视觉语言任务的通用模型。

4. 介绍我们面向具身智能的3D视觉语言benchmark, SG3D, Task-oriented Sequential Grounding in 3D Scenes。

5. 总结与展望。

Talk·预习资料

项目链接： https://3d-vista.github.io/

项目链接： https://pq3d.github.io/

项目链接： https://sg-3d.github.io/

项目链接： https://embodied-generalist.github.io/

项目链接： https://sqa3d.github.io/


Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

诸子钰‍‍‍‍‍‍‍‍‍

清华大学 博士生

诸子钰，清华大学计算机系四年级博士生。研究方向为3D视觉语言学习，生成式模型，在ICCV，ECCV，ICML，AAAI，TMM等顶级会议和期刊发表多篇论文。

个人主页: https://www.techbeat.net/grzytrkj?id=8463

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk