Talk预告 | 南洋理工大学李思尧：视觉语言模型能否通过身体行动？|南洋理工大学|李思尧|视觉|讲者|语言模型

本期为TechBeat人工智能社区第798期线上Talk。

北京时间10月14日(周三) 20:00，南洋理工大学李思尧博士的Talk将准时在TechBeat人工智能社区开播！

李思尧与大家分享的主题是：视觉语言模型能否通过身体行动？届时李思尧将从 Action Intelligence 的背景与定义出发，介绍 HumanCLAW 如何解耦动作决策与运动执行，并结合基准评测、失败归因和消融实验，探讨视觉语言模型通过身体行动的能力与局限。

Talk·信息

主题：视觉语言模型能否通过身体行动？

嘉宾：南洋理工大学·博士- 李思尧

时间：北京时间10月14日(周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

基础模型已经会看、会想、会规划，但物理世界里的智能最终要通过行动体现。VLM 能否用身体完成任务？过去难以回答，因为动作结果混合了模型决策与底层运动控制。HumanCLAW 将两者解耦，单独度量 VLM 的“行动智能”：在 1,218 个第一视角任务上，九个前沿模型最高仅 16.8%，瓶颈不在感知，而在于对自身身体的“具身自我意识”。

Talk大纲

0. Action Intelligence 的背景以及定义

1. 问题

为什么评测 VLM 的“行动能力”很难——动作决策与运动执行耦合在一起

2. HumanCLAW 框架

VLM 发出原子技能指令 → 转换为亚秒级全身运动片段 → 带有真实物理后果（重力、碰撞）；剥离执行侧误差，度量“行动智能”

3. HumanCLAW-Bench

41 个室内场景、1,218 个长程第一视角 find–navigate–interact 任务

4. 结果

九个前沿 VLM 均未解决，最好 16.8%；识别目标不是瓶颈

5. 失败归因

具身自我意识缺失——不知道身体在哪里、是否已到达、是否撞到障碍物

6. 消融实验

记忆、中层目标、验证等推理脚手架能提升行动智能，更长的文本或视觉历史不能

7. GPT-6 Astra 实验分析

Talk·预习资料

[1] HumanCLAW: Can Vision-Language Models Act Through a Body? 论文链接： https://arxiv.org/abs/2607.27180 代码与基准： https://github.com/Human-CLAW/HumanCLAW 项目主页（视频与排行榜）： https://human-claw.github.io/

[2] Half-Physics: Enabling Kinematic 3D Human Model with Physical Interactions 论文链接：（CVPR 2026 PhysHuman Workshop Oral） https://arxiv.org/abs/2507.23778

[3] PRIMAL: Physically Reactive and Interactive Motor Model for Avatar Learning 论文链接：（ICCV 2025） https://arxiv.org/abs/2503.17544 代码链接： https://github.com/yz-cnsdqz/primal-release 项目主页： https://yz-cnsdqz.github.io/eigenmotion/PRIMAL/

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

李思尧

南洋理工大学·博士

李思尧，南洋理工大学 MMLab 博士（2026 年 5 月毕业），师从吕健勤（Chen Change Loy）与刘子纬（Ziwei Liu）教授，2024 年 Google PhD Fellowship 获得者。本科与硕士毕业于北京师范大学（2012–2019），2019–2021 年在商汤科技任研究员。博士期间曾访问德国马普智能系统研究所（MPI-IS）Michael Black 组（2024.8–2025.3），并于 2026 年 3–8 月在 Meta Reality Labs（雷德蒙德）从事研究实习，HumanCLAW 工作完成于此期间。研究方向为具身智能与视觉语言模型，关注如何让基础模型通过身体在物理世界中行动，以及人体运动生成与物理仿真。代表工作包括：HumanCLAW（将 VLM 的动作决策与底层运动控制解耦的评测框架与基准，arXiv 2026）、Bailando（音乐驱动的 3D 舞蹈生成，CVPR 2022 Oral）、Half-Physics（CVPR 2026 PhysHuman Workshop Oral）。