北京时间7月28日(周二)晚19点,将门-TechBeat人工智能社区组织的线上 TalkNativeMEM: 一帧一个 Token 激活 VLA 原生记忆将在视频号准时直播。

本次直播我们很开心邀请到——香港大学博士生王子烨。他将从现有 VLA 易遗忘任务历史的痛点出发,介绍 NativeMEM,用原生 Token 压缩画面历史,微调就能给模型增添长效记忆,无需重新预训练。

点击下方“预约”,锁定直播

直播介绍

主题:NativeMEM: 一帧一个 Token 激活 VLA 原生记忆

时间:北京时间 7 月 28 日 (周二) 19:00

简介:
如今的 VLA 已经能完成抓取、放置甚至一系列复杂操作,但是一旦任务依赖历史,它仍可能“边做边忘”。NativeMEM 将每帧历史压缩为一个原生 Token,并直接复用 VLA 自身的视觉表示空间;无需重新预训练,仅通过微调即可让单帧 VLA 获得分钟级、稠密更新的长程记忆能力。

Talk 大纲:

01 为什么 VLA 需要历史?

介绍仅凭当前观测无法决策的任务,并以连续按键、物体归位和商品扫码说明历史记忆的重要性。

02 核心瓶颈:长历史为何难以扩展?

通过 (T×M×N) 揭示历史 Token 随时间增长的问题,以及现有方法难以兼顾长覆盖、稠密更新和原生兼容性。

03 NativeMEM:一帧一个原生 Token

概述 NativeMEM 如何将每帧历史极致压缩为一个 VLA 能直接理解的 Native Memory Token。

03.01 阶段一:学习如何“记”

冻结原有 VLA,仅训练由 Vision Encoder 初始化的 Memory Tokenizer,并使用 Action Loss 学习任务相关的历史表示。

03.02 阶段二:学习如何“用”

离线缓存紧凑的 Memory Tokens,通过少量任务数据微调,即可将单帧 VLA 转换为记忆增强策略。

04 实验结果:仿真与真机全面提升

总结 NativeMEM 在仿真任务中达到 84.0%、在真机任务中达到 98.7% 平均成功率。

05 可解释分析:模型究竟记住了什么?

通过空间与时间注意力可视化,说明 Memory Token 会关注关键物体,并检索真正影响当前动作的历史时刻。

06 Case study:证明原生记忆确实激活了 VLA 先验

以商品扫码中的失败—重试案例说明,NativeMEM 能区分动作尝试与真实进度,并激活预训练 VLA 已有的通用恢复能力。

07 Take Away:记忆应该成为 VLA 的原生能力

参考资料

打开网易新闻 查看精彩图片

论文标题: NativeMEM:Native Memory Compression for Long-Horizon Robotic Manipulation Paper: https://arxiv.org/abs/2607.06678 Project Page: https://opendrivelab.com/NativeMEM

讲者介绍

打开网易新闻 查看精彩图片

王子烨

香港大学·博士生

王子烨,目前为香港大学数据科学研究所博士研究生,主要研究方向为具身智能(Embodied AI)、机器人操作(Robotic Manipulation)以及3D世界模型(3D World Model),致力于研究机器人对复杂三维环境的理解、预测与长期自主决策能力。

在 ICLR 2025 Oral 工作中,提出时空一致的高斯表示方法,将高动态三维序列重构为连续、可预测的结构化3D表示,为复杂动态场景的理解与未来状态预测提供了新的技术路径;在 NeurIPS 2025 工作 GauDP 中,进一步将多视角图像与3D Gaussian表示相结合,从多智能体观测中恢复共享三维场景,并将几何信息引入Diffusion Policy,以增强协作机器人操作中的空间感知与策略泛化能力;近期提出 NativeMEM,面向现有Vision-Language-Action模型缺乏长期历史感知的问题,利用VLA原生视觉编码器将每帧历史观测压缩为紧凑的视觉记忆token,并通过动作监督实现记忆表示与预训练策略的有效对齐,使单帧VLA能够处理依赖长期、细粒度历史信息的复杂操作任务。三项工作从三维世界表示、机器人策略学习到长期记忆增强VLA,逐步探索面向通用机器人智能的关键技术。

个人主页:https://ziyeeee.github.io/

载誉重返讲坛,以工程实践反哺理论之林,五位青年教授的线上闭门交流

北京时间7月28日(周二) 晚20:00截止报名

详情点击图片跳转

-The End-

扫码观看!

本周上新!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

打开网易新闻 查看精彩图片

点击右上角,把文章分享到朋友圈