机器人能完成一次抓取,能不能接着把整项任务做完?前一步移动了物体,下一步就要重新看清桌面;一次小失误,也可能让后面的操作无法继续。DexHoldem 用真实的牌桌交互,把这些问题放在一起检验。

香港大学与忆生科技参与的 DexHoldem 研究,已获 NeurIPS 2026 Workshop 接收。它以德州扑克牌桌为实验场景,同时考察灵巧手的操作,以及智能体的感知、判断和决策能力,并记录整个系统能否持续完成任务。

打开网易新闻 查看精彩图片

论文题目:
DexHoldem: An Agentic Robotics Benchmark for Dexterous Manipulation in Texas Hold’em
论文链接:
https://arxiv.org/abs/2605.18727
项目主页:
https://dexholdem.github.io/Dexholdem/

打开网易新闻 查看精彩图片

DexHoldem 论文主图:实验设备、感知与动作执行流程,以及模型评测结果。右下展示部分感知模型的结果。

一、把看清桌面和动手操作放在一起检验

这套评测提供 1,470 条成功操作的示范数据,覆盖 14 项基础动作。数据由人通过遥操作设备控制机器人采集,供模型学习。研究比较了九种动作控制模型,并用 36 道真实场景问题测试 14 种感知模型与运行工具的组合,最后通过 33 局有效测试检验完整系统。

14 项动作包括拿起、扣放和展示左右两张牌,以及四种面额筹码的推入和拉回。每项有 100 条示范用于训练、5 条用于验证。薄牌不容易拿起,密集摆放的筹码又容易互相碰到,机器人既要找对目标,也要控制好手指。

实验使用 UR10e 机械臂和 Shadow 灵巧手。控制动作的模型结合桌面俯视、第三人称和腕部三个视角,以及机器人的关节状态,预测下一步的 30 维关节位置目标。负责理解局面的智能体另用一台桌面相机观察。研究者可以分别更换感知模型和动作模型,比较各自带来的变化。

打开网易新闻 查看精彩图片

论文原图展示四类操作的成功与失败:查看手牌、亮牌、推入筹码、拉回筹码。图中只标记动作是否完成,周围场景是否保持良好另行评分。

二、动作做到了还要看有没有碰乱桌面

机器人把目标筹码推到指定区域,却顺带碰走了旁边的筹码,这次操作该怎样评价?DexHoldem 分别记录“目标有没有完成”和“周围场景有没有保持好”。两项各有成功、失败两种结果,合起来就是四种情况。

任务完成率 TCR 回答“有多少次做到了目标”;场景保持成功率 SPSR 则更严格,要求做完目标的同时,没有造成超出规则的物体位移、重叠或越界。按要求移动目标物体当然允许,额外碰乱桌面的动作才会影响后一项评分。

打开网易新闻 查看精彩图片

九种动作控制模型的真机结果,依据论文表 1 重绘。每种模型安排 80 项评测,使用同一套评分规则。

π₀.₅ 的任务完成率为 61.2%,加入场景保持要求后,成功率降至 47.5%;π₀ 的场景保持成功率也为 47.5%。RDT 和 DP (DINO) 的这一指标分别为 30.0% 和 26.2%。分开报告两项分数,能让研究者看到:机器人是把动作做完了,还是连周围物体也照顾好了。

这些模型使用相同数量的训练示范和相同的真机评测流程,但模型结构、已有训练经验及接入机器人控制系统的方式并不完全相同。因此,结果反映的是各套被测方案的表现,不能仅凭分数判断某一个设计因素的作用。

研究还用 RDT 比较了不同数据量下的训练效果。每项动作分别使用 10、20、50、100 条示范时,相比策略部分从随机参数开始训练,使用预训练策略的动作预测误差分别降低 1.2%、9.0%、10.7%、11.3%。这里的误差来自验证数据,对应论文中的验证损失;真机操作能否同样改善,还要另做测试。

三、看对单项信息还不等于理解完整局面

感知测试要求模型回答一组具体问题:当前进行到哪一步、轮到谁行动、双方的起始角色标记是什么、桌上有哪些公共牌、当前操作区里有哪些筹码、双方各自还剩哪些筹码,以及亮牌后的结果。双方剩余筹码分别计分,共八项。模型需要把这些信息一起看对,才能为下一步行动提供可靠依据。

评分区分“单项信息感知正确”和“整道题完整答对”。Avg 先算八项能力各自的准确率,再等权取平均;Overall 则统计整道题完整答对的比例。这样既能看到单项识别水平,也能知道模型能否交出一份完整正确的回答。

打开网易新闻 查看精彩图片

部分感知模型的结果,依据论文表 2 重绘。每套模型与运行工具的组合都使用同一组 36 道题,重复测试三次。

Opus 5.5 的单项平均准确率为 80.6%,整题正确率为 49.1%;GPT 6 Astra 分别为 80.2% 和 48.1%。单项平均分已经达到约八成,但整道题完整答对的比例仍不到一半。对于下一步行动依赖多条信息的机器人,这个差距值得关注。

不同信息也有不同难度。GPT 6 Astra 对当前操作区内筹码、对方剩余筹码的识别准确率分别为 93.8% 和 100.0%,公共牌却只有 20.5%;Opus 5.5 的公共牌准确率同样为 20.5%。这一项最高的是 GPT 5.5,为 61.5%。总分之外,各项结果能更直接地指出模型还需要改进什么。

GPT、Claude 和 Gemini 分别通过 Codex、Claude Code 和 Gemini CLI 运行,成绩对应模型与这些工具的组合。部分题目提供整理好的历史信息,另有 12 道题没有历史信息。这项测试主要看模型能否读懂当前场景;机器人能否自己记住并更新整个过程,还需要完整系统测试。

四、闭环持续交互才能完整完成长程任务

完整系统不断重复“观察桌面、理解局面、安排下一步、动手执行、再检查结果”。例如查看手牌,需要依次拿起牌、读出并记住牌面,再把牌扣放回桌面。每个步骤结束后都要重新观察,确认任务有没有推进。

打开网易新闻 查看精彩图片

系统运行流程的简化示意。图中的“原语”是拾牌、推筹码等基础动作,“路由”负责按规则安排下一步。

等待、检查动作结果和接着完成尚未结束的步骤,由流程控制模块按规则处理;有多个符合规则的动作可选时,再交给主智能体决定。如果动作卡住了,但桌面没有被碰乱,系统可以重试;如果场景已经被破坏,就请求人工帮助。

系统测试由 GPT 5.5 负责感知和主要决策,π₀ 负责控制动作。33 局有效测试中,有 4 局完成全过程,完成率为 12.1%。这四局中,3 局没有请求人工帮助,只有 1 局既没有重试,也没有请求人工帮助。

系统实际发起了 34 次重试,其中 12 次完成了此前未完成的基础动作。最终完成的四局中,有三局曾靠重试恢复进度。保留这些过程记录,才能分清机器人在哪里卡住、怎样继续,以及何时仍需要人的帮助。

DexHoldem 把动作控制、场景理解和行动决策放进同一套真实环境中评测。研究者既能检查各个环节,也能更换其中一个模型,再看整个系统是否更可靠。当前结果来自这一实验平台和被测组合,为后续改进提供了可比较的起点。

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

打开网易新闻 查看精彩图片

点击右上角,把文章分享到朋友圈