国家知识产权局信息显示，浙江大学、支付宝（杭州）数字服务技术有限公司申请一项名为“对图形界面的操作元素进行定位的方法及装置”的专利，公开号CN122945851A，申请日期为2026年6月。

专利摘要显示，本说明书实施例提供一种对图形界面的操作元素进行定位的方案，在多模态大模型推理阶段，针对当前的操作指令以及界面数据，利用多模态大模型进行操作元素坐标的初步预测，得到预测过程中操作指令的各个文本词元与界面数据的各个视觉词元的交叉注意力值。然后，基于各个交叉注意力值的大小，确定若干目标子区域，并利用多模态大模型，预测各个目标子区域的候选操作坐标。接着，对各个候选操作坐标进行聚类，得到若干聚类类簇，根据包含候选操作坐标最多的聚类类簇，确定操作元素的目标操作坐标。如此，可以在不增加训练成本、不引入误差累积、且不依赖高精度注意力结果的前提下，提高定位准确性。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

本文源自：市场资讯

作者：情报员