金融界2024年12月18日消息，国家知识产权局信息显示，卓望信息技术（北京）有限公司申请一项名为“融合多模态特征的双塔实体识别方法、装置、设备及介质”的专利，公开号 CN 119128610 A，申请日期为2024年11月。

专利摘要显示，本申请公开了融合多模态特征的双塔实体识别方法、装置、设备及介质，其方法实现，包括：获取待识别文本数据，其包括标签；通过预设提示策略，将待识别文本数据与标签进行级联表示，得到输出序列；基于输出序列，得到契文图像特征、触觉感知特征以及视觉感知特征，并进行特征融合得到图像稠密特征向量；基于输出序列，预测得到文本稠密特征向量；将图像稠密特征向量以及文本稠密特征向量进行特征融合，得到融合特征；基于融合特征，确定待提取实体的起始边界以及结束边界，以提取待提取实体的实体片段。将孤立的文本和标签进行融合，以阅读理解的视角开展平整实体识别与分类任务，且融合契文、触觉、视觉三种图像特征以增强文本特征挖掘能力。

本文源自：金融界

作者：情报员