金融界2025年2月13日消息，国家知识产权局信息显示，青岛海大新星软件咨询有限公司申请一项名为“基于多模态融合的智慧家庭场景理解和交互方法及系统”的专利，公开号CN 119398159 A，申请日期为2024年11月。

专利摘要显示，本发明公开了一种基于多模态融合的智慧家庭场景理解和交互方法及系统，将采集到的语音数据转换为文本数据，为更有效的理解用户行为和潜在意图，将采集到的图像/视频数据采用多模态视觉大模型进行内容理解，然后利用大语言模型强大的逻辑推理能力，用其对由语音数据转换成的文本数据和通过多模态视觉大模型理解的内容进行信息提取和推理；接着，基于用户交互的内容生成指令，从指令生成可视化提示词，采用多模态视觉大模型根据可视化提示词实施图像/视频内容的实时分割，通过视觉提示词将大语言模型和多模态视觉模型在智能家庭场景用户交互过程中进行融合；最后，将分割图像进行三维处理，基于场景的实时分割实现了与AR/MR场景的深度融合。

天眼查资料显示，青岛海大新星软件咨询有限公司，成立于2000年，位于青岛市，是一家以从事研究和试验发展为主的企业。企业注册资本300万人民币，实缴资本300万人民币。通过天眼查大数据分析，青岛海大新星软件咨询有限公司共对外投资了11家企业，参与招投标项目48次，专利信息26条，此外企业还拥有行政许可5个。

本文源自：金融界

作者：情报员