金融界2024年10月24日消息，国家知识产权局信息显示，上海壁仞科技股份有限公司申请一项名为“注意力机制计算和模型推理方法、装置、设备及介质”的专利，公开号CN 118798263 A，申请日期为2024年6月。

专利摘要显示，本发明提供一种注意力机制计算和模型推理方法、装置、设备及介质，其中方法包括：将序列分为多个片段，为各片段分配处理节点，控制各处理节点分别计算与处理节点对应的片段在完整隐层维度上的注意力向量；控制各处理节点之间传输注意力向量，在各处理节点处得到序列在部分隐层维度上的注意力向量；控制各处理节点分别基于序列在部分隐层维度上的注意力向量进行注意力机制计算，在各处理节点处分别得到序列在部分隐层维度上的计算结果；控制各处理节点之间传输计算结果，在各处理节点处得到各片段在完整隐层维度上的注意力计算结果。本发明提供的方法、装置、设备及介质，能够提升的注意力机制的计算效率，并降低模型结构的敏感度，通用性更强。

本文源自：金融界

作者：情报员