金融界2025年5月30日消息，国家知识产权局信息显示，东南大学;江苏智运科技发展有限公司申请一项名为“一种基于非零最高位检测的Transformer网络注意力矩阵稀疏处理系统”的专利，公开号CN120068959A，申请日期为2025年01月。

专利摘要显示，本发明公开了一种基于非零最高位检测的Transformer网络注意力矩阵稀疏处理系统，包括非零最高位检测模块、最大值搜索模块和掩码生成模块；非零最高位检测模块用于对量化后的注意力矩阵中所有数据逐列进行非零最高位检测，将所有数据向下近似为2的指数；最大值搜索模块用于逐列对矩阵中每行数值进行最大值搜索；掩码生成模块用于根据由非零最高位表示的最大值信息及预先设置的阈值，逐列生成稀疏掩码，将掩码矩阵与原注意力矩阵逐元素相乘，完成矩阵稀疏。

本文源自金融界