来源：市场资讯
（来源：智慧农业期刊）
引用格式：
金宁, 郭宇峰, 韩晓东, 缪祎晟, 吴华瑞. 基于迁移学习的农业短文本语义相似度计算方法[J]. 智慧农业(中英文), 2025, 7(1): 33-43.
DOI： 10.12133/j.smartag.SA202410026
JIN Ning, GUO Yufeng, HAN Xiaodong, MIAO Yisheng, WU Huarui. Method for Calculating Semantic Similarity of Short Agricultural Texts Based on Transfer Learning[J]. Smart Agriculture, 2025, 7(1): 33-43.
DOI： 10.12133/j.smartag.SA202410026
基于迁移学习的农业短文本语义相似度计算方法
金宁1， 郭宇峰1，2， 韩晓东1， 缪祎晟2，3， 吴华瑞2，3*
（1.沈阳建筑大学 计算机科学与工程学院，辽宁沈阳 110168，中国； 2.国家农业信息化工程研究中心，北京 100097，中国； 3.农业农村部农业信息化技术重点实验室，北京 100097，中国）
摘要：
［目的/意义］农业领域高质量的语义相似度计算是推动农业技术推广信息化、智能化发展的重要基础。针对现有文本语义相似度计算模型特征提取不全面、高质量标注数据集少等问题，提出一种基于迁移学习和BERT（Bidirectional Encoder Representations from Transformers）预训练模型的农业短文本语义相似度计算模型CWPT-TSBERT（Chinese-based Wordpiece Tokenization and Transfer-learning by Sentence BERT）。
［方法］CWPT-TSBERT依托孪生网络架构，利用迁移学习策略在大规模通用领域标注数据集进行模型预训练，解决农业文本标注数据集少、语义稀疏性高等问题。提出面向中文的子词单元分词方法CWPT拆分汉字，增强字向量的语义特征表示，进一步丰富了短文本语义特征表达。根据迁移学习的微调机制，利用SBERT（Sentence BERT）模型提取字向量，挖掘汉字间及字形结构间关联关系，提高模型语义相似度计算的正确率。
［结果和讨论］CWPT-TSBERT模型的语义相似度计算正确率达到97.18%，高于基于卷积神经网络的TextCNN_Attention、基于循环神经网络的MaLSTM（Manhattan Long Short-Term Memory），以及基于BERT预训练模型的SBERT等12种模型。
［结论］CWPT-TSBERT模型在小规模农业短文本数据集上语义相似性计算正确率较高，性能优势明显，为语义智能匹配提供了有效的技术参考。
关键词： 迁移学习；农业短文本；语义相似度计算；字形特征；知识智能服务；大模型
文章图片
Fig. 1 Semantic similarity computation model architecture diagram
Fig. 2 Siamese network architecture diagram
Fig. 3 Transfer learning process flowchart
Fig. 4 The process structure diagram of CWPT
Fig. 5 Schematic of self-attention
Fig. 6 Comparison of model Pearson correlation coefficients
Fig. 7 Comparison of model Spearman correlation coefficients
Fig. 8 Glycolic structure attention weight heat map
通信作者介绍
吴华瑞 研究员
吴华瑞研究员，科技部“十四五”数字乡村技术预测专家组组长、国家“十四五”重点专项“乡村产业共性关键技术研发与集成应用”总体组专家、农业农村部数字乡村技术重点实验室主任，农业农村部特色经济作物全程机械化专家组成员，中国人工智能学会智能农业专委会主任，国家大宗蔬菜产业技术体系智能化管理岗位科学家，《智慧农业（中英文）》编委，入选国家级人才。主要从事农业大数据、人工智能与蔬菜智慧无人农场相关研究工作。近年来获国家科技进步奖1项，省部级奖励5项，发表论文85篇（SCI 25篇），授权发明专利37项，编制颁布标准8项，著作2部，软著34项。
来源：《智慧农业（中英文）》2025年第1期
热门跟贴