来源:市场资讯

(来源:智慧农业期刊)

引用格式:齐梓均, 牛当当, 吴华瑞, 张礼麟, 王仑峰, 张宏鸣. 基于双维信息与剪枝的中文猕猴桃文本命名实体识别方法[J]. 智慧农业(中英文), 2025, 7(1): 44-56.

DOI: 10.12133/j.smartag.SA202410022

QI Zijun, NIU Dangdang, WU Huarui, ZHANG Lilin, WANG Lunfeng, ZHANG Hongming. Chinese Kiwifruit Text Named Entity Recognition Method Based on Dual-Dimensional Information and Pruning[J]. Smart Agriculture, 2025, 7(1): 44-56.

DOI: 10.12133/j.smartag.SA202410022

基于双维信息与剪枝的中文猕猴桃文本命名实体识别方法

齐梓均1, 牛当当1*, 吴华瑞2,3,4, 张礼麟1, 王仑峰1, 张宏鸣1*

(1.西北农林科技大学 信息工程学院,陕西杨凌 712100,中国; 2.国家农业信息化工程技术研究中心,北京 100097,中国; 3.北京市农林科学院信息技术研究中心,北京 100097,中国; 4.农业农村部数字乡村技术重点实验室,北京 100097,中国)

摘要:

[目的/意义]中文猕猴桃文本在段落上下文主题与字符间的左右关系中,展现出垂直与水平双维度特性。若能充分利用中文猕猴桃文本的双维特性,将有助于进一步提升命名实体识别的识别效果。基于此,提出了一种基于双维信息与剪枝的命名实体识别方法,命名为KIWI-Coord-Prune(kiwifruit-CoordKIWINER-PruneBi-LSTM)。

[方法]通过设计CoordKIWINER与PruneBi-LSTM两个模块,对中文猕猴桃文本中的双维信息进行精准处理。其中CoordKIWINER模块能够显著提升模型捕捉复杂和嵌套实体的能力,从而生成涵盖更多文本信息的加强字符矢量;PruneBi-LSTM模块在上一模块的基础上,加强了模型对重要特征的学习与识别能力,从而进一步提升了实体识别效果。

[结果和讨论]在自建数据集KIWIPRO和四个公开数据集人民日报(People's Daily)、ClueNER、Boson,以及ResumeNER上进行试验,并与LSTM、Bi-LSTM、LR-CNN、Softlexicon-LSTM,以及KIWINER五个先进模型进行对比,本研究提出的方法在5个数据集上分别取得了较好的F1值,分别为89.55%、91.02%、83.50%、83.49%和95.81%。

[结论]与现有方法相比,本研究提出的方法不仅能够有效提升中文猕猴桃领域文本的命名实体识别效果,且具有一定的泛化性,同时也能够为相关知识图谱和问答系统的构建等下游任务提供技术支持。

关键词: 中文命名实体识别;猕猴桃文本;自建数据集;多维度注意力机制;剪枝;深度学习;文本特征增强

文章图片

图1 中文猕猴桃文本命名实体识别研究多层次标注示例
打开网易新闻 查看精彩图片
图1 中文猕猴桃文本命名实体识别研究多层次标注示例

Fig. 1 Multi-level annotation example for named entity recognition in Chinese kiwifruit texts

图2 KIWI-Coord-Prune模型结构
打开网易新闻 查看精彩图片
图2 KIWI-Coord-Prune模型结构

Fig. 2 Architecture of KIWI-Coord-Prune model

图3 CoordKIWINER模块和PruneBi-LSTM模块消融与对比实验结果
打开网易新闻 查看精彩图片
图3 CoordKIWINER模块和PruneBi-LSTM模块消融与对比实验结果

Fig.3 Ablation and comparative experimental results of the CoordKIWINER and the PruneBi-LSTM module

图4 三种不同的CoordKIWINER模块设计方法实验结果对比
打开网易新闻 查看精彩图片
图4 三种不同的CoordKIWINER模块设计方法实验结果对比

Fig. 4 Comparison of experimental results for three different CoordKIWINER module design methods

表1 中文猕猴桃文本命名实体识别研究KIWIDPRO信息统计表

Table 1 Information statistics table of KIWIPRO for named entity recognition in Chinese kiwifruit texts

打开网易新闻 查看精彩图片

表2 中文猕猴桃文本命名实体识别研究实验超参数设置

Table 2 Hyper-parameter settings for NER in Chinese

打开网易新闻 查看精彩图片

表3 中文猕猴桃文本命名实体识别研究实验环境配置

Table. 3 Experimental environment setup for NER in Chinese kiwifruit texts

打开网易新闻 查看精彩图片

表4 KIWI-Coord-Prune模型在KIWIDPRO数据集上的对比实验结果

Table. 4 Comparative experimental results of the KIWI-Coord-Prune model on the KIWIDPRO dataset

打开网易新闻 查看精彩图片

表5 KIWI-Coord-Prune模型在人民日报数据集上的对比实验结果

Table. 5 Comparative experimental results of the KIWI-Coord-Prune model on the People's Daily dataset

打开网易新闻 查看精彩图片

表6 KIWI-Coord-Prune模型在ClueNER数据集上的对比实验结果

Table. 6 Comparative experimental results of the KIWI-Coord-Prune model on the ClueNER dataset

打开网易新闻 查看精彩图片

表7 KIWI-Coord-Prune模型在Boson数据集上的对比实验结果

Table 7 Comparative experimental results of the KIWI-Coord-Prune model on the Boson dataset

打开网易新闻 查看精彩图片

表8 KIWI-Coord-Prune模型在ResumeNER数据集上的对比实验结果

Table 8 Comparative experimental results of the KIWI-Coord-Prune model on the ResumeNER dataset

打开网易新闻 查看精彩图片

表9 不同模型针对猕猴桃不同类别实体的识别效果对比

Table 9 Comparative analysis of recognition performance of different models on various kiwifruit entity categories

打开网易新闻 查看精彩图片

作者简介

打开网易新闻 查看精彩图片

张宏鸣 教授

张宏鸣,教授,博士生导师,西北农林科技大学信息工程学院院长,农业部神农英才,陕西省中青年科技创新领军人才,陕西省特支计划教学名师,宝钢优秀教师,中国农业工程学会理事,中国人工智能学会理事,中国计算机学会数字农业分会常委。主要从事农业人工智能、空间大数据分析等研究,主持国家自然科学基金、重点研发计划等省部级以上项目20余项,发表论文100余篇,获省科技进步二等奖2项,国家级教学成果二等奖1项,省特等奖1项,一等奖2项。

打开网易新闻 查看精彩图片

牛当当 副教授

牛当当,西北农林科技大学信息工程学院,副教授。长期致力于人工智能理论基础、智慧农业、农业自然语言处理等领域研究,先后主持和参加国家自然科学基金、国家重点研发计划课题、陕西省自然科学基金等项目。获得陕西省科学技术进步奖和全国商业科技进步奖,发表论文20余篇,获批发明专利2项。

打开网易新闻 查看精彩图片

齐梓均 硕士研究生

齐梓均,西北农林科技大学信息工程学院硕士研究生,研究方向为农业人工智能、自然语言处理。

来源:《智慧农业(中英文)》2025年第1期