樱桃番茄,又称圣女果、迷你番茄等,和普通番茄都是番茄类果实。樱桃番茄内部品质主要通过检测其可溶性固形物、番茄红素、维生素、水分等指标评判。可溶性固形物含量(SSC)是指果实中可溶性糖和有机酸等可溶性物质的百分比含量,是影响樱桃番茄口感的关键指标之一。
近年来深度学习方法获得了各个领域学者们的关注,国内外众多学者结合深度学习和近红外光谱分析技术,提出了很多新的分析方法。生成对抗网络(GAN)采用零和博弈思想,通过生成器对样本分布进行隐式表达,能够避免主观人为因素,有效地学习各类数据特征并生成优质的样本数据。深度卷积生成对抗网络(DCGAN)模型,其在GAN的基础上加上了深度卷积网络结构,相比GAN有如下3 个优点:1)可以更好地捕捉数据中的细微结构,生成更加逼真的数据;2)可以更快地收敛,更快地训练模型;3)可以进行更复杂的模型设计,提高模型的准确性。
目前,使用GAN或DCGAN只对数据本身进行生成,而很少同时生成数据标签,因此多用于分类模型。华东交通大学机电与车辆工程学院的吴至境、刘富强、李志刚、陈慧针对樱桃番茄实际检测样品数不足等问题,提出一种改进型DCGAN模型以同时扩充光谱数据及SSC标签数据,并建立一维卷积神经网络回归(1D-CNNR)模型,以提高光谱数据建模后定量检测的预测精度和泛化能力。同时建立2 种传统定量检测模型PLSR和SVR,并将1D-CNNR、PLSR和SVR分别在原数据集、扩充及混合数据集中进行应用,以寻找到一种最优的樱桃番茄可溶性固形物含量(SSC)快速无损检测方法。
1 原始样品的可见-近红外光谱及SSC测定结果
由于初始采集后的光谱两端有明显的噪声,所以去除噪声后光谱的波长点数据还有2 002 个,波段范围为350.14~1 039.85 nm。扣除暗光谱,经过参考光谱校正并去除两端噪声后的樱桃番茄的可见-近红外光谱曲线如图2a所示。在原始光谱中所有樱桃番茄样品的光谱都呈现出相同的变化趋势,样品在600~850 nm之间具有典型的波峰、波谷,其在655、718 nm及770 nm处具有明显的波谷。图2b为所测80 个样品SSC分布图,SSC数值变化范围在3.5~9.8 °Brix,均值6.66 °Brix,标准差1.46 °Brix。
2 DCGAN增强数据和标签
DCGAN模型计算实验环境基于Keras和Tensorflow框架,用Python(3.7.8版本)语言建立网络模型。具体实验环境为Intel(R) Core(TM) i7-9850H CPU;NVIDIA Quadro RTX 4000 GPU;128 G计算机内存。为了实现数据优化,系统中配置了Sklearn、Numpy、Pandas、Matplotlib等Python运算库,以加快模型网络的训练速度。
DCGAN包括一个生成器网络和一个鉴别器网络,如图3所示。生成器用于生成数据,其输入有两个,一个为符合标准正态分布的维度为100的随机噪声信号,另一个为维度为1的采样标签数据,其数值在真实标签最大值与最小值之间变化。采样标签数据经过植入层和平铺层后与输入噪声数据经过乘法运算得到卷积模型的输入,维度为100。经过一个全连接层,输入数据再次经过3 层一维卷积层,其输出为生成的光谱数据,输出长度为2 002,这与实际测量光谱长度一致。第一、二层卷积层紧跟一个线性整流激活函数层,第三层卷积层后为一个双曲正切激活函数层,卷积层之间各插入一个批量归一化层和一个上采样层,这可以增强生成器网络对强无序数据的生成能力。
判别器用于判别数据的真伪,真实光谱数据的有效输出标签为1,生成光谱数据的有效输出标签为0。判别器的输入分别为归一化处理后的真实光谱数据和生成器生成的光谱数据,当使用真实光谱数据作为输入对判别器进行训练时,其对应的标签数据有两个,分别为有效输出标签1和真实标签数据(归一化处理后的SSC)。当使用生成光谱数据作为输入对判别器进行训练时,对应的标签数据也有两个,分别为有效输出标签0和采样标签数据。为了提升判别网络的判别能力,判别器共有4 层一维卷积层,每层卷积层紧跟一个带泄漏线性整流激活层,卷积层之间还有一个随机失活层和一个批量归一化层。
与此同时,本研究将生成器与判别器合并创建了一个合并模型,并将合并模型一起训练,这样可以更快地训练模型。其输入为维度为100的噪声数据和维度为1的采样标签组成的列表,对应的输出标签为1和维度为1的真实标签数据(归一化后的SSC)构成的列表。判别器网络和合并模型都采用Adam优化器,由于两者输出有两个不同数据,因此编译时采用两个损失函数二元交叉熵和均方误差组成一个列表作为总的损失函数。训练时批次大小设置为8,当判别器无法准确判断出数据来源时,代表生成器生成的光谱数据接近真实光谱数据,仿真实验结果显示迭代次数为4 000左右时生成器和判别器的损失值达到平衡,判别器的准确率为0.5左右,代表此时判别器无法判断数据是真实光谱数据还是生成器生成的数据。
训练结束后,利用训练好的DCGAN对光谱及SSC标签数据进行数据增强,共生成1 000 个光谱数据和1 000 个SSC标签数据,这样与80 个原始樱桃番茄样本数据共同组成一个新的数据集,大小为1 080,称为合并数据集。原数据集、扩充数据集与合并数据集按3∶1的比例随机划分为校正集和测试集,其SSC数值变化范围、均值及标准差如表1所示。数据经过DCGAN扩充增强后,数据分布更向均值方向集中,且标准差变小。3 种数据集划分得到的校正集和测试集的数值变化范围、平均值和标准差相近,符合建模及测试要求。
3 回归定量模型检测结果与比较
接着创建一个1D-CNNR模型对增强后的数据集进行建模,1D-CNNR模型结构图比较简单,如图4所示。模型输入为标准归一化后的光谱数据,中间有两层一维卷积层,卷积层后面紧跟一个线性整流激活函数层和一个一维最大池化层。两个卷积层后为一个平铺层,再经过两个全连接层后输出。本研究1D-CNNR为回归定量检测模型,最后一个全连接层紧跟一个线性激活函数。
模型首先使用校正集进行充分训练,并在训练过程中从校正集中随机拿出10%的数据进行验证,最后模型训练完后使用测试集验证模型,此时的测试集对于模型而言是新的未见的数据。采用相关系数(
r)和均方根误差(root mean square error,RMSE)检验模型的预测效果,
r和RMSE的计算公式如下:
式中:Cov表示计算协方差;
表示标准差;是模型对数据集的预测值;y是对数据集的实测值;
n是数据集样品的数量。
r越接近1,RMSE越小,且分别根据测试集和校正集计算的
rp 和
rc ,及RMSE p 和RMSE c 数值相差不大时,说明所建模型预测能力越好,反之模型预测效果不好。本研究使用的下标p和c分别代表测试集和校正集。
为了进行比较,本研究分别建立了PLSR模型和SVR模型。由于光谱预处理对SVR及PLSR模型影响较大,所以本研究使用3 种常用的光谱预处理方法(标准正态变量(SNV)、一阶导数(D1)、滤波平滑(SG))分别对光谱进行预处理,并对比各自及不同预处理组合对所建模型的测试集预测能力的影响。经过反复比较实验,SG+D1+SNV光谱预处理对SVR而言为最优,SG+SNV光谱预处理对PLSR最优,同时对PLSR的主成分个数及SVR的参数选取也进行了优化。下面都是采用优化后模型的计算结果。
本研究将原始80 个样品数据集、1 000 个扩充数据集和1 080 个合并数据集,分别结合1D-CNNR、SVR及PLSR模型进行建模与预测。由表2可知,原始数据集所建模型的预测精度要小于扩充数据集和合并数据集,原因在于原始数据集样本数据偏少,对模型而言容易出现欠拟合。合并数据集所建模型的预测精度最高,特别是对于1D-CNNR算法由于其依赖大规模样本数据,当数据量大时,该回归算法展示出了较高的优越性。
对DCGAN-1DCNNR的樱桃番茄SSC回归检测最优模型的建立过程进行详细讨论。当分别使用原始数据集、扩充数据集和合并数据集划分所得校正集对模型进行训练时,1D-CNNR模型训练损失随迭代次数的变化关系如图5所示,在训练20 次后损失值都下降到0.2左右,中间损失值稍有波动,训练80 次后损失值趋于稳定。当使用原始样品数据集所划分的校正集训练模型时,训练损失值波动较剧烈,而使用合并样品校正集训练模型时,模型训练收敛最快,最后收敛后的损失值也最小,这符合CNN模型较依赖大规模样品数据集的特性。
对1D-CNNR的输出结果和目标输出做线性回归分析,使用上述3 种不同数据集划分所得测试集的预测回归结果如图6所示。基于1D-CNNR所建的SSC定量预测模型,对于不同数据集建模的测试集预测值基本分布在拟合曲线附近,预测值与其对应的含量真值非常接近。从图6b和图6c可知,DCGAN扩大了样品数据集,因此基于合并样品测试集的建模结果最好,其
rp 最大,RMSE p 最小。DCGAN扩充的SSC标签的取值范围比较集中于[3.7,7.8]之间,而在[7.8,11.0]之间分布较少,这与表1统计规律一致。
由表2、图5与图6可见,1D-CNNR模型对合并数据集进行训练后的模型为樱桃番茄SSC的最优回归检测模型。使用合并样品校正集对1D-CNNR训练好后对其测试集数据进行预测,测试集相关系数
rp 为0.980 7,RMSE p 为0.192 9。使用训练好的1D-CNNR对校正集预测,
rc 为0.996 0,RMSE c 为0.103 1。
4 模型泛化能力
为进一步讨论DCGAN对1D-CNNR、SVR及PLSR 3 种回归模型泛化能力的影响,测量了一批新的总数为40 个样品的樱桃番茄可见/近红外光谱和SSC标签数据,所测全新样品的SSC统计结果为:SSC数值变化范围在4.1~9.8°Brix,均值6.69 °Brix,标准差1.43 °Brix。这与前面80 个样品SSC的统计结果数值相近。对于前面3 种模型,这个新测的数据集是完全独立,且是未见、全新的。使用这个数据集作为测试集,分别代入到上述1D-CNNR、SVR及PLSR 3 种回归模型以验证其泛化能力。这里仍然使用式(1)、(2)定义的
rp 、RSME p 作为此次外部验证指标,验证结果如表3所示。1D-CNNR模型在使用合并样品校正集建模后的预测结果最好,其
rp =0.963 8,RMSE p =0.224 5。
对比表2、3结果可见,使用原始样品校正集建模时,3 种模型分别对新的40 个樱桃样品SSC的检测精度与3 种模型对原样品测试集的预测检测精度相近,这是因为对于3 种模型而言,使用原始样品数据集建模时只使用了其校正集进行建模训练,对于模型而言,其划分的测试集也是全新、未见的数据。而当使用扩充数据集及合并数据集划分所得的校正集建模时,3 种模型分别对新的40 个樱桃样品SSC的检测精度与3 种模型分别对测试集的预测检测精度相比较,其精度有所下降。原因可能在于DCGAN生成的数据是学习原始数据特征以后生成的新数据,其并未完全学习所有的原始数据特征,所以扩充样品及合并样品校正集与其测试集数据之间还具有较多的相似度,因此面对全新40 个样品数据时,模型的预测精度会有所下降。但是总体而言,DCGAN扩充数据集后,使用合并样品校正集建模后1D-CNNR的检测精度仍然最高,这符合大批量有效数据有助于提高深度学习模型检测精度的结论。
5 结论
本实验以樱桃番茄的SSC检测作为研究目标,在350.14~1 039.85 nm可见及近红外光谱范围内建立了樱桃番茄SSC的DCGAN加1D-CNNR、SVR及PLSR模型。结果发现SVR及PLSR模型整体上预测精度相差不大(PLSR稍优于SVR),而采用DCGAN数据增强结合1D-CNNR模型的预测精度有较大的提高。为了进一步验证模型的泛化能力,使用外部验证,结果说明DCGAN数据增强有助于增强模型的预测能力和泛化能力。
下一步拟采用漫透射光谱装置进行实验,樱桃番茄具有较多的囊室结构,透射光光谱应该可以获取番茄内部更多的状态信息。同时对GAN生成数据进行质量筛选,以进一步提高检测模型的预测及泛化能力。综上,本方法可用于基于便携式光谱仪下小样本樱桃番茄SSC的快速检测,可为樱桃番茄及其他薄皮水果的内部品质检测及评价提供一定的技术支持。
作者简介
第一作者
吴至境,讲师,华东交通大学机电与车辆工程学院教师。博士研究生,博士毕业于上海交通大学,毕业后一直在华东交通大学工作。研究方向为激光光谱及无损光谱检测。参与国家863项目课题1 项,参与国家自然科学基金项目2项,承担省级科研项目1 项。累计以第一作者发表SCI论文4 篇,其中2 篇B区,中文核心以上论文8 篇。授权发明专利2 项,实用新型专利2 项。授权软件著作权共10 项。
本文《基于DCGAN数据增强的樱桃番茄可溶性固形物含量光谱检测方法》来源于《食品科学》2025年46卷第2期214-221页,作者:吴至境,刘富强,李志刚,陈慧。DOI:10.7506/spkx1002-6630-20240713-131。点击下方阅读原文即可查看文章相关信息。
实习编辑:安宏琳;责任编辑:张睿梅。点击下方阅读原文即可查看全文。图片来源于文章原文及摄图网
为深入探讨未来食品在大食物观框架下的创新发展机遇与挑战,促进产学研用各界的交流合作,由北京食品科学研究院、中国肉类食品综合研究中心、国家市场监督管理总局技术创新中心(动物替代蛋白)及中国食品杂志社《食品科学》杂志、《Food Science and Human Wellness》杂志、《Journal of Future Foods》杂志主办,西华大学食品与生物工程学院、四川旅游学院烹饪与食品科学工程学院、四川轻化工大学生物工程学院、成都大学食品与生物工程学院、成都医学院检验医学院、四川省农业科学院农产品加工研究所、中国农业科学院都市农业研究所、四川大学农产品加工研究院、西昌学院农业科学学院、宿州学院生物与食品工程学院、大连民族大学生命科学学院、北京联合大学保健食品功能检测中心共同主办的“第二届大食物观·未来食品科技创新国际研讨会”即将于2025年5月24-25日在中国 四川 成都召开。
长按或微信扫码进行注册
会议招商招展
联系人:杨红;电话:010-83152138;手机:13522179918(微信同号)
为进一步深入探讨食品产业在当前复杂多变环境下的高质量发展路径,并着重关注食品科学、营养安全保障的基础研究与关键技术研发,贯彻落实“大食物观”和“健康中国2030”国家战略,北京食品科学研究院和中国食品杂志社《食品科学》杂志、《Food Science and Human Wellness》杂志、《Journal of Future Foods》杂志,将与国际谷物科技协会(ICC)、湖南省食品科学技术学会、湖南省农业科学院农产品加工研究所、湖南农业大学、中南林业科技大学、长沙理工大学、湘潭大学、湖南中医药大学、湖南农业大学长沙现代食品创新研究院共同举办“第十二届食品科学国际年会”。本届年会将于2025年8月9-10日在中国 湖南 长沙召开。
长按或微信扫码进行注册
会议招商招展
联系人:杨红;电话:010-83152138;手机:13522179918(微信同号)
热门跟贴