Surface Defect Detection of Frozen Dumplings Based on Improved RetinaNet Model
-
摘要: 目的:提升速冻水饺表面缺陷检测的精度。方法:制作了包含五种冻饺形态(正常、露馅、半饺、破肚、粘连)的数据集,提出了用于速冻水饺表面缺陷检测与定位的网络模型GX-RetinaNet。该模型基于RetinaNet网络改进,主干特征提取网络采用ResNeXt-50模型,增强网络特征提取能力,引入卷积块注意力模块(Convolutional Block Attention Module,CBAM)与Swish激活函数有效抑制背景噪声,通过在特征金字塔模块(Feature Pyramid Networks,FPN)后增加PAN结构(Path Aggregation Network)组成双向特征融合模块,可以提升对目标多尺度特征信息的融合能力。结果:GX-RetinaNet网络对工业现场条件下速冻水饺表面缺陷的在线检测精度优于主流的几种目标检测网络,其平均精度均值(mAP)为94.8%,召回率(Recall)为77.0%,F1分数(F1-score)为84.9%。与RetinaNet网络相比,mAP、Recall和F1-score分别提高了2.6%、2.6%、2.4%。结论:GX-RetinaNet网络模型可以满足冻饺表面缺陷检测精度的要求,本研究为深度学习理论在速冻水饺表面缺陷检测方面的应用提供了一种可行的方法。
-
关键词:
- 速冻水饺表面缺陷检测 /
- RetinaNet /
- ResNeXt-50 /
- 卷积块注意力模块 /
- 双向特征融合模块
Abstract: Objective: To improve the accuracy of surface defect detection of quick-frozen dumplings. Methods: A dataset covering five quick-frozen dumpling forms (normal, leak, half, broken and adhesion) was elaborated, and the GX-RetinaNet network model was proposed for surface defect detection and localization of quick-frozen dumplings. The model was improved based on the RetinaNet network. The backbone feature extraction network adopted the ResNeXt-50 model, which had strong feature extraction ability. The addition of the convolutional block attention module (CBAM) and the use of the Swish activation function could effectively suppress the influence of background noise. By adding the path aggregation network (PAN) structure behind the feature pyramid networks (FPN) structure to form a bidirectional feature fusion module, the fusion ability of target multi-scale feature information could be improved. Results: The online detection accuracy of the GX-RetinaNet network for surface defects of quick-frozen dumplings under industrial field conditions was better than that of several mainstream target detection networks. The mAP was 94.8%, the Recall was 77.0% and the F1-score was 84.9%. Compared with the RetinaNet network, mAP, Recall, and F1-score increased by 2.6%, 2.6% and 2.4%, respectively. Conclusion: The GX-RetinaNet network model could meet the requirements of surface defect detection accuracy of quick-frozen dumplings. This study provided a feasible method for the application of deep learning theory in the surface defect detection of frozen dumplings. -
冷冻产品为消费者提供了便捷、多样且美味的餐饮选择,成为了现代社会饮食方式的一部分[1]。饺子不仅是美味和独特的食物,还是中国饮食文化的珍贵遗产[2],在中国人的心中占据着重要的地位。速冻水饺在生产过程中受硬件设备、产品材料等影响,会出现一定程度的漏馅、半饺、破肚、粘连等问题,外观有问题的饺子不仅影响食用口感,而且会降低消费者购买欲,因此通过技术手段检测速冻水饺表面缺陷是一个重要的研究领域[3]。
随着深度学习技术的发展,近年来国内外许多学者采用机器视觉对食品的表面进行缺陷检测,周雨帆等[4]提出一种基于轻量级卷积神经网络,可以实现对苹果表面的缺陷检测,检测准确率为98.57%。Li等[5]利用神经网络实现了菜花的缺陷检测,利用迁移学习进行菜花表面健康、患病、褐变、发霉的检测和分类,实现了较高的检测准确率。贾鹤鸣等[6]将卷积神经网络(Convolutional Neural Networks,CNN)网络结合深度可分离卷积,实现了对植物叶片病害的检测,准确率达到99.4%。刘一阳等[7]使用传统机器视觉,将训练好的支持向量机模型对速冻水饺的表面冻裂、破损进行检测。而利用深度学习算法对速冻水饺表面缺陷检测的相关研究仍较为欠缺。
本文为探索目标检测网络模型对速冻水饺表面缺陷特征学习能力和缺陷类型的回归分析能力,对RetinaNet网络[8]进行改进,提出GX-RetinaNet目标检测网络,使用速冻水饺缺陷检测数据集比较了GX-RetinaNet网络与传统目标检测网络的预测效果,并通过调整网络的学习率,使用公开数据集对GX-RetinaNet网络进行综合性分析。本文提出的方法解决了速冻水饺表面缺陷检测的难题,为速冻食品的缺陷检测提供了参考依据,对深度学习在速冻食品领域的应用有重大的现实意义。
1. 材料与方法
1.1 材料与仪器
速冻水饺图像 郑州三全食品厂真实速冻饺子图像,共包含1426张正常和缺陷饺子图像,图像分辨率2592×2048。
缺陷检测机械设备 郑州三全食品厂设计制造;A5501CG20相机 华睿科技,分辨率500万;MHR1220M镜头 华睿科技,焦距12 mm,分辨率8 MP;计算机 HP Pavilion Gaming Desktop 690-076ccn。
速冻水饺图像采集流程如图1所示,斗式上料机构通过抖动将速冻水饺均匀分散投至传送平台,工业相机位于传送平台正上方,传送平台的翻转式运动将速冻水饺的各个面呈现在工业相机视野内,计算机通过网线接收图像并处理。
1.2 实验方法
1.2.1 样本集划分
将速冻水饺图像分为1154张训练集,272张测试集[9]。本文饺子数据集的标签共分为5个类别:正常(normal)、漏馅(leak)、半饺(half)、破肚(broken)、粘连(adhesion),如图2所示。速冻饺子的缺陷类型是依据工业实际要求制定。数据集标签中共含有正常饺子19687个、露馅饺子12427个、半饺1234个、破肚饺子1489个、粘连饺子3944个。
1.2.2 数据标注
本文使用LabelImg软件对图像进行标注,如图3所示。标注完的文件格式为xml格式,包含每个标注框的类别信息、中心点坐标和标注框高宽。
1.2.3 RetinaNet网络结构
RetinaNet[10−11]属于单阶段目标检测算法,被广泛应用于各个领域。RetinaNet原始网络结构如图4所示,基本架构由特征提取模块、特征金字塔模块(Feature Pyramid Networks,FPN)、分类和回归模块组成。特征提取模块使用ResNet50网络。当图像输入时,首先通过特征提取网络的卷积残差块3(Convolutionalv3 Block,Conv3 Block)、Conv4 Block和Conv5 Block层提取图像特征,然后传递给FPN模块进行特征融合。最后,将5个特征层映射输出到分类回归模块进行目标检测。此外,RetinaNet网络采用的Focal loss损失函数,能够在正负样本不平衡时也实现较好的检测效果。
如图5所示,特征提取网络ResNet-50[12]由两个基本块卷积残差块(Convolutional Block,Conv_Block)和恒等残差模块(The identity block ,Identity_Block)构成,用于提取输入图像特征。
RetinaNet中的FPN[13−14]解决了传统目标检测网络在处理目标尺度变化方面的不足。FPN特征融合结构通过将深层语义信息和浅层细节信息进行融合,为每一层的特征图(Feature Map)都赋予了更强的捕捉语义信息的能力。FPN基本结构如图6所示,FPN结构提取骨干网络(Backbone)中的特征层,再通过卷积层(Conv2d)和上采样层(Upsample)得到P3~P5特征层,然后通过对P5向上卷积生成P6~P7特征层,共5个有效特征层,分别为P3、P4、P5、P6、P7。五个有效特征层通过全卷积网络构建的回归和检测网络实现目标的检测和识别。但是FPN自顶向下的融合方式略微简单,网络将高层的语义信息传递到底层,而底层的细节信息并没有传递到高层,极易导致信息缺失。
1.2.4 GX-RetinaNet速冻水饺表面缺陷检测网络结构
本文基于RetinaNet进行改进,提出适用于速冻水饺表面缺陷检测的网络GX-RetinaNet,如图7所示,改进后的网络结构使用ResNeXt-50网络[15−16],代替原网络的ResNet50,从而获取更多的速冻水饺表面缺陷细节信息,同时在网络中加入CBAM模块以抑制背景噪声信息的干扰[17]。由于初始的RetinaNet网络单向特征融合结构FPN对于底层特征信息提取能力弱[18],而速冻水饺的缺陷特征小,原网络RetinaNet对其检测准确率较低。因此在FPN结构后增加了PAN结构(Path Aggregation Network)构成双向特征融合模块,提升了网络对细节信息的融合能力,增加了对小缺陷速冻水饺识别的准确率[19]。
1.2.5 主干特征提取网络
为了增加网络的特征提取能力,本文选取ResNeXt-50网络作为GX-RetinaNet目标检测网络的骨干网络[20−21]。ResNeXt-50的模型结构如图8所示,ResNeXt-50网络使用多支路卷积代替ResNet50网络的单个卷积,增加卷积基数,提高模型的准确率,采用恒等映射的方式完成特征提取。
其中,每个方框代表一层卷积,其中的3个数据从左到右依次为输入数据的通道数目、卷积核大小和输出数据的通道数目,共32条路径,即基数为32(cardinality=32)。在不改变计算量的前提下,ResNeXt-50网络增加了路径的数量,将各个模块的输出通过求和进行汇总,提高了网络的特征提取能力。
1.2.6 双向特征融合模块
RetinaNet特征融合结构FPN为单向特征融合,其仅有高层语义信息向下传播,缺少其向下采样的过程,从而导致网络对于图片底层信息(细节信息)的获取不充分,本文引入PAN结构对RetinaNet网络的FPN结构进行改进[22],通过引入自下而上的特征融合路径以提升细节信息提取能力[23],如图9所示。在此过程中,针对FPN输出的特征映射P3_1~P7_1自下向上采样加权,并对每一层的输出进行卷积,从而得到了经过PAN优化后的输出P3~P7[24]。为了缓解梯度消失和梯度爆炸,本文在P3_1~P7_1层与P3~P7层之间引入了残差连接。改进后的双向特征融合模块在FPN之后增设了自下而上的路径,以实现图像底层细节信息和高层语义信息的交叉融合,从而补偿和增强目标的位置信息。
1.2.7 特征提取模块
在速冻水饺缺陷检测中,不同的特征通道、特征图位置对网络识别完整速冻水饺、有缺陷速冻水饺及背景信息所贡献的比例不同。通过引入卷积块注意力模块(Convolutional Block Attention Module,CBAM)[25−27],可以加强网络对速冻水饺缺陷特征相关通道的关注度,减少对背景相关通道的关注,增强网络的特征提取能力,减少背景信息干扰,提高缺陷检测的准确性和泛化能力。而Swish激活函数有助于缓解训练过程中梯度消失问题[28],提高网络的训练效率。改进后的Identity块和Conv块网络结构如图10所示,本文将CBAM模块、Dropout层和Swish激活函数加入第二个Relu激活函数之后。
1.2.8 卷积块注意力模块
CBAM注意力模块[28]由通道注意力机制和空间注意力机制两部分组成。通过引入CBAM模块,可以增强网络训练过程中对目标的提取能力,使其更好地满足速冻水饺表面缺陷检测的需求[29]。
引入通道注意力模块的目的是提升网络的特征表达能力,其结构如图11所示。
对输入特征图的每个通道执行全局最大池化和平均池化,计算每个通道上的最大特征值和平均特征值,将得到的特征向量输入共享全连接层中,学习每个通道的注意力。为了确保注意力权重位于0到1之间,使用Sigmoid激活函数来产生通道注意力权重,如公式(1)所示。最后将得到的注意力权重与原始特征图的每个通道相乘即可得到注意力加权后的通道特征图。
MC(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))=σ(W1(W0(FCavg))+W1(W0(FCmax))) (1) 式中:σ表示Sigmoid激活函数;W0、W1表示MLP的权重;MC表示通道注意力机制权重系数;MLP表示多层感知机;MaxPool表示最大池化操作;AvgPool表示平均池化操作;F表示输入的特征向量;FCavg表示与平均池化相关的特征向量;FCmax表示与最大池化相关的特征向量。
空间注意力机制[30]的目标是强调图像中不同位置的重要性,从而抑制背景噪声,使网络更专注目标区域。其结构如图12所示。在速冻水饺缺陷检测中,不同的缺陷可能分布在不同的位置,因此引入空间注意力有助于确定缺陷的确切位置,加强网络对缺陷的学习能力。
特征图输入空间注意力模块首先沿通道维度执行最大池化和平均池化,然后得到的特征沿着通道维度进行拼接。最后通过一个Sigmoid激活函数得到空间注意力图,如公式(2)所示。
MS(F1)=σ(f7×7([AvgPool(F1);MaxPool(F1)])=σ(f7×7([F1Savg;F1Smax])) (2) 式中:MS表示空间注意力机制权重系数;F1表示经过通道注意力机制输出的特征向量;F1Savg表示与平均池化相关的特征向量;F1Smax表示与最大池化相关的特征向量;f7×7表示7×7大小的卷积核。
CBAM模块结构如图13所示,CBAM模块的通道注意力机制有助于提高网络对特定特征通道的重视,而空间注意力有助于网络更好地关注图像中的特定区域,提高了检测的准确率。这个模块的优势在于它提供了更多的空间感知和特征增强,有助于网络更好地理解图像内容。
CBAM就是将通道注意力模块和空间注意力模块的输出特征逐元素相乘,最终得到注意力增强后的特征。如公式(3)、(4)所示。
F1=MC(F)×F (3) F2=MS(F1)×F1 (4) 式中:MC(F)表示通道注意力模块的输出;MS(F1)表示空间注意模块的输出。
1.2.9 激活函数
Swish激活函数具有平滑的非线性形状,在接近零点附近表现出明显的非线性特性,有助于缓解梯度消失问题,提高网络的训练效率。Swish激活函数能够更好地激活神经元,有助于神经网络学习到更加丰富和有用的特征。在速冻水饺缺陷检测研究中发现使用Swish激活函数可以使网络更加充分的学习,其计算方式高效。经过实验发现Swish激活函数适合在CBAM模块后使用。Swish函数将输入值乘以Sigmoid函数的输出值,如公式(5)所示。
Swish(x)=x×Sigmoid(β×x) (5) Swish激活函数的数学定义如下:其中x是输入值,β是一个可选的参数,设置为1。
1.2.10 训练及检测
将制作完成的训练集样本输入GX-RetinaNet网络进行迭代训练,保存训练完成的参数及权重;使用测试集样本测试速冻水饺表面缺陷检测效果,根据测试结果对网络参数进行调整并重新训练;将最终训练权重保存并对速冻水饺表面缺陷进行可视化检测,数据绘图在Python 3平台及GraphPad Prism软件完成。
1.2.11 评价指标
本文选用平均精度(Average Precision,AP),平均精度均值(Mean Average Precision,mAP),F1分数(F1-score)作为评估指标。
当预测框与标注框的交并比IOU(预测框与标注框的交集面积除以并集面积)的值大于 0.5时,将该样本记为正样本(True Positive,TP);反之记为负样本(False Positive,FP)。精度P(Precision)即为正样本的数量与所有检测出的该类目标的比,如公式(6)所示。
P=TPTP+FP (6) 召回率R(Recall)表示在全部正样本中,正确预测结果所占的比例,如公式(7)所示,FN(True Negative)表示网络误预测为负样本的个数。
R=TPTP+FN (7) AP是通过预测分析得出的实验结果中P和R来精确绘制一个 P-R 曲线的面积,如公式(8)所示。
AP=∫RP(R)dR (8) mAP表示多个类别的平均AP值,N表示被检测目标的类别数量,n表示被检测目标的类别。mAP越高,表明目标检测模型在给定数据集上的检测效果越好,如公式(9)所示。
mAP=N∑n−1AP(n)N (9) F1分数(F1-score)是Precision和Recall的调和平均数,如公式(10)所示。其最大值为1,最小值为0,值越大意味着模型的性能越好。
F1=2Precision×RecallPrecision+Recall (10) 1.3 实验训练环境及参数配置
预训练权重:retinanet_resnet50_fpn_coco-eeacb38b.pth;训练轮数(epoch):100;批大小(batch size):4;学习率(lr):0.05;优化器(optimizer):SGD(表1)。
表 1 实验硬件和软件配置Table 1. Experimental hardware and software configuration硬件配置 版本 软件环境配置 版本 操作系统 Windows10 集成开发环境 Pycharm2021 Cuda 10.2 python 3.7 CPU Intel(R) Core(TM) i7-8700 torch 1.10.2 GPU GTX1060 torchvision 0.11.3 显存 6G numpy 1.12.5 2. 结果与分析
2.1 学习率对检测结果影响
学习率在网络模型训练中起着至关重要的作用,学习率过大会使模型在训练时参数更新剧烈,无法收敛,预测误差大。学习率过小会使模型在训练时参数更新慢,收敛速度慢,从而增加训练时间,并有可能使模型陷入局部最优解[31]。
由表2可知,当学习率逐渐增大时,mAP值逐渐增大,这是因为学习率增加时,模型的步长增大,较大的步长会使参数在每一次更新时移动更远的距离,有助于模型跳出局部最优解,并在参数空间中更广泛地探索,从而找到更好的解。当学习率增加至0.1时,过大的步长可能导致优化算法在参数空间中跳跃过大,使得模型无法收敛到最优解,网络模型的预测效果下降。根据训练结果,学习率设置为0.05左右时,GX-RetinaNet模型预测效果最好。
表 2 学习率对速冻水饺缺表面陷检测模型的影响Table 2. Effect of learning rate on detection model for defective surface traps of frozen dumplings学习率 0.0001 0.0005 0.001 0.005 0.01 0.05 0.1 mAP 0.880 0.896 0.904 0.936 0.942 0.948 0.934 注:mAP为平均精度均值。 2.2 速冻水饺表面缺陷检测结果
速冻水饺表面缺陷检测训练mAP值如图14所示,由于使用预训练权重进行训练,GX-RetinaNet网络收敛速度较快。第15轮时mAP为94.8%,已基本稳定。速冻水饺表面缺陷检测效果如图15所示,GX-RetinaNet网络对于视野内的速冻水饺均能正确的识别及分类。
2.3 与传统目标检测网络结果对比
为验证本文提出的网络对速冻水饺表面缺陷检测效果,选用目前较流行的目标检测网络SSD[32]、YOLOv5[33]、YOLOv4[34]、Faster-RCNN[35]进行对比,使用速冻水饺表面缺陷数据集进行训练。这些网络分别代表了目前最先进的方法,各有独特的优势和使用场景。检测结果的mAP值(IOU=0.5)如表3所示,六个目标检测网络中GX-RetinaNet表现效果最优,改进后的网络GX-RetinaNet比RetinaNet在mAPIOU=0.50时提高2.6%,高于其他主流的目标检测网络,减少了速冻水饺缺陷检测的错误率,基本达到了实际的检测要求,可作为速冻水饺表面缺陷检测的目标检测网络。
表 3 检测精度实验对比结果分析Table 3. Analysis of experimental comparison results of detection accuracy网络类别 mAPIOU=0.50:0.05:0.95 mAPIOU=0.50 mAPIOU=0.75 mAPlarge ARmax=10 ARmax=100 ARlarge YOLOv4 0.619 0.911 0.795 0.619 0.632 0.691 0.691 YOLOv5 0.635 0.897 0.829 0.635 0.645 0.703 0.703 Faster-RCNN 0.681 0.935 0.880 0.681 0.681 0.753 0.753 SSD 0.640 0.906 0.828 0.640 0.642 0.731 0.731 RetinaNet 0.667 0.922 0.859 0.667 0.674 0.744 0.743 GX-RetinaNet 0.699 0.948 0.900 0.699 0.695 0.770 0.770 注:mAP为平均精度均值;AR为召回率。 根据实验得到不同网络的Precision和Recall,通过公式(10)可得到F1-score,结果如图16所示。其中GX-RetinaNet网络的F1-score为0.849,远远高于其他目标检测网络,比RetinaNet高出了2.4%。由此可知,GX-RetinaNet网络兼顾了高Precision和高Recall,网络整体性能优异。
GX-RetinaNet网络对于粘连、正常、破肚、半饺、漏馅五类速冻水饺检测的AP值分别达到了95.3%、95.2%、96.4%、94.4%、92.5%,如表4所示,相比与RetinaNet网络各类缺陷检测准确率均有明显的提升。从实验结果可以看出,GX-RetinaNet网络对于破肚的检测效果最好,AP值达到了96.4%,粘连和正常速冻水饺检测准确率次之,均为同类网络中最优值。半饺和露馅两类缺陷与YOLOv5相比均差0.1%,但从综合检测结果来看,五类缺陷的平均检测精度mAP值高于YOLOv5,对于实际情况更加适用。
表 4 速冻水饺缺陷检测mAP值对比Table 4. Comparison of mAP values for defect detection of frozen dumplings类别 YOLOv4 YOLOv5 Faster-RCNN SSD RetinaNet GX-RetinaNet 粘连 0.950 0.935 0.950 0.926 0.950 0.953 正常 0.933 0.824 0.939 0.892 0.926 0.952 破肚 0.939 0.926 0.938 0.937 0.934 0.964 半饺 0.836 0.945 0.908 0.859 0.888 0.944 漏馅 0.895 0.926 0.948 0.916 0.917 0.925 为了更直观地展示GX-RetinaNet相比于原网络RetinaNet的优势,随机选取测试集中各类速冻水饺的图像,使用网络训练权重对检测结果进行可视化预测,如图17所示。由图17可知粘连中存在三个重叠的速冻水饺,RetinaNet算法在检测时出现了预测框重叠的情况,导致缺陷种类为粘连的速冻水饺被重复计数,从而影响检测效果,而GX-RetinaNet则准确地检测出异常的速冻水饺。在正常、破肚、半饺、漏馅类型的速冻水饺中,GX-RetinaNet对速冻水饺缺陷的分类更为准确。
通过对上述检测结果进行对比分析,可知GX-RetinaNet能够更准确地检测有缺陷的速冻水饺。尽管存在少数误检和漏检的情况,但相比于基准RetinaNet算法,其检测效果有所提升。
2.4 消融实验结果对比
为验证本文所提算法中不同改进策略的有效性,以RetinaNet算法为基准(实验1),基于速冻水饺数据集对ResNeXt-50特征提取网络、PAN结构以及CBAM模块三部分开展消融实验,实验2仅将ResNeXt-50作为骨干提取网络,实验3将ResNeXt-50作为骨干提取网络同时加入CBAM模块,实验4将ResNeXt-50作为骨干提取网络同时并加入CBAM模块和PAN结构,消融实验结果如表5所示。其中“×”表示不包含该结构创新的网络,“√”表示包含该结构创新的网络。实验1 RetinaNet算法的mAP为0.922,Recall为0.744,F1-sorce为0.825;实验2采用ResNeXt-50作为特征提取网络,相比基准算法,mAP整体提升0.008,Recall提升0.009,F1-sorce提升0.007。实验3进一步引入PAN结构,mAP整体提升0.008,Recall提升0.011,F1-sorce提升0.01。实验4在以上基础上引入CBAM模块,mAP最终提升0.026,Recall提升0.026,F1-sorce提升0.024。
表 5 消融实验结果Table 5. Comparison of ablation results实验 ResNeXt-50 PAN CBAM mAP Recall F1-sorce 1 × × × 0.922 0.744 0.825 2 √ × × 0.930 0.753 0.832 3 √ √ × 0.938 0.764 0.842 4 √ √ √ 0.948 0.770 0.849 注:mAP为平均精度均值;Recall为召回率;F1-sorce为F1分数;CBAM为卷积块注意力模块;PAN+FPN为双向特征融合模块。 消融实验结果表明,本文提出的三个改进策略均能提升GX-RetinaNet算法对速冻水饺表面缺陷检测的检测效果。
2.5 印刷电路板缺陷检测对比
为了验证GX-RetinaNet网络的通用性,本文使用北京大学公开的印刷电路板缺陷数据集[36]进行验证。数据集有6个类别,分别为漏焊(missing hole)、鼠咬(mouse bite)、开路(open circuit)、短路(short)、毛刺(spur)、余铜(spurious copper)。改进方案取得的数据如表6所示,ReinaNet网络mAP为0.981,GX-RetinaNet网络mAP为0.985,GX-RetinaNet网络高于原网络mAP。检测效果如图18所示。
表 6 印刷电路板缺陷检测结果Table 6. Results of PCB defect detection实验 APIOU=0.50 mAPIOU=0.50 余铜 短路 开路 漏焊 鼠咬 毛刺 RetinaNet 0.990 0.984 0.969 0.997 0.973 0.967 0.981 GX-RetinaNet 0.986 0.996 0.987 1.000 0.986 0.970 0.985 注:AP为平均精度;mAP为平均精度均值。 3. 结论
本文基于速冻水饺表面缺陷数据集,提出了一种改进的RetinaNet速冻水饺缺陷检测模型GX-RetinaNet。结果表明,改进后的网络模型mAP为94.8%、Recall为77.0%、F1-score为84.9%,分别比原版RetinaNet网络模型提高了2.6%、2.6%、2.4%,充分证明了GX-RetinaNet网络模型实际应用在速冻水饺表面缺陷检测的可能性。同时使用印刷电路板缺陷数据集,进一步验证GX-RetinaNet网络应用在其他工业上的优势,相比原版RetinaNet网络,mAP提升0.4%,证明了改进后网络性能的优越性。因此,本文提出的速冻水饺缺陷检测网络能够实现对表面有缺陷的速冻水饺的识别,且准确率高,可以代替传统的人工分拣,从而减少工人的劳动强度、提升检测效率,满足工业应用。
本文对速冻水饺进行缺陷检测时,需要依靠机械设备对速冻水饺进行反转和分离,使其各个面暴露在相机视野内并避免多个水饺重叠。后续的研究应优化机械设备,使用更先进的传送带系统和分离装置,以提高操作效率和减少误差。同时使用深度学习建立速冻水饺三维模型,更全面地捕获其表面特征和缺陷,从而为缺陷检测提供更丰富的信息。
-
表 1 实验硬件和软件配置
Table 1 Experimental hardware and software configuration
硬件配置 版本 软件环境配置 版本 操作系统 Windows10 集成开发环境 Pycharm2021 Cuda 10.2 python 3.7 CPU Intel(R) Core(TM) i7-8700 torch 1.10.2 GPU GTX1060 torchvision 0.11.3 显存 6G numpy 1.12.5 表 2 学习率对速冻水饺缺表面陷检测模型的影响
Table 2 Effect of learning rate on detection model for defective surface traps of frozen dumplings
学习率 0.0001 0.0005 0.001 0.005 0.01 0.05 0.1 mAP 0.880 0.896 0.904 0.936 0.942 0.948 0.934 注:mAP为平均精度均值。 表 3 检测精度实验对比结果分析
Table 3 Analysis of experimental comparison results of detection accuracy
网络类别 mAPIOU=0.50:0.05:0.95 mAPIOU=0.50 mAPIOU=0.75 mAPlarge ARmax=10 ARmax=100 ARlarge YOLOv4 0.619 0.911 0.795 0.619 0.632 0.691 0.691 YOLOv5 0.635 0.897 0.829 0.635 0.645 0.703 0.703 Faster-RCNN 0.681 0.935 0.880 0.681 0.681 0.753 0.753 SSD 0.640 0.906 0.828 0.640 0.642 0.731 0.731 RetinaNet 0.667 0.922 0.859 0.667 0.674 0.744 0.743 GX-RetinaNet 0.699 0.948 0.900 0.699 0.695 0.770 0.770 注:mAP为平均精度均值;AR为召回率。 表 4 速冻水饺缺陷检测mAP值对比
Table 4 Comparison of mAP values for defect detection of frozen dumplings
类别 YOLOv4 YOLOv5 Faster-RCNN SSD RetinaNet GX-RetinaNet 粘连 0.950 0.935 0.950 0.926 0.950 0.953 正常 0.933 0.824 0.939 0.892 0.926 0.952 破肚 0.939 0.926 0.938 0.937 0.934 0.964 半饺 0.836 0.945 0.908 0.859 0.888 0.944 漏馅 0.895 0.926 0.948 0.916 0.917 0.925 表 5 消融实验结果
Table 5 Comparison of ablation results
实验 ResNeXt-50 PAN CBAM mAP Recall F1-sorce 1 × × × 0.922 0.744 0.825 2 √ × × 0.930 0.753 0.832 3 √ √ × 0.938 0.764 0.842 4 √ √ √ 0.948 0.770 0.849 注:mAP为平均精度均值;Recall为召回率;F1-sorce为F1分数;CBAM为卷积块注意力模块;PAN+FPN为双向特征融合模块。 表 6 印刷电路板缺陷检测结果
Table 6 Results of PCB defect detection
实验 APIOU=0.50 mAPIOU=0.50 余铜 短路 开路 漏焊 鼠咬 毛刺 RetinaNet 0.990 0.984 0.969 0.997 0.973 0.967 0.981 GX-RetinaNet 0.986 0.996 0.987 1.000 0.986 0.970 0.985 注:AP为平均精度;mAP为平均精度均值。 -
[1] 李桂玉, 许秀峰. 影响速冻水饺冻裂因素分析及改进措施[J]. 食品科技,2004,30(3):46−47. [LI G Y, XU X F. Factors of deep-frozen dumpling crackle analysis and prevention[J]. Food Science and Technology,2004,30(3):46−47.] doi: 10.3969/j.issn.1005-9989.2004.03.016 LI G Y, XU X F. Factors of deep-frozen dumpling crackle analysis and prevention[J]. Food Science and Technology, 2004, 30(3): 46−47. doi: 10.3969/j.issn.1005-9989.2004.03.016
[2] 梁灵, 张正茂, 张艳东, 等. 大豆蛋白对速冻水饺质量的影响[J]. 西北农林科技大学学报(自然科学版),2006,71(10):153−158. [LIANG L, ZHANG Z M, ZHANG Y D, et al. Effect of soybean protein on the quality of the frozen dumpling[J]. Journal of Northwest Sci-Tech University of Agriculture and Forestry(Natural Science Edition),2006,71(10):153−158.] doi: 10.3321/j.issn:1671-9387.2006.10.031 LIANG L, ZHANG Z M, ZHANG Y D, et al. Effect of soybean protein on the quality of the frozen dumpling[J]. Journal of Northwest Sci-Tech University of Agriculture and Forestry(Natural Science Edition), 2006, 71(10): 153−158. doi: 10.3321/j.issn:1671-9387.2006.10.031
[3] YANG F, KIM Y. Application of yuba film as frozen dumpling wrappers[J]. LWT - Food Science & Technology,2021,151(7):112245.
[4] 周雨帆, 李胜旺, 杨奎河, 等. 基于轻量级卷积神经网络的苹果表面缺陷检测方法[J]. 河北工业科技,2021,38(5):388−394. [ZHOU Y F, LI S W, YANG K H, et al. Apple surface defect detection method based on lightweight convolutional neural network[J]. Hebei Industrial Science and Technology,2021,38(5):388−394.] doi: 10.7535/hbgykj.2021yx05006 ZHOU Y F, LI S W, YANG K H, et al. Apple surface defect detection method based on lightweight convolutional neural network[J]. Hebei Industrial Science and Technology, 2021, 38(5): 388−394. doi: 10.7535/hbgykj.2021yx05006
[5] LI Y D, XUE J X, WANG K, et al. Surface defect detection of fresh-cut cauliflowers based on convolutional neural network with transfer learning[J]. Foods,2022,11(18):2915. doi: 10.3390/foods11182915
[6] 贾鹤鸣, 郎春博, 姜子超. 基于轻量级卷积神经网络的植物叶片病害识别方法[J]. 计算机应用,2021,41(6):1812−1819. [JIA H M, LANG C B, JIANG Z C. Plant leaf disease identification method based on lightweight convolutional neural network[J]. Journal of Computer Applications,2021,41(6):1812−1819.] doi: 10.11772/j.issn.1001-9081.2020091471 JIA H M, LANG C B, JIANG Z C. Plant leaf disease identification method based on lightweight convolutional neural network[J]. Journal of Computer Applications, 2021, 41(6): 1812−1819. doi: 10.11772/j.issn.1001-9081.2020091471
[7] 刘一阳, 马子领. 基于机器学习的速冻水饺缺陷检测[J]. 现代计算机, 2023, 29(24):1−9, 39. [LIU Y Y, MA Z L. Defect detection of quick-frozen dumplings based on Machine learning[J]. Modern Computer, 2019, 29(24):1−9, 39.] LIU Y Y, MA Z L. Defect detection of quick-frozen dumplings based on Machine learning[J]. Modern Computer, 2019, 29(24): 1−9, 39.
[8] 周春欣, 霍怡之, 杜有海, 等. 基于改进的RetinaNet大豆外观品质无损检测[J]. 中国粮油学报,2024,39(9):172−180. [ZHOU C X, HUO Y Z, DU Y H, et al. Nondestructive testing of soybean appearance quality based on improved RetinaNet[J]. Chinese Journal of Cereals and Oils,2024,39(9):172−180.] ZHOU C X, HUO Y Z, DU Y H, et al. Nondestructive testing of soybean appearance quality based on improved RetinaNet[J]. Chinese Journal of Cereals and Oils, 2024, 39(9): 172−180.
[9] 李培婷. 基于深度学习的速冻水饺表面缺陷检测算法研究[D]. 郑州:郑州轻工业大学, 2023. [LI P T. Research on surface defect detection algorithm of quick-frozen dumplings based on deep learning[D]. Zhengzhou:Zhengzhou University of Light Industry, 2023.] LI P T. Research on surface defect detection algorithm of quick-frozen dumplings based on deep learning[D]. Zhengzhou: Zhengzhou University of Light Industry, 2023.
[10] LI Y, WANG H N, FANG Y Q, et al. Learning power Gaussian modeling loss for dense rotated object detection in remote sensing images[J]. Chinese Journal of Aeronautics,2023,36(10):353−365. doi: 10.1016/j.cja.2023.04.022
[11] 张银萍, 徐燕, 朱双杰, 等. 基于机器视觉的金丝皇菊智能分级系统研究[J]. 食品工业科技,2022,43(5):13−20. [ZHANG Y P, XU Y, ZHU S J, et al. Research on intelligent grading system of golden silk chrysanthemum based on machine vision[J]. Science and Technology of Food Industry,2022,43(5):13−20.] ZHANG Y P, XU Y, ZHU S J, et al. Research on intelligent grading system of golden silk chrysanthemum based on machine vision[J]. Science and Technology of Food Industry, 2022, 43(5): 13−20.
[12] BAE W, YOO J, YE J C. Beyond deep residual learning for image restoration:persistent homology-guided manifold simplification[J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Honolulu, HI, USA:2017:1141−1149.
[13] GONG Y Q, YU X H, DING Y, et al. Effective fusion factor in FPN for tiny object detection[C]// 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), Waikoloa, HI, USA:2021:1159−1167.
[14] YOGESH, DUBEY A K, RATAN R, et al. Computer vision based analysis and detection of defects in fruits causes due to nutrients deficiency[J]. Cluster Computing, 2020, 23(1):1817–1826.
[15] 张志刚, 余鹏飞, 李海燕, 等. 基于多尺度特征引导的细粒度野生菌图像识别[J]. 激光与光电子学进展,2022,59(12):10. [ZHANG Z G, YU P F, LI H Y, et al. Fine-grained wild mushroom image recognition based on multi-scale feature guidance[J]. Advances in Laser and Optoelectronics,2022,59(12):10.] ZHANG Z G, YU P F, LI H Y, et al. Fine-grained wild mushroom image recognition based on multi-scale feature guidance[J]. Advances in Laser and Optoelectronics, 2022, 59(12): 10.
[16] BAO W X, FAN T, HU G S, et al. Detection and identification of tea leaf diseases based on AX-RetinaNet[J]. Scientific Reports,2022,12(1):1−16. doi: 10.1038/s41598-021-99269-x
[17] TIAN Z, SHEN C H, CHEN H, et al. FCOS:A simple and strong anchor-free object detector[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020:1922−1933.
[18] 金山峰, 王冬欣, 黄俊仕, 等. 基于计算机视觉的茶叶品质在线评价系统[J]. 食品工业科技,2021,42(14):219−225. [JIN S F, WANG D X, HUANG J S, et al. Online evaluation system for tea quality based on computer vision[J]. Science and Technology of Food Industry,2021,42(14):219−225.] JIN S F, WANG D X, HUANG J S, et al. Online evaluation system for tea quality based on computer vision[J]. Science and Technology of Food Industry, 2021, 42(14): 219−225.
[19] 刘海文, 郑元林, 钟崇军, 等. 基于改进YOLOv5l的印刷品缺陷检测[J]. 激光与光电子学进展,2019,61(10):228−235. [LIU H W, ZHENG Y L, ZHONG C J, et al. Print defect detection based on improved YOLOv5l[J]. Advances in Laser and Optoelectronics,2019,61(10):228−235.] LIU H W, ZHENG Y L, ZHONG C J, et al. Print defect detection based on improved YOLOv5l[J]. Advances in Laser and Optoelectronics, 2019, 61(10): 228−235.
[20] 李雪露, 储茂祥, 杨永辉, 等. 基于CR-RFPR101的钢板表面缺陷检测[J]. 合肥工业大学学报(自然科学版),2023,46(12):1651−1658. [LI X L, CHU M X, YANG Y H, et al. Surface defect detection of steel plate based on CR-RFPR101[J]. Journal of Hefei University of Technology (Natural Science Edition),2023,46(12):1651−1658.] doi: 10.3969/j.issn.1003-5060.2023.12.010 LI X L, CHU M X, YANG Y H, et al. Surface defect detection of steel plate based on CR-RFPR101[J]. Journal of Hefei University of Technology (Natural Science Edition), 2023, 46(12): 1651−1658. doi: 10.3969/j.issn.1003-5060.2023.12.010
[21] TETILA E, MACHADO B B, ASTOLFI G, et al. Detection and classification of soybean pests using deep learning with UAV images[J]. Computers and Electronics in Agriculture,2020,179(1):105836.
[22] TAN L, HUANGFU T R, WU L Y, et al. Comparison of RetinaNet, SSD, and YOLO v3 for real-time pill identification[J]. BMC Medical Informatics and Decision Making,2021,21(1):1−11. doi: 10.1186/s12911-020-01362-0
[23] YANG J F, FU X Y, HU Y W, et al. PanNet:A deep network architecture for Pan-Sharpening[J]. 2017 IEEE International Conference on Computer Vision (ICCV), 2017:1753−1761.
[24] LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection[J] 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017:936−944.
[25] ZHANG J, KARKEE M, ZHANG Q, et al. Multi-class object detection using faster R-CNN and estimation of shaking locations for automated shake-and-catch apple harvesting[J]. Computers and Electronics in Agriculture, 2020:173.
[26] HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[J]. in IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(8):2011−2023. doi: 10.1109/TPAMI.2019.2913372
[27] 裴悦琨, 刘敬宇. 基于改进YOLOX模型的樱桃缺陷及分级检测方法[J]. 食品与机械,2023,39(1):7. [PEI Y K, LIU J Y. Cherry defect and grading detection method based on improved YOLOX model[J]. Food and Machinery,2023,39(1):7.] PEI Y K, LIU J Y. Cherry defect and grading detection method based on improved YOLOX model[J]. Food and Machinery, 2023, 39(1): 7.
[28] CAO L, YANG J Y, RONG Z W, et al. A novel attention-guided convolutional network for the detection of abnormal cervical cells in cervical cancer screening[J]. Medical Image Analysis,2021,73(4):102197.
[29] WOO S, PARK J, LEE J Y, et al. CBAM:Convolutional block attention module[J]. Lecture Notes in Computer Science, 2018:3–19.
[30] ZHANG Z, LU Y Z, LU R F. Development and evaluation of an apple infield grading and sorting system[J]. Postharvest Biology and Technology,2021,180:111588. doi: 10.1016/j.postharvbio.2021.111588
[31] 谢安国, 纪思媛, 李月玲, 等. 基于遗传算法和深度神经网络的近红外高光谱检测猪肉新鲜度[J]. 食品工业科技,2024,45(17):1−7. [XIE A G, JI S Y, LI Y L, et al. Detection of pork freshness using NIR hyperspectral Imaging based on genetic algorithm and deep neural network[J]. Science and Technology of Food Industry,2024,45(17):1−7.] XIE A G, JI S Y, LI Y L, et al. Detection of pork freshness using NIR hyperspectral Imaging based on genetic algorithm and deep neural network[J]. Science and Technology of Food Industry, 2024, 45(17): 1−7.
[32] 章曙光, 张文韬, 刘洋, 等. 改进MobileNet-SSD的电梯内电动车识别方法[J]. 机械设计与制造,2024(9):340−345. [ZHANG S G, ZHANG W T, LIU Y, et al. Improving the identification method of electric vehicles in elevators with MobileNet-SSD[J]. Mechanical Design and Manufacturing,2024(9):340−345.] doi: 10.3969/j.issn.1001-3997.2024.09.065 ZHANG S G, ZHANG W T, LIU Y, et al. Improving the identification method of electric vehicles in elevators with MobileNet-SSD[J]. Mechanical Design and Manufacturing, 2024(9): 340−345. doi: 10.3969/j.issn.1001-3997.2024.09.065
[33] ZHU X K, LYU S C, WANG X, et al. TPH-YOLOv5:Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]. 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), Canada:Montreal, BC, 2021:2778−2788.
[34] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4:Optimal speed and accuracy of object detection[J]. In ArXiv, 2020:2004.10934.
[35] CHEN X, GUPTA A. An implementation of Faster RCNN with study for region sampling[J]. In ArXiv, 2017:1702.02138.
[36] DING R W, DAI L H, LI G P, et al. TDD-Net:A Tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology,2019,4(2):110−116. doi: 10.1049/trit.2019.0019