• 中国科技期刊卓越行动计划项目资助期刊
  • 中国精品科技期刊
  • EI
  • Scopus
  • CAB Abstracts
  • Global Health
  • 北大核心期刊
  • DOAJ
  • EBSCO
  • 中国核心学术期刊RCCSE A+
  • 中国科技核心期刊CSTPCD
  • JST China
  • FSTA
  • 中国农林核心期刊
  • 中国开放获取期刊数据库COAJ
  • CA
  • WJCI
  • 食品科学与工程领域高质量科技期刊分级目录第一方阵T1
中国精品科技期刊2020

基于机器视觉的红枣外部品质检测技术研究进展

李聪, 李玉洁, 李小占, 喻国威, 刘鑫, 马本学

李聪,李玉洁,李小占,等. 基于机器视觉的红枣外部品质检测技术研究进展[J]. 食品工业科技,2022,43(20):447−453. doi: 10.13386/j.issn1002-0306.2021090322.
引用本文: 李聪,李玉洁,李小占,等. 基于机器视觉的红枣外部品质检测技术研究进展[J]. 食品工业科技,2022,43(20):447−453. doi: 10.13386/j.issn1002-0306.2021090322.
LI Cong, LI Yujie, LI Xiaozhan, et al. Research Progress on External Quality Detection and Classification Technology of Jujube Based on Machine Vision[J]. Science and Technology of Food Industry, 2022, 43(20): 447−453. (in Chinese with English abstract). doi: 10.13386/j.issn1002-0306.2021090322.
Citation: LI Cong, LI Yujie, LI Xiaozhan, et al. Research Progress on External Quality Detection and Classification Technology of Jujube Based on Machine Vision[J]. Science and Technology of Food Industry, 2022, 43(20): 447−453. (in Chinese with English abstract). doi: 10.13386/j.issn1002-0306.2021090322.

基于机器视觉的红枣外部品质检测技术研究进展

基金项目: 国家自然科学基金项目(61763043)。
详细信息
    作者简介:

    李聪(1996−),男,硕士,研究方向:农产品品质无损检测技术与智能装备,E-mail:licong2582@163.com

    通讯作者:

    马本学(1970−),男,博士,教授,研究方向:农产品品质及安全快速无损检测技术与智能装备,E-mail:mbx_shz@163.com

  • 中图分类号: TS255.4

Research Progress on External Quality Detection and Classification Technology of Jujube Based on Machine Vision

  • 摘要: 近年来,具有快速、准确、客观和无损等特点的机器视觉技术已经被广泛用于农产品外部品质检测,以解决人工检测中存在的人力成本高、标准不统一和效率低等问题。在红枣加工和销售过程中,外部特征是影响其品质的重要因素,快速准确地对红枣外部品质检测能有效保障食品品质及安全、提高企业生产效率。本文综述了机器视觉技术在红枣外部品质检测中的应用,针对缺陷、大小、纹理、颜色和综合外部品质等指标总结了机器视觉检测方法的特点、存在的问题并阐明了其发展趋势,为我国红枣高效、快速检测分级装备的研发提供参考。
    Abstract: In recent years, machine vision technology, which is fast, accurate, objective and nondestructive, has been widely used in the external quality detection of agricultural products to solve the problems of high cost and low efficiency in manual detection. In the process of processing and circulation of jujubes, external characteristics are important factors affecting their quality. Rapid and accurate detection of external quality of jujubes can effectively guarantee food quality and safety and improve production efficiency of enterprises. In this paper, the application of machine vision technology in the external quality detection of jujubes is reviewed. The characteristics, existing problems and development trend of machine vision inspection methods are summarized according to defects, size, texture, color and comprehensive external quality, which provides reference for the research and development of efficient and rapid detection and grading equipment of jujubes in China.
  • 红枣是原产中国的传统名优特产品,被列为“五果”(栗、桃、李、杏、枣)之一,富含维生素C、蛋白质、脂肪、胡萝卜素等营养成分,种植面积遍布全国。据统计,2009~2018年中国红枣产销量在逐年增加,但出口量并不大,约占年产量的千分之一。红枣产后分级是其包装销售和深加工前的一个重要工序,亦是实现红枣优质优价,提高其经济价值的关键[1]

    红枣外部品质分级一般是通过颜色、质地、大小和质量等外部品质标准在工业分级机上自动完成的,但是根据其他外观标准对红枣进行分级,如擦伤、腐烂和裂纹等一些不明显的缺陷,这些缺陷对健全的果皮呈现相同的颜色和质地,或者总是与果梗和花萼混淆,效率较低,因此仍然是通过人工分选。人工分选存在主观性较强、耗时、分选不一致等缺点,并且容易受到周围环境的影响[2],开发一种自动化的外部品质质量检测分级系统代替人工分选是十分迫切和必要的。

    红枣种植地主要在我国,国外对红枣分级机的研究较少。目前红枣的分级装备主要包括机械式、光电式和机器视觉式3种,其主要特征见表1所示。现阶段我国主要以机械式为主,大多以大小尺寸作为分级标准,分级标准单一。基于机器视觉的分级装备可以满足多特征检测分级,但现阶段国内基于机器视觉的红枣分级技术还不成熟。迫于市场压力,部分红枣经销商从国外进口基于机器视觉的红枣分级设备,其利用图像处理技术,通过获取枣的彩色照片,进行图像的处理,获取枣的大小、颜色以及表面缺陷等方面的信息,从而可以判断枣的品质,但价格极其昂贵,维护费用高。因此研究红枣的无损检测分级技术,生产基于机器视觉的红枣检测分级机有利于提高红枣的产后处理效率,降低分级时造成的损伤,对提高红枣在国内和国际市场上的经济价值和竞争力具有重要意义[3-6]。本文拟通过介绍机器视觉技术在红枣外部品质检测中的研究现状与应用,以促进我国红枣在线检测装备的研制。

    表  1  不同类别红枣分级装备主要特征
    Table  1.  Main characteristics of different types of jujube grading equipment
    类别工作原理检测指标主要特征
    机械式利用孔大小变化或者间隙逐渐变化来实现红枣的分级。红枣大小主要针对红枣的大小进行分级,
    存在“窜级”现象。
    光电式基于光电传感系统来检测红枣的形状大小实现对红枣的分级。红枣大小相比机械式,提高分级精度,
    但同样存在指标单一的缺陷。
    机器视觉式利用图像处理技术,获取枣的大小、颜色以及
    表面缺陷等方面的信息,从而判断枣的品质。
    红枣大小、形状、颜色及
    表面缺陷
    可以对红枣的多种特征进行
    数据分析,分级精度高。
    下载: 导出CSV 
    | 显示表格

    机器视觉系统一般包括光源系统、图像捕捉系统、图像处理系统、图像数字化模块和控制执行模块。首先通过CCD(CMOS)摄像机获取图像,经采样量化后将模拟图像转换为数字影像或数字信号传递给图像处理系统。图像处理系统采用各种运算对信号进行目标特征提取,如目标的大小、位置和颜色等,最后根据预定的标准输出所需结果、显示数据或控制执行模块完成预定操作。图1所示为典型的红枣机器视觉检测分级系统示意图,一般是通过CCD相机将被拍摄的红枣转换成图像信号,传送给图像处理系统,得到红枣的外部表面信息,将获取的纹理、大小、缺陷和颜色等信息转变成数字化信号,图像系统对信号进行各种运算提取目标特征,根据目标特征结合机器学习或深度学习对红枣的优劣进行分级[7-9]

    图  1  红枣机器视觉检测分级系统
    Figure  1.  Jujube machine vision inspection grading system

    马学武等[10]利用链轮输送机构,当红枣经过黑箱区域时触发光电开关,此时信号被传送给计算机,计算机接收到信号触发图像采集卡采集图像,通过图像处理算法提取红枣的特征(颜色,直径,面积等),并记录红枣的实时位置,当到达分级位置时利用光电开关实现对红枣的分级。由于单表面检测会造成信息遗漏,导致分级准确率不高。田绪顺等[11]采用两个摄像机对红枣进行拍摄取照实现双面检测,并指出利用物料本身滑动摩擦力结合吸振能力较好的材料,采用分步检测的机理,能够实现红枣及其他椭球形水果的单体化喂入、全表面呈现等功能。

    考虑两个相机的检测装置比较复杂,效率比较低,为了实现红枣全表面检测,王丽丽[12]利用PVC带作为传输装置,通过调节传送带的速度来实现单列化均匀上料,利用翻转传输装置实现哈密大枣外部品质全表面检测。王松磊等[13]设计了基于机器视觉技术的红枣快速无损检测分级机,采用间歇式凸轮机构结合辊轮输送链板实现红枣单体化排布输送,利用相机与STM32嵌入式系统结合正面和背面光源实现红枣多表面图像采集,最后采用高压喷气装置完成红枣的分级。从单面检测到双面检测再到全表面检测,检测可靠性不断提升,但是红枣检测装置的复杂性有所提升,检测速度有所下降,在提升检测准确率的同时优化检测装置结构是实现红枣在线检测的难题。

    目前机器视觉技术已经发展成为一门涉及人工智能、图像处理、计算机科学、模式识别等诸多领域的交叉学科,相比于其他检测技术,机器视觉技术具有高效、无损、分级指标多,检测结果客观准确等优点,是一种无损的检测方法[14]。近年来获得广泛地研究和应用,已成为农产品品质检测的重要技术手段之一,在红枣、柑橘、苹果、马铃薯等农产品品质检测中有很大的应用前景。随着基于统计学模型的机器学习的快速发展,各种浅层机器学习模型相继被提出。结合机器学习相关统计学特征的算法使得机器视觉系统的精度和效率都有了很大提升。近年来,深度学习在特征提取方面表现出来的独特优势,成为人工智能领域最热门的学习方法。与传统的机器学习相比,深度学习提倡采用端到端的方式来解决问题,即直接将图像特征提取与模式分类集合在一起,然后根据具体的模式分类目标损失函数(如交叉熵损失、Hinge损失函数等)从数据中自动地学习到有效的特征[15]并实现模式分类,学习能力强。因此深度学习在计算机视觉[16]、人脸识别[17]、语音识别[18]、行人检测[19]等领域取得了巨大成功。深度学习也存在缺少完善的理论支持、模型正确性验证复杂且麻烦、需要大量训练样本、计算量大等问题。相信随着深度学习研究的不断深入,将为机器视觉带来更广阔的发展空间[20]

    目前大部分红枣经大小分级机分选后直接流入市场,若不进行初步的品质分级,缺陷枣流入市场,将影响红枣的附加值。针对红枣缺陷分类问题,研究人员通过使用不同颜色空间对红枣进行分析。赵杰文等[21]在HIS颜色空间中提取H的均值和均方差作为特征值,利用支持向量机建立缺陷红枣识别模型,对表面颜色呈现较暗的霉烂、浆头、油头果识别准确率可达到96.2%。海潮等[22]在HSV颜色空间中提取H分量和S分量,并采用Blob分析算法进行红枣与背景的分离以及红枣表面缺陷的识别,缺陷果识别的准确率可达到90%以上。根据红枣表面差异,李运志等[23]依据半干枣在病害和非病害区域色调值差异提取病害区域,提出了一种以机器视觉为基础的缺陷识别方法,用提取的病害区域与枣表面积的比作为阈值来确定识别精度,以识别病害和裂痕枣。张萌等[24]针对红枣表面灰度不均匀提出了一种亮度快速矫正算法,解决了表面缺陷难以快速定位的问题。显著地增强了果面缺陷特征,提高了红枣自动分级的实时性。这些传统的基于机器学习的机器视觉方法虽然可以较好的识别缺陷枣果,但需要人工提取缺陷特征,费时费力,且局限于如裂纹、破头、病虫害等缺陷特征明显的枣果。对于缺陷特征不明显的枣果难往往以达到预期效果。此外,基于机器视觉的高光谱成像技术也被用于红枣缺陷检测,这种检测技术增加了图像的光谱信息,检测精度高,但速度慢,成本高。WU等[25]通过使用高光谱成像技术获取反射图像,以实现常见缺陷如裂纹、虫害和淤伤的识别。WANG等[26]采用在400~720 nm光谱区域内的高光谱反射率成像方法检测鲜枣果实的外部损伤和昆虫缺陷。

    随着互联网时代大数据的爆发,深度学习已经广泛应用于人脸识别、语音识别和行人检测等[17-19]。杨志锐等[27]提出一种基于网中网卷积神经网络对红枣进行缺陷检测的方法,试验结果表明该方法优于基于常规SVM (Support Vector Machine)的视觉检测方法和基于AlexNet网络的分类方法。方双等[28]采取多尺度卷积神经网络对黄皮枣、霉变枣、破头枣和正常枣进行了检测,模型在AlexNet卷积神经网络上进行了改进,增加了深度和宽度,提高了模型的检测准确率。在生产中,由于自然条件或工艺流程的不同,一个单一的产品往往可能表现出不止一种类型的缺陷,而且典型的卷积神经网络在提取特征时倾向于将图像视为不可分离的实体和单个实例。针对此问题,XU等[29]提出了一种基于特征关注度的多标签枣缺陷分类关系网络,实现对同一红枣多种缺陷类别的检测与识别。为实现缺陷红枣的精准定位与实时检测,曾窕俊等[30]提出一种基于帧间最短路径搜索的目标定位方法和集成卷积神经网络模型,通过建立图像坐标系及图像预处理操作,获得图像中单个红枣目标的位置坐标,将其映射到空间坐标系中,结合帧间最短路径判定规则,实现对红枣位置坐标的更新与传递,从而实现对视频中红枣的定位与跟踪。以上研究表明了深度学习目前已可以较好的应用于红枣缺陷的识别与检测。表2详细总结了使用不同机器视觉系统对各类红枣进行缺陷检测的研究。

    表  2  红枣缺陷检测研究综述
    Table  2.  Summary of research on red jujube defect detection
    红枣品种缺陷类型应用方法平均精度参考文献
    金丝小枣油头、浆头、霉烂缺陷识别SVM96.20%赵杰文等[21]
    骏枣病虫害缺陷识别形态学处理98.00%肖爱玲等[31]
    灵武长枣虫眼、裂痕缺陷识别PCA, MNF69.50%王婉娇等[32]
    骏枣、灰枣病害、裂纹缺陷识别SVM95.79%李运志等[23]
    冬枣轮纹病、日灼伤、炭疽病、裂纹病缺陷检测SVM99.40%孙世鹏等[33]
    金丝小枣破头、霉变、浆头、虫蛀在线检测Blob分析算法90.00%海潮等[22]
    若羌灰枣表面损伤、霉变缺陷分类、在线检测CNN96.11%文怀兴等[34]
    新疆骏枣黑斑、黄皮、裂口、脱皮、皱枣缺陷检测NIN-CNN94.79%杨志锐等[27]
    新疆干制红枣黄皮、霉变、破头缺陷检测Multi-scale CNN97.14%方双等[28]
    红枣腐烂、裂纹、破皮、褐斑缺陷检测,缺陷分类CNN94.15%JU等[35]
    红枣褐斑、破皮、裂纹、腐烂、鸟啄、皱缩多标签缺陷分类FAR-Net89.25%XU等[29]
    下载: 导出CSV 
    | 显示表格

    大小是红枣分级的重要依据之一,按红枣大小进行检测分级,选出大小基本一致的红枣,有利于包装储存和加工处理。尺寸检测可以用传统的机器视觉进行,目前用于测算红枣大小的特征有面积、周长、拟合圆半径、横纵径、体积和质量,通过提取红枣大小特征,进行数据拟合得到预测函数[36]。李景彬等[37]提出一种基于机器视觉的干制红枣大小分级方法,对红枣样本图像进行预处理,提取红枣的外形尺寸和质量等特征,采用最小外接矩形法获取红枣的长径和短径当量值,应用线性回归得到拟合函数分别求得红枣纵径值和质量值,采用句法模式识别对数据进行红枣大小分级,分级准确率达到85%。单个表面的红枣图像难以反应红枣的整体大小,利用红枣单侧图像对红枣进行分级准确率不高,针对此问题,QI等[38]通过提取哈密大枣的投影面积、横向直径和纵向直径,建立BP神经网络分类模型,测试准确率达到91.43%,平均检测时间为80 ms,可满足大小尺寸的实时检测。王艳等[39]利用图像处理技术提取鲜骏枣的平均面积、周长、长轴、短轴几何特征,与实际质量拟合建立回归模型,预测鲜骏枣的质量,最后采用判别分析法对大小进行分选。结果表明机器视觉技术能够较为准确地实现对质量与大小的预测和分选。

    现阶段对红枣大小检测原理主要是利用最小外接矩形法或者利用边缘检测提取红枣大小特征进行对红枣大小分级,但平面信息不能准确地判定红枣的大小,针对此问题,程子龙等[40]提出一种用双目视觉测量物体大小的方法,先进行双目标定、立体匹配,获得景深图后,对物体轮廓进行检测,用最小四边形框出物体的轮廓,通过计算四边形四个顶点的坐标得到物体中心点的像素坐标,通过双目测距的原理获得物体中心点距离摄像头的距离。根据三角形原理,计算出物体的宽度和高度,实现物体大小的测量。利用双目视觉技术结合机器视觉测量红枣体积以获取空间信息,实现红枣品质分级将是未来的一个研究方向。

    红枣的表面纹理特征是衡量红枣外部品质的重要指标,一般纹理比较多的红枣果肉较少,水分含量低,含糖量低,在销售时要将其剔除。在红枣纹理检测过程中,通常首先提取红枣纹理特征,然后通过机器学习算法建立分级模型实现红枣的品质分级。针对目前红枣分级效率低,漏检率高,劳动强度大等问题,柴春花等[41]以红枣的纹理作为分级指标,提出了一种基于机器视觉红枣纹理分级方法,通过提取红枣图像的均值、标准差、平滑度、三阶矩、一致性和熵6个纹理特征,采用BP神经网络进行红枣纹理分级,试验结果表明,一级红枣识别率为100%,二级红枣识别率为80%,三级红枣识别率为100%,综合识别率为93.33%。张灵通等[42]采用灰度共生矩阵提取南疆红枣的纹理特征,根据红枣纹理特征参数的区分度,实现南疆红枣的外观品质分级检测。由于红枣的褶皱在白色光源下不明显,导致检测效果比较差,ZHANG等[43]通过调节光源的颜色,改变光源强度,对红枣图片灰度均值方差和灰度信息熵进行数据拟合,发现在光强35800 lx下的绿+蓝图片红枣的褶皱最清晰,并提出一种自动分水岭分割算法实现枣果褶皱分级,结果表明该算法得到的褶皱分级准确率为92.11%。但以上纹理特征提取均需要人工提取,费时费力。针对传统机器学习方法需要人工提取纹理特征并对图片进行预处理等问题,罗秀芝等[44]提出一种基于卷积神经网络的哈密大枣纹理分级方法,使用卷积核自动提取纹理特征,相对于用灰度共生矩阵提取纹理信息,再分别用BP神经网络或SVM来分类,用卷积神经网络对哈密大枣纹理进行分类准确率高并且试验过程更简单。上述研究表明,深度学习较传统的机器学习方法,在红枣褶皱分级上更有优势。

    红枣表面颜色受天气、土壤、水分等环境的影响,个体之间会有很大的差异,影响到红枣品质,为满足消费者对红枣品质的需求,进行红枣表面颜色的检测和分级至关重要[45]。马翔等[46]开发了一种基于嵌入式 STM32F407处理器结合机器视觉技术的红枣颜色检测分级系统,首先通过CMOS图像传感器获取鲜枣图像,经图像预处理后,利用颜色阈值算法实现鲜枣颜色分级,经验证表明该系统具有分级速度快、检测识别精度高、制作成本低等优点,在红枣颜色分级方面有较高的实用价值。孙中国等[47]以表面颜色为生熟判别指标,建立了基于机器视觉技术的冬枣成熟度检测系统,利用 HIS 模型中H 分量在冬枣表面图像中含量的百分比进行生熟判别,实现了对冬枣的自动化分拣。詹映等[48]通过对采集的红枣图像进行预处理后,提取红枣的颜色特征参数为BP神经网络输入层,实现红枣品质分级。结果表明BP人工神经网络分级与人工分级的一致度达到了91.6%。上述研究表明,相比于其他特征检测方法,颜色特征提取后往往被用于缺陷、纹理和成熟度的检测,仅靠颜色特征往往难以直接实现外部品质的分级。

    依据单因素对红枣检测不足以全面实现红枣品质检测分级,综合多种外部特征对红枣进行检测有利于提高检测准确率。针对红枣果形大小、表面质量和纹理等表面综合信息,研究人员通常使用机器学习算法建立模型,集成各种模型进行外部品质检测。钟小华等[49]提出了一种基于机器视觉技术的红枣全表面信息无损分拣方法,依据果形大小、表面质量、纹理等表面信息分别建立对应模型,实现红枣无损自动分级,系统验证表明分级准确率达到90%以上,可以解决高速运输状态下无法在线呈现红枣全表面信息的难点。GANBOLD等[50]提出一种基于图像边缘检测的红枣分级方法,通过图像预处理、滤波及增强、梯度算法处理和自适应Canny算法实现红枣大小、形状、颜色、表面轮廓的检测与分级,综合准确率可达96.52%,已经可满足红枣分级的要求。但是在红枣实际分级过程中,往往需要先筛选缺陷枣果,否则缺陷枣混入正常枣中,会影响红枣的附加值。针对此问题李运志[51]以大小、褶皱、缺陷作为分级指标,采用最小直线法拟合短轴的真实值与检测的像素值的函数关系,建立大小分级模型。采用灰度共生矩阵提取纹理特征建立基于BP神经网络和SVM的褶皱分级模型。提取病害区域与枣表面积的比作为阈值,建立基于SVM的缺陷识别模型,实现骏枣外观品质自动分级。其中缺陷识别准确率为95.79%,大小与褶皱分级准确率分别为95.65%和95.23%。可以满足红枣实际分级需求。但这种方法需要人工提取特征,费时费力。随着深度学习技术的发展,可以从数据中自动学习特征,比传统机器学习方法具有更强大的特征学习和特征表达能力。文怀兴等[34]以表面缺陷和纹理为分级指标,提出了一种基于深度残差网络对红枣表面缺陷以纹理识别的分类算法,通过结合机器视觉与深度学习,实现红枣在线检测,研究结果表明,该分类方法准确率达96.11%,检测效率约为120个/min。上述研究表明,综合多种外部特征融合检测方法可以提高检测准确率,但各指标需要建立不同的识别与分级模型,系统验证需要综合各种模型进行结果输出。

    在红枣加工和流通过程中,红枣品质检测是不可缺少的一环,颜色、褶皱、大小、形状和缺陷的种类,是红枣最重要的外部感官质量属性。快速、准确地对红枣外部品质检测能有效保障食品安全、提高企业生产效率。机器视觉有快速、准确、客观和无损检测等优点,已经被广泛用于食品和农产品的质量检测,以取代人工检测。本文综述了机器视觉系统分别在红枣缺陷检测、大小检测、褶皱检测、颜色检测以及特征融合检测中的应用。研究发现传统的机器视觉系统是检测颜色、纹理、尺寸、形状和一些相对明显缺陷的有力工具,但在检测不明显的缺陷方面效率较低。随着人工智能技术的快速发展,深度学习算法在农产品检测中得到越来越广泛的应用。利用机器视觉结合深度学习对红枣外部品质进行检测与分级已成为热点,但在红枣外部品质实际检测中,还需进一步完善和发展。

    一个红枣可能存在多种缺陷,有些缺陷部位往往难以被检测到。目前深度学习中物体检测技术可以实现目标的实时检测与定位。因此,将物体检测技术(Faster RCNN、SSD 、YOLO等)应用于红枣外部品质检测,可以实现红枣全表面检测,提高红枣实时检测效率。目前的机器视觉红枣检测设备往往只针对某一特定品种的红枣进行检测分级,对于其他品种的红枣需要单独开发检测设备和软件,相应地增加了检测成本,因此有必要开发一种适用于不同种类红枣的机器视觉检测设备。结合机器视觉与多种光谱技术(近红光光谱、高光谱成像技术和拉曼光谱等),开展对红枣内外部品质指标综合评价技术及装备的研究,将成为红枣品质无损检测的研究热点。

  • 图  1   红枣机器视觉检测分级系统

    Figure  1.   Jujube machine vision inspection grading system

    表  1   不同类别红枣分级装备主要特征

    Table  1   Main characteristics of different types of jujube grading equipment

    类别工作原理检测指标主要特征
    机械式利用孔大小变化或者间隙逐渐变化来实现红枣的分级。红枣大小主要针对红枣的大小进行分级,
    存在“窜级”现象。
    光电式基于光电传感系统来检测红枣的形状大小实现对红枣的分级。红枣大小相比机械式,提高分级精度,
    但同样存在指标单一的缺陷。
    机器视觉式利用图像处理技术,获取枣的大小、颜色以及
    表面缺陷等方面的信息,从而判断枣的品质。
    红枣大小、形状、颜色及
    表面缺陷
    可以对红枣的多种特征进行
    数据分析,分级精度高。
    下载: 导出CSV

    表  2   红枣缺陷检测研究综述

    Table  2   Summary of research on red jujube defect detection

    红枣品种缺陷类型应用方法平均精度参考文献
    金丝小枣油头、浆头、霉烂缺陷识别SVM96.20%赵杰文等[21]
    骏枣病虫害缺陷识别形态学处理98.00%肖爱玲等[31]
    灵武长枣虫眼、裂痕缺陷识别PCA, MNF69.50%王婉娇等[32]
    骏枣、灰枣病害、裂纹缺陷识别SVM95.79%李运志等[23]
    冬枣轮纹病、日灼伤、炭疽病、裂纹病缺陷检测SVM99.40%孙世鹏等[33]
    金丝小枣破头、霉变、浆头、虫蛀在线检测Blob分析算法90.00%海潮等[22]
    若羌灰枣表面损伤、霉变缺陷分类、在线检测CNN96.11%文怀兴等[34]
    新疆骏枣黑斑、黄皮、裂口、脱皮、皱枣缺陷检测NIN-CNN94.79%杨志锐等[27]
    新疆干制红枣黄皮、霉变、破头缺陷检测Multi-scale CNN97.14%方双等[28]
    红枣腐烂、裂纹、破皮、褐斑缺陷检测,缺陷分类CNN94.15%JU等[35]
    红枣褐斑、破皮、裂纹、腐烂、鸟啄、皱缩多标签缺陷分类FAR-Net89.25%XU等[29]
    下载: 导出CSV
  • [1] 苏彩霞, 郭凯勋, 刘晓红. 我国红枣产业的现状、存在问题及对策[J]. 果农之友,2020(2):39−41. [SU C X, GUO K X, LIU X H. Present situation, existing problems and countermeasures of Chinese jujube industry[J]. Fruit Growers' Friend,2020(2):39−41. doi: 10.3969/j.issn.1671-7759.2020.02.023
    [2]

    LEEMANS V, DESTAIN M F. A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering,2004,61(1):83−89. doi: 10.1016/S0260-8774(03)00189-4

    [3] 梁宁. 基于机器视觉的红枣外观品质自动分选装置研制[D]. 咸阳: 西北农林科技大学, 2019

    LIANG N. Development of automatic sorting device for dried jujube appearance equality based on machine vision[D]. Xianyang: Northwest A&F University, 2019.

    [4] 白依凡, 贺晓光, 何建国, 等. 红枣自动分级机的研究进展[J]. 宁夏工程技术,2016,15(1):88−92. [BAI Y F, HE X G, HE J G, et al. Research progresses of red jujube automatic grading machines[J]. Ningxia Engineering Technology,2016,15(1):88−92. doi: 10.3969/j.issn.1671-7244.2016.01.020
    [5] 张惠, 贾首星, 郑炫, 等. 红枣各阶段分级设备应用现状[J]. 江苏农业科学,2014,42(2):341−343. [ZHANG H, JIA S X, ZHENG X, et al. Application and development of jujube grading equipment in each stage[J]. Jiangsu Agricultural Sciences,2014,42(2):341−343. doi: 10.3969/j.issn.1002-1302.2014.02.120
    [6] 李运志. 基于机器视觉的红枣外观品质分级方法研究[D]. 咸阳: 西北农林科技大学, 2016: 1−13

    LI Y Z. Research on method to exterior quality grading of jujube based on machine vision technology[D]. Xianyang: Northwest A&F University, 2016: 1−13.

    [7] 员凯. 红枣品质检测部分系统设计及分级软件研究[D]. 咸阳: 西北农林科技大学, 2016: 1−17

    YUAN K. Partial system and grading software of quality detection of jujube[D]. Xianyang: Northwest A&F University, 2016: 1−17.

    [8] 刘民法. 基于机器视觉技术的红枣自动化分级机的结构设计研究[D]. 银川: 宁夏大学, 2015: 1−16

    LIU M F. Structure design study on the automated classifier of red jujubes based on machine vision technique[D]. Yinchuan: Ningxia University, 2015: 1−16.

    [9]

    LEEMANS V, MAGEIN H, DESTAIN M, et al. Automation and emerging technologies: On-line fruit grading according to their external quality using machine vision[J]. Biosystems Engineering,2002,83(No.4):397. doi: 10.1006/bioe.2002.0131

    [10] 马学武, 何建国. 基于机器视觉红枣无损自动分级设备的研制[J]. 宁夏工程技术,2008(3):213−215. [MA X W, HE J G. Manufacture of red jujubes' non-destructive and automatic grading equipment based on machine vision[J]. Ningxia Engineering Technology,2008(3):213−215. doi: 10.3969/j.issn.1671-7244.2008.03.005
    [11] 田绪顺, 李景彬, 坎杂, 等. 基于机器视觉的红枣双面检测分级装置设计[J]. 食品与机械,2012,28(5):138−140. [TIAN X, LI J B, KAN Z, et al. Structure design of the double-surfaced detection and grading device to red date based on machine vision[J]. Food & Machinery,2012,28(5):138−140. doi: 10.3969/j.issn.1003-5788.2012.05.036
    [12] 王丽丽. 基于计算机视觉的哈密大枣无损检测分级技术及分级装置研究[D]. 石河子: 石河子大学, 2013

    WANG L L. Research of non-destructive grading technology and detection equipment for Hami big jujubes based on computer vision[D]. Shihezi: Shihezi University, 2013.

    [13] 王松磊, 刘民法, 何建国, 等. 红枣自动快速无损检测分级机研究[J]. 农业机械学报,2014,45(9):79−83. [WANG S L, LIU M F, HE J G, et al. Study of rapid and automatic non-destructive testing grader for red jujubes[J]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(9):79−83. doi: 10.6041/j.issn.1000-1298.2014.09.013
    [14] 王明, 于金莹, 胡雁翔, 等. 无损检测技术在鸡蛋品质检测中的应用研究进展[J]. 食品科技,2021,46(4):268−272. [WANG M, YU J Y, HU Y X, et al. Application of nondestructive testing technology in detection of egg quality[J]. Food Science and Technology,2021,46(4):268−272.
    [15]

    BENGIO Y, COURVILLE A, VINCENT P. Representation learning: A review and new perspectives[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8):1798−1828. doi: 10.1109/TPAMI.2013.50

    [16]

    HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904−1916. doi: 10.1109/TPAMI.2015.2389824

    [17] 卢伟, 胡海阳, 王家鹏, 等. 基于卷积神经网络面部图像识别的拖拉机驾驶员疲劳检测[J]. 农业工程学报,2018,34(7):192−199. [LU W, HU H, WANG J P, et al. Tractor driver fatigue detection based on convolution neural network and facial image recognition[J]. Transactions of the CSAE,2018,34(7):192−199. doi: 10.11975/j.issn.1002-6819.2018.07.025
    [18] 缪裕青, 邹巍, 刘同来, 等. 基于参数迁移和卷积循环神经网络的语音情感识别[J]. 计算机工程与应用,2019,55(10):135−140. [MIAO Y, ZOU W, LIU T L, et al. Speech emotion recognition model based on parameter transfer and convolutional recurrent neural network[J]. Computer Engineering and Applications,2019,55(10):135−140. doi: 10.3778/j.issn.1002-8331.1802-0089
    [19] 刘慧, 张礼帅, 沈跃, 等. 基于改进SSD的果园行人实时检测方法[J]. 农业机械学报,2019,50(4):29−35. [LIU H, ZHANG L S, SHEN Y, et al. Real-time pedestrian detection in orchard based on improved SSD[J]. Transactions of the Chinese Society for Agricultural Machinery,2019,50(4):29−35. doi: 10.6041/j.issn.1000-1298.2019.04.003
    [20] 朱云, 凌志刚, 张雨强. 机器视觉技术研究进展及展望[J]. 图学学报, 2020, 41(6): 871−890

    ZHU Y, LIN Z G, ZHANG Y Q. Research progress and prospect of machine vision technology[J]. Journal of Graphics, 2020, 41(6): 871−890.

    [21] 赵杰文, 刘少鹏, 邹小波, 等. 基于支持向量机的缺陷红枣机器视觉识别[J]. 农业机械学报,2008,39(3):113−115. [ZHAO J W, LIU S P, ZOU X B, et al. Recognition of defect Chinese dates by machine vision and support vector machine[J]. Transactions of the Chinese Society for Agricultural Machinery,2008,39(3):113−115.
    [22] 海潮, 赵凤霞, 孙烁. 基于Blob分析的红枣表面缺陷在线检测技术[J]. 食品与机械,2018,34(1):126−129. [HAI C, ZHAO F X, SUN S. Research on online detection for jujube surface defects based on blob analysis[J]. Food & Machinery,2018,34(1):126−129. doi: 10.13652/j.issn.1003-5788.2018.01.025
    [23] 李运志, QIANG Zhang, 陈弘毅, 等. 基于机器视觉的半干枣病害和裂纹识别研究[J]. 农机化研究,2016,38(8):120−125. [LI Y Z, QIANG Z, CHEN H Y, et al. Detection of diseases and cracks of semi - dried dates based on machine vision[J]. Journal of Agricultural Mechanization Research,2016,38(8):120−125.
    [24] 张萌, 许敏. 红枣表面缺陷快速检测方法研究[J]. 江苏农业科学,2015,43(7):331−334. [ZHANG M, XU M. Study on fast inspection method of surface defect of red jujube[J]. Jiangsu Agricultural Sciences,2015,43(7):331−334.
    [25]

    WU L G, HE J G, LIU G S, et al. Detection of common defects on jujube using Vis-NIR and NIR hyperspectral imaging[J]. Postharvest Biology and Technology,2016,112:134−142. doi: 10.1016/j.postharvbio.2015.09.003

    [26]

    WANG J, NAKANO K, OHASHI S, et al. Detection of external insect infestations in jujube fruit using hyperspectral reflectance imaging[J]. Biosystems Engineering,2011(4):345−351.

    [27] 杨志锐, 郑宏, 郭中原, 等. 基于网中网卷积神经网络的红枣缺陷检测[J]. 食品与机械,2020,36(2):140−145. [YANG Z R, ZHENG H, GUO Z Y, et al. Detection of jujube defects based on the neural network with network convolution[J]. Food & Machinery,2020,36(2):140−145.
    [28] 方双, 赵凤霞, 楚松峰, 等. 基于多尺度卷积神经网络的缺陷红枣检测方法[J]. 食品与机械,2021,37(2):158−163. [FANG S, ZHAO F X, CHUN S F, et al. Defective jujube detection technology based on multi-scale convolutional neural network[J]. Food & Machinery,2021,37(2):158−163.
    [29]

    XU X H, ZHENG H, YOU C H, et al. Far-net: Feature-wise attention-based relation network for multilabel jujube defect classification[J]. Sensors,2021,21:E392. doi: 10.3390/s21020392

    [30] 曾窕俊, 吴俊杭, 马本学, 等. 基于帧间路径搜索和E-CNN的红枣定位与缺陷检测[J]. 农业机械学报,2019,50(2):307−314. [ZENG T J, WU J H, MA B X, et al. Localization and defect detection of jujubes based on search of shortest path between frames and E-CNN model[J]. Transactions of the Chinese Society for Agricultural Machinery,2019,50(2):307−314. doi: 10.6041/j.issn.1000-1298.2019.02.035
    [31] 肖爱玲, 黄新成. 基于彩色分量的骏枣病虫害检测方法[J]. 农机化研究,2014,36(2):142−146. [XIAO A L, HUANG X C. The research of detection method on chinese datas with pests and diseases based on color component[J]. Journal of Agricultural Mechanization Research,2014,36(2):142−146. doi: 10.3969/j.issn.1003-188X.2014.02.036
    [32] 王婉娇, 贺晓光, 王松磊, 等. 基于高光谱成像技术的灵武长枣常见缺陷检测[J]. 食品与机械,2015,31(3):62−65. [WANG W J, HE X G, WANG S L, et al. Detection of common defects in jujube fruit using hyperspectral imaging[J]. Food & Machinery,2015,31(3):62−65.
    [33] 孙世鹏, 李瑞, 谢洪起, 等. 基于机器视觉的冬枣病害检测[J]. 农机化研究,2018,40(9):183−188. [SUN S P, LI R, XIE H Q, et al. Detection of winter jujube diseases based on machine vision[J]. Journal of Agricultural Mechanization Research,2018,40(9):183−188.
    [34] 文怀兴, 王俊杰, 韩昉. 基于改进残差网络的红枣缺陷检测分类方法研究[J]. 食品与机械,2020,36(1):161−165. [WEN H X, WANG J J, HAN F. Research on defect detection and classification of jujube based on improved residual network[J]. Food & Machinery,2020,36(1):161−165.
    [35]

    JU J P, ZHENG H, XU X H, et al. Classification of jujube defects in small data sets based on transfer learning[J]. Neural Computing and Applications, 2022(34): 3385-3398.

    [36] 王慧. 基于图像边缘检测的红枣分级方法[J]. 农机化研究,2018,40(10):231−234. [WANG H. Grading method of jujube based on image edge detection[J]. Journal of Agricultural Mechanization Research,2018,40(10):231−234. doi: 10.3969/j.issn.1003-188X.2018.10.044
    [37] 李景彬, 邓向武, 坎杂, 等. 基于机器视觉的干制红枣大小分级方法研究[J]. 农机化研究,2014,36(2):55−59. [LI J B, DENG X W, KAN Z, et al. The method of automatic dried red jujube hierarchy based on machine vision[J]. Journal of Agricultural Mechanization Research,2014,36(2):55−59.
    [38]

    QI X X, MA B X, XIAO W D. On-line detection of Hami big dates' size and shape based on machine vision[J]. International Conference on Computer Distributed Control and Intelligent Environmental Monitoring,2011:96−102.

    [39] 王艳, 木合塔尔·米吉提, 刘亚, 等. 基于机器视觉的鲜骏枣大小分级研究[J]. 农业科技与装备,2017(4):15−17. [WANG Y, MUHETAER M J T, LIU Y, et al. Research on fresh jun jujube size classification based on machine vision[J]. Agricultural Science & Technology and Equipment,2017(4):15−17.
    [40] 程子龙, 许峰, 蒋馥蔓. 双目摄像头在识别物体大小方面的应用[J]. 中国新通信,2016,18(22):102−103. [CHEN Z L, XU F, JIANG F M. Application of binocular camera in identifying object size[J]. China New Telecommunications,2016,18(22):102−103. doi: 10.3969/j.issn.1673-4866.2016.22.086
    [41] 柴春花, 黄智英, 李忠, 等. 红枣纹理分级方法的研究[J]. 中国农机化学报,2016,37(3):201−204. [CHAI C H, HUANG Z Y, LI Z, et al. Research on the texture classification method for red jujubes[J]. Journal of Chinese Agricultural Mechanization,2016,37(3):201−204.
    [42] 张灵通, 李寿宁, 孙三民. 基于纹理南疆红枣外观品质应用研究[J]. 浙江农业学报,2016,28(6):1089−1093. [ZHANG L T, LI S N, SUN S M. Study on appearance quality classification based on detection of the striples of red jujube in Southern Xinjiang[J]. Acta Agriculturae Zhejiangensis,2016,28(6):1089−1093.
    [43]

    ZHANG J X, MA Q Q, LI W, et al. Feature extraction of date fruit wrinkle based on the watershed segmentation[J]. International Journal of Agricultural and Biological Engineering,2017(4):165−172.

    [44] 罗秀芝, 马本学, 李小霞, 等. 基于卷积神经网络干制哈密大枣纹理分级[J]. 新疆农业科学,2018,55(12):2220−2227. [LUO X Z, MA B X, LI X X, et al. Research on the texture classification of dried Hami jujube based on convolutional neural network[J]. Xinjiang Agricultural Sciences,2018,55(12):2220−2227.
    [45] 冯斌, 汪懋华. 基于颜色分形的水果计算机视觉分级技术[J]. 农业工程学报,2002(2):141−144. [FENG B, WANG M H. Computer vision classification of fruit based on fractal color[J]. Transactions of the CSAE,2002(2):141−144. doi: 10.3321/j.issn:1002-6819.2002.02.035
    [46] 马翔, 何建国, 施健, 等. 基于嵌入式红枣颜色分级系统研究[J]. 宁夏工程技术,2015,14(2):107−110. [MA X, HE J G, SHI J, et al. Embedded based system of jujube color-grading[J]. Ningxia Engineering Technology,2015,14(2):107−110. doi: 10.3969/j.issn.1671-7244.2015.02.003
    [47] 孙中国, 于复生, 殷盛江, 等. 基于机器视觉的冬枣生熟检测系统研究[J]. 机械科学与技术,2014,33(7):1071−1073. [SUN Z G, YU F S, YIN S J, et al. Study on the mature inspection of winter jujube based on machine vision[J]. Mechanical Science and Technology for Aerospace Engineering,2014,33(7):1071−1073. doi: 10.13433/j.cnki.1003-8728.2014.0726
    [48] 詹映, 罗华平, 彭云发, 等. BP人工神经网络南疆红枣颜色分级方法研究[J]. 食品工业,2015,36(1):165−167. [ZHAN Y, LOU H P, PENG Y F, et al. Research of the BP artificial neural network in southern jujube color classification method[J]. The Food Industry,2015,36(1):165−167.
    [49] 钟小华, 曹玉华, 张永清, 等. 基于机器视觉技术的红枣全表面信息无损分拣系统研究与实现[J]. 食品与机械,2017,33(5):114−118. [ZHONG X H, CAO Y H, ZHANG Y Q, et al. Research and implementation of the non-destructive sorting system for surface information of jujube based on machine vision technology[J]. The Food Industry,2017,33(5):114−118. doi: 10.13652/j.issn.1003-5788.2017.05.024
    [50] GANBOLD O, 于鸿彬, 李志鹏, 等. 基于图像处理的红枣分级检测方法设计[J]. 安徽农业科学, 2020, 48(5): 206−210

    GANBOLD O, YU H B, LI Z P, et al. Design of jujube-grading detection method based on image processing[J]. Journal of Anhui Agricultural Sciences, 2020, 48(5): 206−210.

    [51] 李运志. 基于机器视觉的红枣外观品质分级方法研究[D]. 咸阳: 西北农林科技大学, 2016

    LI Y Z. Research on method to exterior quality grading of jujube based on machine vision technology[D]. Xianyang: Northwest A&F University, 2016.

  • 期刊类型引用(8)

    1. 张全通,郑尧,杨柳,张帅帅,郭全友. 计算机视觉结合卷积神经网络快速检测南极磷虾粉中的虾青素含量. 食品工业科技. 2025(03): 11-18 . 本站查看
    2. 刘鑫,马本学,李玉洁,陈金成,喻国威. 基于改进YOLOv7-ByteTrack的干制哈密大枣缺陷检测与计数系统. 农业工程学报. 2024(03): 303-312 . 百度学术
    3. 贾雅欣,李传峰,罗华平,吴明清. 基于边缘轮廓定积分测量红枣体积的研究. 塔里木大学学报. 2024(01): 75-83 . 百度学术
    4. 朱丽娟. 基于机器视觉的红枣裂纹特征提取. 科技风. 2024(10): 17-19 . 百度学术
    5. 吴思,诸定莲,鲁梦瑶,万以磊,高亮亮,陈龙,汤卫荣,吴文彪. 基于机器视觉的大闸蟹自动分级分选设备研究与开发. 扬州大学学报(农业与生命科学版). 2024(04): 137-146 . 百度学术
    6. 汤文祺,曹玉华,李应果. 基于机器视觉的一品红自动分级方法研究. 现代农业装备. 2024(05): 53-58 . 百度学术
    7. 赵晓梅,李洪港. 基于X射线图像的金属腐蚀深度估计方法. 山东冶金. 2023(05): 25-27 . 百度学术
    8. 蒋平. 一种快速红枣表面缺陷识别方法. 大众标准化. 2023(23): 55-57 . 百度学术

    其他类型引用(13)

图(1)  /  表(2)
计量
  • 文章访问数:  246
  • HTML全文浏览量:  77
  • PDF下载量:  22
  • 被引次数: 21
出版历程
  • 收稿日期:  2021-09-27
  • 网络出版日期:  2022-08-08
  • 刊出日期:  2022-10-14

目录

/

返回文章
返回
x 关闭 永久关闭