基于机器视觉技术的苦豆子颗粒外观质量评价研究

郭 超，焦淑珍，徐 超，刘立轩，孔阳阳，冷晓红*

(1.宁夏职业技术学院，银川 750021；2.宁夏大学，银川 750021)

机器视觉也称为计算机视觉，是用计算机模拟人眼的视觉功能，是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理及模式识别等多个领域的交叉学科[1]，

利用代替人眼的图像传感器获取物体图像信息，转换成数字图像，并利用计算机模拟人的判别准则去理解和识别图像，达到分析图像并做出结论的目的，最终用于实际检测和控制[2]。目前机器视觉技术已广泛应用于农产品品质鉴定[3-6]、工况监视[7-9]、成品检验和质量控制等研究领域[10-11]。

《中国药典》(2015年版)中规定颗粒剂应干燥，颗粒均匀，色泽一致，无吸潮、软化、结块、潮解等现象[12]，颗粒剂的外观特征在一定程度上反应了颗粒剂内在质量情况。而中药颗粒剂因中药原料质量波动、提取物差异、工艺复杂等原因容易造成颗粒外观不一致，不同批次产品质量波动较大等问题[13,14]。且现阶段对于中药颗粒剂外观质量评价主要仍以人眼观察，人工评价为主，存在评价结果差异较大、准确性较低等问题。

机器视觉技术在物体外观评价方面有着快速、简便、稳定、准确等优势，苦豆子颗粒为一种用于治疗鸡白痢的新中兽药，其主药为苦豆子总碱提取物，外观为深黄色，色泽一致，大小均匀。因其外观特征明显，因此本文以苦豆子总碱颗粒为研究对象，创新性的利用机器视觉技术通过对苦豆子颗粒进行数字图像采集、特征提取、特征降维、对照特征指纹向量建立、相似度计算等，建立苦豆子颗粒外观对照特征图谱，将参比颗粒外观特征图谱与苦豆子颗粒对照指纹图谱进行相似度计算，以相似度值为标准对参比颗粒外观质量进行评价，利用机器视觉技术对苦豆子颗粒剂外观进行快速准确的质量评价，以提高苦豆子颗粒的整体质量控制水平。

1 材 料

Nikon D5100数码相机(日本尼康公司)，Matlab2019b软件(美国MathWorks公司)，苦豆子总碱提取物(宁夏紫荆花制药有限公司，批号190522)。依据《宁夏回族自治区重点研发项目重大项目-苦豆子提取物治疗鸡白痢新兽药研发》项目中制定的苦豆子颗粒制备工艺，自制6批标准苦豆子颗粒(SG1～SG6)用于建立苦豆子颗粒外观特征对照指纹图谱，6批参比标准苦豆子颗粒(RSG1～RSG6)用于评价相似度计算结果准确性，6批标准苦豆子颗粒及6批参比标准苦豆子颗粒外观为深黄色、色泽一致、大小均匀，主药苦豆子总碱提取物含量为20%，平均水分为3.0%，外观、粒度、水分等各项指标均符合要求。

采用不同苦豆子总碱提取物加入量、不同黏合剂加入量、不同烘干条件等方法，自制苦豆子总碱提取物含量15%且吸潮结块苦豆子颗粒6批(RG1～RG6)，制备苦豆子总碱提取物含量5%苦豆子颗粒2批(RG7-1、RG7-2)、含量10%苦豆子颗粒2批(RG8-1、RG8-2)、含量15%苦豆子颗粒2批(RG9-1、RG9-2)、含量25%苦豆子颗粒2批(RG10-1、RG10-2)。参考《中国药典》(2015年版)[12]中药颗粒剂粒度、水分的有关要求制备不同粒度、水分苦豆子颗粒，其中不能通过一号筛的大颗粒量为15%的苦豆子颗粒3批(RG11-1～RG11-3)、不能通过一号筛的大颗粒量及能通过五号筛的细粉量各7.5%的苦豆子颗粒3批(RG12-1～RG12-3)、能通过五号筛的细粉量为15%的苦豆子颗粒3批(RG13-1～RG13-3)。制备水分5.0%的苦豆子颗粒3批(RG14-1～RG14-3)、水分8.0%的苦豆子颗粒3批(RG15-1～RG15-3)、水分11.0%的苦豆子颗粒3批(RG16-1～RG16-3)。

2 方 法

2.1 机器视觉系统建立 根据研究需要，构建基于机器视觉技术的颗粒剂外观评价系统，该系统由数字图像采集系统、数字图像处理系统构成。数字图像采集系统由数码相机、采集箱、LED光源、相机支架组成，主要用于颗粒剂数字图像采集，如图1所示。数字图像处理系统由计算机及Matlab2019b软件组成，主要用于数字图像特征提取、特征降维、数字图像指纹图谱构建及相似度评价。

1.数码相机；2.LED光源；3.采集箱；4.相机支架；5.待采集颗粒图1 数字图像采集系统Fig 1 Digital image acquisition system

2.2 外观特征指纹图谱建立

2.2.1 数字图像采集 将不同批次苦豆子颗粒，装满平铺于长方形盒中，放入采集箱中，打开LED光源，采集颗粒图片。图像采集背景环境、相机角度、焦距等要求保持一致。将所采集到的苦豆子颗粒数字图像使用Matlab2019b软件裁剪至1500像素×2000像素的统一尺寸。

图2 苦豆子标准颗粒(SG1～SG6)Fig 2 Sophora alopecuroides standard granules(SG1～SG6)

图3 参比苦豆子颗粒(RG1～RG6)Fig 3 Reference Sophora alopecuroides granules (RG1～RG6)

图4 参比苦豆子颗粒(RG7-1～RG10-2)Fig 4 Reference Sophora alopecuroides granules (RG7-1～RG10-2)

图5 参比苦豆子颗粒(RG11-1～RG13-3)Fig 5 Reference Sophora alopecuroides granules (RG11-1～RG13-3)

图6 参比苦豆子颗粒(RG14-1～RG16-3)Fig 6 Reference Sophora alopecuroides granules (RG14-1～RG16-3)

2.2.2 图像特征模式选择 苦豆子标准颗粒与参比颗粒在人眼观察时发现，标准颗粒与参比颗粒外观在颜色深浅、颜色均匀度、颗粒空隙颜色等颜色特征方面有比较明显的差异。数字图像色彩模式中，RGB色彩模式为工业界的一种颜色标准，其通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，RGB标准几乎包括了人类视力所能感知的所有颜色，为目前运用最广的颜色系统之一。因此本文以数字图像RGB色彩模式的色彩特征为苦豆子颗粒的主要外观特征，对苦豆子颗粒进行外观特征指纹图谱建立与质量评价。

2.2.3 特征提取 实验采用Matlab2019b软件对所采集的苦豆子颗粒数字图像进行读取，得到2000×1500×3个unit8型数据组成的数据组。后将数组按R、G、B三个通道分别进行提取，得到由2000×1500个unit8型数据组成的3个二维数据组。

图7 RGB三通道数据二维线图Fig 7 RGB 3-channel data 2 d line graph

图7显示特征降维前RGB三通道数组数据量巨大、维度高、无明显规律性，进行评价分析工作难度巨大。

图8 标准苦豆子颗粒RGB三通道特征向量二维线图Fig 8 Standard Sophora alopecuroides granules RGB 3-channel eigenvector 2 d line graph

通过图8可以看出，通过特征降维后得到的RGB三通道特征向量数据量大幅减少，图谱具有明显的规律性，降低了计算的复杂度，可以用于图像相似度计算。

2.2.5 外观特征对照指纹图谱建立 对6批标准苦豆子颗粒数字图像(SG1～SG6)如图2所示，进行特征提取及特征降维后得到的R、G、B三通道的3个特征向量进行加权平均得到苦豆子颗粒数字图像R、G、B三通道的对照特征指纹向量。

图9 苦豆子颗粒对照特征指纹向量二维线图Fig 9 Sophora alopecuroides granules particle control characteristic fingerprint vector 2 d line graph

2.3 外观质量评价

2.3.1 外观质量评价方法 采用参比颗粒数字图像特征指纹向量与对照特征指纹向量进行相似度计算的方法，对参比颗粒的外观进行评价，相似度越高说明参比颗粒与标准颗粒在外观方面越一致，越符合质量标准要求。

2.3.2 相似度计算方法选择 常用相似度计算方法有欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离、巴氏距离、夹角余弦、杰卡德距离等。本文选择数字图像相似度计算中常用的巴氏距离法和夹角余弦法[15,16]对6批苦豆子标准颗粒(SG1～SG6)、6批与苦豆子标准颗粒差异较大的苦豆子参比颗粒(RG1～RG6)如图3所示，分别与苦豆子颗粒对照特征指纹向量进行相似度计算，对不同相似度计算方法所得结果的准确性进行评价，选择准确性评价较高的方法作为本文所采用的相似度计算方法。其中将标准颗粒定义为相似颗粒，与苦豆子标准颗粒差异较大的苦豆子参比颗粒定义为不相似颗粒。

相似颗粒相似度评价结果准确性(Se)= 平均相似度值

不相似颗粒相似度评价结果准确性(DSe)= 1-平均相似度值

Se值越大说明该方法在计算相似颗粒的外观相似性时准确性越高；DSe值越大说明该方法在计算不相似颗粒的外观相似性时准确性越高。

颗粒剂相似度计算结果综合准确性(Gsea)=Se + Dse

Gsea值越高说明该相似度计算方法用于颗粒剂外观相似度评价时越准确。

3 结果与分析

3.1 相似度计算方法 将苦豆子标准颗粒SG1～SG6作为相似颗粒，苦豆子参比颗粒RG1～RG6作为不相似颗粒，分别采用巴氏距离法及夹角余弦法与苦豆子颗粒对照特征指纹向量进行相似度计算，计算结果见表1。

表1 相似与不相似苦豆子颗粒不同相似度评价方法计算结果Tab 1 Calculation results of different similarity evaluation methods for similar and dissimilar Sophora alopecuroides granules

Gsea巴氏距离法 = Se巴氏距离法 + Dse巴氏距离法 = 1.3708

Gsea夹角余弦法 = Se夹角余弦法 + Dse夹角余弦法 = 1.2745

Gsea巴氏距离法>Gsea夹角余弦法

根据以上计算结果可知巴氏距离法用于颗粒剂外观评价时的综合准确性高于夹角余弦法，因此本研究选择巴氏距离法作为颗粒外观评价所使用的相似度计算方法。

3.2 外观评价结果 将所制得的4类32批参比苦豆子颗粒分别与苦豆子颗粒对照特征指纹向量进行相似度计算，通过相似度计算对参比颗粒进行外观质量评价。

3.2.1 外观质量合格苦豆子颗粒相似度值 将所制得的质量合格的6批苦豆子参比标准颗粒(RSG1～RSG6)分别与苦豆子颗粒对照特征指纹向量进行相似度计算，相似度计算结果见表2，6批参比标准颗粒相似度平均值0.9362，相对标准偏差1.26%，说明该方法在评价质量合格的苦豆子颗粒时有较高的相似度计算结果及评价准确性。

表2 6批苦豆子参比标准颗粒外观相似度值Tab 2 Appearance similarity values of reference granules of 6 batches of Sophora alopecuroides granules

3.2.2 主药含量不合格苦豆子颗粒外观质量评价 将所制得的4级8批苦豆子总碱提取物含量不同的苦豆子参比颗粒(RG7-1～RG10-2)如图4所示，作为参比颗粒分别与苦豆子颗粒对照特征指纹向量进行相似度计算，相似度计算结果见表3，4级不同苦豆子总碱含量的苦豆子外观相似度均显著低于6批主药苦豆子总碱提取物含量20%的参比标准颗粒外观相似度平均值0.9362，说明该方法可以对主药含量不合格的苦豆子颗粒通过外观质量评价与标准颗粒进行区分。另通过图10可以直观看出相似度越高的参比颗粒的特征指纹向量二维线图与对照特征指纹向量二维线图越一致。

表3 不同主药含量苦豆子颗粒外观质量评价结果Tab 3 Evaluation results of appearance quality of Sophora alopecuroides granules with different main drug content

图10 不同参比苦豆子颗粒特征指纹向量与对照特征指纹向量二维线图Fig 10 2 d line graph of different reference Sophora alopecuroides granules characteristic fingerprint vector and control characteristic fingerprint vector

3.2.3 不同粒度苦豆子颗粒外观质量评价 将3批不能通过一号筛的大颗粒量为15%的苦豆子颗粒(RG11-1～RG11-3)、3批不能通过一号筛的大颗粒量及能通过五号筛的细粉量各7.5%的苦豆子颗粒(RG12-1～RG12-3)、3批能通过五号筛的细粉量为15%的苦豆子颗粒(RG13-1～RG13-3)，如图5所示，作为参比颗粒分别与苦豆子颗粒对照特征指纹向量进行相似度计算，相似度计算结果见表4。根据计算结果可知，上述3类不能通过一号筛与能通过五号筛的总和为15%的处于粒度临界值的颗粒相似度计算结果均显著低于6批参比标准颗粒相似度平均值0.9362，说明该方法可以将处于粒度临界值的不同粒度组成的参比颗粒与标准颗粒通过外观质量评价进行区分。

3.2.4 不同水分苦豆子颗粒外观质量评价 将3批水分5.0%的苦豆子颗粒(RG14-1～RG14-3)、3批水分8.0%的苦豆子颗粒(RG15-1～RG15-3)、3批水分11.0%的苦豆子颗粒(RG16-1～RG16-3)，如图6所示，作为参比颗粒分别与苦豆子颗粒对照特征指纹向量进行相似度计算，相似度计算结果见表5。根据计算结果可知，上述3类不同水分含量的苦豆子颗粒的相似度计算结果均显著低于6批参比标准颗粒相似度平均值0.9362，且水分在5.0%～11.0%范围内，水分越高，相似度值越低，说明该方法可以将不同水分的参比颗粒与标准颗粒通过外观质量评价进行区分。

表4 不同粒度苦豆子颗粒外观相似度结果Tab 4 Results of appearance similarity of Sophora alopecuroides with different granules size

表5 不同水分苦豆子颗粒外观相似度结果Tab 5 Results of appearance similarity of Sophora alopecuroides granules with different water content

3.2.5 苦豆子颗粒外观质量评价相似度合格值 中国药典(2015年版)对中药颗粒剂粒度要求不能通过一号筛与能通过五号筛的总和不得超过15%，水分不得超过8.0%[12]。研究中水分8.0%的苦豆子颗粒外观相似度值平均值为0.8889，高于3类处于粒度临界值的苦豆子颗粒相似度平均值0.7840、0.7472、0.7208，且因在一定范围内水分值越高，苦豆子颗粒外观相似度值越低。因此在以中国药典为要求的基础上，结合考虑数字图像采集误差建议将水分8.0%的苦豆子颗粒相似度平均值的-2%，0.8700作为苦豆子颗粒外观质量快速评价的相似度合格值，即苦豆子颗粒剂外观相似度值若高于0.8700，说明该颗粒剂的粒度、水分均符合中国药典的相关要求。

4 讨论与结论

研究中所制备的不同主药含量、不同粒度、不同水分的苦豆子颗粒，通过人眼观察可直观发现，其与合格的标准苦豆子颗粒在外观上存在较大差异，且本研究结果中不同类别苦豆子颗粒的外观质量评价的相似度计算结果也均有显著差异，表明外观质量评价可以反应苦豆子颗粒剂的内在质量情况。因此本研究建立了一种设备简单、操作简便、快速的苦豆子颗粒的外观质量评价方法，解决了人工外观质量评价结果差异较大、准确性较低等问题，但鉴于该方法属于一种定性评价方法，在后续研究中考虑可以采用机器视觉结合机器学习的方法，建立苦豆子颗粒外观质量指标与内在质量指标相关性模型，以期实现通过外观质量评价对苦豆子颗粒内在质量情况进行精准定量评价。

另外后续亦可将该方法结合质量源于设计(quality by design，QbD)[17]及智能制药[18]理念，通过对数据采集方法和数据处理软件的改进，实现颗粒生产过程中以外观变化为主要监测点的在线实时工艺监控，通过建立过程工艺参数标准，及时发现生产过程中的问题并实时纠正，满足QbD中建立工艺控制策略，控制过程和产品质量变异以及对工艺过程进行持续监控和质量改进的相关要求[19]，以数据为驱动，用更高的标准以及更智能的方法，提升中药颗粒剂整体生产质量控制水平。