基于三通道分离特征融合与支持向量机的混凝土图像分类研究

张 成，侯宇超，焦宇倩，白艳萍，李建军

基于三通道分离特征融合与支持向量机的混凝土图像分类研究

张 成1，侯宇超2，焦宇倩1，白艳萍1，李建军1

(1. 中北大学理学院，山西 太原 030051； 2. 中北大学信息与通信工程学院，山西 太原 030051)

混凝土的不同配合比可决定材料的性能，对于多种配比和粒径大小混凝土图像的分类研究，有利于工业废弃混凝土的高效回收利用。为了提升分类效果，提出了一种新的特征提取模块(ITFA-DLF)，该模块在图像分离重构出的R，G和B 3个通道上，使用卷积神经网络(CNN)提取3通道图像的颜色特征，通过多块局部二值模式(MB-LBP)提取3通道图像的纹理特征，将2种特征进行融合并输入到网格搜索算法(GS)优化的支持向量机(SVM)中进行分类。采用混凝土图像进行实验，对比多种分类方法得出所提模型的效果最佳，9类图像识别率达到了92%以上，在保证分类精度的同时缩短了分类时间，提高了混凝土图像的分类效率，验证了所提方法的有效性。

混凝土图像；卷积神经网络；多块局部二值模式；特征融合；支持向量机

混凝土是现代土木建筑工程中不可缺少的重要材料，而配合比设计是混凝土材料研究的基础，决定混凝土的强度、刚度、耐久性等基本性能，合理选择混凝土原材料的配合比，是保证混凝土质量的关键。混凝土配合比研究[1]是混凝土设计、生产和应用中最重要的环节之一，是综合考虑建筑物结构特点、原材料性能、施工工艺及设备、施工环境、质量管理等因素，结合混凝土的拌和物性能、力学性能和耐久性能要求，确定混凝土中各原材料的比例用量。混凝土配合比设计必须同时满足设计规范要求、混凝土工程性能要求、混凝土施工性能要求和经济合理要求，必须合理选择并优化组合混凝土原材料，通过技术组合实现降低混凝土单价成本、节约资源和保护环境的目的。混凝土不同配合比的设计决定了混凝土技术先进性、成本可控性和发展可持续性等水平，由此可见识别混凝土配比的重要现实意义。工业建筑产生的大量混凝土废弃原料，通过对其配合比进行精准分类，结合不同配比的材料性能，有利于再次制造出满足工业要求的混凝土材料。

现有大多为工业上根据用途对混凝土配比的研究，使用图像识别方法对混凝土配比的研究还很少。鲁迪[2]建立了一种基于多入多出(multiple input and multiple output，MIMO)的无模型自适应控制(model-free adaptive control，MFAC)的彩色背景图像提取方法，可直接在RGB 3个通道上对彩色图像进行处理，避免了其进行灰度化处理丢失关键色彩信息的问题；霍福翠[3]采用陶粒作为轻骨料的混凝土砌块为研究材料，选取水灰比、砂率及密度等级作为配合比设计参数，以抗压强度为目标，设计3因素4水平的正交试验方案，研究新型复合保温混凝土砌块的合理配比；冯城铁[4]阐述了6种常用的混凝土配合比设计方式，表明提升混凝土的耐久性能需要进行合理的混凝土配合比设计，以提升混凝土的使用年限和寿命；程岚[5]通过实验分别从混凝土试件的外观变化、质量变化、抗压强度的耐蚀系数3个方面得出钢渣砂、钢渣粉、秸秆灰、对混凝土抗硫酸盐侵蚀能力的影响程度来确定最佳混凝土材料的配合比；ZHOU和SONG[6]提出了一种基于深度卷积神经网络的新型巷道分类方法工具，并使用异构图像融合揭示道路混凝土裂纹发展的趋势；张丽秀等[7]利用局部二值模式(local binary pattern，LBP)特征提取方法和支持向量机(support vector machine，SVM)分类器的组合模式对混凝土在电镜下的图像进行特征提取和类别判定；郑杭州[8]以建筑施工过程中的高性能混凝土为研究对象，列举了混凝土在配比设计时存在的问题，并结合实际情况围绕着混凝土所适用的配比设计方法展开实验，最终得出合理原材料配比。

混凝土图像在采集过程中由于受到光照不足、相机曝光差异等因素的影响，导致图像出现亮度过低、偏暗、图像明暗夹杂阴影部分等不均匀现象，且待识别图像间的配比非常接近，加之人为配比不均匀，增大了混凝土图像配合比识别的难度。混凝土颗粒主要包含砼和砖2种成分，且2种配料的颜色不同，所以不同配比的混凝土图像中颜色占比会有一定的差异，不同粒径大小混凝土图像中的纹理特征也不尽相同，这些差异均可作为图像识别混凝土配比的依据。本文提出了一种新的特征提取模块-图像纹理与深度学习特征融合(image texture feature aided deep learning feature，ITFA-DLF)，在RGB 3个通道上对彩色图像进行处理，相比于灰度背景所检测出的目标更加清晰，3个通道上得到的融合特征既充分提取了彩色图像的颜色特征，又考虑了光照对分类结果的影响，该模块提取的特征使用SVM进行分类，使用网格搜索算法优化分类结果。

1 预处理

1.1 定位法裁剪

定位法裁剪即利用阈值分割法将所有图像样本目标进行定位，然后提取目标图片。具体操作为：首先对分割处理后的图像进行连通区域的边界分析，得到连通区域内所有的边界坐标和质心坐标，绘制出各连通区域，由于4个边界的中心点理论上是质心，以及利用混凝土目标区域的像素个数大于空白区域的特点，挑选出混凝土目标区域，最后在图像中标记4个顶点坐标，即图1中点，，和，然后对待识别目标进行裁剪，其大小统一调整为2000×2000。

图1 定位法裁剪

1.2 直方图均衡化

直方图均衡化[9]对于光照效果有较强的鲁棒性(图2)，通过直方图均衡化处理可以增强图像的对比度，突出图像细节信息，有利于卷积神经网络(convolutional neural network，CNN)提取出3个通道精确的颜色特征。变换函数(r)与原图像概率密度函数p(r)之间的关系为

图2 直方图均衡化处理((a)原始图像；(b)图像的直方图均衡化；(c)原始图像直方图；(d)直方图均衡化图像直方图)

2 数据集介绍

混凝土图像数据集(CIRD)来自中北大学土木工程专业，于2020年3月采集获取。其中粒径大小有3种，在0.075～0.300 mm范围内记为0075；在0.300～0.600 mm范围内记为0003；在0.600～ 1.180 mm范围内记为0006。3种配比为3∶7，5∶5和7∶3，分别在3种粒径大小下对9类混凝土图像进行分类。相关数据见表1。

表1 文件目录

图3为部分待分类图像(以55-0003为例)。

图3 55-0003混凝土图片示例

3 多特征提取

混凝土图像在采集过程中受到不同光照效果及人为配比不均等因素的影响，本文分离重构出混凝土图像的R，G和B3个通道的图像[10]，使用CNN提取3个通道的颜色特征；使用多块局部二值模式(multi-block LBP，MB-LBP)提取3个通道的纹理特征，其对光照具有较强的鲁棒性。

3.1 卷积神经网络

CNN[11]是在人工神经网络的基础上加入了卷积层和池化层构成的特征提取器，卷积层是卷积神经网络的核心组成部分，由一系列卷积核组成，即

池化层主要作用是缩减特征矩阵的维度，本文采用最大池化对卷积后的特征图进行下采样。经过多个卷积层和池化层的交替传递，然后依靠softmax分类器进行分类，得到基于类别的概率分布。

本文构建的CNN包括一个输入层、2个卷积层、2个池化层、1个全连接层和1个输出层(GS-SVM分类器)，卷积层卷积核的大小均为9×9，池化层的核大小均为2×2，本文所用CNN模型如图4所示。

3.2 多块局部二值模式

LBP[12]是一种用来提取图像局部纹理特征的算子，描述其在纹理分类中的强区分能力，即

其中，(x,y)为中心像素坐标；i为邻域像素的灰度值；i为中心像素点的灰度值；()为符号函数。

图4 CNN-GS-SVM结构图

MB-LBP可将图像分成若干个小块，每个小块再分为若干个小区域，小区域内的灰度平均值作为当前小块的灰度值，与周围小块灰度值进行比较形成LBP特征。本文将图像分成3×3的小块，每个小块再分成3×3的小区域，如图5所示。

图5 MB-LBP原理图

3.3 GS-SVM模型实现

SVM最早由VAPNIK[13]提出，是一种有监督的统计学习方法。

设已知训练集为

为处理非线性数据，选用RBF核函数对SVM进行推广，利用此函数将样本映射到高维空间，以提高线性分类的准确率。RBF核函数式为

其中，g为核函数半径，即

构造决策函数为

用SVM做分类预测时需要调整相关参数(惩罚参数和核函数参数)来获得理想的分类精度，本文采用网格搜索算法获取最优模型参数。网格搜索算法[14]是指定参数值的一种穷举搜索算法，通过将估计函数的参数通过交叉验证的方法进行优化得到最优的学习算法，即将各个参数可能的取值进行排列组合，列出所有可能的组合生成的“网格”来获取模型的最优超参数。然后将各组合用于SVM训练，并使用交叉验证的方式对表现进行评估，找出最高评分所对应的参数组合后再返回到模型中进行训练。

3.4 本文方法步骤

根据以上算法，本文提出了基于3通道分离特征融合与SVM的图像分类方法，具体步骤如下：

步骤1.使用定位法裁剪提取出待识别目标图像，去掉无关信息；

步骤2.对提取出的混凝土目标图像进行裁剪，大小为128×128；

步骤3.对裁剪后的图像进行直方图均衡化处理，增强对比度；

步骤4.对均衡化处理后的图像从RGB空间转换到HSV空间，再转换到RGB空间分别重构出每张图片的R，G和B通道；

步骤5.使用CNN提取3个通道图像的颜色特征；

步骤6.使用MB-LBP提取3个通道图像的手工纹理特征；

步骤7.将CNN提取的3通道颜色特征和MB-LBP提取的3通道手工纹理特征进行融合[15](即ITFA-DFL模块提取出的图像特征)，将融合后的3通道特征数据使用SVM分类器进行分类，并使用网格搜索算法对分类结果进行优化。

本文算法流程如图6所示。

图6 本文算法流程图

4 实验结果与分析

4.1 实验准备

采用定位法去掉无关区域后，得到360张2000×2000的混凝土图像，由于样本数量较少，本文将图像裁剪成128×128大小，共得到6 750张。由于人工配比的混凝土分布不均匀，裁剪过小会导致图像的真实配比出现差异，直接降低分类精度，经实验验证当裁剪大小为128×128时可以基本满足真实配比，有利于混凝土特征的准确提取。

ITFA-DFL模块提取的3通道特征均作为一个样本，则分离重构后共得到20 250个样本。实验选取样本中的17 550张图像作为训练数据，2 700张图像作为测试数据。图7是9类混凝土样本图像。

图7 9类混凝土样本图像

4.2 实 验

4.2.1 实验1

本文首先测试混凝土图像分离重构3个通道与单通道灰度图对分类结果的影响。在分离重构3个通道时，本文使用MATLAB中cat函数分别将分离出的某1个通道与另2个通道进行连接形成一个三维空间，从而得到了一个彩色单颜色图片，此处另2个颜色通道均用零表示。在使用CNN提取单颜色图片的特征时，为了提高处理速度，只取了非零部分的数据，使样本维数相当于单通道的维数，而且提取的颜色特征信息相比于单通道灰度图更加准确。

由于CNN在提取特征时的大量参数使得处理时间较长，因而本实验通过选取3类数据(统一粒径大小对配比进行分类)来验证上述2种分离方法对分类结果的影响。

由表2可以看出，3种粒径大小的混凝土图像分离重构RGB后，由ITFA-DFL模块提取特征的分类效果均优于单通道，该方法可以充分提取图像的色彩信息，并避免了将彩色图像灰度化处理丢失关键色彩信息，提升了分类精度。

表2 3通道与单通道分类结果准确率对比(%)

4.2.2 实验2

在分离重构RGB方法的基础上，分别做了4类实验，首先在同一粒径大小下，对3种不同配比的混凝土图像进行分类，然后在前3组实验的基础上，再分别对3种粒径大小进行分类，最终得到9类图像的分类结果。4类实验分别测试了softmax，BP，SVM和GS-SVM分类器对数据集分类效果的影响，实验结果见表3。

表3 不同分类器分类结果准确率对比(%)

由表3可知，softmax分类器对于训练集的分类效果远优于对测试集的分类效果，是因模型出现了过拟合导致的。对比表3中第三列与最后一列数据可知，网格搜索算法结合支持向量机(CNN-GS- SVM)能有效解决过拟合对分类结果的影响，相比于容易过度拟合训练样本的人工神经网络，SVM对于未知样本具有更好地推广能力，其分类最终转化为二次型寻优问题，得到的是全局最优，解决了在神经网络中无法避免的局部极值问题。表3显示CNN-GS-SVM在4种实验数据中均得到了最高分类准确率，相比于CNN-SVM更全面地考虑了最优参数对对分类精度的提升；CNN-GS-SVM对于本文待分类的9种混凝土图像，分类精度均高于经典的BP神经网络，取得了92.63%的识别准确率。

4.2.3 实验3

网格搜索算法优化的SVM使用交叉验证的方式寻求最优参数组合时花费的时间较长，降低了分类效率。本文通过主成分分析法(principle component analysis，PCA)降低特征维数来进行实验，测试维数对分类精度的影响，主成分贡献率越低时，图像的分类速度越快。实验结果见表4。

表4 不同主成分贡献率的分类结果准确率对比(%)

由表4可知，主成分贡献率对于分类精度的影响形似高斯曲线，主成分贡献率为25%时，分类速度最快，但分类精度过低；主成分贡献率为75%时，其分类精度与分类速度均低于主成分贡献率为50%时的效果；当主成分贡献率为50%时，4类实验的分类精度均为最高，相比于原始数据，由于特征维数的降低使得分类速度得到了极大地提升。

5 结 论

(1) 实验结果表明分离重构RGB 3通道相比于单通道灰度图能够更好地保留混凝土图像的颜色和纹理信息，分离重构出的3通道单颜色彩色图像通过减少特征维数提高了特征提取的效率。

(2) ITFA-DFL模块能充分提取混凝土图像的特征，增强了特征提取的鲁棒性。GS-SVM分类器能有效解决CNN提取特征时出现过拟合对分类结果的影响，相比于经典的BP神经网络与SVM分类器，GS-SVM对9类混凝土图像的分类效果更佳，取得了92.63%的分类准确率。

(3) 网格搜索算法的参数寻优过程需要花费较长时间，降低了分类效率，通过采用PCA降维加快处理速度，结果表明主成分贡献率为50%时，大大缩短分类时间的同时也取得了最高的分类精度。

本文在3通道分离重构的基础上，利用ITFA-DFL模块提取特征对9类混凝土图像进行分类，使用机器学习方法为混凝土的配比识别问题提供了新的思路，进而促进了工业废弃混凝土材料的高效回收利用。

[1] 庄诗雨, 欧阳东. 中美普通混凝土配比设计方法的系统比较和研究[J]. 硅酸盐通报, 2016, 35(11): 3499-3510.

ZHUANG S Y, OUYANG D. Research and comparison on mix proportion design methods of ordinary concrete in China and USA[J]. Bulletin of the Chinese Ceramic Society, 2016, 35(11): 3499-3510 (in Chinese).

[2] 鲁迪. 无模型自适应控制方法在图像识别中的应用[D]. 北京: 北京交通大学, 2019.

LU D. Application of model-free adaptive control method in image recognition[D]. Beijing: Beijing Jiaotong University, 2019 (in Chinese).

[3] 霍福翠. 新型复合保温混凝土砌块配比设计研究[J]. 山西建筑, 2020, 46(14): 111-113.

HUO F C. The study of proportioning design of new composite insulation concrete block[J]. Shanxi Architecture, 2020, 46(14): 111-113 (in Chinese).

[4] 冯城铁. 耐久性混凝土配合比设计[J]. 四川水泥, 2019(6): 75.

FENG C T. Durable concrete mix design[J]. Sichuan Cement, 2019(6): 75 (in Chinese).

[5] 程岚. 双掺秸秆灰钢渣绿色混凝土配合比设计及性能研究[D]. 张家口: 河北建筑工程学院, 2019.

CHENG L. Design and performance study of green concrete with double straw ASH and steel slag[D]. Zhangjiakou: Hebei University of Architecture, 2019 (in Chinese).

[6] ZHOU S L, SONG W. Deep learning–based roadway crack classification with heterogeneous image data fusion[J]. Structural Health Monitoring, 2021, 20(3): 1274-1293.

[7] 张丽秀, 田甜, 王俊海. 基于SVM混凝土电镜图像类型识别[J]. 沈阳建筑大学学报: 自然科学版, 2020, 36(1): 148-154.

ZHANG L X, TIAN T, WANG J H. Image recognition based on SVM concrete electron microscope image[J]. Journal of Shenyang Jianzhu University: Natural Science, 2020, 36(1): 148-154 (in Chinese).

[8] 郑杭州. 高性能混凝土配合比设计及其存在的问题研究[J]. 四川水泥, 2019(3): 82.

ZHENG H Z. Study on mixture design and existing problems of high performance concrete[J]. Sichuan Cement, 2019(3): 82 (in Chinese).

[9] HUANG Z H, WANG Z C, ZHANG J, et al. Image enhancement with the preservation of brightness and structures by employing contrast limited dynamic quadri-histogram equalization[J]. Optik, 2021, 226: 165877.

[10] 沈盼盼, 樊丰, 伍瑞卿. 基于RGB三通道分离的运动目标检测方法[J]. 电视技术, 2012, 36(3): 137-140.

SHEN P P, FAN F, WU R Q. Moving object detection based on separating three-channel and background subtraction[J]. Video Engineering, 2012, 36(3): 137-140 (in Chinese).

[11] LEE G, LEE S J, LEE C. A convolutional neural network model for abnormality diagnosis in a nuclear power plant[J]. Applied Soft Computing, 2020, 99: 106874.

[12] 陈小芳, 于凤芹, 陈莹. 改进MB-LBP特征与LBP算法在带钢表面缺陷识别上的应用[J]. 传感器与微系统, 2020, 39(4): 156-160.

CHEN X F, YU F Q, CHEN Y. Application of improved MB-LBP features and LBP algorithm in strip surface defect identification[J]. Transducer and Microsystem Technologies, 2020, 39(4): 156-160 (in Chinese).

[13] VAPNIK V N. The nature of statistical learning theory[M]. New York: Springer, 1995: 133-137.

[14] 徐瑶, 李栓, 韩英华. 基于CNN-GS-SVM的用户异常用电行为检测[EB/OL]. [2021-02-21]. https://doi.org/10.14107/j. cnki.kzgc.20190655.

XU Y, LI S, HAN Y H. Abnormal Behavior Detection of Electric User Based on CNN-GS-SVM Classifier[EB/OL]. [2021-02-21]. https://doi.org/10.14107/j.cnki.kzgc.20190655 (in Chinese).

[15] SILWAL R, ALSADOON A, PRASAD P W C, et al. A novel deep learning system for facial feature extraction by fusing CNN and MB-LBP and using enhanced loss function[J]. Multimedia Tools and Applications, 2020, 79(1): 1-21.

Research on concrete image classification based on three-channel separation feature fusion and support vector machine

ZHANG Cheng1, HOU Yu-chao2, JIAO Yu-qian1, BAI Yan-ping1, LI Jian-jun1

(1. School of Science, North University of China, Taiyuan Shanxi 030051, China; 2. School of Information and Communication Engineering, North University of China, Taiyuan Shanxi 030051, China)

The different mix ratios of concrete determine the performance of the material. The research on the classification of concrete images with various mix ratios and particle sizes is conducive to the efficient recycling of industrial waste concrete. In order to improve the classification effect, a new feature extraction module—image texture feature aided deep learning feature (ITFA-DLF) was proposed. This module employed convolution on the R, G, and B channels reconstructed from image separation and reconstruction. Convolutional neural network (CNN) extracted the color features of the three-channel image, utilized the multi-block local binary pattern (MB-LBP) to extract the texture features of the three-channel image, and merged the two features and input them into the support vector machine (SVM) optimized by the grid search (GS) algorithm for classification. Experiments with concrete images were adopted to compare various classification methods. It is concluded that the model proposed can produce the best effect. The recognition rate of nine types of images has reached more than 92%, and the classification time was shortened while ensuring the classification accuracy, and the classification efficiency of the concrete image was improved, which verified the effectiveness of the proposed method.

concrete image; convolutional neural network; multi-block local binary pattern;feature fusion; support vector machine

TP 183

10.11996/JG.j.2095-302X.2021060917

A

2095-302X(2021)06-0917-07

2021-03-10；

2021-05-10

国家自然科学基金项目(61774137)；山西省自然科学基金项目(201801D121026)

张 成(1996-)，男，山西太原人，硕士研究生。主要研究方向为机器学习、数字图像处理与模式识别。E-mail：1328245652@qq.com

白艳萍(1962-)，女，山西太原人，教授，博士。主要研究方向为现代优化理论与方法、神经网络算法及应用研究等。E-mail：baiyp666@163.com

10 March，2021；

10May，2021

National Natural Science Foundation of China (61774137); Shanxi Provincial Natural Science Foundation of China (201801D121026)

ZHANG Cheng (1996-), male, master student. His main research interests cover machine learning，digital image processing and pattern recognition. E-mail：1328245652@qq.com

BAI Yan-ping (1962-), female, professor, Ph.D. Her main research interests cover modern optimization theory and method, neural network algorithm and application research, etc. E-mail：baiyp666@163.com