基于圆形感兴趣区域的图像检索算法

张烨 王树奇 武风波

摘  要： 传统的基于内容的图像检索系统在检索时往往通过获取整幅图像的全局特征进行计算，必然含有一些冗余信息，从而给检索带来过多的计算量和不准确性。因此将检索的区域范围从全局缩小到局部，提出一种改进的图像感兴趣区域提取算法。首先使用Harris算法提取出图像的显著点，通过对显著点进行条件筛选截取出一个圆形感兴趣区域，然后对该区域提取多种特征并进行归一化处理，最后用距离函数实现图像间的相似度比较。实验结果表明，所提算法能够对图像的感兴趣区域进行有效提取，提高了运行效率，同时获得了较好的检索效果。

关键词： 图像检索; 显著点提取; 感兴趣区域; 特征提取; 检索效果; 对比验证

中图分类号： TN911.73?34; TP391.41               文献标识码： A                  文章编号： 1004?373X（2019）20?0072?04

Image retrieval algorithm based on circular region of interest

ZHANG Ye， WANG Shuqi， WU Fengbo

（College of Communication and Information Engineering， Xian University of Science and Technology， Xian 710054， China）

Abstract： The traditional content?based image retrieval system often calculates by acquiring the global features of the whole image， which inevitably contains some redundant information， thus bringing too much computation and inaccuracy to the retrieval. Therefore， the scope of retrieval region is reduced from global to local， and an improved image region of interest （ROI） extraction algorithm is proposed. The Harris algorithm is used to extract significant points of image， the circular region of interest is intercepted by conditional screening of significant points， and then， a variety of features of ROI are extracted and normalized， and the similarity between images is compared by means of distance function. The experimental results show that the proposed method can effectively extract the features from ROI， improve the operation efficiency， and achieve better retrieval effect.

Keywords： image retrieval; significant point extraction; region of interest; feature extraction; retrieval effect; comparison validation

隨着移动互联网技术的飞速发展网络上出现了数量庞大的图像库，如何对大规模图像库进行有效利用已成为一项急需攻克的难题，因此能够实现快速查询的图像检索[1?2]（Content?Based Image Retrieval，CBIR）技术应运而生。图像感兴趣区域[3]（Region of Interest，ROI）是指一幅图像中最引人注视的部分，若只对ROI区域进行特征提取，可以减弱背景信息的干扰，提高检索结果的准确性。目前众多研究都认为图像携带的关键信息主要集中在显著点附近，显著点提取较为常用的方法有Harris方法[4]和基于曲率尺度空间方法[5]。以此为基础，文献[6?7]通过提取出的显著点构造一个外接多边形作为图像的感兴趣区域;文献[8]采用的方法是通过一个滑动矩形窗口来搜索出一个含有显著点最多的区域作为图像的感兴趣区域。对于背景简单的图像而言，通过构造外接多边形得到的感兴趣区域能够很好地表达图像信息，但对于背景较为复杂的图像，就会包含过多的背景干扰信息;而利用矩形滑动窗口需要对图像整个区域进行搜索，无疑会增加检索时间。因此这两种方法对图像检索的准确率和效率并不理想。

Harris算法原理是检测滑动窗口在图像上移动时的灰度变化情况。位于平滑区域时，窗口的任意移动都不会对灰度产生改变;在边缘部分时，沿着边缘方向移动也不会发生灰度改变;但处于显著点位置时，任何方向的移动都会导致灰度出现明显的改变。本文提出了一种基于显著点位置的ROI区域提取方法，通过Harris算法提取出图像的显著点，然后根据显著点的几何位置得到一个圆形区域;考虑到图像单一特征的局限性，文中将颜色、纹理以及形状三种特征融合在一起对图像进行特征信息描述。实验结果表明，本文方法提高了图像检索的精度，且获得了较好的图像检索效果。

1  感兴趣区域（ROI）特征提取

1.1  图像感兴趣区域提取

1） 根据Harris算法求取出图像显著点，并求出显著点的重心坐标（x，y）;

2） 实验表明，选取距重心距离较近的85%的显著点，可以保证兴趣区域的划分适应性，去除噪声点，所以计算出保留85%显著点中距离重心最远距离dmax;

3） 若dmax小于原图像中长和宽中较小值的[12]，则令dmax为长和宽中较小值的[12];

4） 以重心（x，y）为圆心，dmax为半径，在原图上截取出一个圆形区域;

5） 若圆形区域面积小于原图像面积的[23]，则该圆形区域即为图像的感兴趣区域;反之感兴趣区域就是原图像。

图像感兴趣区域提取图如图1所示。通过对图1a）进行Harris显著点提取得到图1b），再根据上述条件得到圆形感兴趣区域图1c）。

 图1  图像感兴趣区域提取图

1.2  感兴趣区域颜色特征提取

颜色是图像呈现出的最简单直观的信息。为了使图像更适合人眼的视觉特性，文中将图像从RGB转为HSV[9?10]颜色空间，并量化为72种颜色，其中H，S，V分别代表图像的色度、饱和度以及亮度，具体量化如下：

1.3  感兴趣区域纹理特征提取

纹理是一种出现在视觉中的同质现象，而灰度共生矩阵[11]就是利用灰度在空间里的相关特性来描述图像纹理的一种方式，如下：

式中：[G（i，j）]代表灰度共生矩阵中[（i，j）]所对应的值;ASM 表示能量;CON表示对比度;ENT表示熵;COR表示相关性。能量体现图像纹理粗糙度以及灰度的分布;对比度反映图像中某个像素值的亮度比较情况，表示图像纹理深浅和清晰水平;熵表示图像所包含的信息量，当矩阵中的值都相等并且其中所有元素都具有最大随机性时，或者是元素分布较为分散时，熵值较大;自相关则反映图像纹理的一致性。

1.4  感兴趣区域形状特征提取

形状是人们对目标的一个初步了解，Hu在1962年首次提出了不变矩理论[12]用来作为图像的形状描述。文中采用二阶矩和三阶归一化中心距所构造的7个不变矩作为图像的形状特征，它们在图像连续条件下能够保持平移、缩放以及旋转不变性。

1.5  感兴趣区域特征向量归一化

考虑到提取的三种特征，其取值范围具有一定的差异性，为了使其对相似度影响具有等价性，文中采用高斯归一化方法[13] 对感兴趣区域提取的72维颜色特征、4维纹理特征向量以及7维形状特征向量都归一化至[-1，1]区间，公式为：

1.6  特征向量加权融合

由于图像对三种特征的敏感程度不同，因此本文在相似度计算时对其分别赋予了不同的权重，并且采用明可夫斯基距离函数来进行特征相似度比较，具体如下：

式中：两幅图像用x和y表示;Fx和Fy表示归一化后的颜色特征向量;Tx和Ty分别表示归一化后的纹理特征向量;Gx和Gy表示归一化后的形状特征向量;w1，w2和w3分别代表颜色、纹理和形状在融合特征时所占的权重经过大量实验发现w1，w2和w3分别赋值0.3，0.3，0.4时检索效果最好。

2  实验结果分析

测试图像选自UKbench 图像库的1 000幅图像（10类图像每类100幅），选择其中的5类图像（含有花朵、汽车、恐龙、向日葵和马），每类随机抽取10幅，共50幅作为测试图像进行检索实验。实验对向日葵、汽车、马、花朵以及恐龙分别做了检索实验，并将本文算法和文献[14?15]分别做比较，以下是部分比较结果，每次检索返回7幅相似图像，从左到右相似度依次降低。

1） 向日葵检索结果如图2所示。

图2  向日葵图像检索结果

2） 汽车检索结果如图3所示。

图3  汽车图像检索结果

3） 马匹检索结果如图4所示。

为进一步验证本文算法的综合性能，定量对比各类算法处理效果。对文献[14?15]算法以及本文改进算法在检索时间（Time）、查准率（Precision）和查全率（Recall）三個方面进行了比较。

式中：A为返回结果中与查询图像相似的图像个数;B为返回的图像总数;C为图像库中与查询图像相似的图像总数。

图4  马匹图像查询结果

对50幅查询图像分别做检索，统计每一类图像检索结果，返回10幅、20幅、30幅、40幅时的平均查准率P10，P20，P30，P40平均查全率R10，R20，R30，R40，以及返回50幅时的综合效果。具体结果如表1～表3所示。

表1  文献[14?15]算法和本文算法查准率比较

為了进一步验证本文算法的综合性能，统计出了当检索查全率为10%，20%，…，100%时，文献[14?15]和本文算法所对应的查准率，比较结果如图5所示。

由图5可知：文献[15]对颜色聚合向量和不变矩特征的提取进行了改进，建立了特征索引库，但在很大程度上增加了算法的复杂度，运行起来检索时间过长;文献[14]提出了分层的方法对图像进行处理，但由于提取特征层数的限制，仅提取了具有图像结构特征的前四层，导致丢失了图像的局部细节信息，使得检索效果不佳，且具有局限性;而本文算法从检索时间、查准率以及查全率三个方面比较，相较于文献[14?15]的算法，都优于这两种算法。本文算法提高检索性能，具有更好的检索效果。

表2  文献[14?15]算法和本文算法查全率比较 

表3  返回50幅图像检索综合性能比较

图5  统计平均查全率与查准率

3  结  语

本文提出的基于Harris显著点的圆形感兴趣区域检索算法，有效地减少了背景干扰信息。通过Harris算法得到一个圆形感兴趣区域，然后对该区域提取颜色、纹理和形状三种特征，并且对提取后的特征向量进行归一化处理，最后采用明可夫斯基距离函数来比较图像间的相似性。经大量实验结果表明，本文算法在保证检索时间的同时，有效提高了检索查准率和查全率，具有较高的实用价值。

参考文献

[1] 徐衍鲁.基于颜色特征的图像检索技术综述[J].电脑知识与技术，2017，13（13）：156?157.

XU Yanlu. Image retrieval based on color feature [J]. Computer knowledge and technology，2017， 13（13）： 156?157.

[2] 杜丙新.图像检索研究综述及系统实现[J].电子科技，2016，7（15）：185?190.

DU Bingxin. Survey and system implementation of image retrieval [J]. Electronic science and technology， 2016， 7（15）： 185?190.

[3] 陈瑞文.基于内容的图像检索?感兴趣区域的提取[J].通化师 范学院学报（自然科学），2014，35（5）：53?54.

CHEN Ruiwen. Content?based image retrieval extraction of regions of interest [J]. Journal of Tonghua Normal university （Natural science）， 2014， 35（5）： 53?54.

[4] HARRIS C，STEPHENS M. A combined corner and edge detector [C]// Proceeding of 4th Alley Vision Conference. Manchester： IEEE， 1988， 147?151.

[5] 孔凡辉，柏晓辉，竺如生.一种基于多特征融合的图像检索方法[J].哈尔滨商业大学学报， 2010，26（3）：349?350.

KONG Fanhui， BAI Xiaohui， ZHU Rusheng. Study in method for image retrieval based on multi?feature fusion [J]. Journal of Harbin University of Commerce （Natural science edition）， 2010， 26（3）： 349?350.

[6] 陈继华，李响，李栋.一种改进的轮廓曲线角点检测方法[J].组合机床与自动化加工技术，2016，7（7）：114?115.

CHEN Jihua， LI Xiang， LI Dong. An improved corner detection method for contour curve [J]. Modular machine tool & automatic manufacturing technique， 2016， 7（7）： 114?115.

[7] 孟繁杰，郭宝龙，李新伟，等.基于兴趣点凸包的图像检索方法[J].光电子激光，2010，21（6）：936?939.

MENG Fanjie， GUO Baolong， LI Xinwei， et al. New image retrieval method based on convex hull of interest points [J]. Journal of optoelectronics laser， 2010， 21（6）： 936?939.

[8] 梁春迎，王国营，康进峰.基于显著区域的图像检索方法[J].计算机工程，2010，36（5）：210?211.

LIANG Chunying， WANG Guoying， KANG Jinfeng. Image retrieval method based on salientregions [J]. Computer engineering， 2010， 36（5）： 210?211.

[9] 常哲，侯榆青，李明俐，等.综合颜色和纹理特征的图像检索[J].小型微型计算机系统，2011，32（1）：161?164.

CHANG Zhe， HOU Yuqing， LI Mingli， et al. Image retrieval based on combined color with texturefeature [J]. Journal of Chinese computer system， 2011， 32（1）： 161?164.

[10] 相子喜，吕学强，张凯.基于有向图模型多模态新闻图像检索研究[J].科学技术与工 程，2016，16（3）：78?79.

XIANG Zixi， L? Xueqiang， ZHANG Kai. A research on news images retrieval based on directed graph multimodal characteristics [J]. Science technology and engineering， 2016，16（3）： 78?79.

[11] KEARNS M， VALIANT L G. Cryptographic limitations on learning Boolean formulae and finite automata [J]. Journal of the ACM， 1994， 41（1）： 67?69.

[12] BAUER E， KOHAVI R. An empirical comparison of voting classification algorithms： bagging， boosting， and variants [J]. Machine learning， 1999， 36（2）： 135?139.

[13] SCHAPIRE R E， FREUND Y， BARTLETT P， et al. Boosting the margin： a new explanation for the effectiveness of voting methods [J]. The annals of statistics， 1998， 26（5）： 1651?1686.

[14] 翟铭晗，高玲.基于加权颜色分层和纹理单元的图像检索算法[J].计算机应用，2016，36（6）：1668?1672.

ZHAI Minghan， GAO ling. New image retrieval method based on weighted color stratification and texture unit [J]. Journal of computer applications， 2016， 36（6）： 1668?1672.

[15] 张永库，李云峰，孙劲光.综合颜色和形状特征聚类的图像检索[J].计算机应用，2014，34（12）：3549?3553.

ZHANG Yongku， LI Yunfeng， SUN Jingguang. Image retrieval based on clustering according to color and shape features [J]. Journal of computer applications， 2014， 34（12）： 3549?3553.