基于草图的图像检索技术分析

周文惠

摘要：图像作为媒体信息的重要载体之一，在我们的日常生活中有着广泛的应用。如何在大量的图像中检索出用户想要的图片成为一项有意义的研究内容。通过对比不同的图像检索方法，该文对基于草图的图像检索这一项工作进行总结，将现有的工作分为基于传统方法的草图跨域图像检索工作和基于深度学习的草图跨域图像检索工作，并对不同的检索方法进行分析与比较，最后展望了该项工作的发展前景。

关键词：跨域;草图;图像

中图分类号：TP3        文献标识码：A

文章编号：1009-3044（2020）28-0208-02

随着多媒体技术的发展，图像作为媒体信息的重要载体，对图像进行检索成为一项有研究意义的工作。现有的检索方法中，使用文字描述方法对媒体信息进行检索有着一定的缺陷：1）只有少量的多媒体信息能够被文字准确的描述;2）不同国家、地区对同一种物体的描述也不相同，这些缺陷导致基于文字的跨域检索工作存在着检索范围狭窄、检索准确率低等问题。由于草图提供了比文字更多的信息且草图能够消除不同语言对检索目标描述的差异等特性，研究者们提出了基于草图的跨域检索这一工作，克服了上述基于文字跨域检索的缺陷。图1[1]为基于草图的图像检索过程。

1基于草图的图像检索研究背景

基于草图的图像检索自1992年[2]首次提出后备受计算机视觉等领域的关注，近年来也取得了越来越高的准确率。根据现有的研究可以将该项工作分为特征提取，特征空间嵌入，度量学习，和相似度检索四个步骤，其具体方法为将草图和图像进行特征表示，并将得到的特征嵌入到特征空间中，再使用度量学习使嵌入空间中同类的特征距离拉近不同类特征距离推远，最后使用相似度进行检索。本文根据检索过程中使用的方法将该项工作分为基于传统方法的草图跨域图像检索和基于深度学习的草图跨域图像检索两项工作。

基于草图的图像检索工作存在以下特点：1）模态差异性：手绘草图一般只包含整体形状和有代表性的局部特征形状，而图像在形状、颜色和纹理上有着更比草图丰富的细节，二者属于不同模态，有着一定的差异性。2）草图类间差异性：草图由于手绘草图通常只由几笔构成，与此同时，草图存在着相同类别中特征差异很大的特点，因此如何在内容较少的草图中提取到草图具有代表性的特征也是一个问题。

2基于草图的图像检索技术分类

2.1 基于传统方法的草图跨域图像检索

在基于传统的检索方法中，Kato等人[2]提出了使用基于像素的检索方法，该方法首先提出将标准化的草图和需要检索的图像分成相同数量的块，然后将块与块之间像素的相似性进行比较，从而达到检索的目的。在该方法中由于块和块之间的距离较小，可以解决图像的随机失真等问题，但由于草图和检索的图像存在着像素不匹配等特性，该方法仍然存在一定缺陷。为了解决上述基于检索方法中存在的问题Chans[3]提出了而且使用了曲线（率）模型来提取特征和编码解决上述问题，都在一定程度上提高准确率。随着多媒体技术的不断发展，图像的数据量也越来越大，如何对大规模的数据进行特征提取成为草图跨域图像检索的一大挑战。针对大规模图像数据的特征，有研究者提出了基于手工特征描述符的方法[4-6]，该方法使用手工特征描述符对草图和三维物体特征进行特征描述，然后在词袋模型[7]内执行匹配过程，以评估查询草图和所检索对象之间的相似性从而进行检索，其中手工描述符包含：SIFT[8]， HOG[9]， SelfSimilarity[10]等。

2.2 基于深度学习的草图跨域图像检索

近年来，随着深度学习在计算机视觉领域的快速发展，研究者们提出了基于深度学习的草图跨域图像检索方法，该方法能够克服传统方法中耗费大量人力和手工特征描述符提取能力有限等问题。Qi[11]等认为使用传统的检索方法基本思想是通过对图片的边缘提取生成与草图相近的图片以减少草图和视图之间的差异，然而真实图像的边界很难与素描的笔画相匹配，为了解决这一问题，该作者提出利用Siamese卷积神经网络来对草图和图像进行特征提取，从而获得一个将输入模式映射到目标空间的函数，再使用度量函数减少同类之间目标空间距离。由于现有的方法只有在图像背景纯净的情况下检索效果才好，且不适用于大规模的草图跨域图像检索任务，为了提高大规模草图检索的效率，Liu[12]等人提出了基于哈希编码的草图跨域检索方法，该方法将草图和图像使用卷积神经网络进行特征提取，在进行特征提取时使用了权值共享的提取方法。与此同时，该方法提出从图像中生成sketch-tokens的图像，不同于使用canny算子的生成方法，他们只反映自然图像的基本边缘，没有详细的纹理信息。与此同时，该方法还使用了将草图与图像和生成的sketch-tokens三个特征共同送入三个cnn进行特征提取后进行二进制编码计算距离的网络框架。该网络使用了Cross-view Pairwise Loss和Semantic Factorization Loss两种损失函数，其中Cross-view Pairwise Loss度量了草图和图像之间二进制编碼的距离，使草图和图像之间同一个类距拉近，不同类距离推远。Semantic Factorization Loss对存在内在语义关联的不同标签之间的特征空间进行度量。

3总结与展望

在计算机视觉领域，基于草图的其他研究工作也在飞速发展，如：对草图进行识别与分类、基于笔画生成草图、基于草图的跨模态二维图像检索、基于草图的跨模态三维模型检索等工作。随着该项工作的不断发展，如何提高其实用性也越来越受研究者们的关注，在基于草图的图像检索领域，研究者们在传统的检索工作的基础上提出了基于细粒度的草图跨域图像检索和基于零样本的草图跨域图像检索，如何对这研究工作进行效率的提升和模型的简化方法使其检索效率更高也成了一项值得研究的工作。

参考文献：

[1] Li Y，Li W Z.A survey of sketch-based image retrieval[J].Machine Vision and Applications，2018，29（7）：1083-1100.

[2] Kato T，Kurita T，Otsu N，etal.A sketch retrieval method for full color image database-query by visual example[C].IAPR International Conference on Computer Vision and Applications， 1992：530–533.

[3] ChansY，LeiZ，LoprestiDP.etal.A feature-basedapproach for image retrieval by sketch[C].SPIE International Symposium on Voice， Video and Data Communications， 1997：220–231.

[4] Li B， Lu Y J， Johan H. Sketch-based 3D model retrieval by viewpoint entropy-based adaptive view clustering[C]//Proceedings of the 6th Eurographics Workshop on 3D Object Retrieval. Aire-la-Ville： Eurographics Association Press， 2013：49-56.

[5] Li Y H， Lei H P， Lin S J， et al. A new sketch-based 3D model retrieval method by using composite features[J].Multimedia Tools and Applications，2018，77（2）： 2921-2944.

[6] Zhang D S， Lu G J. A comparative study of Fourier de-scriptors for shape representation and retrieval[C]//Proceedings of the 5th Asian Conference on Computer Vision. Heidelberg：Springer，2002： 646-651.

[7] Eitz M，Richter R，Boubekeur T，et al.Sketch-based shape retrieval[J].ACM Trans.Graphics，2012，31（4）：10.

[8]D avid GLowe.Distinctive image features from scaleinvariantkeypoints[J].IJCV， 2004.

[9] NavneetDalal，Bill Triggs.Histograms of oriented gradients for human detection[J].CVPR，2005.

[10]S hechtmanE，Irani M.Matching localself-similarities across images and videos[J].2007IEEE Conference on Computer Vision and PatternRecognition，2007：1-8.

[11] Qi Y G，Song Y Z，Zhang H G，etal.Sketch-based image retrieval via Siamese convolutional neural network[J].2016IEEEInternational Conference on Image Processing（ICIP），2016：2460-2464.

[12] Liu L， Shen F， Shen Y， et al. Deep sketch hashing： Fast free-hand sketch-based image retrieval[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2017：2862-2871.

【通聯编辑：代影】