基于深度学习的以图搜图架构及在公安图侦中的应用

姜少波 甘彤 商国军

摘要 随着智能视频分析技术的不断发展，图像检索技术在公安图像侦查领域发挥着越来越重要的作用，传统基于内容的图像检索主要提取目标的低级特征，易受环境干扰，导致复杂监控场景的检索准确率低下，实战效果不理想。基于深度学习的以图搜图关注高层特征的抽象，能有效克服遮挡、光照、角度变化等因素的影响，应用于图像检索具有一定的优势。本文主要介绍了基于深度学习的以图搜图架构及在公安图侦中的应用。

【关键词】深度学习 以图搜图 图像侦查 应用

1 基于深度学习的以图搜图

1.1 深度学习原理

深度学习的基本思想是通过有监督或无监督的方式学习层次化的特征表达，对目标进行从底层到高层的描述，各层的特征不是利用人工工程来设计的，而是使用一种通用的学习过程从数据中学到的，含有隐层的多层感知器就是一种深度学习结构。深度学习模型的训练过程是在大量样本数据的基础上进行的，采用反向传播技术进行权值的迭代优化。在视频图像检测与识别领域，卷积神经网络（CNN）是主流的实现手段，通过设计出多层的人工神经网络进行目标的特征提取和识别检测，目前，基于深度学习技术在行入结构化、车辆结构化、人脸识别等方面取得了突破性的进步。

1.2 以图搜图架构设计

基于深度学习的以图搜图架构主要包括视频检索库构建和目标检索两个组成部分。视频检索库构建采用深度学习方法将监控视频进行预处理，提取其中的目标类型和深度特征;目标检索模块通过提取待检目标的特征，并和视频检索库中的特征进行相似度比对，按相似度高低展现检索结果。其架构如图1所示。

架构中的核心模块主要包括目标关键帧提取、目标分类与特征提取、特征匹配等模块。

1.2.1 目标关键帧提取

目标通常以一段连续的轨迹出现在监控视频画面中，为了大大缩减后续处理的视频帧数，提高整个视频检索库构建速度，需要对目标进行检测与跟踪，提取目标关键帧。关键帧的提取采用速度快、准确性高的背景建模检测和最大面积跟踪法，并选取目标在场景中出现面积最大时的帧作为关键帧。

1.2.2 目标分类与特征提取

基于深度学习技术，对视频关键帧进行目标分类与特征提取，首先需要对深度模型进行训练。训练模型所使用的数据集来源于实际监控视频数据，涵盖了白天、夜间、晴、阴、雨、雾等不同场景的多样化数据，从而提高模型的泛化能力和准确度。根据公安图侦的实战需求，主要训练了6个类别的目标：行人、小汽车、电动车、中巴车、大巴车、卡车。使用训练后的模型对视频关键帧中的目标进行检测分类，并提取相应的深度特征构建视频检索库。

1.2. 3 特征匹配

目标检索时，需要将待检图片的深度特征与视频检索库中的深度特征进行匹配，从而根据相似度高低展示检索结果。由于深度特征具有表达能力强、维度低等特点，因此特征匹配的相似性采用欧几里得距离进行度量，公式如下：

当两个目标的特征向量相同时，S=100%，特征向量之间相差越大，相似度S越小。

2 以图搜图在图侦中的应用

图像侦查关注的目标主要为行人和车辆，因此，以图搜图在行人、小汽车、电动车等目标检索方面得到了广泛的应用。

2.1 行人以图搜图

在图侦实战中，通常需要从视频图像中快速查找、定位出具有某种特征的嫌疑人，常见的特征主要有人脸特征、衣着特征、附属物等。以图搜图将行人的整体特征抽象为深度特征，能克服各种环境因素的影响，从而提高行人检索的准确性。当把嫌疑人图片导入以图搜图系统中，系统会自动提取目标人物的特征，并将所有待检视频中与该目标最为接近的行人都显示出来，从而实现跨视频的检索。当目标的上半身和下半身的衣着具有某种特色，如上半身浅色衣着，下半身深色衣着，系统也可以搜索出相似的目标結果。

2.2 小汽车以图搜图

基于车牌、车型信息的车辆检索应用广泛，但限于摄像机拍摄角度，车辆车身和牌照有可能无法完全显示，或者由于肇事车辆逃逸迅速，现场人员无法看清车型及车牌信息，此时车辆的局部特征分析显得十分必要。车辆局部特征包括遮阳板是否打开、是否有年检标、前大灯是否开启、是否有破损、是否有挂件及是否有纸巾盒等细节信息，这些特征都可以作为以图搜图的依据，在多种视频中搜索出相似的目标，还原车辆运动轨迹。

2.3 电动车以图搜图

电动车以快捷、轻便、价廉的优势成为百姓的主要交通工具，随之而来的电动车盗窃案件呈现上升趋势。电动车的特征通常表现为是否有灯、车把手颜色及破损状态、是否有车篮、挡泥板等，基于电动车整体特征的以图搜图能够克服光照、遮挡等因素的影响，在多段视频中可有效检索感兴趣目标，为案件侦破提供支持。

以上主要介绍了图侦中常见目标的以图搜图，除此以外，其他目标如中巴车、大卡车、货车等也可以通过以图搜图搜索相似目标。图2是一个小汽车以图搜图的例子。

3 小结

基于深度学习的以图搜图作为一种抽象特征的检索方法，克服了浅层特征的缺点，在视频侦查实战中得到了广泛和常态化的应用。从目前来看，将深度学习技术应用于以图搜图具有明显的优势，然而由于实际应用场景非常复杂，这种检索方式也可能出现效果不佳的情况。随着深度学习技术的不断深入，基于更大更深网络结构的以图搜图将在图侦中得到更加贴合实战的应用。

参考文献

[1]胡二雷，冯瑞.基于深度学习的图像检索系统[J].计算机系统应用，2017 （03）.

[2]易军凯，何潇然，姜大光.图像内容理解的深度学习方法[J].计算机工程与设计，2017 （03）.

[3]尹宝才，王文通，王立春.深度学习研究综述[J].北京工业大学学报，2015 （01）.