视频图像分析系统及算法仓库在视频图像库建设中的应用研究

张鹏飞，蓝维旱，高 峰

（中通服咨询设计研究院有限公司，江苏 南京 210019）

0 引 言

近几年，随着国家对公共安全的重视程度逐渐加强，国家相关部门发布了一系列建设规划和指导意见，各地“雪亮工程”建设工作不断推进，视频前端摄像机的数量急剧增加，前端数据采集技术已经比较成熟。目前充分挖掘视频图像信息价值，解决视频图像应用领域存在的问题是建设新型智慧视频图像库的重要任务。

1 视频图像分析系统定位和作用

视频图像分析系统利用视频分析技术和分析算法，通过采集设备/系统自动从卡口中提取图像信息数据，提取前端设备所采集图片的结构化及特征值数据，并从视频监控联网等平台获取视频流，经解析后提取视频图像信息存入视图库，通过对应的分析接口为应用平台提供分析服务[1]。

视频图像分析系统通过构建高性能图像视频图像解析能力支撑智能化应用，提供高效的解析服务，快速挖掘海量图像视频资源的中的价值信息。主要通过建立算法仓库，采用多种算法服务校验结果数据，具备任务调度和资源调度等功能。此外，算法仓库提供多算法接入能力，采用SDK接入、RESTful服务接入以及API接入的混合接入模式，解决公安实战时解析资源不足的问题，提升视频图像处理效率及业务协同能力[2]。视频图像分析系统架构如图1所示。

图1 视频图像分析系统架构

2 视频图像分析系统设计

2.1 视频图像分析系统功能

视频图像分析系统主要实现两方面功能，一方面用于识别和解析视频专网中的视频（含联网视频和离线视频）、抓拍的人脸照片以及卡口过车图片等，生成结构化数据，另一方面用于识别解析联网视频和离线视频文件等，生成结构化数据[3]。

视频图像分析系统支持对监控视频中的人和车等典型目标进行自动检测与识别，并进行相应的行为分析，形成易于自动判别或人工判别的分析结果。分析结果以图像描述数据表示，可形成人、车以及物等运动目标的摘要视频或者快照图片，为上层业务提供视频图像内容和目标特征等相关信息。

图像内容分析包括人像检测识别、人像比对、车辆识别、视频摘要、运动目标检测、目标分类、行人检测、遗留物检测、速度异常检测、人群密度检测以及徘徊检测等。通过视频图像分析系统对各类视频数据（包括视频、人员图片以及车辆图片等）进行结构化处理，并整合该级其他视频图像结构化数据，实现车辆和人员结构化数据的全面汇集，建设覆盖全面且检索高效的视频图像结构化信息资源。视频图像分析数据流程如图2所示。

图2 视频图像分析数据流程

2.2 视频图像分析系统设计原则

当前端系统有视图资源推送到视频图像分析系统时，引入任务调度服务、网关服务以及资源中心服务，分别管理和分发解析任务与特征提取服务。当前端系统有视图资源推送到视频图像分析系统时，视频图像分析系统的管理中心会将解析任务的配置信息推送给算法仓库，算法仓库解码分析获取的媒体流数据，并将分析结果通过业务框架反馈给视频图像分析系统管理中心，实现布控等业务的比对预警，同时输出结构化数据和特征值到大数据平台，提供检索、聚类以及碰撞等大数据服务能力[4]。

视频图像分析系统采用充分解耦设计，软件与硬件解耦，算法解耦，多算法兼容共存设计，充分调动各厂家的优势，满足系统顶层设计对开放和兼容的应用与建设需求。

3 算法仓库建设

3.1 算法仓库

算法仓库应具备可动态部署和扩容的能力，算法的部署与硬件资源解耦，实现业务动态调配资源和实时回收，满足实战突发计算，实现多算法和多版本的共存和集成。

通过车牌/车辆特征识别、人脸/人体特征识别以及行为分析等智能化算法服务，分析实时/历史视频和图片，统一存储结构化数据的海量分析结果，并提供检索结果，同时存储半结构向量用于检索，存储关联视频和抠图等素材便于二次分析使用。此外，采用统一的主题对象库，便于解耦存储资源与计算资源，并将检索性能发挥到最大。

算法仓库应能以插件仓或镜像仓等模式承载不同厂商和不同类别的算法，无论是算法插件还是算法镜像，都以压缩包的方式导入算法仓库。每种算法为一个压缩包，里面包含算法库和算法模型文件等信息，压缩包中的算法接口按照标准文档封装好的，算法压缩包导入算法仓库后，算法仓库先对压缩包进行统一管理，算法压缩包解压缩后，才是可使用的算法插件和算法镜像。

3.2 算法插件仓

算法插件仓包含了所有可以直接提供给基础业务容器使用的算法插件，基础业务容器在挂载了算法插件后，从镜像仓库里拉起，变成算法插件对应的算法服务。

3.3 算法镜像仓

算法镜像仓包含了所有可以与业务容器组合成算法服务的算法镜像，属于云管理平台镜像仓库的一部分。镜像是指容器运行时的前身，即容器镜像，为镜像配置好相关计算资源、网络资源以及存储资源后，从镜像仓库拉起后就可以运行在容器中。

3.4 算法接入

算法仓库能够提供算法的多种集成方式，以SDK接入形式或API接入形式集成到视频分析组件，提供包括视图资源解析、视图数据检索以及人脸车辆布控在内的各种算法基础服务能力和增强服务能力。

算法SDK接入是在视频图像分析系统的业务框架中将人脸、车辆以及视频结构化等算法压缩包解压后统一挂载在算法插件仓的目录下，将算法插件与视频图像分析系统的业务框架运行打包在一个容器中，形成一个算法的运行主题，如人脸识别算法，提供包括人脸采集前端的资源接入、目标检测、特征提取以及结构化数据输出等能力。当采集系统有视图资源推送到视频图像分析系统时，视频图像分析系统的管理中心将解析任务的配置信息推送给算法运行主题（算法pod），算法运行时，主题中的业务框架基于解析任务获取音视频和图片等媒体流数据，对媒体流解码后与配置信息一起推送给SDK算法插件。SDK算法插件分析解码后的视图资源，提取目标特征值和结构化数据，将分析结果通过业务框架反馈给视频图像分析系统管理中心[5]。

算法平台API接入方式的视图分析管理（解析管理）包括任务调度、任务管理、资源管理以及业务统计4个模块。任务调度基于采集系统的流量感知，实现算法与任务的调度匹配，任务管理模块主要是对各类解析任务进行增、删、查以及改，资源管理是基于流量感知和任务调度，在任务启动时实现对底层资源的申请，在任务结束时实现对底层资源的释放，业务统计主要统计业务响应速度、实时业务量、业务调用次数以及业务故障次数。算法软件以算法平台API接入形式与视频分析管理进行对接，可以以容器化或者虚拟机的方式运行，算法平台包括算法的分析和检索功能。

RESTful服务接入是指算法软件与解析业务框架分别运行在单独容器，通过RESTful接口组合成一个算法运行主题，其示例如图3所示。当前端采集系统有视图资源推送到视频图像分析系统时，视频图像分析系统的管理中心会将解析任务的配置信息推送给算法运行主题（算法pod），算法运行主题中的业务框架将采集系统的媒体流地址和配置信息推送给算法容器，算法容器获取媒体流数据进行解码和分析，并将分析结果通过业务框架反馈给视频图像分析系统管理中心，实现布控等业务的比对预警，同时输出结构化数据和特征值到大数据平台，提供检索、聚类以及碰撞等大数据服务能力[5]。

图3 RESTful服务接入示例图

4 结 论

随着科技的发展进步，对视频图像数据挖掘的能力要求越来越高，大数据平台将引入越来越多的AI机器学习、深度学习以及智能图算法等尖端技术来提高整个系统的智能化水平。借助云计算、大数据、深度学习以及物联网等技术构筑实现对海量图像和视频的接入、转码、转发、存储以及结构化分析等已经逐渐深入日常工作，通过搭建算法仓库建设深度视频图像分析系统，提供快速准确弹性的解析服务，已经成为实现视频数据的采集、汇聚、清洗以及整合的基本需求，成为了满足对基础资源的灵活调度、满足现阶段不同部门和不同业务的智能解析需求以及深化视频图像库和综合应用平台部署的基本要求。