基于高阶阈值算子与张量全变分的前景检测

董永峰　刘沛东　李林昊　李英双

摘要 基于魯棒主成分分析（RPCA）的方法有一个潜在的假设，即场景中移动物体的像素是稀疏离群值，其往往忽略了物体的时间和空间结构，导致这些方法在动态背景、遮挡、光照变化等场景下检测效果降低。针对这一问题，提出了一种基于张量鲁棒主成分分析（TRPCA）的张量非凸稀疏模型。首先，利用三种常见收缩算子的优点，引入了二阶广义收缩阈值算子（GSTO），探索适用于高阶张量数据的高阶广义阈值收缩算子（HoGSTO），进而提升背景建模的鲁棒性；然后，为了表征视频前景中移动目标像素之间的相关性，在视频前景建模的过程中，利用张量全变分正则化（TTV）增强前景的时空连续性；接着，通过自适应l1范数对视频中的动态成分建模，避免了对前景建模产生干扰。多个视频帧的实验结果表明，该方法在移动目标检测任务中优于现有的方法，能够更好地分离前景和背景。

关 键 词 移动目标检测；张量鲁棒主成分分析；收缩阈值；张量全变分；自适应l1范数

中图分类号 TP391.4     文献标志码 A

Foreground detection based on tensor total variation and

threshold operator

DONG Yongfeng LIU Peidong LI Linhao LI Yingshuang

（1. School of Artificial Intelligence， Hebei University of Technology， Tianjin 300401， China; 2. Hebei Province Key Laboratory of Big Data Computing， Tianjin 300401， China; 3. Hebei Engineering Research Center of Data-Driven Industrial Intelligent， Tianjin 300401， China; 4. Information Security and Technology Service Center， Hebei University of Technology， Tianjin 300401， China）

Abstract Robust Principal Component Analysis （RPCA） methods have an underlying assumption that the pixels of moving objects in the scene are sparse outliers， which often ignore the temporal and spatial structure of objects， leading to the reduced detection effect of these methods in dynamic background， occlusion， lighting changes and other scenses. To solve this problem， a tensor nonconvex sparse model based on tensor robust principal component analysis （TRPCA） is proposed. Firstly， take advantage of the advantages of three common contraction operators， a second-order generalized shrinkage is introduced. Generalized Shrinkage Threshold Operator （GSTO） explore the high-order generalized threshold shrinkage operator （HoGSTO） suitable for high-order tensor data， and then improve the robustness of background modeling; then， in order to characterize the correlation between moving target pixels in the video foreground in the process of video foreground modeling， tensor total variational regularization （TTV） is used to enhance the temporal and spatial continuity of the foreground; then， the dynamic components in the video are modeled through the adaptive l1 norm， which avoids modeling the foreground Produce interference. Experimental results in multiple video frames show that the proposed method is superior to the existing methods in moving target detection tasks， and can better separate the foreground and background.

Key words moving object detection; TRPCA; shrinkage thresholding; tensor total variational; adaptive l1 norm

0 引言

作为人工智能领域中的一项重要技术，计算机视觉已经越来越多地应用到了各种实际任务当中，如智能视频监控、交通数据采集、车辆识别、无人驾驶等。近年来移动目标检测作为计算机视觉中的一个重要分支，受到了很多研究者的关注，大量研究人员在尝试解决移动目标检测中遇到的一系列挑战。移动目标检测的目的是将变化的区域（运动目标）从视频序列中提取出来。由于光照变化、喷泉水流、摇曳的树木等动态因素的影响使得背景发生改变，影响检测精度。此外，前景运动状态的改变也会使目标与背景难以分割[1]。

比较经典的移动目标检测方法是Candès等[2]提出的鲁棒主成分分析（Robust Principal Component Analysis，RPCA）方法，由于其模型简单，在移动目标检测领域中得到了广泛的应用。RPCA能够从较大且噪声污染的观测数据中恢复出本质上低秩的数据，然而，l1范数只是独立的考虑每一个像素，丢失了时空结构的约束，因此在面对复杂背景或者较小的移动目标时，l1范数不能有效地处理这些问题。

为了应对上述这些挑战，近年来学者们提出了大量RPCA的扩展方法来改善移动目标检测的效果，并引入了结构化约束构建算法。Zhou等[3]提出一种基于运动的目标检测算法，称为低秩表示和连续离群值检测算法（Detecting Contiguous Outliers in the Low-Rank Representation，DECOLOR），该算法主要通过矩阵低秩表示中的连续突出点检测来实现运动目标检测，在优化的过程中还可以对背景进行建模，同时实现运动目标的检测和背景分割的目的。虽然在检测效果上有提升，但是马尔可夫随机场[4]会导致其具有贪婪的特性，严格的平滑约束会使前景被过度平滑，背景区域被检测为运动目标的一部分。Xin等[5]为了解决由于光照变化、动态背景等因素导致前景分割包含空洞和背景噪声的问题，引入了自适应广义融合套索正则化作为一种柔性的结构，用于建模前景对象。Cao等[6]将三维全变分正则化和l1正则化相结合提出了全变分正则化鲁棒主成分分析算法（Total Variation Robust Principal Component Analysis，TVRPCA），利用前景的空间连续性从移动目标中将动态背景分离出来，从前景的时间连续性中提取残留目标的运动轨迹并检测。Yong等[7]提出了基于混合高斯的在线矩阵因子分解算法（Online Mixture of Gaussians-Low-rank Matrix Factorization，OMoGMF），利用在线子空间学习与全变分相结合的方法来提升检测效果。Li等[8]提出了一种基于视频静止分量的非凸稀疏性模型（Generalized Shrinkage Thresholding Operator，GSTO），设计了可显示求解的广义阈值收缩算子对背景进行低秩约束，并结合背景减除和时空连续性约束来检测前景目标。

在实际应用中，真实的数据结构在本质上是高阶的。因此，张量结构作为向量和矩阵的自然推广，应用于移动目标检测领域。Lu等[9]基于张量鲁棒主成分分析（Tensor RPCA，TRPCA）框架提出了一种改进的方法—结合张量核范数的张量鲁棒主成分分析方法（Tensor RPCA with Tensor Nuclear Norm，TRPCA-TNN），該方法的核心在于定义了一种新的张量核范数，旨在加强背景低秩性，更好地构造背景来恢复前景。尽管RPCA和TRPCA方法在移动目标检测中取得了一定的效果，但是在面对动态背景干扰时仍然不够稳定，并且没有同时利用背景和前景的结构特性，所以在复杂场景下对前景的检测仍有一定的难度。

因此，本文提出了一种基于张量框架的非凸稀疏移动目标检测方法，该方法克服了动态背景的干扰，可以检测到滞留物体，对噪声具有一定的鲁棒性。本文没有采用矩阵框架进行研究，而是将整个视频序列认为是一个三维张量空间，保留了原始视频帧之间的空间结构；利用高阶广义阈值收缩算子的自适应性对背景进行低秩约束，更加接近实际高维数据的秩，加强了背景的低秩性；同时利用张量全变分正则化（Tensor Total Variational Regularization，TTV）对前景进行建模，考虑了视频前景的时空连续性，并通过自适应l1范数对动态背景干扰部分建模，有效减少动态背景对视频前景提取的干扰，避免前景空洞现象，提升了目标检测精度。

1 TRPCA模型

2 本文模型的建立

2.1 前景建模

2.1.1 张量全变分正则化

2.1.2 自适应[l1]范数

2.2 背景建模

传统上，基于矩阵的算法使用单一低秩子空间约束进行背景建模，对静态背景的刻画效果较好，但无法有效表示背景中的变化成分；基于张量的算法采用张量核范数对低秩背景进行凸松弛，但其没有考虑不同奇异值对秩产生的影响，对所有的奇异值施加同等程度的惩罚，无法准确表征奇异值所代表的信息，不能充分提取出张量数据的低秩结构[18]。

奇异值往往对应着数据中的重要信息，数据的重要性与奇异值的大小正相关，如果对奇异值进行同等程度的收缩，则会对背景信息产生严重干扰，无法构建出清晰的背景模型，背景中的动态成分也会被消除。因此，本文充分考虑到奇异值的特性，利用广义收缩阈值算子的自适应性和非凸稀疏性，在保证图像信息可被精确识别的前提下，保留或者缩小较大的奇异值，舍去或者减小较小的奇异值，更好地表征背景信息，将更多的动态成分融入到背景中。广义收缩阈值算子的显示表达式如式（12）所示：

2.3 高阶广义阈值收缩算子与张量全变分模型的建立

3 模型求解

4 实验结果及分析

4.1 数据集和指标选取

4.2 实验结果及分析

通过视频前背景分离实验验证本算法的优势，以9个视频序列为对象，进行视频前景背景分离仿真实验，并随机选取WaterSurface视频的第1 601帧、Fountain视频的1 190帧、Curtain视频的22 849帧、Escalator视频的3 585帧、Lobby视频的1 634帧、Hall视频的1 656帧、ShoppingMall视频的1 606帧、Bootstrap视频的2 918帧、Campus视频的1 812帧。实验结果如图5所示，可以看出本算法比RPCA、TVRPCA等算法有更好的前景检测结果。

在动态背景场景下，RPCA与TVRPCA模型不适用于复杂背景下的运动目标检测，容易将动态背景检测为前景目标，检测结果空洞较大，但TVRPCA的检测结果要优于RPCA，主要原因是该方法利用3D-TV范数约束前景，利用了前景的空间连续性分离动态背景与移动前景；TRPCA-TNN虽然保留了视频的空间结构，但在复杂的动态背景下，提取结果会造成前景的空洞，导致检测精度较低。虽然DECOLOR对动态噪声的抑制效果较好，但其融合运动目标连续性导致过度平滑约束，会产生少量的误检测区域和虚警现象。由于OMoGMF+TV引入了TV正则化，检测到的前景比较完整，没有产生空洞现象。本文算法相较于以上5种算法，在整个视频数据集中较好地提取出前景目标，通过自适应算子对背景矩阵进行低秩约束，同时考虑前景的时空连续性，对动态背景成分进行约束以去除噪声干扰，最终得到完整的运动目标，提高了前景目标的提取精度。

为了定量分析本文算法的优势，计算了召回率（Recall）、精确率（Precision）和F-measure值对视频前背景分离效果进行评估，与其他5中算法进行对比，评价指标总结如表3所示，表中数据最优用加粗表示，次优用下划线表示。

从表3可以看出，本算法与RPCA、TVRPCA、DECOLOR、TRPCA-TNN、OMoGMF+TV 5种算法相比，Recall值与Precision值有处于较低的情况，但总体上处于最优或次优。虽然DECOLOR模型与其他模型相比有着较高的召回率，但是由于在高度动态背景中产生了许多虚假警报，导致其精度下降。在大部分场景下，本算法的查准率与查全率相差不大，与其它算法相比，稳定性更高，并且本算法的F-measure值均高于对比算法。因此，本算法在前景提取的完整度和精确度方面效果更好，可以更好地抑制动态背景产生的噪声。

5 结语

本文提出的算法以TRPCA模型为基础，将传统移动目标检测任务扩展到张量空间中，对张量框架的使用有效利用了视频的空间结构，弥补了现有RPCA相关方法的不足；通过将广义阈值算子推广到高阶张量中，对背景进行低秩约束，提升了背景建模的鲁棒性；利用TTV代替l1范数约束前景，并构造了自适应l1范数对动态背景进行建模，有效抑制了动态背景的噪声干扰，解决了前景空洞问题。实验结果表明，与经典算法以及现有主流算法相比，本文提出的算法对目标检测的效果更佳，可有效减少动态背景干扰，且检测移动缓慢目标的效果较好，减少了对前景目标的误判，显著提升了移动目标检测精度。

参考文献：

[1]    杨永鹏，杨真真，李建林，等. 改進的截断核范数及在视频前背景分离中的应用[J]. 工程科学与技术，2021，53（5）：219-226.

[2]    CAND?S E J，LI X D，MA Y，et al. Robust principal component analysis？ [J]. Journal of the ACM，2011，58（3）：1-37.

[3]    ZHOU X W，YANG C，YU W C. Moving object detection by detecting contiguous outliers in the low-rank representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（3）：597-610.

[4]    SCHICK A，B?UML M，STIEFELHAGEN R. Improving foreground segmentations with probabilistic superpixel Markov random fields[C]//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Providence，RI，USA：IEEE，2012：27-31.

[5]    XIN B，YUAN T，WANG Y Z，et al. Background Subtraction via generalized fused lasso foreground modeling[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston，MA，USA：IEEE，2015：4676-4684.

[6]    CAO X C，YANG L，GUO X J. Total variation regularized RPCA for irregularly moving object detection under dynamic background[J]. IEEE Transactions on Cybernetics，2016，46（4）：1014-1027.

[7]    YONG H W，MENG D Y，ZUO W M，et al. Robust online matrix factorization for dynamic background subtraction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（7）：1726-1740.

[8]    LI L H，WANG Z，HU Q H，et al. Adaptive nonconvex sparsity based background subtraction for intelligent video surveillance[J]. IEEE Transactions on Industrial Informatics，2021，17（6）：4168-4178.

[9]    LU C Y，FENG J S，CHEN Y D，et al. Tensor robust principal component analysis with a new tensor nuclear norm[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（4）：925-938.

[10]  LU C Y，FENG J S，CHEN Y D，et al. Tensor robust principal component analysis：exact recovery of corrupted low-rank tensors via convex optimization[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：5249-5257.

[11]  CHEN L，JIANG X，LIU X Z，et al. Robust low-rank tensor recovery via nonconvex singular value minimization[J]. IEEE Transactions on Image Processing，2020，29：9044-9059.

[12]  陶星朋，徐宏輝，郑建炜，等. 基于非凸低秩矩阵逼近和全变分正则化的高光谱图像去噪[J]. 计算机科学，2021，48（8）：125-133.

[13]  YANG S，WANG J，FAN W，et al. An efficient ADMM algorithm for multidimensional anisotropic total variation regularization problems[C]// KDD '13：Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. Chicago，Illinois，USA：ACM，2013：641-649.

[14]  陈利霞，班颖，王学文. 基于张量核范数与3D全变分的背景减除[J]. 计算机应用，2020，40（9）：2737-2742.

[15]  张超婕，余勤. 时空RPCA在复杂场景下的运动目标检测[J]. 计算机工程与设计，2020，41（1）：197-202.

[16]  SHIJILA B，TOM A J，GEORGE S N. Moving object detection by low rank approximation and l1-TV regularization on RPCA framework[J]. Journal of Visual Communication and Image Representation，2018，56：188-200.

[17]  KIM H，SAKAMOTO R，KITAHARA I，et al. Robust foreground extraction technique using background subtraction with multiple thresholds[J]. Optical Engineering，2007，46（9）：097004.

[18]  LIU Y P，CHEN L X，ZHU C. Improved robust tensor principal component analysis via low-rank core matrix[J]. IEEE Journal of Selected Topics in Signal Processing，2018，12（6）：1378-1389.

[19]  CHARTRAND R. Fast algorithms for nonconvex compressive sensing：MRI reconstruction from very few data[C]//2009 IEEE International Symposium on Biomedical Imaging：From Nano to Macro. Boston，MA，USA：IEEE，2009：262-265.

[20]  ALHASSAN J A，OKIKE O，CHUKWUDE A E. Testing the simultaneity of Forbush decreases with algorithm-selected Forbush event catalogue[J]. Journal of Astrophysics and Astronomy，2022，43（1）：1-20.

[21]  SU Y R，WU X H，LIU G G. Nonconvex low tubal rank tensor minimization[J]. IEEE Access，2019，7：170831-170843.

[22]  BOYD S，PARIKH N，CHU W，et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends in Machine Learning，2011，3（1）：1-122.

[23]  LIN Z C，CHEN M M，MA Y. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices[EB/OL]. （2013-10-18）[2022-05-15]. https：//arxiv. org/abs/1009. 5055.

[24]  WEN F，CHU L，LIU P L，et al. A survey on nonconvex regularization-based sparse and low-rank recovery in signal processing，statistics，and machine learning[J]. IEEE Access，6：69883-69906.

[25]  CHEN L X，LIU J L，WANG X W. Background subtraction with Kronecker-basis-representation based tensor sparsity and L1，1，2 norm[J]. Multidimensional Systems and Signal Processing，2021，32（1）：77-90.

[26]  金靜. 复杂视频场景下的运动目标检测与跟踪研究[D]. 兰州：兰州交通大学，2020：32-33.