基于视觉和UWB融合的室内定位方法研究

张凤 赵昆 蒋振伟 郑正奇 姚勇俊

摘要：针对目前对室内人员定位的需求，可以通过视觉和UWB融合进行室内定位跟踪，可以实现视觉跟踪和UWB定位之间的互补，保证定位的精确性、连续性和稳定性。本文研究一种视觉和UWB融合的室内跟踪定位系统，利用EPSO算法进行TDOA定位方程组的求解提升定位精度，利用EMOPSO算法优化基站布局，利用yolov5检测算法提升视觉定位的检测精度，并建立了多元融合定位系统，通过验证确定能够对移动目标进行定位，融合定位系统具有比较高的性能。

关键词：视觉定位；UWB；室内跟踪定位

引言

室内目标跟踪定位在近年来得到了广泛研究，特别在当前背景下，对机器人控制需求确定位置信息、针对室内人员需要加强管理，必须使用精确的室内跟踪定位技术支持。传统方式下，一般使用GPS进行人员定位，但是由于室内环境比较复杂，会有墙壁、窗户等阻挡，GPS信号往往在传播过程中出现反射、散射等问题，导致信号衰减影响正常的定位。为此，针对室内人员定位发展出了UWB技术和视觉定位技术，都能够进行目标识别，但是由于技术自身限制，使用单一手段进行室内定位很难获得良好效果。为此，可以将视觉目标跟踪和UWB结合，解决视觉定位的漏检、易受视野盲区影响等问题，也能利用视觉跟踪弥补UWB的波动问题，通过利用多传感器融合技术，能建立精准的室内跟踪定位系统，满足当前对室内人员跟踪定位的需求。

1. UWB技术和定位法

1.1 UWB技术

使用GPS技术虽然能够实现全球导航定位，并且近年来已经具备了较高的精度，但是针对布置环境相对复杂、障碍物多的室内环境，由于信号强度的衰减、反射等原因，很难满足定位需求。针对目前工作、管理的需要，存在精确室内定位的需求，与RFID、ZigBee、蓝牙等技术相比，超宽带（UWB）技术具备更强的穿透性和抗干扰能力，更适合在室内这种复杂环境中进行定位[1]。

传统通信会将一个窄带信号调制到一个高频载波上，通信信号实际占用的宽带比较低，UWB技术不以正弦波作为载波，并且发送和接收具有纳秒、微秒级以下的极窄脉冲实现无线传输，所以占据较宽的频谱区域。脉冲信号的时间宽带很短，能够实现在频谱上的超宽带，获得数百兆的传输速率。为了限制UWB对其他无线通信系统的干扰，需要将其频率范围控制在3.1～10.6GHz，由于UWB信号利用脉冲信号传递信息，所以具有高频谱范围和低功率密度的特点。使用UWB技术的功耗更小，由于间歇脉冲的持续时间比较短，而且占空比较低，耗电量相对较小，能够让超宽带定位系统设备设计更加简单，并且能延长电源供电时间。在脉冲时间比较短的情况下，UWB技术的抗多径能力更强，信号衰落较少[2]。

1.2 TOA定位方法

TOA定位方法会测量电磁波信号在基站和移动端之间的传输时间，然后根据光速计算它们的距离，再以基站为圆心，以距离为半径画圆，通过多个圆的焦点确定目标的位置，原理如图1所示。

图1  TOA定位原理

理想状态下，信号和接收机发射机的时钟是完全同步的，可以根据三个已知位置的基站为圆心画圆，得到目标点坐标。设三个基站的位置分别是BS1（X1，Y1）、BS2（X2，Y2）、BS3（X3，Y3），目标点到三个基站的信号传输时间为t1、t2、t3，c是电磁波传播速度，各个基站和移动端的距离为

获得距离信息后，根据圆的性质能够获得以下方程组：

方程组整理为矩阵形式：

（x，y）是移动端的位置坐标，使用该方法能够利用UWB高时间分辨率的特点，并且能在理论上实现厘米级定位。但是在实际应用中，使用该方法需要實现信号接收端和发射端的严格时间同步，会导致系统复杂度提升，并且增加功耗，同时在时间同步上实现难度比较大，导致应用过程中会存在一定的误差，所以只能对具体位置进行估计[3]。

1.3 TDOA定位方法

TDOA定位方法使用到达时间差进行位置的计算，需要3个以上基站才能定位，利用基站和目标点的距离差建立双曲线方程，如图2所示，图中四个基站坐标分别为BS1（X1，Y1）、BS2（X2，Y2）、BS3（X3，Y3）、BS4（X4，Y4），其中主基站为BS1，在手持UWB标签的目标点在基站附近移动时，标签会向四周发射UWB信号[4]。

图2  TDOA定位原理

令四个基站接收到UWB信号的时刻分别是t1、t2、t3、t4，可以根据光速和到达时间差获得TDOA的方程：

上式中，Ri，1为标签到第i个基站和主站之间的距离差，c代表电磁波在空气中的传播速度，因此可以得到如下方程组：

上式中，（a，b）是行人标签的坐标，通过求解次方程组能够获得目标点的位置。使用TDOA定位方法和TOA定位方法相比，不需要发射机和接收机时钟同步，仅需要接收机和基站之间保持时钟同步，因此设计的复杂度比较低，可以节约成本。同时，使用TDOA能够利用UWB时间戳所具有的高分辨率、大宽带特点，能比较好地满足室内定位精度的要求，因此使用TDOA定位法。

2. 关键问题的处理和优化

2.1 多径效应

使用UWB技术进行定位虽然具有较高强的抗多径能力，但是由于信号在室内空间传播过程中不可避免地会受到金属或者其他介质反射作用，仍然会出现多径效应问题，将会导致信号失真，并影响定位精度。为了确保对定位精度的控制，使用采样处理和算法对结果进行优化。超宽带TDOA定位方程组解算精度比较低，为了提升解算精度，需要将非线性方程组求解问题转化为进化优化问题[5]。首先使用chan算法解算过程，建立非线性方程组的适应度函数，之后使用探索性粒子群优化算法EPSO求解方程组，完成对目标的定位。

EPSO的思想在于使用BBPSO直接演化出可以在相应特征值范围内任何切点，每个粒子为一个候选解，是一个和问题维数对应的n维是向量，粒子的第一个维度，表示第一个特性（F1）的切割点，需要在范围内有一个值，如果特性更新超出了该范围，则特性被设置到最近边界。使用EPSO时，首先需要进行粒子的初始化，由于高维数据上的多变量离散变化搜索空间巨大，所以某些初始候选方案中未被选中的特性，切点应该设置为相应特性的最大值，并且保证切点满足MDLP基于熵的切割点初始化，以便能够加快收敛速度，并且具有较大信息增益的特性在初始化过程中被选择的概率更大。之后需要进行粒子评价，针对粒子所产生的切点，需要将训练数据转换为离散值的新训练集和少数特征数，将切割点的最大值和最小值丢弃。之后根据转换训练集的分类精度，对每个粒子离散化进行评估，通过对离散数据的整体评估，实现对所有特征切割点的评估[6]。结合EPSO，对粒子群优化算法的流程如图3所示。

图3  粒子群优化算法流程图

通过上述算法进行TDOA定位方程组的求解，之后基于MATLAB的仿真平台，验证了不同算法下仿真定位点的空间分布规律以及三轴误差规律。

2.2 多目标优化的超宽带基站布局

传感器布设将会影响定位的精度，为提升定位精度，可以增加传感器的数量，以增加冗余信息，并利用丰富的冗余信息减小定位误差。但是，增加传感器意味着设备代价增大，为了能够控制成本，必须通过合理的布局，以便在最少UWB传感器数量的情况下达到较好的定位效果。目前传感器布局并没有给出最佳方案，为此，提出一种探索型多目标粒子群优化算法（exploratory multi-objective PSO，EMOPSO），进行基站布局模型求解，最后得到最佳方案。

2.3 视觉定位盲区

视觉定位系统会受到盲区和光线的影响，造成目标检测丢失、视觉漏检等问题，影响定位的效果和精度。为了解决上述问题并提升检测精度，使用了Yolov5目标检测算法和Deepsort目标跟踪算法，以及利用相机标定和坐标系转换拓展二维图像，实现对三维目标的定位和跟踪。

2.3.1 Yolov5目标检测算法

Yolov5使用网格概念，将图像划分成多个网格，每个网格预测一个或者多个物体，所以每个网格都能产生预测框，网格内存有预测框的模板，每个模板都预设了宽、高、坐标和置信度。训练过程中，真实人工标注框重点落在网格内，那个网格内的预测框就会生长或者萎缩，如果存在物体，置信度为1，如果没有物体存在，则置信度为0。

2.3.2 Deepsort目标跟踪算法

该算法是一种针对检测多个目标的跟踪算法，在多目标跟踪时有较好的表现。在对跟踪器和检测目标进行结果匹配时，会结合运动信息和目标的表观特征，将它们作为同一个目标匹配，同时将检测框和跟踪器预测框交并匹配和级联匹配，能防止目标障碍物被长时间遮挡导致出现跟踪误差，因此跟踪过程中具有更强的鲁棒性。图4为Deepsort的原理图。

通过使用上述算法，配合相机标定和坐标系转换拓展，并使用卡尔曼滤波算法融合视觉系统模型以及UWB系统，室内特定目标的定位和跟踪性能明显提升，可以较好地满足精度需求。

2.4 多源融合定位

单独使用视觉定位或者单独使用UWB进行室内定位还存在一定的不足，视觉定位会受到相机捕获范围限制、盲区的影响，而且很难确定行人的身份；单独使用UWB在定位过程中容易出现误差，也容易由于信号不稳定、基站掉电导致基站个数缺失等不稳定问题[7]。为此需要将UWB和视觉定位融合，通过视觉定位弥补UWB的波动问题，以及利用UWB在视觉出现盲区时持续定位，融合方式如图5所示。

图5  多源融合方法

定位时，需要行人携带UWB标签发出信号，行人会通过标签获得唯一身份ID，并且区域定位上方需要安装单目摄像头，利用摄像头实时进行行人的跟踪拍摄。UWB标签发射的信号会通过UWB基站发送给后台服务器进行解算，弹幕摄像头的画面会被发送到yolov5网络模型进行目标检测，并使用矩形框框定，Deepsort目标跟踪算法会控制摄像头跟踪目标行人，并给行人赋予ID。在UWB和视觉定位都计算出结果，使用欧氏距离进行匹配，在匹配成功后，会将行人视觉定位的行人ID和UWB标签ID匹配，并对这两种方法获得的行人坐标使用卡尔曼滤波融合，获得最后的输出坐标。

3. 算法精度实验

针对10～100米距离下TDOA模型使用chan算法、间接法、EPSO算法的平均定位误差进行分析。

3.1 实验环境

为验证融合性能，在学校走廊环境开展实验。UWB接收信号基站在走廊里排列，基站之間的间隔为7.5米，无线摄像头将拍摄到的画面传输到服务器进行处理，UWB基站也会将接收到的信号发送到服务器进行解算，服务器内可以进行UWB数据和视频数据的处理，进行行人位置定位。行人的真实坐标使用红外线测距仪进行测量。每隔10米进行一次位置测量，从10米到100米进行10～100米的距离测量实验，并使用三种算法进行计算。

3.2 实验结果

实验结果如图6所示。

根据图6的结果，随着定位点和基站之间距离增大，所有定位算法的平均误差都在增加，但是使用间接法和EPSO算法的平均定位误差呈线性增加，而chan算法平均定位误差呈指数增加。因此EPSO算法和间接法具有较好的定位精度。间接法和EPSO算法对比如图7所示。

图7为间接法和EPSO算法的精度对比，通过放大后发现，二者的定位误差虽然相差较小，但是EPSO算法的定位精度更高，因此使用EPSO算法相对具有更高的定位精度。

结语

使用EPSO算法求解TDOA定位方程组得到的定位误差相对较小，在定位精度上具有不错的效果，和视觉定位技术融合，可以获得更具连续性、稳定性的定位系统。UWB定位和视觉定位之间具有比较良好的互补性，利用视觉定位能够降低UWB定位的波动性，UWB定位也能给视觉定位的行人提供身份信息，满足视觉盲区进行定位的需求。所以，建立多元融合定位系统可以在室内定位中获得比较好的效果，可以提供较为准确的三维位置信息，并实现对人员的跟踪定位。在具体应用中，还需要使用EPSO算法合理布置基站的布局，以有效控制误差，提升定位系统的工作效率。

参考文献：

[1]杨招兵.基于视觉和超宽带融合的室内跟踪定位系统[D].上海：上海交通大学，2020.

[2]Hightower J，Borriello G.Location systems for ubiquitous computing[J]. Computer，2001，34（8）：57-66.

[3]梁昌业.室内导航融合算法研究与实现[D].成都：电子科技大学，2019.

[4]李玉卿，鲍泓，徐成.单目视觉惯性SLAM与UWB数据融合的精确定位[J].传感器与微系统，2022，41（9）：125-128.

[5]周韦，孙宪坤，吴飞.基于SLAM/UWB的室内融合定位算法研究[J].全球定位系 统，2022，47（1）：36-42，85.

[6]曹立波，向国梁，张乐祺，等.一种融合UWB和视觉信息的行人预警方法[J].汽车工程学报，2020，10（4）：235-242.

[7]杜美玉，于湉，胡霆丰，等.基于UWB技术的自动跟随避障系统设计研究[J].电子元器件与信息技术，2020，4（8）：62-63，77.

作者简介：张凤，硕士研究生，研究方向：UWB定位、智能座舱特性测试。

基金项目：上海市科委资助项目——Science and Technology Commission of Shanghai Municipality （编号：22DZ2229004）。