利用双摄像头拍摄主体的分辨跟踪

彭斯奇

（成都市嘉祥外国语中学国际部学术研究室 四川省成都市 610000）

1 绪论

本课题研究的背景、理论方法及意义：

在VEX比赛中，视觉定位信息要通过V5摄像头获得主体在平面坐标系中的坐标信息和色彩信息，但是这两个信息无法用来空间定位和追踪主体。这就要获得物体真实的三维信息。

摄像头通过物理信号对周围的目标物体进行捕捉。然后用于图像处理：第一个使用图像处理技术，例如图像过滤，边缘检测预处理图形；然后提取图像特征值；最后到对象的三维描述，以获得物体和方向的位置。3D匹配技术的关键部分是找到正确的算法，根据比较位置之间的特征点之间的差异，获得视差数据，然后计算3D坐标，从而复原了目标主体的三维特征。

2 运动目标检测研究

2.1 光流法

随着视频像素的瞬时速度，在视频像素中称为光流量的移动，使用视频图像亮度梯度来计算流场，它被表用达视频中各个像素点的运动3D矢量。通过视频中的背景像素均匀改变光学流量矢量和跟踪目标像素大小和光流量矢量属性的方向，例如邻域的特征将具有更大的差异，然后在图像中获取移动对象。H - S方法和L - K方法是用于检测移动对象，以获得光学流场计算方法最常见的应用，获得光学流场后，移动物体光学流分离可以是背景图像以计算移动物体之间的差异。

一设在t时刻，(x,y)是物体的像素点，I(x,y,t)为灰度值；在(t+Δt)时刻，(x+Δx,y+Δy,t+Δt)代表像素点运动到新的位置，若研究对象在其运动轨迹途中的亮度不变，即

即可知：

从而可得：

即：

根据灰色值随时间变化，放置瞬时变化率，通过视频帧可以在某个时刻的梯度的灰色值空间的类型上获得。U是解决方案点p瞬时光流量矢量，这是光学流量方法的焦点，目标检测和跟踪。

2.2 帧间差分法

帧间差分法通过视频图像序列的两个相邻帧差序列完成。通过相邻帧减法和帧差异图像像素值的对应，那么如果特定阈值二值化大于质量的相应变化，则可以称为背景像素；另一方面，某个阈值小于图像中的小型移动对象的质量的相应变化导致前景像素。

在现实生活中工作，光线变化非常缓慢，在后台像素帧不同之前和之后，这要求我们定义阈值，处理后的结果差异，可以计算移动目标区域，实现步骤遵循：

第k帧图像fk差分图像dk

图1为帧间差分方法的流程图，f1,f2……给定视频图像序列的定义，其中fk-1,fk用于表示任何两个相邻帧的图像，图像差分公式如下：

图1：帧间差分系统流程图

对其进行阈值化处理后的结果为：

其中TH为门限判决的阈值。

帧间差异方法不是很复杂，自适应算法的原理，实现了优势，但是存在于移动目标速度太慢，或者其他因素太近的背景纹理易于空，填充，一个无法检测到特殊情况，检测目标，然后移动。

2.3 运动目标检测研究总结

（1）关于背景的光学流量方法的优点，目标极限需求宽松，但在计算过程中附加许多有限的条件，由于其贫困性使其算法趋于复杂化，所以在运行时间也是一个问题。

（2）帧间差异方法是良好适应性变化的特点，靶具有足够的粘接速度，颜色，使其具有强大的鲁棒性，符合颜色的目标是丰富的，相对较快的实时系统在系统中具有广泛的应用。

3 常用的目标跟踪方法分析

3.1 边缘轮廓跟踪

边缘周围的边缘是指像素步骤的像素数突然改变，一组像素或基于区域的像素跟踪方法相对容易实现，如果从每个移动对象的开头精确识别和实现一些特殊条件初始轮廓的精确轮廓可以发挥连续跟踪精度的作用，并增加轮廓初始化要求的难度，实现轮廓跟踪非刚性对象运动，初级模型和算法基于黑色和Zedoariae Snake算法，如自适应边缘模型。

3.2 均值漂移

均值漂移（Mean shift）算法可以在满足某些条件的情况下收敛到最接近的稳态点的概率密度函数，因此平均移位算法可用于检测模态的概率密度函数。基于目标跟踪算法的非参数内核估计算法，在具有N维空间的X，有限数据集合S∈X，x点（x∈X）附近的“均值漂移样本均值”定义为：

在平均移位算法的核心，使用数据需要重复指向平均移位向量的方向以进行连续运动，每个步骤都计算一个新位置，计算出最后获得极值点的融合。与估计密度函数相关联的平均移位向量，与负梯度方向一致。

3.3 目标跟踪方法总结

平均移位算法是最简单的算法之一，最低时间复杂度之一，易于理解和实现，因此也是最广泛使用的目标跟踪算法，算法不适用于靠近移动和背景测试系统。

根据本文系统设计的要求，各种方法充分考虑检测和跟踪，利用平均移位算法在比较优势和缺点的移动目标检测方法帧间系统之间的转换方法。

4 立体匹配与定位

4.1 立体匹配

4.1.1 立体匹配工作原理

立体声匹配是通过将视差值匹配，距离是距离之间的距离，如果目标图像左侧的图像，投影点左侧的图像（M，n），作为目标对象的投影点被映射到成像平面上的机器上的左侧，以投影为中心点设置MXN窗口的大小，沿着平面右侧的图像的右侧，成像平面的右侧对应于窗口的大小。右窗口的极性和范围选择阈值d，D表示移动范围。在窗口左侧的右窗口区域移动最匹配的像素坐标，通常使用最小匹配成本的概念。

4.1.2 立体匹配难点

（1）遮挡问题。发生在物体庇护所，因为相机角度不同，这种现象类似于人们的眼睛，当左眼盖位置时，必须朝着正确的方向，因此，在记录图像的过程中，以记录图像的过程中尽可能保持左图像，因此不能准确匹配，如果存在相应的匹配点，则匹配点必须错误。

（2）弱纹理区域。在记录的图像的过程中，尽可能保持左侧图像的右侧部分，因此不能准确匹配，如果存在相应的匹配点，则匹配点必须错误。

（3）亮度差异。因为在拍摄的过程中，双目摄像机通过不同的照明强度，图像的图像是不同曝光条件的图像，光太强了就会，图像匹配特征点匹配。

4.1.3 立体匹配的约束条件

虽然计算机愿景领域已经能够实现某种方式帮助人们工作成就，但它仍然属于机器，而不是一个强大的人可以分析和处理事物，因此，通过计算机分析计算机信息处理，图像信息需要添加一些约束条件，以帮助它更好地识别图像。

（1）连续性约束条件。在物体的表面上，通常颜色关闭一些视差值是不断变化的，通过连续性约束条件可以大大减少匹配时间。

（2）唯一性约束条件。如果必须匹配点，如果相应的匹配点，则不同时对应于两个匹配点的相同点。

（3）视差范围约束。寻找视差匹配限制点，例如人眼只能看到一系列区域搜索将大大减少，因此具有精确匹配和相应的点位置。

（4）相容性约束。它正确的匹配点灰色值也应该是相同的，而且属性应相同，但使用双重图像作为机器，因为两个位置的位置是不同的，因为机器通过光强度不同，所以甚至如果相同场景的图像，围绕匹配点的相应属性无关，您需要使用差异优化的绝对值。

4.1.4 立体匹配的步骤

大多数立体声匹配算法分为以下步骤：

（1）匹配代价的计算。通过匹配RGB频道的相应点匹配成本已发送价值，最终形成匹配成本数字是一种视差价格图表，包括所有匹配点。

（2）代价聚合。聚合是每个本地滤波图中的视差，与每个部分隔离的类似像素，最终形成像素区域，以实现图像的划分。

（3）视差计算及其优化。本部分使用者采取所有视差值选择，视差值策略，图像像素应该具有最小匹配成本，视差包括数据和计算相对视差平滑，项目描述中的数据是价格聚合函数，称为项目平滑。

4.1.5 立体匹配的步骤

立体声匹配算法分为本地优化方法，全局优化方法和全局优化方法。

（1）局部优化法。本地优化方法包括区域匹配优化方法，相位匹配优化方法和特征匹配优化方法，为了优化图像纹理优化方法和算法通常更加激烈，但算法也有一些限制，如果有一些灰色的变化，为了优化图像纹理优化方法和算法通常更加激烈，但算法也有一些限制，如果有一些灰色的变化

（2）全局匹配优化法。通常用于全局优化方法，图像分割算法是动态编程方法和信念传播方法。全局优化方法可以获得准确的视差图，这不是本地优化算法的优势。

动态编程在图像纹理中可能薄弱一些良好的发挥作用，但这种算法在计算过程中往往很容易忽略极性方向上的约束，以产生条纹缺陷。

（3）半全局匹配优化法。是一种全局优化方法来优化动态编程，除了具有动态编程的优势，还可以提高图像处理的精度。每对对应点的一维路径的全局优化方法可以实现良好的匹配，最终将是这些点的价格一起进行2D图像信息处理。同时，全局优化算法中的优化算法和能量成本函数用于实现平滑度约束，围绕一致性检查来确定精确匹配点的程度。全局优化方法具有更强的稳健性，其计算效率非常高，甚至可以实现实时匹配效果。

4.2 视差原理

双目摄像机范围实现可以通过类似的三角形测量原理，原理图如图2所示。其中点，分别为左、右像机设备的光心坐标，B对于两个光学中心之间的距离的长度，将要测试的像素点对象的点P的三维世界，M，N分别作为成像平面的机器作为左右的平面。

图2：测距原理图

对于理想的范围模型，成像平面中的M，N应严格地彼此并在同一平面上。点M，N对于两种相机光学中心垂直于成像平面交叉点，是两个成像平面的中心，目标点P成像平面投影到两点，两者也表示两个成像平面中心和零偏移的长度。点F就像一台机器，其中焦距之间的成像平面，距离模型可以看到该点p，围成的三角形相似于点围成的三角形。见式：

对式进行变形处理，见式：

通过类型可以得出结论，如果知道基线距离和jijiao f b以及两个零长度之间的距离，可以通过测量点和两个相机悬挂点的平面视差值z，z的距离。

4.3 目标定位

4.3.1 单应矩阵H

基于Sobel运算符来计算匹配点集，通过计算，选择没有连接到几组匹配收集点等式来计算单个应在它们之间建模，通过使用区域位置和目标的模型空间中的对象。

列表应该是一种关系，通常用单个矩阵h，在本文中选择相同的相机图像转换关系矩阵。所述双目距离测量模型的同类矩阵可以在现实世界对象中实现初步选择，同类矩阵H型表示：

如图2所示，对于目标物体中的一点，其地图上的点分别到左图像和右图像，两个投影点与，之间的关系见式，用齐次坐标表示，见式：

通过类型可以得出结论，个体应该有六个未知的参数矩阵和四组匹配点，因此，如果出现错误，请选择四组匹配点，计算同类矩阵日将是实际图像之间相应关系之间的间隙非常大。因此，选择四组匹配点如果出现错误，计算类似的矩阵日将是实际图像之间的间隙之间的相应关系非常大。

4.3.2 选定目标区域

选定目标区域流程图如图3所示。

图3：目标区域选定流程图

如图3所示，与关于机器的图片一样，将左摄像机图像设置为目标图像，右相机图像设置为参考图像。利用Sobel操作员，目标图像的特性和参考图像点集，在所述描述符上设置的特征点的特性相似度判断，如果可以初步得出的阈值的相似性，组匹配点到右侧，为了获得几组使用Ransac算法错误匹配点匹配指出，筛选更精确的匹配点，以滤除分析矩阵H计算匹配对对，表示可以设置计算区域之后的关系矩阵h对于目标对象。

5 设计总结

看到大量相关文献，本文总结了目标跟踪算法和目标跟踪系统，本文已经完成了大量的工作分析，虽然根据双相机运动目标检测和跟踪系统设计，但改变了面部可能导致目标深度信息丢失的变化。如果在未来实现各行各业的智能监测系统，势必使移动物体检测和跟踪的监控系统得到快速发展，满足我们需要的视频信息的深度。