基于多视角图像的玉米三维重建及双面配准方法研究

李玉超 张博 汪永刚 张雪景 张君 范晓飞

摘要：提高植物三维点云模型重建时的准确性与完整性，是精准获取植物表型参数的关键所在。目前大多数三维重建方法只能从某一方向对目标物体进行重建，缺乏完整的三维重建过程。为了解决此问题，本研究提出了一种基于多视角图像序列的玉米双面配准的三维重建方法，通过安装在图像采集平台上下侧的RGB相机来获取玉米不同视角的图像序列，基于SfM算法获取玉米的三维点云模型后使用点云颜色滤波算法进行预处理。通过交互式选点测量方法得到玉米点云的空间坐标后基于欧式距离算法计算20组玉米的株高、叶长、叶宽等表型参数，与对应的手动测量结果相比，决定系数r2依次为0.973 6、0.969 1、0.915 0，结果表明两者间显著相关。之后对标记物使用4PCS和PCA算法进行粗配准，结果表明采用4PCS具有更好的粗配准效果。最后采用ICP算法进行标记物的精配准，得到变换矩阵后将其应用于玉米点云，即完成了玉米点云的双面配准。由玉米点云的配准精度均方根值（RMS）可知，当点云重叠度设置为90%时，RMS值较小，玉米点云配准的精度更高，可达到较好的配准效果。总之，本研究所提的配准方法可以拼接和重建出结构更加完整的玉米点云模型，从而满足对玉米表型研究的需求。

关键词：多视图重建；点云预处理；玉米表型；点云配准；三维重建

中图分类号：S126 文献标志码：A

文章编号：1002-1302（2023）08-0177-08

基金项目：河北省高层次人才资助项目（编号：E2019100006）；河北省重点研发计划（编号：20327403D）；河北农业大学引进人才项目（编号：YJ201847）；2021年度石家庄市引进国外智力项目。

作者简介：李玉超（1996—），男，河北定州人，硕士研究生，研究方向为植物表型。E-mail：chao15930202106@163.com。

通信作者：范晓飞，博士，教授，主要从事智慧农业与图像处理研究。E-mail：hbaufxf@163.com。

高通量表型是植物科学研究的重要组成部分，准确快速地测量植物表型可以更好地分析其基因型与表型之间的关系［1］。选择最佳的植物表型更是作物育种的关键步骤之一［2］，而传统的测量方法主要靠人力进行测量，费时费力，对作物易造成不可逆的损害。因此，使用无损测量的成像技术用于分析作物表型尤为重要［3］。与二维图像相比，在三维空间中分析作物表型具有更高的准确性，可以获取更详细的表型信息［4-5］。三维重建技术的快速发展为获取植物的三维模型提供了可能［6］。

目前三维重建技术在农业方面的应用十分广泛［7-8］。常见的三维重建方法有LiDAR法［9］、Kinect法［10］和多视图重建法［11］等，不同的三维重建方法所采用的原理也不尽相同。其中基于多视角图像序列的三维重建方法具有成本低、操作简便和自动化程度高的特点。在获取多视角图像序列之后，基于运动恢复结构（SfM）算法来进行三维重建的方法具有效率高的特点，可以准确地重建出点云模型。井然等使用无人机结合SfM算法，对挺水植物进行了三维建模，进而对其生物量进行了准确估算［12］。Malambo等使用基于无人机的SfM算法量玉米和高粱的田间表型，通过采集株高数据分析了2种作物在生长周期内的变化趋势［13］。孙英伟等提出一种基于SfM算法的单木结构参数快速提取方法，其提取的树木胸径、树高、冠幅等表型与实测值相关系数均大于0.94［14］。张慧春等使用SfM方法对拟南芥进行了三维重建，提取的拟南芥表型性状主要包括叶宽、叶长、主茎长度、叶片面积等［15］。Sun等使用SfM方法重建了棉铃的三维结构图，并通过点云聚类和分割获得了棉铃的数量和位置［16］。Zhang等使用SfM通过从不同视图捕获图像来重建甘薯植物，对叶面积、株高、株数、叶面积指数等植物特征进行生长监测，结果表明三维模型中测量值与实际测量值之间具有高度相关性［17］。

点云配准旨在将多个点云正确配准到同一个坐标系下，形成更完整的点云，从而达到更高的精度［18］。朱启兵等使用RANSAC算法进行点云的初始配准，之后采用ICP算法完成精配准得到了盆栽金桔的完整点云［19］。陆健强等提出一种基于轻量化处理的ICP优化算法，通过对滴水莲三维建模并进行配准后取得了预期效果，能够准确反映出植物点云的形态特征［20］。方慧等采用多软件、多视场扫描和拼接方法及ICP算法相结合的配准方式完成植株点云的配准，可以较好地提高局部点云的配准效果［21］。然而上述研究对植物进行建模、拼接和配准时存在植物结构重建时不够清晰的问题，对植物更详细的表型信息获取仍有待提高，因此本研究提出了一种对玉米植物进行双面配准的方法。

本研究通过RGB相机进行拍照，从两侧获取玉米幼苗全视角图像序列，基于SfM算法生成玉米不同方向的三维点云模型。之后经过点云预处理和点云配准拼接得到新的玉米点云模型，可以获取植株结构更完整的表型信息。本研究提出的方法快速准确，在无损提取植物表型特征信息的同时，可以构建精确的玉米三维模型。

1 试验与方法

1.1 材料与设备

选用的试验材料是玉米品种郑单958的种子，在保定农资市场选购。玉米具有生长速度较快，种子从发芽到出苗生长周期较短的特点，在用三维成像技术观察植物形态特征上能够满足观测的需求。

本研究使用2个RGB相机分别采集植物上下面的图像序列，RGB相机分辨率为2 048×1 536，型号为JAI公司的FSFE-3200D-10GE。采集图像数据时，待测植物置于载物台上，通过控制器使得與旋转台相连的相机转动，相机每隔2 s拍摄1次，转过的角度为6°，旋转1周后总计可以获取 60～70张图片，之后把采集到的图片数据传送到计算机中进行处理。

为了把玉米上下面的三维点云模型进行配准，在进行拍照时在载物台上画了已知实际尺寸的直角三角形（边长分别为3、4、5 cm）作为标记物，来作为配准的参照物。三维重建后，先从上下2个方向对参照物点云进行配准，得到变换矩阵之后，再应用于玉米点云模型的配准。本研究中进行玉米双面配准的流程如图1所示。

所用三维成像设备由旋转平台、相机固定支架、相机、载物台和控制器等部分组成，如图2所示。旋转平台用来带动相机固定支架和相机的旋转，载物台用来放置待测试验材料，控制器用来控制电机转动的速度。

1.2 基于SfM的三维重建

基于图像的三维重建技术主要是将二维图像恢复成三维模型的技术［22］。运动恢复结构算法（SfM）作为三维重建的一种，其重建原理是将采集的多视角图像序列，运用匹配算法获得图像相同像素点的对应关系，再利用匹配约束关系，结合三角测量原理，获得空间点的三维坐标，进而重建出物体的三维模型［23］。重建过程主要包括特征点提取与匹配、稀疏点云重建和密集点云重建等关键步骤。

本研究中使用的基于运动恢复结构算法（SfM）进行三维重建的软件主要有AgisoftMetashape和CloudCompare。本研究中三维点云的稀疏重建和密集重建结果如图3所示。图3-a是采用SfM算法获得的玉米植株的稀疏点云，图3-b是在图3-a基础上生成的密集点云，图3-c是去除无关背景后提取的玉米植株。同理，图3-d是玉米叶片的稀疏点云，图3-e是其密集点云，图3-f是提取的玉米叶片。

1.3 点云预处理

在采集点云数据时，由于设备精度和环境因素等带来的影响，点云数据中将不可避免地出现一些噪声点。因此需要采用点云预处理方法把无关信息过滤去除，进而提高点云运算时的速度［24］。本研究主要使用基于颜色阈值分割的方法去除植物边缘的噪声点，从而获得用于研究分析的标记物和玉米点云模型［25］。

在二維图像中基于颜色的阈值分割的基本思想是确定一个阈值，然后把每个像素点的灰度值和阈值相比较，根据比较的结果把像素点进行划分归类，符合设定阈值的图像像素点保留，不符合阈值要求的像素点删除。基于颜色阈值的点云滤波与此相类似，在获取点云的RGB信息之后，进行RGB颜色阈值的设定。由于点云噪点的RGB值与叶片的RGB值相差较大，所以可以根据此差值来进行阈值的设定，根据点云颜色信息，可以去除玉米幼苗叶片边缘的白色噪点。

1.4 玉米点云表型测量方法

本研究通过对三维重建后的玉米点云模型进行交互式选点测量，得到点云空间坐标，之后基于欧式距离算法原理得到玉米株高、叶长和叶宽的大小，由此得到的数据与玉米植株手动测量值结果相比较，来验证本研究中点云测量的精度。

在数学中，欧几里得距离（即欧氏距离）是欧几里得空间中两点间距离。在n维空间中，假设有2点a（x11，x12，…，x1n）和b（x21，x22，…，x2n），则n维空间的距离公式为：

由此可知在三维空间中，假设有两点a（x1，y1，z1）和b（x2，y2，z2），则三维空间欧氏距离计算公式为：

基于以上距离计算公式，在知道点云坐标的前提下，可以求出点云测量的玉米株高、叶长和叶宽等参数。

1.5 点云同一尺度缩放

受相机的镜头精度、拍摄距离和转台的机械震动等客观因素的影响，得到的玉米作物点云模型在尺度上存在大小不一致的问题，如果直接配准拼接的话会导致较大的误差，因此需要先对其进行缩放，再进行配准。

点云缩放是指尺度按比例缩放一定的倍数，点云数量保持不变。本研究中点云缩放的具体方法就是把获取的上下面的标记物点云模型分别记作M和N。采用主成分分析法（PCA）构建点云的包围盒，得出点云模型在坐标轴上的长度。把M和N 2个点云模型在对应坐标轴上的长度的比值作为缩放比例。

本研究取y轴作为参照进行缩放，缩放公式为：

式中：YM和YN分别为标记物点云M和N在y轴方向的长度；k为缩放比例。

1.6 三维点云配准

点云的配准过程，本质上就是求点云之间的旋转平移矩阵，将源点云变换到目标点云相同的坐标系下。可以用式（4）进行表示：

式中：pt和ps指的是目标点云与源点云中的对应点。点云配准关键之处就是要求出其中的R与T的旋转平移矩阵。

点云配准主要分为粗配准和精配准2个部分。点云粗配准就是在2个点云的相对位置关系不明确的情况下，找到一个这2个点云相似的旋转平移矩阵。本研究所用到的点云粗配准方法主要有4PCS算法和PCA算法，通过比较得出4PCS算法具有更好的配准效果。之后采用ICP算法对点云进行精配准，得到变换矩阵。由于目标物体和玉米点云模型的相对位置是不变的，因此把变换矩阵应用于玉米模型，也就完成了研究对象的点云配准。

1.6.1 基于4PCS算法的点云粗配准

4PCS配准算法［26］使用的是RANSAC算法框架，通过构建与匹配全等四点对的方式来减少空间匹配运算，进而加速配准过程。在任意姿态的点云P和Q中构建共面四点集合，使用仿射不变性约束，在共面四点集合中匹配符合条件的对应点对，使用LCP策略寻找配准后最大重叠度四点对，得到最优匹配结果，从而完成点云粗匹配。

1.6.2 基于PCA的点云粗配准

基于主成分分析（PCA）的点云粗配准，重点是利用点云数据的主轴方向进行配准。首先需要计算出待配准点云的协方差矩阵，据此计算出主要的特征分量，即点云的主轴方向。通过主轴方向可以求出旋转矩阵，再根据计算得出的点云中心坐标可以求解出平移向量。

由于点云数据主轴可能存在方向的问题，通过PCA分析得到的初始的旋转矩阵R0和平移向量T0不一定可以用于点云的精配准。因此在进行点云精配准之前，需要完成对R0和T0的校正，以此来避免粗配准后点云误差大和精配准会往错误方向收敛的问题。

校正公式如下：

假设2组点云P和X，利用R0和T0将点云P进行旋转平移得到Pnew，之后搜索最近点找到Pnew在点云X中的对应点集Q（数目为n），利用上述公式可以计算出点云粗配准的误差，其中erri是第i个对应点间的误差，error是2组点云的平均均方误差。

1.6.3 基于ICP算法的點云精配准

ICP算法的基本原理就是分别在待匹配的目标点云P和源点云Q中，按照一定的约束条件，找到最邻近点（pi，qi），然后计算出最优匹配参数R和t，使得误差最小。误差函数公式为：

式中：n为最邻近点对的个数；pi为目标点云P中的一点；qi为源点云Q中与pi对应的最近点；R为旋转矩阵；t为平移向量。

ICP算法的配准流程首先要计算{Q}中的每一个点在{P}点集中的对应近点，之后求取对应点对平均距离最小的刚体变换，求得平移参数和旋转参数。对{Q}使用上一步求得的平移和旋转矩阵进行空间变换，得到新的变换点集{Q′}，若新的变换点集与参考点集平均距离小于设定阈值，或者迭代次数达到设定值，则停止迭代计算，否则新的变换点集继续迭代，直到满足函数要求。

2 结果与分析

2.1 点云预处理结果

图4所示的2组数据分别为从上下方向对玉米幼苗的完整植株和叶片进行多视角图像采集之后三维重建的结果。本研究使用了基于颜色的点云滤波方法之后，明显地去除了离群点和叶片间的悬空点等无关点云，较好地保留了玉米和标记物点云模型。由图4可知，该算法具有很好的点云滤波效果。

2.2 玉米表型测量结果

玉米表型测量结果如图5所示。通过对5盆玉米进行了为期4 d的数据采集，一共获取了20组数据，之后进行三维重建，对玉米的株高、叶长和叶宽等表型参数进行了提取研究。其中玉米株高的均方根误差（RMSE）为9.83 mm，决定系数r2为 0.973 6（图5-a）；玉米叶长的均方根误差（RMSE）为9.95 mm，决定系数r2为0.969 1（图5-b）； 玉米叶宽的均方根误差（RMSE）为0.55 mm，决定系数r2为0.915 0（图5-c）。结果表明，通过点云提取的玉米表型参数与手动测量值显著相关。与传统人工测量的方法相比，通过点云测量的方式可以达到无损、快速、准确提取的效果。

本研究中手动测量和点云测量的玉米表型数据如表1所示。

2.3 点云缩放结果

三角形标记物和玉米点云的缩放结果如图6和图7所示，其中蓝色表示的是上方的RGB相机拍照后进行建模的点云模型，红色表示的是下方的RGB相机拍照后进行建模的点云模型。在进行缩放之前，三角形标记物和玉米点云模型在大小和形态上有较为明显的差别，主要原因就是上下方向上的RGB相机在进行拍照时到玉米和三角形标记物的距离不同导致的。缩放之后，上图所示的点云模型统一了尺度，在大小以及形态上十分接近。可见对获取的点云模型进行缩放具有十分重要的意义，可为点云进行配准时减少误差。

2.4 点云配准结果

本研究使用了4PCS算法和PCA算法对点云进行了粗配准，配准效果如图8所示。图8-a中绿色表示的是从上方视角进行建模后获取的标记物和玉米点云模型，红色表示的是从下方视角获取的点云模型。图8-b中白色及蓝色点云分别表示从上方视角和下方视角建模后获取的点云模型。从图8可以看出，使用4PCS算法在点云配准方面的效果较好一些，所获取的点云模型大体上可以配准。虽然采取4PCS算法可以实现点云初步配准，但是点云模型并没有完全重合，玉米的点云形态特征还存在一定的缺陷。

2.5 点云精配准结果

在基于4PCS算法进行粗配准的基础上，为了进一步提高点云的配准效果，本研究使用ICP算法对玉米点云进行了精度更高的精确配准。配准效果如图9所示，使用ICP算法精配准后的玉米，无论是整株的幼苗还是叶片，其轮廓都更加清晰，从上下方向获取的点云模型进行配准拼接后的重合性更高。可见本研究所用的配准方法能够满足对玉米植株表型全方位的观察研究。

本研究在评价玉米点云配准精度时，使用的是均方根值（RMS）来进行评价。主要比较了点云重叠度设置为80%、90%时的均方根值（RMS），结果表明，当重叠度在90%时，RMS值较小，表明此时点云配准的精度更高些，能够满足玉米点云的配准精度要求。玉米点云模型配准精度结果如表2所示。

3 讨论与结论

为了更好地观察玉米在生长期间叶片的形态特征，获取更详细的玉米表型信息，本研究使用RGB相机从上下2个方向对玉米幼苗进行拍照。获取图像序列之后，基于SfM算法进行三维重建，并做了点云预处理，之后通过点云提取测量了玉米株高、叶长和叶宽等具有代表性的表性参数，与实际测量值相比误差较小。然后根据标记物得到的缩放比例，把基于上下方向进行重建的玉米点云模型缩放到同一尺度下，接着采用了4PCS算法和PCA算法对玉米点云进行粗配准，结果发现，在粗配准方面4PCS算法具有更好的配准效果。最后使用了ICP算法对玉米进行精确配准，得到了玉米最终的点云模型，结果表明，采用ICP算法可以进一步提高玉米的配准效果。通过以上结果可以得出，本研究所提出的玉米点云双面配准的方法能够较好地拼接和重建研究对象的点云模型，并精准分析其表型参数。本研究提出的方法在为农业上其他农作物三维重建并进行配准方面具有一定的参考性和可借鉴性。

参考文献：

［1］Gao T，Zhu F Y，Paul P，et al. Novel 3D imaging systems for high-throughput phenotyping of plants［J］. Remote Sensing，2021，13（11）：2113.

［2］Pieruschka R，Schurr U. Plant phenotyping：past，present，and future［J］. Plant Phenomics，2019，2019：7507131.

［3］Li L，Zhang Q，Huang D F. A review of imaging techniques for plant phenotyping［J］. Sensors，2014，14（11）：20078-20111.

［4］Gibbs J A，Pound M，French A P，et al. Plant phenotyping：an active vision cell for three-dimensional plant shoot reconstruction［J］. Plant Physiology，2018，178（2）：524-534.

［5］An N，Welch S M，Markelz R J C，et al. Quantifying time-series of leaf morphology using 2D and 3D photogrammetry methods for high-throughput plant phenotyping［J］. Computers and Electronics in Agriculture，2017，135：222-232.

［6］Rahman A，Mo C，Cho B K. 3-D image reconstruction techniques for plant and animal morphological analysis—a review［J］. Journal of Biosystems Engineering，2017，42（4）：339-349.

［7］孙晓明，任 磊. RGB-D相机的三维重建综述［J］. 软件导刊，2021，20（5）：249-252.

［8］朱荣胜，李 帅，孙永哲，等. 作物三维重构技术研究现状及前景展望［J］. 智慧农业（中英文），2021，3（3）：94-115.

［9］王向玉，谢东辉，汪 艳，等. 基于地面激光雷达点云数据的单木三维重建［J］. 遥感技术与应用，2015，30（3）：455-460.

［10］郑立华，王露寒，王敏娟，等. 基于Kinect相机的油麦菜自动化三维点云重建［J］. 农业机械学报，2021，52（7）：159-168.

［11］杨全月，董泽宇，马振宇，等. 基于SfM的针叶林无人机影像树冠分割算法［J］. 农业机械学报，2020，51（6）：181-190.

［12］井 然，宫兆宁，赵文吉，等. 基于无人机SfM数据的挺水植物生物量反演［J］. 生态学报，2017，37（22）：7698-7709.

［13］Malambo L，Popescu S C，Murray S C，et al. Multitemporal field-based plant height estimation using 3D point clouds generated from small unmanned aerial systems high-resolution imagery［J］. International Journal of Applied Earth Observation and Geoinformation，2018，64：31-42.

［14］孙英伟，林文树. 基于SFM算法的单木结构参数提取研究［J］. 西北林学院学报，2020，35（5）：180-184，218.

［15］张慧春，王国苏，边黎明，等. 基于光学相机的植物表型测量系统与时序生长模型研究［J］. 农业机械学报，2019，50（10）：197-207.

［16］Sun S P，Li C Y，Chee P W，et al. Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering［J］. ISPRS Journal of Photogrammetry and Remote Sensing，2020，160：195-207.[HJ2.1mm]

［17］Zhang Y，Teng P，Aono M，et al. 3D monitoring for plant growth parameters in field with a single camera by multi-view approach［J］. Journal of Agricultural Meteorology，2018，74（4）：129-139.

［18］李建微，占家旺. 三维点云配准方法研究进展［J］. 中国图象图形学报，2022，27（2）：349-367.

［19］朱启兵，张 梦，刘振方，等. 基于点云配准的盆栽金桔果实识别与计数方法［J］. 农业机械学报，2022，53（5）：209-216.

［20］陆健强，兰玉彬，毋志云，等. 植物三维建模ICP点云配准优化［J］. 农业工程学报，2022，38（2）：183-191.

［21］方 慧，杜朋朋，胡令潮，等. 基于可視化类库的植株三维形态配准方法及点云可视化［J］. 农业工程学报，2013，29（22）：180-188.

［22］张彦雯，胡 凯，王鹏盛. 三维重建算法研究综述［J］. 南京信息工程大学学报（自然科学版），2020，12（5）：591-602.

［23］周静静，郭新宇，吴 升，等. 基于多视角图像的植物三维重建研究进展［J］. 中国农业科技导报，2019，21（2）：9-18.

［24］Han X F，Jin J S，Wang M J，et al. A review of algorithms for filtering the 3D point cloud［J］. Signal Processing：Image Communication，2017，57：103-112.

［25］余博文. 数字图像阈值分割研究与应用［J］. 科学技术创新，2021（19）：91-92.

［26］刘世光，王海荣，刘 锦. 快速四点一致性点云粗配准算法［J］. 山东大学学报（工学版），2019，49（2）：1-7.