多源数据融合的三维重建技术在文物保护中的应用*

陈思瀚，孙保燕，蒋嘉鑫，李东远，李天玮

（桂林电子科技大学建筑与交通工程学院， 广西 桂林 541004）

1 研究背景

实景三维作为真实、 立体、 时序化反映人类生产、 生活和生态空间的时空信息， 是国家重要的新型基础设施。 实景三维中国也为数字中国提供统一的空间定位框架和分析基础， 是数字政府、 数字经济重要的战略性数据资源和生产要素。 实景三维中国建设是贯彻新发展理念、 构建新发展格局的重要举措， 是未来测绘地理信息服务的发展方向和基本模式， 是产业发展新的增长点[1]。

文物遗产承载了丰富的历史文化信息和文化内涵， 具有很高的艺术价值、 展示价值和科学价值。由于极端天气等自然环境的侵害以及人为因素损害， 许多历史文物收到了大小程度的损坏， 造成了不可挽回的损失。 传统测绘多利用卷尺、 全站仪等测绘仪器进行简单的距离、 高度、 面积测量， 极易受空间地形限制； 测绘成果以二维图纸与照片的形式保存， 对于不规则、 构件精细的文物测绘周期长、 测量精度也较低， 且极易造成文物数据遗漏缺失[2]， 存在成本高、 效率低等诸多共性问题， 难以实现对文物有效地保护与利用。 为了更好地对文物进行保护， 同时为今后的修缮与利用工作提供详实的数据支持与科学依据， 需要利用人工智能技术与计算机技术对文物进行数据建档保存， 而文物的三维数字化是实现此目的的最有效方法。

近年来， 随着测量仪器技术水平的日新月异，文物的三维数字化重建方法也逐渐呈现多角度、 多层次态势发展。 空中影像数据采集技术通常为无人机倾斜摄影测量技术， 地面常用的数据采集技术包括地面近景多基线摄影测量技术、 三维激光扫描技术， 这种现代化数字测绘技术因其相较于传统测绘方式具有测量精度高、 数据信息完整、 工作效率高等优势， 已广泛应用于实景三维测绘与建模[3]。

王棋[4]利用无人机倾斜测量技术并采取贴近摄影测量方案， 重建了明月禅寺的三维模型， 由于多方面因素的限制， 三维模型存在漏洞、 拉花等问题， 模型完整度较差。 王巍等[5]利用近景摄影测量技术采集竹木雕文物影像信息并重建点云数据， 经处理与渲染后虽得到文物三维数字模型， 但此方法只能满足大型、 纹理简单或小型文物， 且模型优化过程复杂， 技术适用范围较窄。 李楠等[6]等利用三维激光扫描技术结合Smart 3D 软件完成对历史建筑文物的三维重建， 三维模型成果中顶部数据缺失严重， 且出现顶部碎片现象， 受到阳光影响造成了色彩还原度低的问题。

目前， 技术研究主要集中在单类（单台） 设备应用上， 较少将多类设备数据源有机融合应用， 解决实景三维模型错位、 碎片、 空洞和提高效率的研究。 单一建模技术受各方面的限制， 在外业数据采集工作中存在一定局限性， 难以精准记录并还原文物精美的纹理细节与雕刻文字， 导致无法建立满足文物三维模型电子档案的精细化实景三维模型。 地面三维激光扫描技术可快速、 非接触地获取文物精细点云数据， 但受部分文物高度及复杂构造的影响， 以及三维激光扫描仪器架设点的限制， 无法实现顶部构造及纹理细节的重建， 导致三维模型的空洞缺失； 地面近景多基线摄影测量技术虽具有采样灵活的优势， 但其受采样区域的限制， 无法建立文物完整三维模型电子档案， 只能满足小范围细节纹理的重建； 无人机空中倾斜摄影技术可获取文物顶部的图像数据与纹理细节， 建立高精度、 精准定位、 大范围带有纹理细节信息的实景三维模型， 但其采样过程中存在较多的拍摄盲区与摄影死角， 受影像分辨率限制， 较多文字与图案精度较差， 造成信息遗漏的问题。 因此， 研究如何结合各建模技术的优势从而高效逆构文物的精细化三维模型， 对文物进行有效地保护与利用具有重要的现实意义。

2 多源数据融合的三维重建技术分析

多源数据融合的三维重建技术融合地面三维激光扫描技术、 地面近景多基线摄影测量技术与空中无人机倾斜摄影测量技术， 可充分结合3 种建模技术的优势， 对被测物进行全方位影像数据采集； 将采集的影像数据经同名特征点信息匹配融合， 以提高三维模型的完整度和精细度[7]， 一次性、 快速高效重建含有文物完整细部纹理细节的三维模型电子档案。 图1 为多源数据融合的三维重建技术流程。

图1 多源数据融合的三维重建技术流程

2.1 外业数据采集

通过对文物进行现场勘测， 从测量目标的结构形式、 结构复杂度、 尺度体量、 纹理精细度等多方面出发， 设计出适合目标数据采集的个性化方案。

商业级无人机因其低成本、 轻质、 构造简单等优势， 已广泛应用于非接触测绘领域。 利用消费级无人机搭载单镜头进行5 架次飞行的数据采集方式， 可多角度获取测量目标顶部与侧面的数据； 在数据采集过程中应注意以下4 点： 一是依据现场勘测结果提前规划好飞行路线， 应覆盖整个测区以防止数据漏失； 二是确保相邻影像间具有足够的重叠度， 一般设置航向重叠度高于80%、 旁向重叠度高于50%； 三是避免阳光直射， 减少阴影对精细化建模的影响； 四是无人机保持较低速度匀速飞行， 保证对焦准确。

三维激光扫描仪可以以设备本身为中心主动发射激光束， 激光束接触目标后的反射信号可被设备接收， 从而快速获取目标完整点云数据。 通过现场勘测确定最佳扫描路线， 尽可能选择遮挡处少、 扫描区域较广的站点， 同时应保证相邻站点有足够的重合度， 从而减少点云数据缺失； 在站点上架设设备， 选择相邻且通视的站点设置标靶， 将二者整平， 即可进行数据采集工作。

无人机倾斜摄影和三维激光扫描扫描技术受到测量条件限制， 只可对目标外立面轮廓进行重建，对于一些细部纹理细节的还原精度较差， 因此选择技术采集灵活的地面近景多基线测量技术进行数据补拍。 在拍摄时应保证相邻影像的重叠度， 按顺时针或逆时针同方向有序进行； 对于遮挡处数据采集可借助其他工具进行补光， 同时结合固定支架与快门线以消除抖动影响。

2.2 多源数据融合

Context Capture（Smart 3D） 是由Bentley 公司研发出的一款基于摄影相片自动建立实景三维模型的软件。 这款软件可以利用符合要求的原始相片数据在少量人工干预下甚至无人工干预下进行高效、快速地实景三维建模。 该软件集合利用了影像处理、 计算机虚拟现实以及几何图形学算法， 可对多种数据源进行快速处理， 生成基于真实空间坐标的实景三维模型， 因此广泛应用于三维模型重建[8]。

将无人机空中倾斜摄影与地面近景摄影影像数据进行筛选， 除去对焦模糊的不合格影像， 校正剩余影像镜头畸变， 并对影像进行修正曝光处理与匀色匀光处理， 以保证后续同名特征点的识别、 提取与拼装。 将预处理后的二维影像数据导入Context Capture， 设置RTK 空间坐标， 进行多视觉影像密集自动匹配、 空中三角测量计算， 从而获取高密度三维点云数据； 将三维激光扫描所获取的大而无序的点云数据利用软件完成点云数据的配准、 去噪、采样、 封装等工作。

各类仪器设备在对文物数据采集过程中的优势作用、 架设地点、 数据采集方式均不同， 拥有各自的基准点坐标、 采样区域、 变形误差， 将空中倾斜摄影坐标系、 地面三维激光扫描仪坐标系、 地面近景摄影坐标系进行融合、 数据匹配合成课题所需要的大数据， 成为本课题成功的关键。

在不同采集的数据中， 扫描点的相对位置是一致的， 因此需要将空中倾斜摄影测量坐标系、 地面摄影测量坐标系与三维激光测量坐标系三者进行转换统一[9]。 基于计算机视觉理论原理， 通过选取同名特征点进行对旋转矩阵和平移矩阵的求解。 通过求得的旋转矩阵与平移矩阵的解， 将无人机倾斜摄影数据与三维激光扫描数据各点坐标转化为同一坐标系下的坐标值， 通过对同名特征点的提取与匹配进而完成两种数据融合。

2.3 精细化实景三维模型逆构

空中无人机倾斜摄影建模技术与地面三维激光扫描建模技术融合虽可结合两种建模技术的优势，但仍有部分精细的文物数据无法完整保存。 借助地面多基线近景摄影的高清影像以弥补纹理缺失。 将经预处理的地面相片与已经过融合的数据在Context Capture 建模软件中进行同名特征点的匹配， 完成最终的数据融合。

通过多源数据融合可自动完成不合理三角网表面的优化处理， 构建TIN 三维网格模型， 进而生成白膜模型， 将文物纹理信息进行纹理映射， 最终逆构带有真实的、 具有完整纹理信息的精细化实景三维模型。

2.4 建模成果对比

通过多源数据融合的三维重建技术可建立完整精细的文物三维模型电子档案， 对所得的精细化实景三维模型分析可知： 该技术弥补了无人机倾斜测量建模技术对视野盲区建模存在空洞、 碎片化、 三维激光扫描建模技术难以重建文物顶部的问题， 与近景摄影照片后的模型线条鲜明、 纹理清晰， 三维模型完整度与精细度显著提高， 满足建立文物三维模型电子档案的要求。

3 技术特点

1） 相比于传统测绘方式， 全程人工陆地遥控操作测绘仪器代替人工登高作业， 突破空间地形的限制， 大大提高测绘人员的作业安全系数； 非接触式数据采集， 在最大程度上保护文物的同时对其进行数据地完整采集。

2） 多源数据融合的三维重建技术实现3 种现代化建模技术优势互补， 利用价格低廉的测绘设备可一次性实现对精细数据地采集工作， 解决了目前实景三维模型空洞、 碎片、 错位、 低效率高成本等共性问题， 所建立起的三维模型电子档案更加精细完整、 更具有参考意义与保存意义， 为文物后续保护、 修缮、 研究、 利用提供数据支撑。

3） 实景三维模型可对现实世界高精度、 强现实性刻画， 基于多源数据融合的三维重建技术“ 所见即所得” 的特点， 经技术推广， 可实现在建筑质量无损检测、 交通基础设施智能化运维巡检、 “ 不打烊” 数字博物馆、 乡村振兴、 CIM 等领域数字孪生应用。

4 精细化实景三维模型成果应用

4.1 文物电子档案库应用

将前期所采集对影像数据、 点云数据及精细化实景三维模型成果进行整理， 同时引入检索技术以便于后续快速查看与利用， 建立统一的精度标准，确保电子档案库的质量与真实性； 当文物电子档案库初步成型后可上传至共享服务平台， 实现文物数据的可读与共享。 积极与文物保护部门进行合作，以期继续对文物电子档案库进行完善； 后期依托文物电子档案库数据真实的特点， 可应用于文物异地修复、 旅游开发、 文创产品生产等领域， 促进文化事业的发展[10]。

4.2 “ 不打烊” 线上博物馆

通过非接触测绘方案采集文物三维点云数据，将实体文物数字化； 智能提取文物空间曲面边缘线， 根据轮廓线的匹配结果， 利用三维模型曲面拼接、 三维模型曲面融合、 三维模型曲面编辑等AI技术结合手动调整， 实现对破损文物无接触数字化修复。 利用互联网技术与数字化手段将线下文化遗产复刻至线上， 打破时空限制， 实现主流展示端口无插件浏览（PC 端、 移动端、 VR 设备） ， 拉近文物与大众之间的距离， 充分发挥其教育展示、 文化传播意义[11]。

4.3 文物复刻

依托完整精细、 含有细部纹理的文物三维模型电子档案， 结合3D 打印技术与FDM- 熔融沉积成型技术， 实现1∶1 精准复刻完整的实体文物模型，可应用于文物研究、 展示等。

5 结束语

无人机倾斜摄影建模技术、 地面三维激光扫描技术、 多基线近景测量技术等现代化新型测绘技术， 具有高精度、 快速获取文物数据优势， 已经成为获取现实文物空间数据的重要方法。 针对单一建模技术难以重建文物精细化实景三维模型的问题，提出将3 种技术融合的三维重建技术， 在建模效率、 精细度、 完整度方面均有较大提升， 可完成文物三维模型电子档案重建工作， 为文物保护与利用提供精准数据支持， 满足文物保护事业发展要求。