绿美广东生态建设示范区数字孪生应用研究

孟先进,林寿明,秦 琳,黄宁辉,丁 胜,薛亚东,罗 勇,杨廷栋

(1.广东省林业调查规划院，广州 510520；2.中国林业科学研究院资源信息研究所，北京 100091)

随着物联网、北斗RTK高精度定位技术、无人机遥感、视频监控、智能终端等技术的发展,以大数据应用为核心,集成各类感知数据、数据处理、数据整合等,建设智能化的林业立体协同感知系统(1)广东省林业局.广东省林业政务信息化建设规划(2022—2025年).2022.已得到大力推广。虚拟森林环境的构建是数字孪生示范区建设的基础[1-2],场景显示速度和画面真实感一直是森林场景仿真领域研究的重点[3-4]。目前,随着各种方法和模型的优化,使森林场景的加载更加稳定和流畅。数字孪生在人工智能和大数据快速发展的背景下应运而生,为解决林业信息实时反馈和智能决策等问题提供新的技术手段[3]。如何用林业立体协同感知结合三维虚拟森林场景、林木生长模型[5-10]等精细模型构建林业数字孪生系统,是本研究的难点和关键。

“绿美广东生态建设数字孪生示范区”建设将采集并处理点云数据,获取区域内林木、地形、主要建筑等全要素真实信息,基于虚幻引擎5(Unreal Engine,UE5)构建其高精度三维模型,搭建高逼真的三维森林场景,并研发示范区物联网数据实时传输、可视化表达、统计分析功能模块。在此基础上,实现林木生长动态模拟、碳汇可视化、场景四季变化、天气变化等数字孪生功能,从而实现示范区数字孪生能力建设。利用数字孪生系统提供的数据和分析结果,通过可视化界面、报表和预测模型等方式为决策者提供支持和参考。

1 研究区域

研究区域位于广州市增城区增江边圣皇洲,占地总面积为4.4 hm2,交通便利,水电条件方便,5G信号全域覆盖,完全具备安装物联网设备和高精度传感器的条件,适合开展数字孪生系统建设工作。

研究区域是绿美广东生态建设示范点,实施了森林质量精准提升工程。该区域原来松树(Pinusspecies)占比约为60%,主要树种为湿地松(Pinuselliottii)和马尾松(PinusmassonianaLamb.),松材线虫(Bursaphelenchusxylophilus)病疫情严重,是一处松材线虫病的改造点。松材线虫病是重大植物疫情,严重威胁生态安全、生物安全,必须对该区域进行森林质量提升。经过改造,清除约70%松树以及杂树,保留500棵常绿乡土阔叶树种,另种植2 100棵地径为3 cm幼苗,还种有少量胸径为5 cm以上的苗木,均以乡土阔叶树种为主。示范区内树种种类达40余种,种类较多。考虑树种丰富度、地势差异、林分结构等因素,需合理设计传感器的布设方案,优化虚拟场景模拟及虚实交互策略。

2 建设内容

2.1 森林景观基础数据调查

森林景观基础数据调查包括高分辨率无人机正射影像采集、无人机倾斜摄影数据采集、重点区域点云数据采集、单木属性数据采集。倾斜摄影数据采集是利用示范区范围内高精度倾斜数据,用于输出实景三维模型;重点区域点云数据主要是运用地基和机载激光雷达设备获取林地、林木和建筑的点云数据,用于1∶1树木模型、建筑模形和地形模形等的制作;单木属性数据采集主要是对每木进行空间定位和检尺。

2.2 森林景观三维模型构建

植物三维模型构建主要是利用地面点云数据,构建主要道路两侧的每株树木的1∶1仿真模型、其余区位的主要林木模型;人工建筑三维模型构建主要是利用地面点云数据,构建三维模型;地形模型构建主要是利用无人机激光雷达数据,获取高精度DEM数据,结合虚拟现实技术,构建可表征真实地形起伏的地形模型。

2.3 三维森林场景搭建

三维森林场景搭建是以倾斜模型为底图,结合三维树木、建筑和地形等模型构建高精度与标准地理位置的3D森林场景,同时对模型面数、多细节层次(Levels of Detail,LOD)效果、渲染策略、代码组织等方面进行优化,提高运行效率和虚拟场景视觉效果。

2.4 物联网感知数据模拟

把示范区内建设的物联网感知系统(包括林木生长及碳汇监测系统、林分生态环境监测系统、动物多样性监测系统和水质动态监测系统)的感知数据接入三维森林场景,实现虚拟场景与现实森林场景的深度融合,并对多类型物联网感知数据进行三维展示。

2.5 数字孪生系统建设

数字孪生系统建设主要包括虚拟天气系统、林木生长模拟、四季变化模拟、声音模拟和碳汇三维可视化等内容。天气系统在虚拟的三维森林场景里搭建天气系统,按照24 h气侯传感器传回的真实现实数据对场景天气进行模拟;林木生长模拟是依据不同的林木生长模型,计算未来5～10年林木生长情况并进行动态三维模拟;四季变化模拟是通过树叶纹理及环境渲染变化,模拟春夏秋冬四季场景;声音模拟是对系统中风声、水声、鸟叫虫鸣等环境音进行三维模拟;碳汇可视化是依据不同树种不同碳汇模型,计算不同生长阶段的碳储量并进行三维场景呈现。

3 总体架构

本研究通过数据采集、数据处理、功能研发,构建绿美广东生态建设示范区数字孪生系统。系统包括支撑层、系统层、持久层、业务层、表现层等5项内容。在业务层进行三维场景搭建、物联网数据展示、数字孪生模拟、未来场景模拟等4项功能,在表现层进行三维界面(User Interface,UI)展示、业务功能三维模拟等内容。绿美广东生态建设示范区数字孪生系统总体架构设计如图1所示。

图1 绿美广东生态建设示范区数字孪生系统总体架构

4 数据获取

4.1 高分辨率无人机正射影像获取

无人机遥感技术的优势在于可以实现高分辨率、高精度、高效率的数据采集和监测,能够及时获取林地变化信息,为全过程、全流程的森林监测提供技术手段。把森林经营的每一环节进行精细化监管,可从林地清理、整地、植穴和栽植等经营方式下,获取基于实时动态RTK的高精度、高分辨率无人机影像,使每一阶段的工作都可以量化管理。本研究一共获取了11期无人机高精度高清影像,最高分辨率为0.018 m。部分影像如图2、图3、图4所示,其采集时间分别为2023年1月19日(图2)、2023年1月28日(图3)、2023年5月19日(图4)。

图2 林地改造前影像

4.2 无人机倾斜数据获取

无人机倾斜数据采集是利用大疆M300无人机搭载高精度倾斜摄影相机获取高分辨率倾斜数据(地面分辨率为0.01 m),并基于高密计算三维重建技术完成示范区现状实景的三维模型生产。数据采集分为3个步骤:1)倾斜航摄准备。空域申请以及飞行平台、倾斜数码航摄仪和飞行管理系统准备。2)倾斜航摄设计。航高确定、像片重叠度设置、航线规划、地面分辨率确定、时间选择。3)倾斜航摄实施。原始影像数据检查、数据预处理、倾斜摄影三维模型生产。整个示范区范围的无人机倾斜数据采集结果如图5所示。

图5 无人机倾斜数据采集结果

4.3 重点区域点云数据获取

对重点区域全类型要素进行背包式和机载式激光雷达扫描,获取激光扫描点位的绝对精度坐标和各种地物的信息数据,通过分析共性与特性,进行坐标转换,实现点云融合产出。数据采集过程为三维扫描仪器设备选用、三维扫描区域划分,以及路线规划、点云数据外业采集、数据处理、点云拼接和点云建模。背包式激光雷达扫描核心区位225株树木的点云数据,用于后期1∶1三维树种模型的构建。核心区位激光点云数据如图6所示。

图6 核心区位激光点云数据

4.4 每木调查数据

采集示范区所有树种单木属性数据,用于后期大场景真实数据建模。每木检尺的内容包括RTK空间定位坐标、树种名称、东西冠幅、南北冠幅、胸径(地径)、树高、枝下高。示范区里总共采集2 864棵(包括乔灌木),有铁冬青(IlexrotundaThunb.)、醉香含笑(MicheliamacclureiDandy)、闽楠[Phoebebournei(Hemsl.)Yang]、三桠苦[Evodialepta(Spreng.)Merr.]、黄牛木[Cratoxylumcochinchinense(Lour.)Bl.]、破布叶(Microcospaniculata)、山乌桕[Sapiumdiscolor(Champ.exBenth.)Muell.-Arg.]、刨花润楠(MachiluspauhoiKanehira)、台湾相思(AcaciaconfusaMerr.)、潺槁木姜子[Litseaglutinosa(Lour)C.B.Rob.]、深山含笑(Micheliamaudiae)、阴香[Cinnamomumburmanni(Nees et T.Nees)Blume]、木荷(SchimasuperbaGardn.et Champ.)等总共54种乡土阔叶树种,其中还有国家一级保护植物猪血木(EuryodendronexcelsumH.T.Chang)和南方红豆杉[Taxuswallichianavar.mairei(Leme &H.Lv.)L.K.Fu &Nan Li]。编号1—15的每木调查数据如表1所示。

表1 编号1—15每木调查数据

5 技术实现

5.1 三维模型构建

1)树木三维模型构建。首先,通过校正配准处理,拼接融合背包、机载采集的树木三维激光点云,形成覆盖全要素的稠密点云数据;其次,通过自动化解算抽稀,单独稀疏出树木的枝叶干点云,将树木枝干点云通过人工智能(Artifical Intelligence,AI)技术,将树木不同部位采用不同的方式提取骨架点,进而转换为实地树木所对应的白模;最后,将生成的树木白模根据点云映射与实地现场照片结合,赋予与实地对应的树皮材质生成树干,贴上对应的树叶后,制作出1∶1还原的三维树种模型。树木的三维建模流程如图7所示。

2)建筑及地形模型的构建。需要构建的模型主要包括道路、亭子、路灯、物联网设备。建筑模型的构建是通过雷达扫描、照片采集,获取精细化建模数据,在专业化软件里进行构建;地形模型的构建是使用倾斜模型,去除掉地面部分信息,保留地面倾斜模型数据,再利用专业软件导出为3D模型文件格式(obj格式)。

5.2 森林场景仿真

1)三维模型加载。点云扫描区域主要是利用点云扫描数据实现扫描区域的真实坐标以完成林木几何状态的加载,再根据坐标位置加载预先做好的建筑和地形;其它非扫描区域的林木个体通过RTK坐标匹配校准,与场景内地物相融合,放置到与现实空间相对应的地理位置中。

2)三维场景渲染效率优化。主要是通过两种方法进行优化:一是模型优化,即使用LOD、纹理压缩等技术处理提高模型的渲染效率;二是场景优化,即采用最新的UE5编辑器,使用Nanite优化技术,实现场景内三角网格数量的实时调度,从而达到优化目的。

5.3 物联网系统对接

林业物联网系统是将物联网技术应用于林业管理和监测的领域。通过将传感器、无线通信、云计算等技术应用于林业领域,基于物联网概念的清晰感知、可靠传输和智能处理,可以实现对森林资源的实时监测、数据采集和远程管理,提高林业管理的效率和精确度[11-13]。本研究布设的传感器包括树木直径监测传感器、物候监测传感器、重点区域监控传感器、水质监测传感器、鸟类识别传感器。利用RTK记录的物联网设备放置坐标,在三维场景中进行标识。通过物联网把感知数据以文本、图片、音频、视频传回到三维场景中,并在三维森林场景中以三维UI显示方法、视频三维显示方法表达出来,实现虚拟3D森林场景与现实森林场景的深度融合。三维可视化展示实现过程如图8所示。

5.4 数字孪生功能建设

在林业领域,数字孪生技术可以通过使用传感器和无人机收集数据来创建森林的数字模型,将森林的物理实体与其数字模型相结合,提供更准确的森林状况评估、可视化和预测[2]。本研究中,数字孪生功能主要包括林木生长模拟、碳汇可视化、天气系统仿真、四季变化模拟和声音模拟。林木生长模拟主要依据提供的不同树种的生长模型,计算未来5～10 a林木生长情况,按照计算结果对树高、胸径变化,在三维模型X,Y,Z方向进行动态模拟;碳汇可视化是根据不同树种的不同碳汇模型,计算不同生长阶段的碳储量,并设计三维场景呈现形式;天气系统仿真可以按照真实24 h结合物联网气象数据的方式,进行如台风、暴雨、大雾、白昼黑夜等场景天气模拟;四季变化模拟是通过树叶纹理及环境渲染变化,模拟春夏秋冬四季森林场景;声音模拟是对系统中风声、水声、鸟叫虫鸣等环境音进行三维模拟。

6 研究结果

6.1 三维树种库的构建

三维树种库是搭建三维森林场景的基础,本研究一共制作了225棵1∶1仿真的三维树种模型,构建起示范区的三维树种库。树种主要包括潺槁木姜子、高山榕(FicusaltissimaBlume)、台湾相思(AcaciaconfusaMerr.)等总共35种树种。三维树种库部分树种如图9所示。

图9 三维树种库部分三维树种模型

6.2 三维森林场景的实现

虚拟三维森林环境的构建是林业数字孪生的基础,将不同树种的树木三维模型和其它模型根据森林空间数据拓扑关系映射到三维场景中,以还原出真实的森林环境。系统将地形DEM图、地形纹理以及天空盒技术搭建真实的林分三维场景。本研究的三维森林场景是基于高精度的调查数据和高稠密的点云数据生成的精细化三维森林场景,核心区位做到了1∶1仿真,其它区位是以调查数据中每株木的树种、坐标、直径和树高等进行三维树种匹配。构建出的三维森林精细化场景如图10、图11、图12所示。

图10 基于点云1∶1仿真的三维森林场景

图11 结合建筑、地形的三维森林场景

图12 基于调查数据的三维森林场景

6.3 数字孪生功能的实现

本研究立足于虚拟三维场景加数字、信息的可视化,建立了逼真的虚拟建筑,以及和真实树木保持一致的虚拟树木,并对周边环境进行虚拟1∶1还原。在此基础上,实现了林木生长模拟、碳汇可视化、天气系统仿真、四季变化模拟和声音模拟等数字孪生功能。搭建天气系统,按照真实24 h结合物联网气象数据的方式,进行如台风、暴雨、大雾、白昼黑夜等场景天气模拟;林木生长模拟依据不同林木生长模型,计算未来5～10年林木生长情况,按照计算结果进行模型动态模拟;通过物侯感知设备传回的数据,即通过树叶纹理及环境渲染变化,模拟春夏秋冬四季场景;碳汇可视化,是依据林木生长仪传回的数据结合不同树种不同碳汇模型,计算不同生长阶段的碳储量,并设计三维场景呈现形式;根据声纹提取数据模拟动物音。部分功能实现如图13、图14所示。

图13 数字孪生部分功能

图14 感知数据接入数字孪生系统

7 结语

本研究利用点云数据生成树木三维模型,通过倾斜数据生成建筑模型、地形模型,最后搭建示范区森林三维场景并研发物联网数据实时传输、可视化表达,并在此基础上,实现林木生长动态模拟、碳汇可视化、场景四季变化、天气变化等数字孪生功能,从而探索了示范区沉浸交互式数字孪生能力建设。今后,还可以从以下角度进行深入研究:1)建设基于云端渲染的林草资源三维数据、场景一站式服务,满足多终端、多用户访问;2)在本研究场景的基础上,通过数字孪生技术,可以实时监测森林的健康状况、植被生长情况、土壤质量等,可为林业生产管理提供及时的决策支持。