下一代通信助力实时分布云渲染

陆平 盛斌 朱方

摘要：实时分布式云渲染技术和5G通信技术的使用，可以解决工业模型中实时渲染的问题。实时分布式云渲染技术将渲染工作放在服务器端，再将渲染结果利用5G通信技术快速传输到客户端以实现实时的浏览和交互。介绍了实时分布式云渲染技术的基本框架、关键技术、发展状况，以及当前的一些应用，总结了其面临的技术难题。认为新基建中人工智能的建设，可以进一步提升实时分布式云渲染的性能。

关键词：工业数字化；实时分布式云渲染；服务器端渲染；5G传输

Abstract： Combining real-time distributed cloud rendering technology with 5G technologies can solve the problem of real-time rendering in industrial models. The rendering work is placed on the server side by distributed cloud rendering technology， and then the rendering results are transmitted to the client side quickly by 5G technologies to realize real-time browsing and interaction. Basic framework， key technologies， development status and some current applications of real-time distributed cloud rendering technology are introduced， and technical problems still faced by real-time distributed cloud rendering technology are summarized. It is believed that the construction of artificial intelligence in the new infrastructure can further improve the performance of real-time distributed cloud rendering.

Keywords： industrial digitization； distributed cloud rendering； server rendering； 5G transmission

在工業4.0时代，为了更加方便地进行工业设计和生产工作，人们已经逐步开始将大规模的工业模型制作成数字化模型后再渲染出来，供技术人员和设计人员使用。渲染是将三维的场景模型，通过添加材质、灯光、特殊效果等方式，最终将其转化成可以在显示器上呈现的二维图像的过程[1]。渲染分为实时渲染和离线渲染：实时渲染是指计算机在完成每帧的渲染工作之后，就直接将渲染结果输出显示；离线渲染是指当完成全部的渲染工作后，再将渲染结果逐帧输出。对于工业设计和生产来说，最理想的方式是多人交互的实时渲染。进行三维场景的实时渲染需要消耗大量的计算资源，还需要考虑模型的复杂度、纹理贴图的精细度、光线计算的复杂度等。为了达到高保真度的写实渲染效果，需要配备大型和专业的图形显卡等硬件设备，这是一笔不小的硬件费用支出。同时这些工业模型往往占用很大存储空间并且具有一定的保密性，无法在单机渲染和存储。为了解决这些问题，研究人员利用云计算技术和5G传输技术，发明了实时分布式云渲染技术。

实时分布式云渲染是指在云服务器中进行资源的分布式存储、动态分配和模型场景的实时渲染，它保证了渲染资源的共享性和安全性。在服务器的总控制节点上，根据各个渲染分节点的渲染性能进行渲染资源分配，之后利用多台服务器的计算资源进行渲染任务的渲染，最后各个分节点将渲染结果推流到总节点并进行合并，再传递到本地客户端。利用实时分布式云渲染技术可以完成单机无法完成的大规模复杂场景的渲染工作，渲染出让人无法分辨真假的图像，同时大大降低客户端处硬件设备的需求。网络传输的速度和带宽是分布式云渲染实时性的瓶颈。借助5G传输的高速度、大带宽，可以突破这些瓶颈。多个用户可以使用不同的硬件设备并利用5G网络进行场景接入。多用户在不同的视角下，同时对同一个大规模的复杂场景模型进行实时访问浏览和交互式操作的功能，完全可以满足工业设计和生产工作的需求。

1 实时分布式云渲染的技术特点

（1）分布式渲染技术

在早期对并行渲染技术进行研究时，人们将这种形式描述为一种“分类整理问题”（Sorting Problem），并根据“分类整理”（Sort）操作在渲染管线中的发生位置分为Sort-first、Sort-middle、Sort-last 3种主要类型。其中，发展与应用得最好的方式是Sort-middle[2]，它是指“整理”行为发生在几何阶段与光栅化阶段之间，此时场景实体已经被转换到显示坐标系中。由于几何阶段和光栅化阶段在实现原理上是分配给不同处理器运行的，因此Sort-middle是一种很自然的处理手段，而它也是集成电路独立显卡的理论基础。

为了追求更逼真的视觉效果，渲染管线流程复杂程度显著提升，集成显卡的电路复杂程度也在随之提升。此外，神经网络渲染等新兴技术的出现也对原有的技术框架不断提出挑战。人们之前就考虑过多渲染机并行的分布式解决方案，不过限于当时分机之间通信方式的吞吐量、时延、可靠性等，以并行集成电路为主要承载形式的图形加速卡硬件占据了主流。而5G网络的出现为这一领域开辟了新的可能，它能在保持超低时延的同时保证超大带宽，因而弥补了多机分布式方案的短板。这种组织结构有望更加充分地发掘现有硬件设备的潜力，特别是神经网络这一对存储空间与算力要求非常高而对数据全局性依赖较低的计算过程。

（2）可交互云渲染技术

可交互云渲染技术的前身——“远程实时协助”于1968年被实现，最初这项技术的主要内容是通过网络连接实现多台终端设备共享操作界面以及交叉控制。21世纪10年代以来，在智能手机、移动网络和云技术逐渐发展和普及过程中，直播行业兴起，人们开始关注小型设备通过网络与云端服务器实时交互与传输媒体流的可能性，由此引申出了“云渲染”与“云游戏”等一系列概念。与传统“远程桌面”技术不同的是，可交互云渲染技术对各终端之间的网络性能要求非常高，实时交互要求整个系统中每一部件之间的信息交换均具有极低的通信时延，而高分辨率图像高速传输同时要求网络具有超大吞吐量，且能快速处理拥堵与异常。除此之外，云渲染技术包括渲染环境部署、图像渲染、图像编码、网络传输、图像解码、显示等一系列细分技术[3]。

2 实时分布式云渲染的发展

早在1994年，学术界就对分布式渲染（又称并行渲染）有了较为早期的理论定义，而世界上第一款真正意义上的大众消费级3D渲染加速卡——Voodoo于1995年才正式问世。在此之前，人们就逐渐意识到，面向通用型计算的传统结构中央处理器（CPU）的图像绘制运算效率并不高，CPU不同部件的工作负载十分不均衡，这限制了运算效率。为了满足图像绘制对计算能力日益增加的需求，人们开始研究并行计算的加速。此后，行业的研究方向主要集中于针对大规模场景的并行绘制和基于众核硬件架构的并行光照计算。其中，多独立节点式的并行绘制由于对节点之间的通信网络反应时间、吞吐量等指标要求很高，在很长的一段时间内网络通信技术无法满足该需求，这导致该技术一直进展缓慢。近年来，随着5G技术的逐渐成熟与普及，独立渲染节点之间的超高性能交换网络的组建成为可能，这让该技术重新回到人们的视野之中。

多節点并行绘制主要的技术痛点是大规模场景中全局光照计算时的内存瓶颈问题，其中一种实现方式是内外存交换调度，另一种是将数据分布式存储到不同节点内存。目前大多研究基于同构计算资源，通过对空间数据进行负载均衡的合理分割，实现高利用率的计算单元并行。目前的研究主要有基于图像空间分解策略和基于场景空间分解策略两个方向。

实时分布式云渲染的其中一个创新点是云技术。3G/4G网络与直播的普及向人们证明了使用性能比较受限的小型设备，诸如手机平板等，是可以实现移动、流畅地播放高质量流媒体的。早在这一时期就已经有商家开始布局云游戏领域，不过受制于移动网络稳定性、网速、延迟等，云渲染的发展也长期处于停滞状态。5G技术的出现正好弥补了上一代移动网络的短板，让用户通过小型便携设备实时与云端游戏客户端进行交互，并让流媒体传输成为可能。云技术有望在5G通信的加持下解放终端设备，任一具有网络功能的显示设备均能进行高性能图像软件的操作使用。

实时光线追踪在计算机图像领域异军突起，带来了前所未有的真实绘制效果，引发一场新的绘制技术革命。而这种手段同时要求巨大计算量与时间复杂度，以完成对复杂光路的高数据密度计算，因此必须考虑用计算并行化方式提高速度。由于光线追踪绘制具有全局化等特点，多节点式存储的实现途径将依赖不同节点的大量信息交换，这增添了新的运算负载，故在目前情况下光线追踪领域分布式渲染并行方式具有局限性。

3 实时分布式云渲染的应用

当前，实时分布式云渲染以其高质量、高速度、对客户端无压力的特点成为了渲染技术研究的热点。该技术目前的研究关键在于如何实现分布式节点在工作任务分配过程中的负载均衡，以及如何解决网络通信开销巨大、传输速度快等问题[3]，这使得该项技术还没有被大规模地产业化应用。但这项技术一旦成熟就可以带来技术红利[4]，因此值得我们去大力探索。

具体来看，实时分布式云渲染技术在实践中将展现出以下优势：

（1）实时分布式云渲染技术极大地改善了用户体验。首先，云渲染技术的存在，使得用户体验不再囿于本地主机配置，用户可以享受一些高画质、高分辨率的动画电影。其次，对于实时性强的应用，例如3D游戏，实时分布式云渲染能够快速渲染出高帧率、高分辨率的画面并进行传输。同时，实时分布式云渲染技术加强了对于闲置计算资源的利用，降低了资源的消耗。分布式云渲染概念是由分布式并行集群渲染技术衍生而来的，它将原先由本地客户端处理的图形渲染（2D、3D）转移至云端，以使得网络中闲置的计算资源得到利用，从而降低本地渲染时的硬件消耗成本。云渲染平台的计算资源可以即使用即申请，不用时更不需要浪费本地各类资源进行维护[5]。

（2）5G技术的逐渐成熟使得云计算、云渲染技术在由云端向客户端传输数据的瓶颈不复存在。这进一步弥补了实时分布式云渲染技术的应用化过程中薄弱的一环[6]。同时，相比于光纤传输和WiFi传输的方式，5G传输技术的移动性强，部署便捷性高。光纤传输方式需要铺设大量的光纤线路，光纤入户需要的成本高。而5G基站的建设成本低，单个基站就可以覆盖周围的区域。相比于WiFi传输方式如WiFi6，其主要用于室内无线终端上网，并不适合高速移动通信。而5G通信技术，既可以用于广域高速移动通信，又可以用于室内无线上网。

对于实时分布式云渲染技术的应用，鉴于这一技术高效高质量渲染的特点，其潜在的服务对象为影视动画、游戏、虚拟现实（VR）等行业的建模、灯光、渲染等领域。

影视动画的渲染在集群式的渲染方式下即可完成；但在3D游戏、VR游戏等行业，因为实时性以及对渲染帧速率和分辨率的需求，实时分布式云渲染将大有可为。根据统计，近年来全球游戏市场规模逐渐扩大，2019年已达到1 457亿美元， 2020年预计将达到1 593亿美元，据此可以推测云游戏将是基于实时分布式云渲染架构的一个新的极具发展前景的应用[4]。云游戏服务这一概念首先由OnLive提出并证明了可行性，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力即可流畅运行游戏。之后，HUANG C. Y.等又提出了第一个开放式云游戏系统GamingAnywhere，其具有高扩展性、可移植性（Windows、Linux、OS X）和可重新配置性，相较于OnLive和 StreamMyGame两个系统具有更低的反应延迟、更高的画面质量[7]。

另外，实时可视化渲染同样是该技术的一个重要应用场景。可视化内容包含数据可视化、过程模拟可视化、虚实内容的融合等。渲染技术作为生成可视化内容的重要手段和流程，在当前新基建的提出和数据运用多样化的大背景下，将会是非常重要的环节。在工业4.0时代，“智能”二字将更加深入人心，数据和信息将会更多地用于实际的科学研究和工业生产中。如果能在实际的生产中实现可视化，让研究和生产过程更加直观清晰，将对整个社会的发展有着巨大的促进作用。若高质量高速度的渲染、数据可视化、音响技术、传感器技术等能进一步融合成为成熟的基于高分辨率立体投影的虚拟现实显示技术，将可以用于任何具有沉浸感需求的虚拟仿真应用领域，如虚拟设计与制造、虚拟装配、模拟训练、虚拟演示演示、虚拟生物医学工程、地质、矿产、石油、航空航天、科学可视化、军事模拟地形地貌、地理信息系统（GIS）等。

随着5G和人工智能（AI）时代的到来，实时分布式云渲染在未来必将发挥更大的优势，视频、游戏等行业也将会发生巨大改变；但未来还有很长的路需要探索。

4 问题与展望

实时的分布式云渲染技术已经得到一定的发展，达到了较好的效果，但仍面临着一些技术难题：

（1）渲染任务的分配问题。使用实时分布式云渲染技术进行渲染的一般是大规模的复杂场景模型，因此需要通过总控制节点将渲染任务分配到不同的渲染子节点上。在该过程中需要创建一个高效的大规模复杂模型的管理框架，并考虑资源划分的速度、各个渲染节点上的分配的工作负载均衡等问题。这是提高分布式渲染性能的必经之路。

（2）渲染结果的合成问题。各个节点渲染得到的效果需要汇总在总节点上，并合成为同一张图像，再传递至客户端处。如何将不同渲染节点上得到的渲染结果正确、快速地合成为一帧的图像，也是一个影响实时分布式云渲染性能的重要问题。

（3）渲染结果的压缩问题。需要将渲染得到的让人无法分辨真假的图像，高效无损地进行压缩，最大程度满足人们的视觉效果要求。

（4）网络传输的带宽和速度问题。为了将高质量的渲染结果在不同节点之间、客户端与服务器端传输，需要较大的传输带宽。为了达到实时渲染和实时交互的目的，需要较快的传输速度。

（5）安全问题。在计算机领域，安全性是指保证存储在计算机上的数据不被没有权限的人盗取和访问，而云渲染的过程需要将数据从本地上传至网络[8]，这中间就存在着数据泄露的可能，从而威胁信息安全。人们因为信息安全的隐患而产生对技术本身的信任问题。一旦信任问题被解决，云渲染技术的发展速度就会得到极大提高。

新基建的提出将会进一步促进实时分布式云渲染的发展。新基建是指新型基础设施建设，它通过吸收新科技革命成果，实现国家生态化、数字化、高速化、新旧动能转换与经济结构对称态。2020年3月，中共中央政治局常务委员会提出要加快5G网络、数据中心等新基建的建设进度。

5G网络因其大带宽和高传输速度的特点，为实时分布式云渲染技术提供了硬件上的支持。随着5G网络的进一步普及，利用5G进行实时分布式云渲染各个节点之间、服务器与客户端之间的通信，将会大大提升实时分布式云渲染的性能。可以想象在不远的将来，用户可以直接使用手机、平板电脑等便携式设备，通过连入5G网络，直接进行大规模工业模型的多人交互设计工作。

新基建中人工智能的建设，也可以进一步提升实时分布式云渲染的性能。例如，可以利用深度学习技术，先进行用户行动的智能预测，再利用预测得到的用户接下来的动作提前进行下一步的渲染工作。这样一来可以降低渲染延迟，也可以利用神经网络进行注视点预测，以减少渲染计算量，提升计算资源的利用率。神经渲染已经成为计算机图形学领域发展最为迅猛的发展方向之一，利用神经网络可以达到独特的渲染效果，如场景合成、视角变化等，这些都可以为实时分布式云渲染技术助力。这些人工智能方法的加入可以优化实时分布式云渲染技术的时延、渲染效果、渲染流程等。随着新基建的发展，实时分布式云渲染将会迎来更大的发展空间和更好的发展前景。

致谢

感谢上海交通大学计算机系秦义明同学、华东理工大学计算机系黎宇航同学的调研工作，以及北京大学马雷老师的指导工作。

参考文献

[1] 渲染 [EB/OL].[2020-12-18]. https：//baike.baidu. com/item/渲染/464729

[2] MOLNAR S， COX M， EllSWORTH D， et al. A Sorting classification of parallel rendering[J]. IEEE computer and graphics and applications， 1994， 14（4）： 23-32. DOI： https：//doi. org/10.1109/38.291528

[3] LIU Z， ZOU H. AzureRender： a cloud-based parallel and distributed rendering system [C]// 2015 IEEE 17th International Conference on High Performance Computing and Communications. USA： IEEE， 2015： 1881-1886. DOI： 10.1109/HPCC-CSS-ICESS.2015.328

[4] 徐婵婵. 基于服务器端的三维渲染技术综述 [J].中国传媒大学学报（自然科学版）， 2019， 26（1）： 20-26

[5] HONG H J， CHUANG J C， HUS C H. Animation rendering on multimedia fog computing platforms [C]//IEEE International Conference on Cloud Computing Technology & Science. USA： IEEE， 2016

[6] 郑海林， 朱峰. 基于5G网络的移动云计算优化措施研究 [J]. 信息与电脑（理论版）， 2019， （9）： 156-157+160

[7] HUANG C Y， HUS C H， CHANG Y C， et al. GamingAnywhere： an open cloud gaming system [C]//ACM Multimedia Systems Conference. USA： ACM， 2013

[8] ZHOU F. Analysis of computer network security issues in cloud computing environment [J]. Lifelong education， 2020， 9（6）： 57-59

作者簡介

陆平，中兴通讯股份有限公司副总裁、移动网络和移动通讯多媒体技术国家重点实验室副主任；研究方向包括云计算、大数据、增强现实、基于多媒体服务的技术；主持和参与了国家科技重大专项、国家科技支撑项目等；发表多篇论文，撰写了《物联网能力开发与应用》《云计算中的大数据技术与应用》等多部著作。

盛斌，上海交通大学计算机科学与工程系副教授；研究方向包括虚拟现实和计算机图形学。主持国家自然科学基金面上项目2项、国家自然科学基金青年项目1项，参与“863”计划1项、国家自然科学基金重点项目1项；发表论文121篇。

朱方，中兴通讯股份有限公司数字视频与视觉技术委员会主任、移动网络和移动通讯多媒体技术国家重点实验室多媒体方向学术带头人，IEEE高级会员；研究方向包括云架构和基于移动计算的XR&Smart Vision特定应用目的的加速芯片组等；发表文章10余篇，已授权发明专利3项。