云边协同技术发展分析

王友祥，陈 杲，黄 蓉（中国联通研究院，北京 100176）

0 前言

随着云计算技术的发展，“中心云+边缘云”的分布式云架构开始崭露头角，云架构从中心向边缘延伸，逐步在网络边缘侧分布式部署云计算服务是未来计算形态的发展趋势，而且云边协同成为分布式云的核心，增强云边协同能力是计算资源分布式发展的核心［1］。为了保障电信运营商和云服务商在云边协同应用服务方面的能力，中国信息通信研究院制定了一系列标准，对边缘云及云边协同能力提出了具体的技术要求［1］。例如，根据中国信息通信研究院联合电信运营商、云服务商和边缘计算厂商共同制定的《云计算与边缘计算协同参考框架》（下面简称协同框架）的总结，云边协同主要包括云计算和边缘计算节点在基础设施、平台和应用3个层面上的协同，同时还需要考虑机房、运维、安全等方面的协同［2］。由于应用层面的协同是指云端SaaS 与边缘SaaS 之间的应用服务协同，其实现与具体的业务属性相关，而且边缘计算平台作为基础资源管理平台一般不会深度参与应用业务逻辑处理，所以本文对于应用层面的协同不进行深入讨论分析，仅仅从基础设施和平台这2 个层面来分析讨论云边协同技术的发展现状和相关标准进展。

1 基于云原生技术的边缘基础设施

2020 年国内三大运营商都开始进入5G 网络的规模建设部署阶段。与之前移动通信网络（2G/3G/4G）不同，运营商在5G 时代不仅要建设部署一个巨大网络，更重要的是与各行各业深度融合，推动垂直行业数字化转型，才能真正实现“4G 改变生活，5G 改变社会”的目标和期望。而实现这个目标就需要大规模部署MEC 节点来打造支持大带宽、大规模复杂连接的边缘网络基础设施，利用边缘网络能力赋能行业应用，为垂直行业提供敏捷开放的边缘网络基础架构和融合的智能边缘服务网络。

根据中国信息通信研究院提出的协同框架总结，基础设施层面的协同主要指云端IaaS与边缘IaaS之间需要实现计算、网络、存储方面的资源协同［1］。随着5G、大数据、人工智能、物联网等信息技术的融合发展，互联网智能终端设备类型和数量急剧增加，边缘智能、边缘实时计算、边缘分析等新型业务不断涌现，边缘计算规模和业务复杂度正在经历从量变到质变的过程，这对边缘计算的资源利用率、效率、可靠性等有了更高的要求。运营商需要高效管理边缘各种异构终端设备和异构资源，包括不同硬件架构和规格、不同通信协议和操作系统，同时边缘网络还需要支持云边协同和边边协同通信。为了实现基础设施层面的云边协同，云原生技术应运而生，下面进行详细说明。

1.1 云原生边缘计算平台支持多云和混合云

多云和混合云成为未来主流的企业IT 基础设施架构［3］，而且企业IT 运营模式已经由以基础架构为中心转变为以企业应用为中心，即企业业务应用程序根据需要来寻找“混合（多）云最佳部署执行地点”，例如混合（多）云部署不再局限于本地传统数据中心（私有云）、公有云，逐渐向边缘云扩展，企业应用的某些部分将在边缘节点上执行。电信运营商的混合（多）云包括运营商自营公有云及转售第三方公有云、IT 云、通信云和边缘云［4］。对电信运营商而言，如何打造边缘计算基础设施成为一个热门研究课题。一方面，对内要实现运营商业务部门、省分公司边缘基础设施云化，并加速提升云网一体化服务能力；另一方面，对外要实现创新产品孵化，扩展5G 垂直行业应用，支持在不同运营商边缘节点以及多个公有云上统一部署应用。所以笔者认为云边协同需要支持统一协调混合（多）云和MEC 的资源，边缘云将成为混合云战略方案，运营商对外需要全面提升面向公有云、私有云和混合云的云网一体化服务能力，而且云边端协同需要在云端提供标准化的接口、管控能力和云服务、云资源的接入能力，实现统一的交付、运维和管控标准，形成“云边端一体”的基础设施。

以Kubernetes 为基础的云原生技术是随着云生态的发展而逐渐提炼出来的一系列技术、实践和方法论的集合，其核心价值之一是通过统一的标准实现在任何基础设施上提供和云上一致的功能和体验，同时提升资源利用率、分布式系统的弹性扩展和可靠性等能力。过去几年，业界致力于使用云原生构建底层架构，包括利用容器及编排技术解决开发环境一致性问题，构建管理便捷的底层资源系统，使用户能够更快地构建和部署云原生应用程序。而且Kubernetes 是唯一被几乎所有主流云计算供应商（亚马逊、微软、阿里和腾讯等）同时支持的分布式应用平台。借助云原生技术，可以实现云边端一体化的应用分发，在网络边缘和海量端设备上完成大规模应用交付、运维和管控，支持边缘应用在外部云端（公有云、私有云和混合云）和边缘节点之间的“无缝迁移”，还支持其在不同边缘节点之间的迁移。同时，依托云原生领域强大的社区和厂商支持，云原生对异构资源的适用性显著提高，例如已经能够支持多种CPU 架构（x86-64/arm/arm64 等）和通信协议，采用以Kubernetes 为基础的云原生架构与关键技术，可以独立运行在物理机/虚拟机集群，托管在企业私有云/公有云上，并被绝大多数公有云服务商同时支持，解决硬件平台异构和大量边缘节点资源有效管理的问题。为了增强边缘计算在运维和管理方面的能力，国内外厂商都纷纷推出基于云原生计算的边缘计算平台，例如ONF Aether、华为KubeEdge和阿里OpenYURT等。

1.2 云原生边缘网络使能云网融合

随着5G 的部署、容器和微服务技术的应用，运营商网络最终将演变成为云原生网络，未来边缘网络上将部署大量运营商以及第三方的VNF/APP，采用云原生技术将成为边缘网络发展趋势。而且在可预见的未来，物理、虚拟和云原生网络将需要共存，关键服务需要跨现代和传统网络创建［5］。以5G MEC 为例，网络对云边协同的支持包括动态接受业务需求，自动下发网络配置，保证UPF 的自动部署和在线扩缩容（UPF CNF 增加Pod 数量来保障性能需求）。业界正在进行边缘计算互相网络（ECI——Edge Computing Interconnect）的研究，包括规划一个统一管理的逻辑ECI网络（Overlay网络），支持MEC业务的快速部署和网络切片部署［6］。

从云网融合的角度来看，云网融合不仅仅是一种云产品的类型，而是打造一种面向企业客户的统一平台和入口，将电信运营商的网络能力和企业的产品技术能力相结合，更好地支撑云计算基础业务的运行，帮助企业上云，推动行业数字化转型。统一平台和入口需要从标准层面上统合网络标准和MEC 标准，例如ETSI MEC 已经决定不对Mp2 接口做标准化定义，由设备商自行实现，但是对于运营商联合开发可互操作电信级的MEC 平台，需要统一实现参考的标准［7-8］。目前标准组织ETSI MEC 和3GPP 正在利用现有的相关标准规范制定统一的边缘计算标准，诺基亚、沃达丰和西班牙电信等ETSI MEC 和3GPP 标准组织的成员单位和中国联通在2020 年7 月底发布了新的ESTI白皮书［9］，目的是整合标准，推动边缘计算的规模部署。白皮书分析总结了边缘计算相关标准组织的价值主张和研究成果，以及如何在部署时整合利用这些标准。同时，白皮书还重点分析了边缘计算标准规范在进行边缘计算与移动网络结合部署时的作用，提出了支持ETSI MEC 与3GPP 标准，而且与3GPP TS 23.558 附录C［10］中定义的EDGEAPP 架构保持一致的协同移动边缘云架构，如图1所示。

图1 3GPP和ESTI MEC标准规范支持的协同移动边缘云架构

基于上述协同框架，白皮书还提出了包括基于DNS 的边缘业务发现、基于EEC（Edge Enabler Client）的边缘业务发现和EEC+ETSI MEC 管理和编排的3种部署方案。总之，电信运营商在边缘计算发展中需要充分发挥具备边缘网络出口和成千上万局端机房的优势，将公有云服务向边缘网络侧延伸，使能云网协同业务，打造出一个具备云网融合的边缘计算系统。例如作为最早规划建设MEC 平台的电信运营商，中国联通打造的“CUC-MEC”边缘智能业务平台，已经形成了一个包括完整业务平台和运营平台的“云网边端业”一体的可商用MEC 系统。中国联通已经在广州、深圳等9 个城市完成全国首张规模MEC 商用网络建设，使能MEC业务接入［8］。

2 基于云原生技术的边缘PaaS平台

根据中国信息通信研究院对协同框架的总结，平台层面的协同主要指云端PaaS 与边缘PaaS 之间需要实现数据协同、智能协同、服务编排协同和部署协同。在边缘计算的技术体系中，边缘PaaS 提供边缘计算服务框架、运营环境API和应用的管理。随着Kubernetes的普及，越来越多的上层系统开始搭建在Kubernetes底座之上，包括CI/CD、PaaS 和Serverless 等。一方面，基于云原生技术可以将云端PaaS 逐步延伸到边缘，在同一个平台实现CT 和IT 融合，构建对外提供统一服务能力的开放PaaS 平台。另一方面，基于Kubernetes的各种资源，企业只需要很少的开发工作就可以实现一个以应用为中心的基于Kubernetes 的容器PaaS 平台。例如PaaS 平台需要提供的基础软件服务（MySQL、Redis、kafka 等）可以通过Kubernetes 的Service catalog 来集成。目前电信运营商和云服务商都积极采用云原生技术进行边缘侧PaaS 平台建设，希望通过统一API 接口将服务能力开放到应用侧，提升边缘应用落地能力［1］。中国移动于2020 年4 月向LF networking 贡献了XGVela 项目。XGVela 是一个专注于5G 网络功能和相关应用的开放式电信PaaS 平台，合作伙伴包括中国联通、中国电信、中兴通讯、爱立信和北京邮电大学等单位［12］。

虽然云原生PaaS 平台是未来企业业务的核心竞争力的底层支撑。企业应该将更多的资源和人力投入到业务相关的研发上，而不是重复地建设底层基础设施的轮子［11］。对电信运营商而言，PaaS 平台对内需要支撑网络云化转型，对外要提供面向公有云、私有云和混合云的云网一体化服务能力。所以，电信运营商在采用云原生技术构建PaaS 平台的同时，还需要考虑如何发挥移动通信网络优势，支持5G网络无线感知能力开放，包括无线网络信息服务（RNIS——Radio Network Information Services）、基于位置服务（LBS——Location Based Service）、带宽管理服务等，如何合理划分融合电信网络能力和通用能力，提升获取网络能力的便利性和快捷性，以及如何实现边缘节点间互联来提高API 的响应速度和可用性等ICT 能力统一开放相关问题上，真正推动边缘PaaS 平台服务能力向场景化服务迈进。

为了解决上述问题，中国联通已经在LF Edge 的PCEI（Public Cloud Edge Interface）blueprint 中开展相关研发工作，目的是推动边缘计算平台与多个公有云（AWS、阿里云和腾讯云等）的连接能力，完成API的统一和开放，打造电信运营商基于边缘计算的特色竞争力。同时，中国联通参与了由LF Edge Akraino API 子委员会基础设施工作组（API sub-committee Infrastructure work stream）牵头组织的Akraino 白皮书的编写工作［13］。该白皮书定义了使能层（Enabler Layer），其包括应用使能层（Application Enabler）和边缘使能层（Edge Enabler）2 个子层。根据各个子层所采用的所有权和运营模式，可以将边缘使能层实现模式划分为如图2所示的4种模式。

模式2 是目前中国联通MEC 边缘云采用的模式，即将边缘增值服务（VAS——Value Added Service）分为CT增值服务（CT-VAS）和IT增值服务（IT-VAS），统一通过API 网关（API Gateway）实现注册、上线、鉴权、发布、流控、下线和计量等服务生命周期管理。实现模式1 被认为是未来演进的模式，如图3 所示P1 接口（3GPP Interfaces）表示3GPP 定义的网络接口，边缘使能层通过封装P1 接口向上提供运营商边缘接口P2（Telco Edge APIs），包括RNIS、LBS、本地流量分流（LBO，Local Break-Out）等。应用使能层（Application Enabler）基于P2 接口为边缘应用提供应用友好的P3接口（End User Application APIs）。

目前边缘使能层（Enabler Layer）的相关实现方案和详细的调用流程（Call Flow）正在PCEI 展开积极讨论，例如基于华为开源的KubeEdge平台架构进行实际实现方案的设计［14］。需要注意的是PCEI 的目标是打造通用的中间件，对边缘计算平台没有限定，可以使用KubeEdge或其他边缘计算平台。

3 跨运营商的统一边缘云

从软件开发企业角度来看，开发和部署应用虽然可以通过云原生技术来适配多云和混合云，但是面对不同电信运营商的不同MEC 平台，只能采取逐个适配的办法。对于行业应用而言，不仅需要云边无缝切换，还需要跨不同运营商边缘节点的互通能力，开发者希望能够统一建立边缘计算平台的API接口规范标准，以减少应用在不同运营商平台之间迁移、管理、安全、优化方面的难度。但是目前各个边缘计算厂家平台存在较大的差异，导致边缘应用与边缘计算平台（MEP ——MEC Platform）是绑定的，各种边缘应用需要适配不同的边缘计算平台。例如国内三大电信运营商采用的边缘计算平台也各不相同，中国移动采用自研的Sigama 平台，中国联通目前采用的边缘云平台虽然实现了软硬件解耦，但是Cloud OS 与MEP 还是同厂家部署［4］。

图3 边缘使能层架构示意图

目前，GSMA OP（Operator Platform）项目目标就是打造全球统一的电信边缘云，构建面向开发者的统一PaaS 平台，提供通用的API 接口，为企业、开发者和最终用户提供跨运营商的全球边缘计算服务。中国联通已经与西班牙电信Telefonica、韩国电信Korea Telecom 和澳洲电信Telstra 达成协议，正在增强多个国际运营商之间平台互联体验方面展开合作。该项目是GSMA OP项目的一部分，旨在设计一个跨国的MEC平台解决方案，打造可互操作的GMEC平台，并制定全球边缘应用描述子的统一规范和全球统一的共享边缘应用库［15］。限于篇幅，关于GSMA OP 项目、MOM 测试这里不再赘述。MobiledgeX 提出通过标准接口聚合不同电信运营商的边缘基础设施，将应用管理和部署到联合的运营商电信网络中的多个边缘节点。例如MobiledgeX 已经在西班牙电信和德国电信交付和部署了AR多人游戏应用“斯拉夫怪兽的神话战争”，验证了方案的有效性。

MEC 互联互通（Inter-MEC）包括公有云和边缘云、边缘云之间，以及同一运营商/不同运营商之间的边缘节点互联互通，主要包括如图4 所示的3 个层面的互联互通。第1个层面的互联互通是指计算节点的互联互通，包括同一MEC 系统下边缘计算节点之间互联互通，以及不同MEC 系统之间的边缘计算节点之间互联互通。前者已经在ETSI MEC 中定义了名为Mp3接口，但是只定义了该接口的功能，没有进行具体接口规范定义。后者表示不同运营商之间的计算节点互联互通，其使用范围和场景更大，目前尚无相关的标准规范。第2 个层面的互联互通是指不同MEC 系统之间的MEC 控制面互通。第3 层面的互联互通就是GSMA OPG 定义的MEC 联盟（MEC Federation），表示不同电信运营商的MEC 平台通过GSMA OP 进行互联互通。

中国联通正在实验室中引入各种主流开源云原生MEC 平台，构建5G+MEC 的端到端测试床，实际验证5G 环境下Inter-MEC 等核心关键技术，开展核心关键技术攻关和标准推动等工作。

4 结束语

5G 时代，随着人工智能的发展，算力从中心云走向边缘和终端本身，云、边、端算力的协同越来越重要。基于云原生技术可以打造云边一体的云原生边缘基础设施和云原生边缘技术平台。基于GSMA OP平台可以联合多个电信运营商的边缘计算基础设施，打造跨电信运营商的统一边缘云，支持边缘应用的统一部署交付、运维和管控，促进电信运营商边缘云在千行百业规模商用。但是，从云网边整个系统来看，还需要实现实时更新，获取各种可用资源的最新信息，然后基于这些信息为各种边缘应用实时有效地分配计算、存储和网络资源，以满足边缘计算的需求和边缘网络的时延要求。总之，云边协同将向云边端三级算力随需调度方向发展，协同的目的是提高算力资源利用率，网络将从云网融合走向算网融合，为计算服务提供可信、高效、随需网络［16］。

图4 Inter-MEC互联互通技术说明