自动驾驶网络研究综述

时间：2024-05-04

杨俊峰，宋圆隆，王桂枝

（四川大学计算机学院，成都610065）

0 引言

过去几年，随着云计算、物联网等各种网络应用规模的不断扩大，各种网络技术层出不穷，如软件定义网络、网络功能虚拟化、可编程数据平面等，这些网络应用、技术、设备的快速发展使得网络变得越来越复杂。同时，各种网络应用对安全性、可用性和性能需求的增长，使得网络管理的作用前所未有的重要。尽管用户需求在不断变化，网络复杂程度也在不断增加，但是网络管理员仍旧在部署和使用脚本以及相应工具来帮助自己规划网络、排除故障，保证网络的安全性。研究人员依旧致力于设计、优化网络管理协议，然而由于网络协议、网络环境的多变性以及二者与用户使用体验关系的不断复杂化，网络协议的变化仍然落后于网络管理复杂程度的增加。另外，上述的一些技术，如软件定义网络、可编程数据平面又使得网络的灵活性与适应性不断提升，让我们有了更细颗粒度的优化方法、更多样的管理方式。因此，针对上述存在的问题与潜在的优势，研究人员提出了全新的网络管理方法，这种方法不再是基于单个协议的封闭式分析优化，而是利用数据驱动、端到端的机器学习模型以及以高级策略为目标并结合以底层组件的整体视图得到的应用程序性能作为参数对网络进行优化，通过更紧密地将测量与实时控制耦合起来，并依靠学习对网络应用程序需求或系统运行状态进行推理和预测，让网络学会自我驾驶。

1 自动驾驶网络的诞生与发展

自动驾驶网络是对网络未来发展的恢宏愿景，它将会是这样一种网络：它可以以自动化的方式测量、分析、控制自己，利用网络的灵活性来优化自身，从而适应网络环境的变化（如网络需求的变化）[1]。本节介绍了驱动自动驾驶网络诞生的原因，回顾了自动驾驶网络的发展过程。

自动驾驶网络思想的雏形可以追溯到2003 年，D.Clark 教授团队在其论文中首先提到了到互联网的基本设计原则——简单而透明的核心加上智能的边缘节点，同时指出这一设计原则下构建的网络所存在的问题，即负责承载数据传输的核心网络并不知道具体传输的数据是什么，以及这些数据是完成什么样的目标。因此，如果某些事件的组合阻碍了数据的传输，网络的边缘节点可能会意识到存在问题，但核心无法判断出哪里出了问题，因为核心不知道应该发生什么。同样的，在网络管理方面，网络管理人员只能对网络的核心进行诸如路由配置等低层次策略配置，网络不具有高层级的抽象视图与理解网络管理员高级目标从而自我配置与自适应的能力。针对上述问题，他们提出了一种解决思路，在网络中引入知识平面，使得网络对自己的目标有一个高层级的视图，包括网络管理人员的目标、所运行程序的目标、以及用户的目标。这个知识平面，利用机器学习与认知技术来操作网络，赋予网络识别-响应、识别-解释-建议的能力，提升网络管理的效率，降低网络管理的复杂度[2]。不谋而合，Ryan 教授等人首次在其论文针对网络的复杂性、异构性和对可靠性的需求以及网络管理员对网络能够自我组织来满足用户和应用程序的需求目标的期望。提出并定义了认知网络，所谓认知网络是一个具有认知过程的网络，能够感知当前的网络环境，然后依据当前环境进行规划、决定和行动。网络可以从这种自适应过程中学习，并利用学习经验结合网络端到端的性能需求目标做出预见性的决策[3]。然而正如Mestres 等人[4]在分析知识平面未能实现的种种原因中提到一样，尽管让网络实现高度自动化与智能化的思想和讨论由来已久，许多研究人员也致力于让相关的技术与模型实现落地部署，但是受限于网络作为分布式系统的固有特性，将机器学习等技术应用于网络控制与管理时，获取的信息是局部的，这大大提升了算法学习的复杂度，从而使得相关领域研究更多的停留在理论层面。进一步论文指出随着软件定义网络的提出与发展，逻辑集中的管理平面、数据传输单元计算与储存性能的提高，催生了新的网络监控技术。这些技术可以向集中式网络分析平台提供实时的基于数据包和数据流的不同颗粒度的信息以及网络的配置和网络状态的监控数据。与传统的网络管理方法相比，软件定义网络、网络遥测和网络分析技术为新型的网络管理方式提供了更丰富的网络视图。网络智能化又迎来了新的发展机遇。2016 年，瞻博网络公司类比自动驾驶汽车提出了自动驾驶网络（Self-Driving Networks）的概念，并发表了技术白皮书，其中提到了他们对自动驾驶网络的认识，即简化和抽象网络来降低操作复杂性，网络可以在没有或极少人工干预的情况下自我监控、维护、配置，能够预测和自适应当前运行环境。同时提出了他们认为自动驾驶网络应该达到的目标：①自我发现自身的组成部分；②自我配置；③使用探针和其他技术自我监控；④自我保护，免受内外部威胁。⑤自我修正。⑥自动检测何时需要新服务，然后自动启用该服务。⑦使用机器学习进行自我分析。⑧发生故障时及定期的自我报告[6]。2018 年，计算机网络领域的顶级会议SIGCOMM 中专门开设了关于自动驾驶网络的研讨会，研究人员对自动驾驶网络进行了系统的分析与思考，同时给出了一些用例。除此之外，在文献[5-9]中还有许多学者详细分析讨论了如何将人工智能、机器学习、数据驱动、软件定义网络等技术结合应用，实现网络的自我管理。由此可见，自动驾驶网络的研究正在快速发展，自动驾驶网络具有广阔的发展前景和巨大的研究价值。

2 自动驾驶网络的运行过程

通过第一节的介绍可以看出，自动驾驶网络涉及多种功能与技术，为了将自动驾驶网络具体化。本节将通过分析自动驾驶网络运行的一般过程得出实现自动驾驶网络可能需要的功能模块与基础关键技术。

综合国内外学者的研究[1,4,6]，总结出如图一所示的自动驾驶网络运行的一般过程。其中包括输入高级策略，网络优化目标的生成，驱动网络测量，对优化目标的判定，控制策略的生成与执行，网络状态检查等关键过程。具体说来，自动驾驶网络应该把如网络管理员或上层应用程序需要的整体性能或安全相关的高级策略作为输入，并从中提取具体的网络优化目标。根据优化目标推导出网络应收集的测量值，进而驱动网络测量。通过网络测量数据判定是否达到优化目标，如果没有达到就根据优化目标生成相应的控制策略，执行控制策略后再进行优化目标的生成，然后再次测量与判定；如果达到了，就对网络状态进行持续的监测。上述运行过程，通过任务驱动网络测量及控制策略的自动生成与执行，形成了决策过程自动化的闭环控制回路，从而使得网络可以对自身进行驾驶。

3 自动驾驶网络实现的关键技术

上一节中我们概述了自动驾驶网络运行的一般过程，本节将通过分析实现上述过程所需解决的问题与功能，详细介绍可以应用于自动驾驶网络中解决对应问题，实现对应功能的技术，从而使得自动驾驶网络可以成为现实的原因。

图1 自动驾驶网络运行流程

3.1 软件定义网络

首先从整体上分析，自动驾驶网络中高级策略的输入，网络优化目标的生成，网络测量的驱动，控制策略的生成与执行，网络状态的检查相较于传统的网络具有更高程度的耦合性与自动化，需要更少，甚至无需人工介入。然而，传统网络作为分布式系统的这一特质，使得网络中的各个节点只有整个系统的部分视图与控制能力，从而会导致将诸如机器学习、数据驱动等技术应用于网络操作与管理的过程中，实现对网络的高效组织、管理、维护和优化是极其复杂的。因此需要利用新的网络架构来降低传统分布式网络带来的复杂度。

软件定义网络（SDN）的出现和发展是降低上述复杂度的关键一环。SDN 作为一种新的网络架构，具有以下四个主要特征，SDN 将数据平面与控制平面解耦和；传统网络设备的控制功能被移除，仅保留简单的数据转发功能；转发决策不再是基于目的地址，而是由转发流表决定；使用逻辑集中的控制器即所谓的网络操作系统来管理网络中的资源，同时通过网络操作系统之上的软件应用与底层的数据平面交互赋予网络可编程的特性。

图2 SDN体系架构

尤其是逻辑集中的控制为网络带来了三点优势。首先，通过高级语言和软件组件修改网络策略比通过低级设备进行特定配置更简单、更不易出错。其次，控制程序可以自动响应网络状态的伪变化，从而保持高级策略的完整性。第三，将控制功能逻辑集中在具有网络全局状态的控制器中，可以简化复杂的网络功能、服务和应用程序的开发。针对自动驾驶网络，SDN 可以实现监控和收集实时的网络状态和配置数据，以及以包或流为颗粒度的信息，使得集中控制器能够获得网络的全局视图。以机器学习在网络中的应用为例，对于以数据驱动的机器学习算法，数据是算法的关键。对比于传统网络，将机器学习应用于SDN，可以利用SDN 控制器获得的网络全局视图，使得机器学习算法更高效简便的应用于网络。同时，基于实时和历史的网络数据，机器学习技术可以通过数据分析、网络优化和自动化提供网络服务为SDN 控制器带来智能。另外，SDN 的可编程性使得机器学习算法所得到的最优网络解决方案（如配置和资源分配）可以在网络上实时执行[10]。

3.2 数据平面可编程

除了SDN 带来的全局视图与控制平面可编程，自动驾驶网络的实现还需要实时的流量监控，对大量网络流量的分析以及线速处理功能。这些功能是使得网络具有推理、预测能力的基础。可编程的数据平面使上述功能可以得到实现。

可编程的数据平面通过可编程数据包处理芯片与数据平面编程语言（如具有协议无关交换架构的PISA芯片与P4 编程语言），来实现以不受限于目标设备的方式控制转发行为。程序员可以首先使用数据平面编程语言定义数据包的处理流程，然后利用编译器在不受限于具体协议的交换机或网卡上生成具体的配置，从而实现指定的数据包处理逻辑。这种方式可以使交换机变实现防火墙或负载均衡器等设备的功能，并支持指定的流量分析、检测、诊断功能。

可编程数据平面将会为网络带来巨大的灵活性与适应性，可以帮助实现最适合其自身需求的网络行为。定制开发网络监控、分析和诊断系统，极大程度提高网络的可视化及相关性，协同优化网络以及在网络上运行的应用程序。具体说来，可编程数据平面可以实现灵活的数据包解析、匹配—操作管道以及在交换机和数据包报头上维护状态，从而可以使网络支持高级度量抽象。例如使用状态标记数据包，并在随后的跳转中更新该状态的能力可以使数据平面能够支持一系列强大的抽象。包头可以携带应用于该包的网络策略的版本以支持一致的策略更新[11]；或者聚合跨路径的流量统计信息，来收集路径级别上的指标，如最大链路利用率或总排队延迟。更为重要的是可编程数据平面可以简化与网络中其他数据集的连接。而诸如流量统计数据与其他数据集的连接是分析网络的重要基础，也是数据驱动网络实现的基石。数据平面可以通过同时分析和组合数据集或维护第二个数据集的有效表示来执行连接本身（例如，与特定类中经过身份验证的用户关联的IP 地址表）。这些信息可以促进测量数据的聚合、流量的路由和调度，以及基于高级策略的访问控制。更进一步，在上述基础上，可编程数据平面可以提升网络中应用机器学习预测模型的速度。可以从数据平面的数据包中提取相应特征，根据学习到的模型实时计算预测函数，对网络流量的性质进行实时决策。考虑一个基于机器学习的垃圾邮件过滤器，需要输入一些网络级别的特征，如邮件发送所在网络的IP 地址，以及同时发送电子邮件的相邻IP 地址的数量。可编程数据平面可以内联的计算这些特征，并计算单个特征的加权线性组合，从而计算消息是垃圾邮件的总体可能性。

3.3 机器学习

自动驾驶网络的智能源于机器学习算法带来的推理与预测能力，将机器学习应用于网络的必要性与可行性可概述为以下几点。①图形处理单元（GPU）和张量处理单元（TPU）等计算技术的发展为在网络领域[8,12]中应用新兴的机器学习技术（如深度神经网络）提供了良好的机会；②许多网络问题需要与复杂的系统环境交互，要建立准确的或可解析的模型来表示如CDN[13]的负载变化模式和[14]吞吐量特性等复杂的系统行为是很困难的，机器学习能够以可接受的精度提供这些系统的估计模型；③分类和预测作为机器学习中最为人所熟知的功能，在入侵检测、性能预测等网络问题中发挥着基础而重要的作用。④机器学习还可以帮助决策，这将有助于根据环境的当前状态进行网络调度[15]和参数调整[16-17]。

可以看到，机器学习在网络中的应用相当广泛。这种广泛既包括了各种机器学习算法的使用，也包括了各种具体应用场景。就机器学习算法来说，监督学习算法、无监督学习算法以及强化学习算法都可以应用于网络中解决相应的问题。就具体问题而言，流量分类、路由优化、QoS/QoE 预测、网络资源管理以及网络安全等领域都可以利用相应的机器学习算法来尝试提出新的、更高效的解决方法。有不少相关文献已经概述了相关工作，就不在一一赘述。特别的在自动驾驶网络的实现中，需要更多关注的是如何使得网络可以与环境交互，进行自我决策、自我优化，从而更好的实现网络闭环控制，提高网络自适应性，赋予自动驾驶网络真正的智能。与监督学习和无监督学习相比，强化学习更适合于闭环控制问题。并且深度学习和强化学习的结合在决策领域已经有不少成功的应用（应用深度强化学习玩游戏的DeepMind 和战胜围棋冠军的AlphaGo）证明了强化学习可以有效地解决大规模的系统控制问题。因此研究人员们开始更多的关注可以与环境进行交互学习的强化学习以及深度强化学习来解决大规模网络控制问题。基于强化学习的学习任务通常被描述为马尔可夫决策过程，强化学习包括一个学习实体（Agent），状态空间S 和行为空间A。Agent 与环境相互作用，学习最好的行为，以获得最大的长期回报[18]。长期奖励是一种累计折合的奖励，既与当前行为的奖励有关，也与未来行为的奖励有关。图3 所示为RL 系统的基本示意图。

图3 强化学习

Agent 会监测一个状态st，然后从行为空间A 中选择一个行动at，Agent 会得到一个反应当前行动好或不好的奖励值rt，然后转到下一个状态st+1。Agent 的目的是学习最优的行为策略π，从而获得预期的最大化长期回报。在强化学习中，价值函数用于计算给定状态下行为的长期回报。例如Q-learning 算法中的价值函数Q-function，该算法用来学习一个存储着所有状态-行为对以及与之对应的奖励值的表[19]。当将强化学习应用于SDN 网络时，网络状态作为不同的状态阶段，行为可以是CDN 或路由选择等网络策略，而奖励可以依据优化目标设定。

强化学习的主要优点是可以无需事先了解环境的精确数学模型即可运行。然而，传统的强化学习方法有一些缺点，如最优行为策略π的收敛速度很低，它无法解决高维状态空间和动作空间的问题。这些缺点可以通过深度强化学习[20-22]来解决。深度强化学习的核心思想是利用深度神经网络强大的函数逼近特性来逼近价值函数。在对深度神经网络进行训练后，给定一个状态-行为作为输入，深度强化学习能够估计出长期的回报，估计结果可以指导Agent 选择最优的动作。

强化学习通常应用于解决决策问题，以网络中的路由优化为例。将强化学习算法应用于优化路由时，控制器作为Agent，网络充当环境。状态空间由网络状态和流量状态组成。行为可以视为路由方案，奖励可以根据网络延迟等需要优化的指标进行定义[23]。文献[24]提出了一种基于强化学习的SDN 网络智能路由协议。该路由协议可以根据网络状态选取最优的数据传输路径。Francois 和Gelenbe[25]研究了应用于多个SDN数据中心间Overlay 网络的路由优化方案。方案提出了一种逻辑集中的认知路由引擎（CRE），该引擎利用随机神经网络和强化学习来寻找地理上分散的数据中心之间的最优overlay 路径。该算法基于随机神经网络和强化学习，即使在非常复杂的网络环境中也能良好运行。文献[26]侧重于多层异构SDN 网络中的路由优化。提出了一种利用强化学习算法实现具有时效性的感知服务质量（QoS-aware）自适应分组转发方法。以服务质量为奖励，根据流量类型和用户应用程序选择感知到的能获取最大奖励值的路由路径。在文献[26]中，深度强化学习模型被用来优化路由。该模型的目标是在给定流量矩阵的情况下，为所有的源-目的对选择最优的路由路径，以最小化网络延迟。

3.4 基于意图的网络

自动驾驶网络的目标是尽可能减少网络运行过程中的人工操作，因此对比于传统网络中依靠网络管理员在各种复杂接口使用低级语言配置网络策略的过程，自动驾驶网络首先需要实现从网络应用需求或网络管理员指定的高级策略（如服务等级保证、安全性要求等）生成网络优化目标。基于意图的网络（IBN）允许操作人员指定高级策略，这些策略指示网络应该如何运行，而无需考虑如何将它们转换为网络设备中的具体配置命令。

现有的关于IBN 的研究提出了几种意图语言、框架和编译器，以实现在网络设备和中间件中基于意图的配置[27-29]。这些研究支持高层策略的组合，可以在软件定义网络（SDN）中实现，来帮助网络管理员实现管理行为的抽象。

具体说来，IBN 允许操作员指定高层次的复杂策略，这些策略包括与用户需求相关的，如服务等级协议（SLA），与特定网络目标相关的，如流量调度等网络资源优化问题，还有和单一数据包相关的，如数据包加密等策略。

文献[30]研究提出了指定SLA 的语言，文献[27]开发了用于指定基于头字段及其位置的数据包转换的高级语言，这些研究可以让网络管理员从更高层指定流量的转换，并且在运行时将各种操作分发到各个网络组件上，让操作人员无需再从中间件级别去思考，而只需要具体化更广泛的网络目标。

以文献[31]为例，提出了一种利用机器学习和网络管理员的反馈将管理员的自然语言意图转化为网络配置的细化过程。这个过程包括三个阶段。首先，依靠一个智能的聊天机器人接口来提取用户自然语言中的表达的意图中的主要动作和目标作为后续操作的实体对象。这个聊天机器人接口使用神经网络来识别用户自然语言中的关键点。例如策略中的网络端点、中间节点和临时配置。然后，使用非常类似于自然语言的一种名为Nile 的基于意图的结构化语言，同时利用序列映射序列的神经网络学习模型将提取的实体转化为高级结构化的网络意图程序，最后，根据目标网络将提取的意图程序编译成网络策略。

图4 基于意图网络的运行流程

3.5 网络遥测

正如第一节提到的自动驾驶网络的目标，我们希望实现任务驱动的网络测量，并且使网络测量与网络控制紧密结合。在基于SDN 与可编程数据平面的基础上，新型的自上而下的网络遥测架构赋予了自动驾驶网络这样的可能性。

在传统的自下而上的网络遥测系统中，操作人员必须根据网络设备上可用的特定监视工具（如Net-Flow、sFlow、tcpdump）来配置各个网络设备，被动地从这些工具中收集大量数据，然后从收集到的设备级数据中推断出整个网络的状态。为了能够使用这种自底向上的方法理解网络状态，操作人员必须从具有大存储、带宽和处理开销的设备收集大量数据。然后，操作员将这些数据聚合起来，并将其转换成他们需要的网络范围内的视图，这是一个依靠操作员专业知识水平繁琐的手工过程。相较于传统的网络遥测系统结合软件定义网络、可编程数据平面的网络遥测系统正在逐渐实现自动化。如图5 所示的网络遥测过程，通过为操作人员引入声明性度量抽象，来清楚地表达他们的度量需求，而不必考虑何时、何地以及如何回答查询。通过这种方式，他们可以花更多的时间来定义他们需要的正确信息集，以诊断网络性能问题，帮助更好地服务于应用程序。

图5 网络遥测流程

具体说来，声明性度量抽象包括以下原则：①基于意图的：操作人员可以自由地表达他们的度量意图，而不依赖于底层的度量系统。②命名原则：操作员可以描述他们想要测量的流量，不是基于包头字段，而是基于高级名称，如DNS 名称、租户、应用程序，甚至动态流量的属性（如延迟、损失率等）。③全网：操作员可以指定他们关于全网状态的查询，而不必担心测量应该在网络的什么地方执行。④并发查询：不同的管理任务、租户或应用程序能够同时指定它们需要的查询。因此，这是一个实时的系统，它能够自动地将度量抽象与设备上的原语匹配起来，动态地分配资源，并处理诸如移动主机和路由更改之类的网络动态。系统还通过为特定的控制功能优化度量查询来改进度量和控制之间的交互。再者，考虑到度量抽象，系统可以在不同的设备（虚拟机或者交换机等）上设计新的数据结构。使得管理员可以更多的关注他们需要的信息，然后针对这些目标数据设计更好的测量算法。

通过这类网络遥测系统，可以获取更多的网络流量、状态数据，为机器学习算法提供丰富资源。同时它的高级抽象与实时响应也是减少人工干预，加强测量与控制耦合性，实现网络管理闭环的重要手段。

4 自动驾驶网络范例

在上一节中，我们分析讨论了促使自动驾驶网络可能实现的各种技术和方法。这一节，提出一种基于SDN 并结合网络遥测、数据驱动的自动驾驶网络架构。该架构如图所示包含四个平面：转发平面、控制平面、信息平面以及驾驶平面。

转发平面的功能是转发、处理和监控数据包。主要包括可编程的线速转发硬件，并且只关注简单的数据转发，不嵌入任何控制策略。控制规则由SDN 控制器通过OpenFlow[32]或P4[33]等南向协议发布。当数据包进入节点时，将根据这些规则进行转发和处理。此外，节点中还嵌入了一些监控进程。网络监测数据将被收集并发送到信息平面。因此，它可以提供完整的网络状态信息来帮助驾驶平面做出决策。底层分布式转发平面的抽象方法，并将底层资源信息（如链路带宽、CPU 容量等）集中到驾驶平面。在该范例中通过使用带内网络遥测（In-band Network Telemetry）技术实现，所谓带内网络遥测是一种基于可编程数据平面，收集和报告数据平面中网络状态的方法。带内网络遥测可以向每个指定要收集的元数据类型的包注入带内网络遥测头部。元数据包括交换机ID、入端口ID、入口时间戳、跳转延迟、队列拥塞状态等。与当前的网络监控技术（如流级别的NetFlow、基于流量采样的sFlow、基于计数器的SNMP）相比，带内网络遥测可以提供更细粒度的数据，支撑机器学习算法的应用。控制平面中的SDN 控制器，可以将带内网络遥测功能部署到可编程的交换机中，来监控网络状态，并将意图驱动的需求从驾驶平面转化为具体的网络策略并应用于网络。首先，带内网络遥测功能使用可编程数据语言描述，然后编译成在可编程交换机上运行的设备指令。之后，控制器将指令部署到交换机中。当然，如果所有测量的元数据都上传给控制平面，则消息的数量就会过多。因此，可以选择收集特定流的元数据。控制平面提供了以五元组形式指定需要监控的流量。包括源IP 地址，目的IP 地址，源端口，目的端口以及协议。控制平面也可以以意图的形式获取驾驶平面的分析结果。同时还为其他应用程序和可视化元数据功能提供接口。

图6 自动驾驶网络架构

在信息平面中，将收集、存储和聚合网络状态数据以供进一步分析。带内网络遥测元数据收集器是每个交换机传输元数据时生成的一个线程，将元数据转换为JSON 格式并发送到分布式消息传递系统。分布式消息传递系统也使得信息平面具有可伸缩性。而后它将元数据分发到一个数据流处理器。通过使用元数据的源IP 地址的最后一位作为hash 值，将来自相同数据流的元数据发送到同一处理器。系统还会将数据存储到数据库中。提供每个流、每个交换机的基本分析结果和统计数据，具体包含网络中流量的真实路径、每跳的延迟、每个交换机的控制平面的功能是连接驾驶平面和转发平面。提供了访问队列占用和拥塞状态等信息。结果会被发送到控制平面和驾驶平面。需要立即响应的事件（如链路故障、路由黑洞或环路检测）由控制平面处理。其他操作，如网络资源的规划及优化、网络性能的管理和验证，将由驾驶平面来处理。

驾驶平面的功能是生成网络策略。在该范例中，驾驶平面利用从控制平面和信息平面获取的数据获得整个网络的全局视图和网络状态。利用智能Agent 运行的（深度）强化学习算法与网络环境进行交互，学习网络策略。然后将策略转换成意图语言进行网络配置的更改，达到对网络进行决策和优化的目的。