基于多总线的数据处理平台架构设计

孙德荣

摘要

本文提出了一种以RapidIO高速总线为核心配合Aurora、10Gb以太网和PCI Express等多种高速串行总线为辅助的通用数据处理平台架构的实现方案。该方案充分利用了各种高速总线的优缺点，进行了优势互补。该平台架构兼容性好，基本上可以嵌入目前市场上的主流处理芯片，而且架构实现灵活，扩展性好，可以满足当前绝大部分的嵌入式信号信息处理的需求。

【关键词】RapidIO Aurora 10Gb以太网 PCIExpress 数据处理 高速串行总线

1 前言

随着数字信号处理理论的发展和处理器技术的进步，越来越多的设备对于信号与信息的处理需求更加的依赖，而大量的数据运算又必须依赖于高速的输入输出总线，由于各种数据的来源和输出的差别，因此对于总线的要求又不尽相同，因此一个支持多总线的弹性可扩展的数据处理平台架构变得更加必要。

2 新一代高速总线技术

随着信号处理能力的不断提升，数字器件间的数据传输交换速率己上升到相当高的阶段，以Aurora、PCI Express、10Gb Ethernet、Serial RapidIO为代表的一系列高速互联技术得到了迅速的发展，高速电源完整性、信号完整性仿真及设计技术的发展和普及，使得高速信号互联和交换变成了可能。

Aurora协议是一种新型的点到点串行协议，它是一种可拆减、轻负载的链路层协议。Aurora协议具有有效低延迟特性，实现只需占用相当少的逻辑资源，它采用8B/10B编码或64B/66B编码方式，有效增加了带宽吞吐率，非常适合于板内的FPGA之间串行数据流的传输。

PCI Express协议由传统的PCI协议发展而来，采用类似PCI方式的树形拓扑结构，处理器通过根复用器与叶子节点进行通信。在通用数据处理平台中适合连接只具有PCIExpress不具备Serial RapidIO接口的模块接口。

2002年IEEE批准了lOG以太网的标准802.3ae，进一步确定了以太网在局域网中的霸主地位。万兆以太网对于以往的千兆以太网具有绝对的优势，但其又是基本上承袭了千兆以太网技术，因此在用户普及率、使用方便性、网络互操作性及简易性上皆占有极大的引进优势，用户不必担心既有的程序和服务是否受到影响，升级的风险非常低。万兆以太网具有更高的带宽和更远的传输距离（最长传输距离可达40公里），特别适合机架间的数据传输。万兆以太网采用TCP/IP通信协议软件通信，由于TCP/IP协议需要相当大的CPU处理带宽开销，使得实时性难以得到保证。因此只适用于实时性要求不高的应用场合。

Serial RapidIO是一个开放的标准，是一种新型的高性能、低引脚数、基于分组交换的互联体系结构。协议采用包交换技术，在网络处理器、中央处理器、数字信号处理器和FPGA之间的通信具有高速、低延迟、稳定可靠的互连性。Serial RapidIO采用三层分级体系：逻辑层、传输层和物理层。其中逻辑层位于最高层，定义了操作协议和包的格式，它们为端点器件发起和完成事物提供必要的信息;传输层在中间层，定义了包交换、路由和寻址机制;物理层在整个分级结构的底层，定义了电气特性、链路控制和低级错误管理等。

Serial RapidIO协议具有灵活的拓扑特性，可支持点对点、交换网络、分布式交换等拓扑形式，非常适合嵌入式处理器间通信，是理想的分布式多处理器（DMP）通信协议。如图1所示。

3 通用数据处理平台硬件架构

基于对上述各种高速串行总线协议的分析，根据选择合适的传输协议传输合适的信号的思路，得出一个总线协议选择的方案：对于低延迟的前端采样模块到后端FPGA的传输互联，选用Aurora协议;对于X86系列通用处理器的接口，选用PCI Express协议;FPGA、ESP、PowerPC等多处理器间的通信互联，选用Serial RapidIO协议，备份总线为10Gb以太网;对于外部接口、控制与调试，选用Gb以太网协议。

依此标准，本文提出了一种通用的数据处理平台硬件架构。硬件机箱采用标准的6UVPX工控机机箱，配备信号接收激励模块、通用信号预处理模块、通用信息处理模块、通用数据处理模块、接口IO模块、通用处理器主板。如图2所示。

信号接收激励模块完成信号的采集和发射，通用信号预处理模块完成采集和发射信号的预处理，通用信息处理模块完成信号和信息的进一步处理，通用数据处理模块完成大数据量的运算，接口IO模块完成数据处理平台的对外接口，包括光纤、千兆以太网等接口，通用处理器主板完成处理机环境的监控，用户界面等。

信号接收激励模块与模拟中频前端接口，模拟信号通过AD，DA变换，将数据通过FPGA的Aurora接口传递到通用信号预处理模块的FPGA处理器上，通用信号预处理模块的FPGA与通用信息处理模块上的FPGA也通过Aurora接口相连。通用信号预处理、通用信息处理、通用数据处理、接口IO模块和处理器主板等主要运算模块的各个处理器均采用Serial RapidIO进行分布式互联。其中通用处理器主板的CPU为通用X86架构CPI，仅具备PCI Express接口，不具备Serial RapidIO接口，因此在处理器主板的后插板上设计PCIExpress转SRIO的桥模块，通过桥芯片，将通用处理器主板接入Serial RapidIO网络。各模块上的通用处理器均具备千兆以太网接口，便于网络互联和调试。

通用数据处理平台架构设计的优势在于具有高速分布式串行总线交换能力。由于Serial RapidIO采用包交换的形式，不太适合传递数据流形式的采样数据，因此在FPGA之间采用具有低延迟特性的Aurora总线传输高速采样数据流。在各处理器之间，包括FPGA、DSP、PowerPC，采用具有高传输带宽的高速串行总线Serial RapidIO进行数据互联互通，可通过分布式交换方式，通过交换芯片进行高速数据互联，最高传输速率为4×6.25Gbps。能满足现阶段要求的各种数据传输要求。同时，将通用处理器主板集成入数据处理平台，其上运行Windows操作系统，使得数据处理平台不再是一台独立的專用设备，而具备良好的用户界面和具备对处理机监控、数据处理记录的能力。

4 高速多重总线协议背板设计

采用Aurora总线协议的高速串行数据流信号的数据吞吐量大于1Gbps，采用SerialRapidIO的数据流单线数据吞吐量为6.25Gbps，采用PCI Express协议的数据流吞吐量为

2.5 Gbps。因此在背板设计首先需要考虑到的是高速信号的传输。通过建立高速信号线的仿真和测试环境，使用Agilent ADS软件对高速信号的传输进行仿真分析，通过对S参数的分析，对印制板线长、线宽、过孔、连接器等环节进行规定。通过分析十仿真信号线的阻抗参数（TDR参数），分析信号通过连接器、信号线、过孔等对信号造成的影响。在连接器出添加信号激励源，仿真测试信号线的眼图，得到眼宽、眼高、上升时间、下降时间等重要参数，同时套用协议模板，保证信号线不进入眼图模板的范围内，以证明信号质量合格。使用ADS软件对多重协议总线的高速信号线进行分析，分析多对信号线之间相互造成的影响，以此确认多重总线协议背板设计的可行性。然后可以进行PCB投板加工，并在收到加工后使用高速示波器、阻抗分析仪等设备对印制板进行测试，将测试结果与仿真结果进行对照，确认印制板加工带来的误差，对于误差过大的印制板应重新制作。如图3所示。

5 结语

本文介绍了一种基于RapidIO、Aurora、IOGbE以太网、PCI Express多种高速串行总线的新一代通用数据处理平台硬件架构实现方案。该方案以高速串行RapidIO作为数据处理平台分布式高速总线互联交换的核心，10GbE以太网为备用总线，以基于Aurora协议的高速数字中频信号作为数字前端接口，以Gb以太网作为各功能模块的外部IO接口和调试接口，以PCI Express作为将通用处理器接入RapidIO网络的通道。通过高速多总线背板和交换芯片进行分布式交换，以大规模集成电路FPGA、高速DSP、高性能PowerPC为数据处理平台的处理核心，构建了一種具有强大信号处理能力的通用多功能数据处理平台硬件架构。该种架构可广泛应用在航空航天、通信、雷达等领域。

参考文献

[1]Texas Instruments Incorporated.TMS320C6678 Multicore Fixed andFloating-Point Digital SignalProcessors Data Manual，2012.

[2]Tundra.Tsi578 Serial RapidIO SwitchHardware Manual，2007.

[3]Integrated Device Technology，Inc.Tsi721 Datasheet，2011.

[4]Freescale Semiconductor.MPC8640 andMPC8640D Integrated Host ProcessorHardware Specifications，2008.

[5]安捷伦科技.信号完整性与电源完整性的仿真分析与设计[J].安捷伦科技，2008.