ANSI/TIA 942-A Tier4等级数据中心布线设计与实践——中国农业银行灾备中心网络布线系统介绍

时间：2024-08-31

于智勇

(中国农业银行总行，北京 100069)

0 项目概述

中国农业银行北方数据中心园区位于北京市海淀区中关村创新园中心地带，地处苏家坨镇稻香湖风景区。园区由南、北两地块组成，南地块用于软件开发，北地块定位为农行“两地三中心”战略部署中的异地灾备中心。园区总建筑面积 249 000m2，其中，三栋机房楼总建筑面积86 500m2，机房总面积近20 000m2，共分成32个600m2左右的高性能标准模块机房，机房分两期进行建设，每期16个模块，目前完成的是一期。

农业银行灾备中心按照国标GB 50174-2008《电子信息系统机房设计规范》(以下简称“GB 50174标准”)中A级机房标准设计建造，核心机电系统满足Uptime机构所规定的最高等级Tier IV要求，网络布线系统参照了TIA 942-A的Tier4等级要求。数据中心建成后能满足农业银行长远的战略部署，并可适应银行业务扩展及未来网络技术的发展，建设目标成为国内一流的数据中心。

由于北方数据中心园区占地较大(园区包括了15栋建筑物)，本文仅就灾备中心的综合布线系统的规划、设计做简单介绍。数据中心园区其网络架构和布线另有特点，并有一定代表性，作者将另文介绍。

1 本中心的特点及对设计的要求

本中心的特点及对设计的要求主要有：(1)作为银行数据中心，各系统设计高可用性是第一位的，综合布线系统设计更是如此；(2)不同于互联网或以出租为目的建设的数据中心，本中心32片机房必须作为一个整体考虑，网络需要统一出口，核心网络机房需要连接所有服务器及存储机房；(3)应用和设备种类多，有主机系统、小型机及存储系统、X86架构的开放平台系统等，这些应用和系统布线各有其特点，必须兼顾；(4)中心的基础设施架构需要保持较长时间的稳定，特别是布线系统，由于其物理升级工程量巨大，对数据中心的影响也极大，因此期望其至少在10～15年内保持基本稳定，20年内基本可用，这需要跨越2～3个甚至4个网络系统设备生命周期，要求布线系统设计之初就要适度超前，并考虑平滑升级条件。

布线系统设计原则：遵照标准，满足需求，确保可用，兼顾未来。

2 综合布线系统设计概要

农业银行灾备中心的综合布线系统设计遵循GB 50174标准要求，还特别参照了TIA 942-A标准的拓扑架构，充分考虑了农行数据中心的应用及设备特点以及数据中心对高安全性、高可用性、高灵活性和高可扩展性的要求。网络与存储系统采用相同的布线结构，分为核心、汇聚、接入三层，规划可支持40G和100G网络。

数据中心区域设有两个MDA互为备份，每个机房的IDA都通过主干布线连接到两个MDA。数据中心进线规划成全程双路由进线，通过4个运营商机房由不同的路由连接到MDA处。此外，从网络核心机房通过7个汇聚节点辐射到各办公区域，实现园区各办公楼的网络汇聚。

为了落实数据中心32个机房模块之间的互联互通，综合布线参照TIA 942-A标准引入了中间配线区(IDA)，如图1所示，这样实施的优势在于：(1)有利于机房模块分期分步实施、启用；(2)模块内部的服务器、存储互联可以在IDA进行，减轻了MDA的互联压力；(3)在IDA内集中部署光交换设备作为模块内SAN网络集中交换区；(4)对于上联到主配线区(MDA)的线缆进行收敛，减轻了主干布线的压力，并大大提高布线的可靠性和可管理性。

图1 本中心TIA-942-A架构布线结构图

机房模块内综合布线的水平配线区(HDA)采用柜间布线(MoR)的结构进行设计，每一列设备柜设置有3个布线HDA机柜，中间的机柜汇聚铜缆布线，两边的机柜汇聚光纤布线。每个设备柜的光缆分别连接到HAD内左、右两个光纤汇聚柜中。考虑到设备柜配线的灵活性，在每个设备柜顶部的桥架上通过安装顶部安装机架的方式设置EDA区域，可根据每个设备柜装机密度和服务器选型的不同在ToR和MoR之间进行灵活切换。

LAN网络架构的上联方式为：EDA-HDA-IDA-MDA。SAN网络架构的上联方式为：EDA -IDA-MDA。

针对主机与小型机等非标设备，本项目专门在模块内设定了主机区和小型机区，并定义了ZDA来支持非标连接，此部分的设备与IDA的上联采用了直连的方式。

针对综合布线系统光缆和铜缆的选型，本项目充分考虑了网络未来的发展趋势，铜缆采用6A类屏蔽解决方案，光缆根据布线场景和连接距离分别选用多模OM4和单模OS2，且所有光纤主干均采用MPO的接口，以实现40G/100G的升级。

3 项目实施特点

本项目综合布线系统在设计和实施过程中体现了高安全性、高可用性、高灵活性和高可扩展性的特点。

(1)安全性与可用性

安全性和可用性是银行数据中心建设的重中之重。为了确保信息传输的安全性，项目中铜缆采用了全屏蔽结构，从根本上去除了信号泄露的风险。整个布线系统遵循了TIA 942-A T4和Uptime最高等级Tier IV 的设计原则，从电信进线直到EDA均保有备份路由，大大加强了设备的可用性，避免了单点故障的风险。

(2)灵活性与可扩展性

项目中创新性地采用了综合吊挂系统，将机房内复杂的顶部吊挂进行了全面整合，并结合实际情况在每个设备柜上方采用了桥架悬挂式顶部安装机架，提供了额外的4U安装空间，该安装机架的施工独立于机柜的安装摆放，安装实景图见图2。顶部安装机架的使用为机房的灵活扩展提供了可行性，模块内的布线可以先行部署，机柜的扩容不会影响现有业务的运行。

图2 灵活部署的4U顶部安装机架

以太网光纤布线速率的发展直到10G一直是采用单一介质、单一连接器类型就可满足升级需求，自40G、100G网络推出后，IEEE标准开始提供多种介质和连接器类型的不同选项，表1罗列了IEEE标准中现有规范对光纤介质、连接器类型和支持的传输距离。

光纤介质和传输距离- IEEE标准表1

从表1中可知，综合布线系统选用光纤介质需充分考虑未来的发展。在项目规划过程中，为了满足40G/100G网络的升级的影响，从初期布线安装成本、收发器成本、维护升级成本、链路长度这几个因素进行了综合考量，见表2。

项目造价由初期成本与升级维护成本组成，合理的架构设计应该兼顾项目初期造价以及运维成本。本项目经成本分析后最终决定采用高等级的多模OM4光纤,连接器类型选用12芯MPO，以实现对未来网络的支撑。

网络传输介质成本分析表2

传统平衡双绞线由于标准与传输距离限制，不适合作为网络主干连接，因此，主干介质的选取过程中仅以OM3多模、OM4多模、单模光缆作比较。从表2可知初期布线成本差别不大，多模和单模成本基本可认为一致，但是单模收发器的成本远高于多模收发器，故初期网络整体成本多模优于单模，而OM3在支持40G和100G网络的距离上限制在100m，项目实际情况中计算得出主干长度有部分超长，故最终决定主干采用高等级的多模OM4光纤。若进一步考量核心区域未来超越100G需求的升级模型，单模预计将比多模更经济，因此在IDA-MDA互连区域以及核心区域也同时敷设了单模光纤，以应对未来更高网络速率。

在选取接口时，并行MPO接口在升级与支持100G网络的性能上远比LC接口灵活，即可满足现有网络需求，又可以满足带宽升级的需求，且MPO接口为工厂预端接形式，可以保证项目质量交付的稳定性并兼顾项目交付期要求。

由于设计时做了前瞻性的考虑，本中心竣工时各项指标，包括上述线缆和连接器选择等，均满足最新版GB 50174-2017《数据中心设计规范》的要求。

除了IEEE标准以外，本项目中所部署的单模和多模光缆还能支持表3中行业标准。

同时，因为LAN网络和SAN网络都选用了同一套布线系统，故该布线系统还可以支持表4中SAN网络的标准。

通过高等级多模OM4 MPO预端接光缆和单模MPO预端接光缆的应用，可实现40G到100G的平滑过渡。MPO连接头采用了并行光纤的技术，可以通过MPO-LC转接模块实现MPO连接器和LC连接器的转换，在网络从40G升级到100G时，仅需将LC接口转换成MPO接口即可实现连接，避免了二次布线的麻烦，从另一方面提升了数据中心的可用性。本项目中考虑到模块到机房之间的距离较长，故在IDA到MDA区域的互连均采用单模MPO作为主要传输介质，可根据实际情况，选取LC接口或MPO接口作为连接，主干预留的布线冗余量完全满足将来的传输需求。

光纤介质和传输距离-行业标准表3

光纤介质和传输距离-存储标准表4

项目中充分考虑了网络的升级和冗余路由，通过敷设24芯及以上的光纤光缆作为水平和主干连接，故在HDA/IDA/MDA处汇聚了较多的光纤光缆，若采用传统72芯光纤配线架将占用大量机柜空间。本项目设计时对多套产品方案进行了比较，最终选用了超高密度(UHD)的光纤配线架来节省机柜空间。超高密度光纤配线架在1U空间内可安装12个12芯MPO-LC模块，实现144芯的LC接口安装密度，是传统72芯光纤配线架密度的两倍，若接口改成MPO时，则可以实现最高864芯光纤对接。

在EDA实施时，顶部安装机架提供了4U安装空间，UHD光纤配线架仅占用顶部安装机架1U空间，留有2U空间做铜缆的端接，还预留了1U空间。