微模块数据中心的集成与应用

杨根发

（中国移动通信集团江苏有限公司，江苏 南京 210029）

0 引 言

近年来，互联网大数据技术飞速发展，IT设备需求量剧增，机房的建设规模及应用领域不断扩大，机柜功率密度不断升高，作为基础设施的数据中心面临着巨大的机遇和挑战。传统数据中心的规划部署建设成本高、周期长、扩展性差，能源利用率和设备使用密度低，已经无法满足快速增长的云业务需求[1]。在市场需求的催化下，微模块数据中心凭借着建设周期短、快速部署、低电源使用效率（Power Usage Effectiveness，PUE）、灵活扩容等优势得到广泛应用。微模块集制冷系统、供配电系统及监控系统等于一体，各个模块通过一致的标准连接能够实现数据中心基础设施的高度集成及快速布署，已经成为新建机房及老机房改造的首选方案[2]。为了顺应数据中心的发展趋势，行业内也针对微模块不断进行技术改革和创新，微模块数据中心具有广阔的应用前景。

1 微模块数据中心构成

微模块数据中心将硬件系统、供配电系统、制冷系统以及监控系统等集成一体，根据应用场景可以分为单机柜、单排机柜、双排机柜3种类型。单机柜一般适用于IT能耗小于10 kW的场景，多运用于边缘计算数据中心；单排机柜适用于IT能耗小于35 kW的场景，可以运用在各类小型机房、扩容机房以及临时机房等；双排布局则适用于中大型数据中心及老旧机房改造等场景，机柜数可根据现场布局灵活布置，IT能耗小于200 kW。目前，双排机柜应用较广且具有代表性，下文重点围绕双排机柜的系统集成展开分析。

1.1 硬件系统

微模块数据中心的硬件系统主要包含IT机柜、密闭冷通道、底座。机柜是微型数据中心、模块化数据中心的载体，具有结构坚固、承重能力强以及功能齐全的优点，也可用于安装机架式电池箱、机架式不间断电源系统（Uninterruptible Power System，UPS）、机架式电池箱、动力与环境监控设施以及用户设备等，大大节约了设备在机房内的占地面积。IT机柜一般前门单开网孔门，后门双开网孔门，前后门通孔率大于70%，满足了IT设备运行时所需的大量冷空气要求。机柜的前半部分主要安装监控装置和U位，后半部分安装电源分配单元（Power Distribution Unit，PDU），方便设备的检修与替换。

端门和天窗组合形成了封闭冷通道，运维人员可以通过端门进入通道内对设备进行维护和管理。根据运维管理的要求，端门和天窗有多种类型可供选择。其中，端门有自动/手动平移门、手动旋转门等，天窗有双翻/单翻活动天窗、玻璃天窗等。服务器尾部散热部位的通道为热通道，机柜正门对着冷通道，空调出风使设备温度保持在22～25 ℃，实现冷热通道间物理环境全封闭。

微模块数据中心底座是支撑整个微模块的主要基础设施，它确保了模块整体的稳定性和可靠性。微模块底部框架分为设备底座及通道底座两类，均采用单元式框架在现场进行拼装，每个底座与机架、空调、配电电源及地板一一对应。设备底座可以为IT机柜脚轮等提供必要的支撑平面，保证机柜能够顺利上架推送就位，并通过调节螺栓找平支脚进行支撑找平。底座可以实现快速组装，有效提升了微模块数据中心的建设效率。

1.2 供配电系统

根据不同的机房等级，微模块数据中心配电系统可以分为N、N+1及2N等多种配电架构。系统主要由UPS柜、精密配电柜、电池柜组成，单路或双路市电通过UPS柜输出至精密配电柜，由精密配电柜支路开关分配给IT负载、空调负载、照明设备及监控设备供电，集成UPS配电与配电主路、支路状态及温度监测，精确把握各支路状态，实现智能化管理。

通常情况下，当微模块IT功率达到150 kW及以下时，选用一体化UPS柜方案。一体化UPS柜将UPS电源、IT配电、空调配电等集成于单个柜体中，简单且节省空间。当微模块IT功率达到150 kW以上时，选用UPS柜+精密配电柜方案，根据机房布局情况选择入列或外置方式。

1.3 制冷系统

微模块的制冷系统采用列间空调水平送风方式，与传统的房级空调相比更接近热源，能够更加快速高效地将冷量送至IT设备，有效减少冷气流的沿途损失。列间空调有多种制冷量机型，也有冷冻水、风冷2种冷源方式，可以根据设备的散热量及需求灵活选择。目前市场上的风冷精密空调可选配氟泵，特别是北方较寒冷地区在冬季和过渡季节不用开启压缩机便可制冷，充分利用自然冷却优势，大大降低PUE值。

空调作为系统耗能占比较大的设备，为了更加节能高效，一般会采用直流变频压缩机等部件。为了满足运维需求，系统控制器会根据程序的设定值和室内环境条件自动切换所需的模式。除此之外，设置警告系统，如果出现故障、异常断电、温度异常等，主动反馈警告，使系统运行更加安全、运维更加省心。

1.4 监控系统

微模块数据中心的监控系统能够将采集到的数据发送到后台监控服务器，进而实现多个数据机房的集中监控。通过对微模块内配电设备、空调设备、安防设备以及消防设备等进行全方位监控，可以配合组态编辑软件实现现场数据采集，并编辑成可配置化画面，最终在一体化监控屏及PC网页上显示，实现数据实时监控。

2 微模块数据中心的优势

微模块集快速部署、绿色节能、安全可靠、智能运维等优势于一体，是当下应用较为广泛的数据中心基础设施方案之一。

2.1 快速部署

传统的数据中心建设对项目现场的依赖性强，机柜、UPS、配电柜的部署及强弱电布线等都需依赖现场的实际情况进行设计及施工，导致建设周期长。微模块数据中心具有产品模块化、配件统一化、生产标准化的特点，将各子系统的设备在工厂预制并在工厂进行预联调，提升了工程施工效率[3]。到现场后进行柜体就位、天窗安装、端门拼接、端门分段就位以及线槽铺设，无需一周即可完成单个微模块的安装交付，大大缩短了工程施工时间。除此之外，多个微模块可以批量复制和灵活扩展，无需重新设计，节省了规划设计的人力成本。

中国移动长三角（南京）云计算中心1号楼3 063个7 kW高标准服务器机柜于2019年10月8日开工，2020年1月27日完成三方测试并交付，建设周期控制在4个月以内，相比传统6个月建设周期具有快速部署优势。

2.2 绿色节能

微模块融合采用智能化电源能效管理、冷电联动节能技术、智能化运维管理等手段，实现了对微模块系统能耗的全链路监控及智能化精细调控管理，使电源系统始终运行于效率最优工况，制冷系统输出冷量始终与实时负载量匹配，有效提升了微模块系统能源使用效率。传统数据中心机房的平均PUE高达2.1，而微模块数据中心的PUE则小于等于1.24。

2.3 安全可靠

关键设备均可支持N+1架构或2N架构冗余设计，符合数据中心行业标准，最大限度保障IT设备稳定运行。微模块数据中心可以协同调度视频安防监控系统、门禁控制系统、动环集中监控系统、火灾自动报警系统及消防联动控制系统等智能联动管理，实现快速故障定位和问题处理缩短管理需求响应时间，提升数据中心的防护能力。

对含有预冷变形处理和不含预冷变形处理的Cu-Ni-Si材料开展了机械性能和疲劳性能的相关研究，得到如下结论：

2.4 智能运维

微模块中UPS系统、精密配电系统、制冷系统以及环境温湿度监控系统等均配置RS232/R485标准通信接口，可以接入动力及环境监测系统。通过采用先进的计算机技术、网络通信技术、视频传输技术、图像处理技术，实现各个智能设备运行状态、运行参数的显示、处理和存储，实现各子系统之间的数据流动。与此同时，系统的故障自动检测、专家诊断、智能人性化管理等功能极大地减轻了机房维护人员的负担，最大限度降低运维成本。

3 应用案例

3.1 项目概况

中国移动长三角（南京）数据中心是江苏移动三大互联网出口节点之一，对上直连国干节点，同时也是国内首个5G全覆盖的超大型数据中心。作为以5G、人工智能、工业互联网、物联网等为代表的新基建项目，本项目1号楼为客户定制高标准数据中心项目，总建筑面积约25 000 m2，共2 908架7 kW服务器机柜。

3.2 微模块配置

机柜系统1包含1个配电单元、1个高压直流整流单元、3个电池单元、1个冷量分配单元、5台精密空调、1个管控单元、1套监控组件、1套消防组件、1套通道封闭组件、1套立柱框架组件以及1套底座及微模块内布线桥架等，单机柜平均功率为7 kW，布局如图1所示。

图1 机柜系统1布局

机柜系统2包含1个配电单元、1个高压直流整流单元、2个电池单元、1个冷量分配单元、4台精密空调、1个管控单元、1套监控组件、1套消防组件、1套通道封闭组件、1套立柱框架组件以及1套底座及微模块内布线桥架等，布局如图2所示。

图2 机柜系统2布局

采用标准底座、支撑架、封闭通道门等结构部件，结构部件均可提前进场，与现场装饰装修工程同时布置，可有效缩短交付周期。待现场装饰装修完成后，即可入机柜和设备，进行积木式快速搭建。

对于供配电系统，采用一路市电+一路高压直流的架构。正常运行时，市电与高压直流系统各带一半的IT负载，当其中一路掉电时，另一路可以承接全部的IT负载。该架构可以有效减少市电经过不间断电源的损耗，提升整体效率。

制冷系统采用5台40 kW的列间冷冻水空调，4台满足系统的制冷，另外1台空调作为备份冗余。空调具备高能效比、高显热比，采用大风量、超低噪声风机和无级调速控制技术可以实现节能降噪。此外，5台空调具备群控组网功能，可以实现主备轮巡切换。

3.3 技术先进性

采用微模块冷通道封闭技术，列间空调就近制冷，避免冷热气流短路。此外，提高回风温度（热通道）至35 ℃，空调回风工况提升1 ℃，制冷量将增长6%左右，大大降低风机功耗。摒弃高能耗的空调自带电极/红外加湿方法，采用超低功耗湿膜加湿技术独立控制机房湿度。

各子系统物理隔离，同时安防系统、动环系统、办公布线系统的物理链路及接入设备也物理隔离，有效减少因物理链路及设备损坏造成的单点故障。在传统门禁配置的基础上增加玻璃破碎应急按钮，将其与消防系统联动，以此保障极端情况下的人员安全。

采用1路市电+1路240 V直流系统，比UPS 2N交流系统节约投资46%，节约面积53%，节省电费约70%，实现高效节能供电。

通过改造智能电源柜，助力互联网数据中心（Internet Data Center，IDC）发展。在电源柜新增数据监测功能，实现IDC机细化管理，同时为集客接入类机柜计费和容量管理提供数据支撑。开展空调冷却系统环路优化改造，在原冷却管路基础上增加旁通管，将冷却水环路改为具备独立运行条件的空调水系统，提高空调系统运维效率[4-6]。

3.4 运行情况

中国移动三角（南京）云计算中心1号楼能耗数据如表1所示。

表1 中国移动三角（南京）云计算中心1号楼能耗数据

本项目应用多重节能新技术降本增效，采用直流列间空调模式，空置机柜布置盲板，合理调整气流组织参数等，末端空调能效因子达到0.028。运用人工智能技术优化楼宇自动化（Building Automation，BA）控制逻辑，将冷源能效因子降至年均0.19，年均PUE最低降至1.24。

4 结 论

微模块数据中心是传统机房的一大进步，具有绿色、节能、高效的特点，而且自身具有较高的灵活扩展性，适用于多种规模的数据中心。其建设周期较短，能够有效减少运营成本,在一定程度上解决了我国数据处理行业的需求。微模块数据中心既提高了数据中心内IT设备的效率，也提高了能源的使用效率，通过采取先进的列间空调制冷和冷热通道隔离技术，实现数据中心的绿色化建设和降本增效。随着“东数西算”战略的布局和推进，数据中心的发展迎来新的契机，关于微模块建设标准的制定、液冷及自然冷却制冷技术的创新和应用、UPS的改进升级等都是未来需要重点关注的内容。