HPC平台支撑清华大学原子结构研究

清华大学蛋白质研究技术中心（以下简称“清华蛋白质技术中心”）需要利用高性能并行计算手段解决生命科学领域的前沿性问题。通过构建生物计算平台（以下简称“HPC平台”），承载和支撑大规模生物学、医学领域的研究计算任务，充分利用HPC平台海量数据处理和并行计算能力，为生物大数据的高效处理和分析提供创新机制，满足生命科学、生物学、医学和其它交叉科学不断提出的新要求和挑战。

清华蛋白质技术中心引入了戴尔PowerEdge FX2 FC430融合架构方案，构建了一个拥有250个物理计算节点，5000个计算核心、存储总容量为1.92PB、理论计算能力为208Tflops、融合了英特尔 Lustre技术的HPC平台，戴尔为HPC平台提供了端到端的配置安装服务。

长期以来，解析剪接体三维结构被认为是生物学里的热门研究，因为其应用场景很多。例如：许多疾病源于基因的错误剪接或针对剪接体的调控错误，如果能够识別这些错误，人类众多不治之症的治愈将成为可能。而中国科学家在世界上首次捕获真核细胞剪接体复合物的3.6埃米（1埃米等于100亿分之一米，已经接近原子级尺度）高分辨率空间三维结构，其研究成果可为人类识别上述错误提供帮助，被尊称为诺奖级成果。清华蛋白质技术中心构建的HPC平台，则为上述世界顶级的生物学研究提供了计算层面的支持。

突破生物研究的计算瓶颈

研究生物蛋白质结构有三种主要方法：X射线晶体衍射、核磁共振以及单颗粒冷冻电子显微镜（以下简称“冷冻电镜”）。清华大学研究团队所采用的冷冻电镜技术在过去两年里取得了革命性的进展，具体来说就是照相机技术实现了飞跃，将采集数据的能力提升了10多倍，甚至上百倍，大幅提高了冷冻电镜的解析能力，由此使得研究蛋白质结构的源数据呈几何级数增加，这就要求清华蛋白质技术中心必须全面提升后期的数据处理与计算能力。这是清华蛋白质技术中心与戴尔合作，引入戴尔PowerEdge FX2 FC430构建HPC平台的战略性原因之一。

推进生物研究发展 并利用HPC平台提供计算服务

在论文的撰写过程中，清华大学的研究团队利用HPC平台完成了许多重要数据的处理。其中最为重要的就是对裂殖酵母进行了对象分析，通过冷冻电镜收集上百TB的数据，通过HPC的计算，在近原子分辨率上看到了剪接体的细节。这些细节让研究人员发现，剪接体的外形轮廓十分不对称，各个蛋白相互缠绕，形成了分子量和体积巨大的复合物。这是自1993年RNA（核糖核酸）剪接发现以来，科学家率先对剪接体近原子分辨率结构进行解析，为人类进一步揭示与剪接体相关疾病的机理，提供了结构基础和理论。

利用HPC平台，清华蛋白质技术中心建立了一个面向生物研究的工程研究平台，提升了蛋白质结构解析水平，帮助国际一流的生物研究团队高精度地测定蛋白质分子结构、各类细胞的三维结构，并在此基础上揭示蛋白质及其复合体的功能，为规模化制备蛋白或抗体，提供科学计算层面的支持。

引入戴尔极限规模基础架构

谈到引入戴尔PowerEdge FX2融合架构方案的原因时，清华蛋白质技术中心生物计算平台负责人杨涛博士介绍说：“此次我们引入的戴尔融合架构具有戴尔最先进的ESI（ESI- Extreme Scale Infrastructure）特质，在ESI特质的基础上PowerEdge FX2集合了刀片和多节点机架式服务器的技术优势。

首先是计算密度大，在2U空间内可以支持8个配置双插槽英特尔至强处理器的计算节点;其次是灵活性好，不仅可以选择FC430而且还可选用其他多种服务器节点;再次是扩展性好，支持可拆分的DAS存储节点、多种网络直通/交换模块;最后是管理性好，提供高效的CMC机箱集中式管理方案。”

此次引入的计算节点服务器是戴尔PowerEdge FC430，FC430采用了英特尔·至强TM处理器，单U空间的计算性能密度达到业界领先的4.1TFLOPS。杨涛介绍说：“我们引入戴尔PowerEdge FX融合基础架构方案，可以说重新定义了清华蛋白质技术中心生物计算平台的灵活性。戴尔PowerEdge FX将经过模块化设计的不同规模的计算资源融合在一起，将服务器、存储和10Gb网络无缝地融合在2U机架式机箱内，同时提供共享的散热、电源、网络、管理和PCIe扩展插槽，帮助我们获得了良好的成本效益。”

高速网络确保HPC平台的 I/O网络性能

此次清华蛋白质技术中心HPC平台采用了Lustre分布式文件系统，这种并行文件系统可以在单一命名空间内，快速增加节点数来扩展容量和性能，并支持在线扩展，支持多个客户端并发读写，并可以帮助IT人员利用分布式锁机制保障数据一致性。

在网络方面，戴尔为HPC平台核心计算网络提供了具有高吞吐量低延迟特性的Force10 Z9500 40Gbps交换机，为管理和I/O网络提供了包括S6000、N3048、PCT2848、Brocade 6505在内的全套网络方案;在存储方面，戴尔提供了HPC平台所需要的全部存储设备，包括MDS元数据服务器R630+R730+MD3860F双控光纤阵列，OSS对象存储服务器R820+MD3860F双控光纤阵列+MD3060E高密磁盘扩展柜。

完整的企业管理功能，帮助IT人员简化管理

可有效地简化IT管理，是清华蛋白质技术中心选择戴尔HPC平台方案的另外一个重要原因。 戴尔PowerEdge FX2融合基础架构体系，提供了传统机架式服务器单独管理方式和与刀片服务器类似的综合管理方式，前者可以帮助IT人员解决局部性问题，后者可以帮助IT人员解决全局性问题。

杨涛介绍说：“借助带生命周期控制器的集成戴尔远程访问控制器（iDRAC）和戴尔机箱管理控制器（CMC）的免代理程序，我们可以实现快速的系统部署、更新、监视和维护，大大简化了IT人员的管理工作，提升了管理效率。”

具体来说，CMC可以帮助IT人员在单一界面内监视20个FX系统，以一对多的态势完成BIOS和固件程序更新，并维护基于FX机箱插槽的服务器配置文件。

当安装新的FC430服务器时，IT人员可以通过配置文件下发的方式，让系统自动完成更新BIOS和固件程序的工作。所有这些管理，均具有自动化的特点，比传统管理方法更节省时间更省成本，尤其是通过自动执行配置文件，避免了重复输入配置参数的繁琐，也减少了由于人工输入错误而导致的系统故障。总之，戴尔方案完整的企业管理功能，帮助IT人员简化管理，让“面向未来就绪”的理念稳健落地。

完美呈现蛋白质的三维结构

10GB以上的计算量，科研人员一般交给HPC平台处理，3-5GB的小计算任务和HPC平台计算后的数据成像工作，则由戴尔的图形工作站完成。清华蛋白质技术中心采用了戴尔Precision T7910工作站，配置了NVIDIA· Quadro· K620专业级图形显卡和SSD高速硬盘。

借助NVIDIA Quadro  K620所具备的 128位显存带宽、384个流处理单元、2GB DDR显存的超强图形处理能力，清华大学的科研人员可在2-3秒内呈现2K清晰度的蛋白质平面图，在15-20秒内呈现出4K清晰度的三维结构图。