大数据存储研究“大有可为”

文／郑纬民

数据存储的意义，用一句话概括就是“记录当下，相约未来”。

数据存储完成了数据在时间维度的传播和跨越，将今天人的智慧、故事、喜怒哀乐、悲欢离愁忠实地记录下来，供未来的人体验、学习、借鉴和欣赏。

在计算机产生之前，人们记载这些故事和智慧的手段是纸和笔，能够承载和传递的信息量十分有限，在现代电子计算机诞生这半个多世纪以来，存储介质发生了天翻地覆的变化，从早期的打孔纸带、磁带到磁盘、固态盘，再到近些年新涌现的非易失存储等，负载特征和访问模式也早已今非昔比，唯一不变的是计算机存储系统研究在整个计算机领域中的基础地位和重要意义。

从学科建设的角度来看，几乎没有一个应用和数据访问完全没有关系的，所以对于任何一个应用来说，在给定访问模式的前提下，如果希望能够在现有的硬件上充分发挥数据的读写性能，就离不开高效的存储系统。

从时代特点来看，我们已经进入一个大数据时代，全球的数据量积累速度加快，数据来源和种类多样、可信度低、价值密度低，所以在这样一个时代，研究设计新的存储系统大有可为。

从国家需求和战略发展来看，数据是影响国计民生的战略资源，我国在“十三五”期间集中建设数字中国、网络强国，经过近五年的开拓创新和锐意进取，我国数字产业、网络产业蓬勃发展，数字经济、共享经济、人工智能、大数据、云计算等已经飞入寻常百姓家。

例如在这次抗击新冠肺炎疫情的过程中，基于大数据的密切接触者追踪、筛查技术就为迅速控制住疫情作出重大贡献。但从另一方面来说，这也意味着我国经济社会对于数据的依存度在不断上升，尽管我们在计算机领域已经取得长足发展，但是在一些关键技术上依旧和发达国家差距较大，其中就包括大数据存储系统，不断上升的数据依存度意味着这些技术短板带来潜在国家信息安全隐患和发生系统性重大风险挑战的可能性也在不断上升。站在风口浪尖之上，推动我国存储技术的持续发展，成为这一代计算机人责无旁贷的使命与担当。

结合大数据存储的新特点和新挑战，我认为研究工作应主要围绕存储系统扩展性、可靠性和集约性三个方面展开。

存储的可扩展性的主要问题在于，存储系统的建设往往无法一步建设到位，特别是在大数据时代，数据的增长速度往往远远超过预期，因此必须要实现存储容量随着数据量的增加能够逐步动态扩展。

这个问题主要的挑战有两个，一个是设备和网络选择方面，往往扩展时必须选择原来类型的磁盘，新型号的磁盘不行，不同的厂家更不行；二是在线扩展的效率较低，在给一个系统增加了空的磁盘之后，需要在新旧磁盘之间重新分布数据，从而提高整个系统的读写性能，但是在线扩展过程非常慢。

针对第一个问题，我们团队设计了一种可扩展的网络存储系统结构，实现了系统和存储设备的解耦，可以把异构的存储设备、IO网络集成到一个系统中。针对第二个问题，我们团队通过观察发现一种可重排序窗口特性，基于这一特性采用数据批量并行迁移、元数据懒惰更新、数据迁移量最小化等方法，显著提高了扩展的执行速度。

存储的可靠性的主要问题在于，在大数据存储系统中，存储设备类多量大，设备出错成为一种常态，可靠性不足造成的损失越来越大。IBM对400家公司的调研表明，由于数据损失和宕机给这些企业带来的损失高达7000亿美元。

存储的可靠性保证方法有两种类型，一种是容灾，基本思路是做跨数据中心的异地备份，主要用于避免各种因为灾害、战争、恐怖袭击导致的系统总体毁损；另一种是容错，基本思路是通过增加设备冗余、数据恢复等手段，主要用于避免因为存储部件失效造成的部分数据丢失。

针对容灾框架一致性保证困难，数据依赖关系复杂的挑战，我们团队提出了一种结构无关的容灾框架，实现了进程状态和用户数据一起备份的全系统保护思想，设计了并行流水的恢复机制。针对容错问题，我们提出了一种轻量编码方法，设计了一整套防止数据丢失、无需管理员维护的自维护系统，能够用较少的存储空间使得数据不会丢失，系统在生命周期内免人工维护。

存储的集约性的主要问题在于，面对数据产生的速度远快于磁盘生产速度造成的数据产生和存储容量之间的缺口，如何能够去除系统中的重复文件和冗余数据块，尽量降低存储开销。例如通过调研，我们发现在兰州大学、清华大学校园网络存储的数据中，相同的文件存储副本数平均达20个，单个文件存储备份最高达1万个，因此利用不同用户之间存在很多内容相同的文件这一特点，我们可以通过用户共享来去掉这些重复的文件，从而节省存储空间。

在此基础之上，我们团队在云存储系统中引入实体化社区，采用面向共享的存储资源自适应组织和数据共享管控等关键技术，实现了数十倍的数据共享率，大幅节省了存储空间和主干网的流量费用。此外，针对现有主存储中存有大量相似数据块的问题，我们提出通过位置敏感哈希识别数据段的主存储内嵌删冗方法，删冗率达到30-70%，基于该方法，我们设计实现了高效删冗的存储系统。

我们的研究工作就是研究并设计可以高效扩展、高可靠、既能够抵御一般性错误也能够抵御各类灾难、同时还高度集约，能够高效存储大量数据的大数据存储系统。近年来，我们的研究成果用于影响国计民生和社会发展的近数千家单位，惠及数千万用户，取得显著经济和社会效益。未来，我们还将继续厚植大数据存储系统的科学研究，争取做出更多有价值、有分量的成果，经得起时代、历史和人民的检验。