当前位置:首页 期刊杂志

基于蓝光存储技术的异地实时备份系统

时间:2024-05-19

梁明珠 云京涛 邹晓杰 王洪业 袁满

(华录光存储研究院(大连)有限公司,辽宁大连 116023)

0.引言

进入信息化、数字化时代后,各企业、数据中心的存储数据量呈爆炸式增长,IDC预测2025年全球数据总量将增长到175ZB(1ZB=1024EB、1EB=1024PB、1PB=1024TB、1TB=1024GB),中国产生的数据量将达到48.6ZB,占全球数据总量的27.8%,位于全球第一。

由于传统的数据存储介质存在高耗电量、高运维成本、低安全性等问题,蓝光光盘这种物理存储方式的存储介质已经逐步被业界认可,并获得了迅猛的发展及应用。

数据是新时代的石油,数据即资产,因此不管使用哪种存储介质,都需要进行异地或多副本备份,以避免由于单点故障导致的数据丢失。目前金融、保险、档案等各行业都在推进两地甚至多地的灾备中心建设,各地的数据要求实时同步,且要求在某地系统瘫痪后可以实时切换到备份系统,以确保不影响上层应用的数据调阅,不影响正常的业务操作。

根据银监会、发改委、科技部、工信部联合下发的《关于应用安全可控信息技术加强银行业网络安全和信息化建设的指导意见》,在涉及客户敏感数据的信息处理环节,应优先使用安全可靠、风险可控的信息技术和服务,要重点在网络设备、存储、中低端服务器、信息安全、运维服务、文字处理软件等领域积极推进,在操作系统、数据库等领域要加大探索和尝试力度[1]。

蓝光光盘由于其物理特性,决定了其不受电磁干扰等外界因素影响,可确保数据安全,但若发生光盘读取设备故障、管理服务器系统宕机或者机房电力系统受损等不可抗力,数据无法被实时读取,影响正常业务使用,此时就需要切换至异地备份系统。此外,若遭受地震、洪水、火灾等自然灾害,也可最大限度的确保数据安全性。

基于以上背景,开发此新型存储系统,提供一种低成本、高可靠性、高时效性的数据存储系统,在蓝光光盘的物理性安全基础之上,进行了异地双副本的逻辑安全,确保数据实时安全、可用。

1.蓝光存储技术

蓝光光盘作为新一代的存储技术,与DVD技术相比有了突破性的技术进步,是完全迭代的新产品。蓝光光盘利用波长较短的蓝色激光读取和写入数据,并因此而得名,采用“无机金属相变”技术进行数据记录,通过激光照射金属记录层,实现金相改变而实现数据的记录,由于金相状态不可逆,其稳定性较磁性存储得到极大提升,可确保记录后的数据不会因电磁干扰而被篡改。蓝光光盘与读写光头不接触,无磨损,记录信息不会因反复读取二产生衰减,极大提高数据安全性与可靠性,蓝光光盘结构与原理如图1所示。

图1 蓝光光盘结构与原理

光盘存储由于特有的长寿命、安全可靠、低成本等优点,从20世纪60年代开始一经发展就迅速流行,但随着数据量增加,传统DVD光盘(容量4.7GB)已无法满足数据存储需求,蓝光光盘(Blu-ray Disc)由于存储容量大、读取速度快、稳定性更高等优点,已经成为企业级光盘存储的主流。蓝光存储以蓝光光盘作为存储介质,企业级的蓝光存储设备主要是蓝光光盘库,包括:蓝光光盘,蓝光光驱、机械手等部件,最新蓝光光盘技术可确保数据安全存储50~100年。此外,存储耗电量极低,介质离线管理对环境无特殊要求,可大幅降低数据保存成本。

2.基于蓝光存储的异地实时备份系统

2.1 系统构成

本系统由数据实时同步系统(Model A)、基于蓝光技术的主存储系统(Model B)、基于蓝光技术的异地存储系统(Model C)3部分组成,3部分使用光纤(FC)或专网连接,Model B、Model C的硬件系统、软件系统完全一致,包括管理服务器(文件系统、缓存、数据库等)和蓝光存储设备(机械手、蓝光光驱、蓝光光盘等)两部分,两部分之间使用SAS/FC连接,蓝光存储设备管理软件部署于管理服务器中,系统架构如图2所示。Model B、Model C可部署于不同物理地点,Model A可部署于Model B、Model C任意一处或单独部署于第三地点。

图2 基于蓝光存储技术的异地实时备份系统架构图

文献[2]设计的是银联数据的异地灾难备份系统。银联数据发卡系统的灾备系统采用两地两中心模式,通过数据库异步复制技术建立异地灾备系统[2]。本系统应用场景与文献[2]设计的类似,确保在灾难发生的情况下,最大限度保护数据资产,确保系统业务的连续性。

2.2 系统工作流程

Model A对Model B、Model C的文件系统中的数据实时监测,同时对蓝光存储设备进行健康状态实时监测,若其中一处发生数据增加、删除、修改,且蓝光存储设备运行正常,则立刻将其同步至另一处蓝光光盘中,确保数据实时同步,若蓝光存储设备运行异常,则将数据暂时保存在Model B、Model C的缓存中。

Model A对两地文件进行数据库状态管理,即使同步过程中出现断电、宕机等异常情况,在系统恢复正常后,可自动实施同步操作,避免数据丢失风险。

Mode B、Model C为基于蓝光技术的数据存储系统,该系统中包管理服务器(蓝光光盘存储系统的文件系统、缓存、数据库等),以及蓝光蓝光存储设备(包括机械手、蓝光光驱、蓝光光盘等)。文件系统可对外提供NAS服务,使光盘存储系统操作简洁,类似于普通硬盘使用。若文件系统中有新增或修改的数据,则该数据会自动流向存储系统的缓存中,并刻录至蓝光光盘中。由于蓝光光盘采用的是激光烧制的物理记录方式,可确保数据的绝对安全。存储系统中,数据库记录了蓝光光盘、文件系统以及缓存中的文件状态、文件位置信息、文件元数据信息等,便于快速、准确的查找、下载所需的文件。

Mode A为本系统的核心部分,分为5个模块:数据状态监测模块、状态变化数据列表模块、光盘库状态检查模块、SMC/MMC管理模块和数据同步模块。

数据状态监测模块对蓝光光盘存储系统中的文件系统部分进行实时监测,以判断文件系统中数据是否发生变化,包括文件新增、文件删除、文件修改等。状态变化数据列表模块对发生状态变化的数据进行信息收集,形成文件列表,包括全路径信息、MD5信息、文件大小等属性信息。数据同步模块根据数据列表,对Model B、Model C两套系统中的数据进行同步操作,同步采用增量方式,可选择进行单向同步(Model B→Model C)或双向同步(Model B←→Model C)。在数据同步完成后,数据库管理模块对Model B、Model C系统中数据进行数据库信息同步,确保数据状态完全一致。

数据上传客户端向Model B进行数据上传或修改操作后,该操作会使Model B的文件系统状态发生变化,该变化会实时被Model A监测到,Model A会在数据上传完成后(以单个文件为单位),立刻将变化的数据列表生成。

光盘库状态检查模块会对蓝光存储设备进行健康状态检查,通过SNMP方式获取光盘库错误码、警告码,确认是否存在硬件故障;通过调用API接口函数,确认蓝光光盘存储系统的文件系统、缓存、数据库返回值正常,无类似缓存满、文件系统无法挂载等异常情况。若存在异常情况,可向系统管理员发出警告通知。

SMC(机械手控制指令)和MMC(光驱控制指令)管理模块负责控制蓝光存储设备机械手及光驱动作,以执行蓝光光盘加载、交换、刻录等操作,同时通过API接口函数与蓝光光盘存储系统的数据库进行交互,以记录文件与蓝光碟片的对应关系。

数据同步模块根据光盘库状态检查模块返回的蓝光存储设备健康状态进行数据同步。若蓝光存储设备软、硬件均正常,则将状态变化数据列表中的文件在Model B、Model C间进行同步,同时向蓝光存储设备发表数据刻录指令(将数据刻录至蓝光光盘中);若蓝光存储设备硬件或软件存在异常,则仅将状态变化数据列表中的文件在Model B、Model C间的缓存中进行同步,待蓝光存储设备恢复正常后再发布数据刻录指令。

考虑到实时监测可能会对系统内存、传输速度造成影响,本系统支持实时监测、定时监测2种模式。实时监测模式下,只要有任何数据变化立刻进行同步,确保Model B、Model C数据实时一致;定时监测模式下,可手动或设置定时任务,任务开启后进行同步操作,Model B、Model C数据存在一定时间差,仅在任务执行完成后完全一致。

对于已经保存至Model B、Model C中,并已经刻录至蓝光光盘中的数据,若需要进行调阅,可通过网络共享方式直接方案Model B或Model C的文件系统即可,由于两套系统完全相同,即使某套系统由于硬件故障或自然灾害无法使用,也可实时切换至另一套系统,实现异地实时灾备,确保数据高可用性。

2.3 CDM技术简介

为提高生产环境数据备份及恢复效率,确保数据高效可用,本系统中主存储系统(Model B)使用Copy Data Management(简称CDM)技术进行数据备份。

CDM是始于美国的一项新兴数据管理技术,近年来得到了快速的发展,国内一般翻译为:副本数据管理、复制数据管理、拷贝数据管理等。经过几年时间,中国国内对CDM的认知和实际的技术发展基本和美国处于同一水平线上,呈现方式和发展路径略有不同,中国在某些方面也形成了一些独特优势。随着国内各行各业对CDM认知的深入,CDM逐渐显性化。

CDM技术能够满足大规模数据业务需求,实现分钟级数据恢复,且具备实时增量数据备份功能。通过CDM技术备份的数据格式为初始格式,该数据能够直接挂载到目标服务器,实现数据快速恢复,不受数据数量规模影响[3]。

CDM技术自诞生至今,已经从单纯的备份应用方向,发展成为数据运维、数据管理、数据服务、数据战略等数据全生命周期管理的重要创新技术支撑,CDM有机会成为企业数据管理底座。

3.结语

全球“数字经济”蓬勃发展,数据成为关键生产要素,并上升到国家层面给以关注。本系统使用蓝光光盘作为存储介质,可确保数据存储安全性,大幅降低数据存储成本。以先进的CDM备份技术为上层应用,提高数据备份及恢复效率。通过对蓝光存储系统的监测,直接对机械手、光驱进行操作,制定数据同步策略,最大化保证数据安全性。针对异地灾备应用场景,提供高效率、低成本、高稳定性、易操作性的存储解决方案。

免责声明

我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!