DOA架构下试验数据存储策略研究

李 淼(中航工业导弹院,河南洛阳,471003)



DOA架构下试验数据存储策略研究

李 淼
(中航工业导弹院,河南洛阳,471003)

摘要：由于试验数据类型不同、特点多元，传统数据服务机制没有实现对数据的统一管理，使得终端在查询这些分散存储的数据时会出现高时间复杂度、空间复杂度等问题。本文以DOA架构下“统一对元数据进行注册管理”的思想对分散存储的数据进行统一管理，使得海量异构的实验数据能够按需汇聚，合理地解决了试验数据存储的相关问题。

关键词：DOA架构；存储策略；海量数据；防灾策略

0　引言

试验数据网络存储策略是以数据为核心，对其进行分类、组织、存储、检索以及维护的一门技术。上世纪50年代前，数据存储以人工操作为主要管理模式。在这个阶段中，不论是存储量还是数据利用率，都被作业工人的效率所制约着。上世纪50年代至60年代中期，数据的管理方式逐步转为文件系统管理，这个阶段是数据存储方式的一次革新，在此阶段中，机器存储逐步代替了人工处理。 60年代中期之后，随着计算机技术的发展，人们对存储的数据进行整理、检索及利用的同时，逐渐产生出通过虚拟工具对传统离散保管的数据进行分类管理的理念。而在近年数据量大爆发的阶段，云存储则成为主要的存储理念，大型数据库系统集中管理阶段已经到来。

由于目前各园区内进行试验的行业及操作种类及方式很多，并且多牵扯到异地试验、硬件组件及单板的环境试验、软件同步多客户冲击试验等，但不论哪种类型的试验，其数据都具有实验数据需长期存储、数据量几何增长等特点。对于数量庞大，结构复杂的数据集，若不能够及时将数据合理的分类管理，会导致服务器的压力过大，进一步导致操作返回数据时间过长，使得使用者的体验感下降，面对这种情况，数据的存储、处理、传输以及管理的模式变得异常重要。所以，针对于大型工业园区的数据存储策略研究是不可或缺的。

1　DOA架构简述

DOA（Data-Oriented Architecture）是在大数据、物联网概念盛行背景下，产生的一种以数据为核心，结合目前昌盛的硬件及网络发展的面向数据的体系架构，DOA通过对文件中元数据进行统一的注册管理，使终端设备在检索目的数据时能够根据已经在数据注册中心中注册过的信息进行源数据的访问，数据组织的规范化能够大大降低数据检索的复杂度，在数据共享与组织方面实现统一管理，降低了计算复杂度与网络复杂度。为数据信息的搜集、整理、归类、检索提供有效的数据组织方法。从而实现海量数据的高效检索。

该架构基于云服务，采用G/S（通用浏览器/服务云）工作模式，通过数据注册机制、客户端动态服务聚合等技术对终端和云端中的数据进行统一的操作和管理。图1为DOA架构组成部分框图。

图1　DOA模式架构框图

2　数据类型及特点

由于试验地点、试验等级、类型及紧急程度不同，试验数据不仅含有设备信息、试验地点坐标以及地理信息数据，同时会有图形图像、模型数据等其他格式数据。而随着试验次数的增多，数据量也在不断增长，其产生的各类数据也会导致总数据量呈指数增长趋势，未来可能会以TB、PB或更高的计量单位来对其进行度量。

除了数据量的增长，数据类型也同时是多样性的，不同设备、地点、来源的数据多由各不相同的数据采集手段汇聚，所用的软件、技术以及最终保存的路径、格式都是不尽相同的。图2对这些多源异构数据其进行展示（以虚拟旅游服务平台试验模型数据为例，下文同）。

除了海量异构的特点，试验数据多涉及各行各业的核心领域，无论是商业建模预测销量试验、化工试验还是大型军事试验，都从某些层面影响包含着技术秘密或商业秘密。这些特性决定了大型园区试验数据不能够由单个工作站或服务器完整存储，数据的采集机构和手段不同，数据量也超过了单台服务器的处理能力和存储能力，若将海量的数据汇总存储，即使容积能够达到要求，不间断的请求也会导致服务器的堵塞和不稳定。

3　实验数据存储策略

3.1 数据注册中心管理策略

传统目录形式发展形成的信息检索机制已经不能胜任对数据信息资源进行高效检索。DOA架构中数据注册中心将服务云中所有元数据进行注册，用户在加载海量异构的试验数据时，对数据注册中心中已经注册过的元数据进行检索，在接收到传回的元数据后，对其进行解析，根据解析获得的数据信息从数据源处获得所需服务数据，并根据返回数据的响应进行下一步的操作，最终获取整体服务。其工作流程如图3所示。

数据通过逻辑服务层后生成保存着已注册的元数据的XML文档，最终保存在数据注册中心的数据库中，如图4所示。

图4　数据注册中心架构图

这样的机制能够对园区网络数据库中的试验数据进行统一的管理，对分散数据进行集中的管理，空间数据以则以行业分类为标准，依照各行业的特点对XML进行个性化定制与拓展，使得每一领域都有特定的管理、传输标准。

能够对分散的空间信息进行高效的访问并提供一个对元数据进行存储的空间。只要数据在注册中心中进行过注册，用户就能够通过数据注册中心中已有的注册信息，快速的检索到其他分散的数据，有利于资源的高效访问。

3.2 服务器端存储策略

除了数据注册中心，服务器端主要负责对不同类型的数据进行存储，传统的服务器存储主要分为文件系统存储、关系数据库存储、混合数据存储以及NoSQL四种方式。

图2　多源异构性数据展示

图3　数据注册中心工作流程图

表1　三类存储模式对比

由于混合数据存储方式中的文件系统保存地址经常会发生改变，常导致混合数据库中的数据无法保持一致性和安全性，这种不确定因素也导致了混合数据存储方式逐渐被替代。本文在此对文件存储、关系数据库与NoSQL做一比较，如表1所示。

通过对不同类型存储模式的分析，可知空间数据具有空间位置、非结构化、空间关系、分类编码、海量数据等特征，需要通过OGC协议规范使用关系数据库。通过表中的对比得知，NoSQL有存储模式自由、扩展性较高的特点，对于试验所产生的海量异构数据，采用依据数据空间特性依据不同存储策略对其进行分类存储，如图5所示。

图5　以空间特性为划分依据的不同类型数据的存储方式

数据库中包含着各种存储格式存储的空间数据与非空间数据。服务器群是应用数据组织管理与发布共享的中心，可以由分布式文件服务器、空间数据库及空间信息服务器、数据库服务器及 Web 服务器组成。服务器所提供的服务类型主要包括：分布式文件服务、OGC 标准服务（如，WMS、WCS、WFS）、Web服务、数据库服务等。具体的服务器类型、种类由应用环境的数据量及访问量决定，其部署策略如图6所示：

当接受到请求时，服务端采用Nginx作为反向代理服务器来将请求进行分发，尽可能均匀的分配给各个Apache服务器，达到负载均衡的效果。Apache服务器集群在接收到各种请求之后，解析并处理请求，并查询相应的数据信息。元数据存储集群和存储集群由存储着各类数据信息的服务器所组成，可对数据的存储、发布、检索、访问进行操作。每组服务器安装一种数据库系统或者文件系统，以减少请求次数与硬盘的读取次数，满足快速读取的需求。其中，元数据库包含有元数据信息，包含着源数据的存储地址与请求规范，该信息通过XML传回。

图6　服务器端部署策略

4　总结与展望

本文就信息检索以及存储方式两方面对试验数据网络存储进行了研究，终端设备在检索目的数据时能够根据已经在数据注册中心中注册过的信息进行源数据的访问。而根据数据的不同类型，存储于空间试验数据服务器群和非空间试验数据服务器群，分布式服务器的模式使得后续的维护和管理更加便利，基于分布式服务器的数据分类的管理则提高了数据的共享程度。

通过文中存储策略的研究，数据组织的规范化能够大大降低数据检索的复杂度，在数据共享与组织方面实现统一管理，降低了计算复杂度与网络复杂度。

除此之外，由于数据库中所包含信息的真实性，牵涉到产品具体指标性能以及个人信息等资料，系统的安全性不容小觑。在设计时要考虑选择稳定的成熟的框架、技术以及硬件产品，防止系统漏洞或硬件设备问题造成的用户资料泄露、丢失，甚至国家秘密泄露等不可逆的损失。

参考文献

[1]苗放.DOA.[EB/OL].http://baike.baidu.com/ subview/649092/12822804.html,2013.

[2]陈崇成, 林剑峰, 吴小竹, 等. 基于 NoSQL 的海量空间数据云存储与服务方法[J]. 地球信息科学学报, 2013, 15: 166-174.

[3]柴森. DOA 架构下通用浏览器协同机制研究[D]. 成都理工大学, 2013.

[4]蒋佩伶. HGML 在基于 G/S 模式的地学浏览器平台中的解析与应用[D]. 成都理工大学, 2011.

[5]刘斌. 基于 G/S 模式的非物质文化遗产异构数据可视化共享机制研究与实现[D]. 成都: 成都理工大学, 2011.

[6]祝欢欢. 数据注册中心下应急管理标识的研究与应用[D]. 成都理工大学, 2013.

[7]袁俊超. G/S 模式下分布式空间数据服务器群中的元数据组织与管理[D]. 成都理工大学, 2010

[8]郑新建. 空间信息服务云支撑下的移动终端个性化信息汇聚技术研究[D]. 成都理工大学, 2012.

[9]吴宇翔. G/S 模式下分布式空间数据服务器群的数据同步研究[D]. 成都理工大学, 2010.

Research on test data storage strategy under DOA architecture

Li Miao
(CHINA AIRBORNE MISSILE ACADEMY,Luoyang,Henan，471003)

Abstract：Due to different types and multi-dimensional characteristic of test data,traditional data service did not achieve the unified management of data.Those cause some problem of high time complexity and space complexity when the terminal querying these distributed storage data.This paper according to the thoughts "unify register management for metadata” which is under the DOA architecture to do a unified management for distributed storage data, that makes the mass of heterogeneous experimental data can be aggregated in requires, equitably settled the related storage problem of test data.

Keywords：DOA architecture；storage strategy；massive data；disaster prevention strategy