时间:2024-05-04
摘 要:本文首先系统回顾了大数据决策由来及发展现状;接着论述了大数据决策分析在军事决策领域的需求,并根据需求构建了由数据获取层、数据处理层及数据应用层三个层面组成的大数据军事决策系统;最后探讨了构建基于大数据支持的军事决策系统所需使用的关键技术,主要有数据提取与存储技术、大数据查询和分析技术、数据表示与数据整合技术。
关键词:大数据;军事决策系统;构建
中图分类号:TP313.13 文献标识码:A
Abstract:In this paper,first of all,the origin and the development of the big data decisions system actually reviewed,then the demand of big data decision analysis in the field of military is discussed,the big data military decision system consist of data access layer and data processing layer and data application layer is constructed according to the needs,finally,the key technology for construction of military decision support system based on data are discussed,mainly in data extraction and storage technology,data query and analysis technology,data representation and data integration technology.
Keywords:bigdata;military decision-making system;construction
1 引言(Introduction)
随着云计算、物联网为代表的新一代信息技术的快速发展,我们已步入大数据时代。如今,大数据在军事上的应用已初具端倪,它不仅会引发军事信息处理技术的变革,对传统军事决策思维和方法也会产生深远影响。研究基于大数据支持的军事决策系统,会为进一步推进军事决策手段和决策效果的科学化、高效化起到积极的促进作用。本文在回顾大数据决策由来及发展现状的基础上论述了大数据决策分析在军事决策领域的需求,构建了由数据获取层、数据处理层及数据应用层三个层面组成的大数据军事决策系统,并从数据提取与存储技术、大数据查询和分析技术、数据表示与数据整合技术三个方面探讨了构建基于大数据支持的军事决策系统所需使用的关键技术。
2 大数据决策的由来及发展(The origin and development of big data decision)
决策是决策主体为实现一定的目标所作的行为设计及其选择,其中包括搜集必要的信息以及对收集到信息的处理与分析。信息与决策有着十分密切的关系,信息资源的完整性与准确性直接影响决策结论的准确性与可靠性。过去,人们进行决策活动往往依靠直觉、经验和推理,决策的有效性不强。为增强决策的有效性,人们常常把所要研究的事物用数据表达,运过定量决策方法以修正定性决策的不足。通常,人们处理的决策数据可分为结构化数据非结构化数据,其比例分别为5%和95%。定量决策首先是将决策信息用数据表示,然后利用定量决策分析方法与信息技术等对数据进行分析,最后参照数据分析结果选出最佳方案。随着Web 2.0信息交流技术的快速发展,各种网络媒体信息的交互性和动态化不断增强,使得决策信息具有了大数据特征[1]:一是决策所需提取、分析的信息分布广泛、数量巨大;二是决策信息存在大量非结构化数据,难以运用传统数据分析方式处理;三是信息处理时效要求高[2]。如今,基于大数据的决策模式正取代传统地感性地拍脑袋决策方式,大数据决策学已成为一门新兴的学科。
所谓大数据决策,就是整个决策过程在合适工具的辅助下,对广泛异构的决策信息源进行抽取和集成,将处理结果按照一定的标准统一存储,利用合适的数据分析技术对存储的数据进行决策分析,从中得到理想的决策分析结果并以恰当的方式将结果展现给决策者。相对于全人工决策,大数据决策能给人们提供可预见的事物发展规律,不仅让结果变得更加科学、客观,在一定程度上也减轻了决策者所承受的巨大精神压力。大数据决策分析依赖于数据的相关性,而不是业务特性的因果性,关注于数据敏感性。在大数据背景下,基于原因推出结论、线性的、自上而下的传统决策方式将不可避免的发生改变,正在形成非线性的、面向不确定性的、自下而上的决策模式[3],在这种决策模式下,决策者甚至可以对某个决策领域完全陌生,一样也可借助于大数据分析,直接发现隐藏在混杂数据背后的问题或规律,做出正确决策。因此,大数据促使决策者的决策方式从经验驱动决策向以数据量化驱动决策转型,决策过程从事后决策向事先预测转变,决策主体由业务专家、精英高管向普通大众转变,真正使决策者达到了事前能够预测、事中能够感知,事后能够反馈,极大地增强了决策的科学性和有效性。
如今,大数据决策已在社会经济、政治、科学、文化、教育、卫生等各领域得到了广泛的应用。在互联网行业,美国社交游戏开发商通过数据分析修改游戏,马云通过对对用户网购行为分析阿里巴巴平台贸易的预测,亚马逊根据用户在其网站上的查询行为推荐产品,金融行业通过大数据判断客户信用风险,快递行业通过大数据来确定合理的投递路线,自媒体通过用户的社交网络文字和图片了解用户偏好分布,商场通过大数据发现产品之间的关联[4]。可以说,如今大数据决策能力已成为现代组织的核心竞争力。
3 大数据决策分析在军事决策领域的需求(The demand of big data decision analysis in the field of military decision-making)
军事领域充满着不确定性,军事领导者需要从不确定性当中获得一些规律性认识以支持决策。过去军事领导者对军事领域数据的分析只停留在数据的简单汇总层面,缺乏对数据背景及产生规律的深入解析。在大数据时代,各种军事情报、战况信息骤增,数据的复杂性和实时性增强,给军事决策带来了前所未有的挑战,依靠直觉与经验进行决策的优势急剧下降,如何有效地收集、处理与分析数据并转化为决策结果已日益成为军事决策者须面对的课题。如今,大多数军事强国已经意识到大数据决策的优势,并开始运用“基于数据驱动的决策方法”进行军事决策[5]。
比如,美军早在2000年发布的《2020联合构想》中,就明确提出将“谋求信息优势”的目标改为“谋求决策优势”,大数据研发正是这一策略实施的延续。美军应对大数据的基本策略是从数据到决策,其基本内涵是通过科学和应用方案,减少分析、处理和利用“大数据”的时间周期与人力。为达到该目标,美军确立了网络中心战(Network-centric warfare,NCW)的理论,按照“以数据为中心”的架构开展整个国防部信息系统的建设,建设了许多智能化作战决策支持系统,如陆军分布式通用地面系统、“泰坦”认证网络战术信息技术、智能式网络中心移动指挥控制软件、作战人员伴侣人工智能软件[6],这些大数据决策支持系统极大地提高了多源信息融合处理能力。从美军的大数据决策项目中我们可以发现,大数据决策的其实质,就是从数据中分析、提取知识和智慧的过程。可见,大数据不是关键,以此为基础的决策能力才是克敌制胜的法宝;利用大数据进行军事决策,对于军事决策的制定、实施和评估具有非常重要的支撑作用,能够减少信息融合所需的人力与时间,减轻指挥的负担,提高作战效率。
4 基于大数据支持的军事决策系统的构建策略(Construction strategy of military decision-making system based on large data)
大数据背景下的军事决策活动对军事决策数据的收集、处理与分析能力提出了更高要求。构建基于大数据支持的军事决策管理系统,需要对传统军事信息流程进行优化重组。基于大数据支持的军事决策系统架构由下至上可分为数据获取层、数据处理层及数据应用层三个层面(图1)。数据产生、组织和处理主要通过分布式文件处理系统实现,应用技术为Hadoop+MapReduce,其中Hadoop的分布式文件处理系统(HDFS)作为系统的数据存储框架,分布式计算框架MapReduce作为系统对大数据处理的框架。
基于大数据支持的军事决策系统的底层是数据获取层,该层是整个系统的基础,实现对传统关系型数据库和Hadoop的访问,应用Ping、Hive、Sqoop技术实现。数据获取层包括供上层使用的各种军事数据源,主要经由传感设备、地理信息、军事仪器、移动通讯、互联网、社交媒体以及军事相关的业务系统等渠道,采集的面向军事领域的大规模多模式的复合数据集;通过对作战指挥系统、基础数据系统、实况数据系统、历史数据系统等多系统条件下的数据信息做关联性分析,找出数据的相关性,提取有价值的信息,为数据处理层提供基础数据。
数据处理层是整个系统的关键,主要负责对基础数据进行收集、分类、抽取、清洗和转换,并对不同数据源进行统一管理,供决策层从不同角度进行分析使用,应用HBase、Avro、Flume、ZooKeeper技术实现。数据处理层又可分为四个子系统,分别为数据采集子系统、数据分析子系统、数据筛选子系统、数据服务子系统,其功能依次是数据的采集、分析、筛选、协调控制。
决策层由面向特定决策主体的平台和面向应用的平台组成。为适应军事决策需求多变的特点,决策层提供数据分析模型及常用的数据挖掘方法,以便在通常情况下不必建立专门应用分析系统,以提高决策系统的灵活性和通用性[7,8]。大数据军事决策分析和展现通过Mahout、Hama智能分析和展现工具集实现。大数据军事决策平台和传统军事数据平台的结合可由ETL平台实现,对数据的管理、安全和备份恢复由Ambari、Chukwa实现。
由以上分析可见,依靠大数据技术进行军事决策的目的就是为增强军事决策的科学性,实质是构建人机结合的新型军事决策系统。通过决策系统采集、分析、筛选、服务、应用等功能,判断军事活动发展趋势,有效评价军事活动,为做出科学战略决策提供辅助支持,保证军事活动有序开展,从而保持已方军事决策优势。
5 构建基于大数据支持的军事决策系统所需的关键技术(The key technologies for construction of military decision-making system based on large data)
技术是大数据价值体现的手段和前进的基石,构建大数据支持的军事决策系统,需要对以下关键技术加以解决。
一是数据提取与存储的挑战。基于大数据支持的军事决策系统的数据获取层需要获取的数据源种类众多,即有传统结构化数据,也有大量诸如实时视频、传感器数据、智能军用设备、RFID数据等非结构化数据。这对传统的关系型数据库存储管理方式和存储介质都带来了巨大挑战。当前,对非结构化数据的提取可采用两种方式进行,一种是采用统一的元数据标准对非结构化数据进行定义,另一种是将非结构化数据转换为非关系型数据格式数据,通过自动化创建数据的索引表处理非格式化数据,允许对其进行基于关键词和唯一标志符的搜索。以MapReduce和Hadoop为代表的非关系数据分析技术,凭借其适合非结构数据处理、大规模并行处理、简单易用等突出优势,在互联网信息搜索和其他大数据分析领域取得了重大进展,是大数据分析的主流技术。但是,MapReduce和Hadoop在应用性能等方面仍存在不少问题,还需要研究开发更有效、更实用的大数据决策分析和管理技术。
二是大数据查询和分析的挑战。由于系统的大数据存储不是采用基于关系型数据库的技术,所以传统的通过SQL语言操作数据的方式无法直接使用。一些传统数据库厂商采用将MapReduce的结果存储到RDBMS中,然后查询RDBMS,但这牺牲了Hadoop的高效性。可采用SQL on Hadoop技术实现SQL专业人员通过SQL语言操作和分析系统的大数据,也可采用Hive技术实现基于Hadoop的查询与分析。另外,大数据背景下的决策分析,基于典型的OLAP数据分析操作,如对数据进行聚焦、汇总等操作已不够用,还需引入路径分析、时间序列分析、图分析以及由于硬件/软件限制而未曾尝试过的复杂统计分析模型;另外还要增加数据挖掘功能,如文本挖掘、聚类分析、关联分析、语言识别分析、图像识别分析、地理空间分析等。
三是新的数据表示方法与数据整合挑战。由于基于大数据的军事决策系统的使用对象为军事指挥人员,为使系统能高效将决策方案显示给军事指挥人员以供其检索、查询或选择使用,实现系统决策结果表示的简明化是必须解决的问题;为此,必须找到最合适的数据表示方法与数据融合技术。数据表示方法与最初的数据录入者关系密切,如果原始数据有必要的标识,就会大大减轻数据识别和分类的困难,但标识数据会给用户增添麻烦,往往得不到用户认可。研究有效、简易的数据表示方法是处理军事决策大数据必须解决的技术难题之一[9]。为扫清军事决策大数据处理的障碍,应研究不与平台绑定的数据格式,通过统一的数据格式构建融合人、机、物三元世界的统一军事决策信息系统。
6 结论(Conclusion)
在信息化战争时代,大数据技术已经成为增强军事决策能力的重要手段,未来战争的指挥决策能力可以产生很大的飞跃。构建基于大数据支持的军事决策系统的最终目标是通过运用各种大数据信息技术充分利用海量数据,整合感知、认知和决策保障系统,以创造一种真正自主军事决策系统,使之可以自主机动作业并做出辅助决策供军事决策人员参考。
参考文献(References)
[1] 张才明.大数据颠覆传统决策模式[J].中国经贸,2013(6):24-25.
[2] 陈文伟,陈晟.从大数据到大数据时代[J].吉首大学学报(自然科学版),2014(5):31-36.
[3] 孙强,张雪峰.大数据决策学论纲:大数据时代的决策变革[J],2014(8):33-37.
[4] 刘书雷,郭继周.对大数据的深化认识及建设对策[J].军事学术,2014(9):72-74.
[5] 杨莲珍.大数据时代的军事管理变革[N].解放军报,2013-9-23(7).
[6] 汪圣利.大数据时代指挥信息系统发展分析[J].现代雷达,2013(5):1-5.
[7] 王珩,等.大数据技术在指挥信息系统中的应用与发展[J].指挥信息系统与技术,2015(4):5-9.
[8] 程龙军.面向大数据的指挥决策系统模型研究[J].山西电子技术,2015(1):85-87.
[9] 王本胜,殷阶,朱旭.指挥信息系统大数据发展趋势[J].指挥信息系统与技术,2014(6):12-16.
作者简介:
李崇东(1983-),男,硕士,讲师.研究领域:信息管理与军事决策系统.
我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!