网络安全分析如何应用大数据技术

张庆涛

摘要：科技的进步对人们的日常生活产生了重大且深远的影响，尤其是网络的广泛普及和应用，让人们得以享受更加便捷的服务。而伴随而来的网络安全问题也成了大家关注的焦点，当下日益增长的网络信息安全需求已经难以凭借传统网络安全分析进行处理，因此有必要引入更加先进的技术进行改善优化。鉴于此，文章以大数据技术为核心，探讨了其在网络安全分析领域的应用情况。

关键词：网络安全分析;大数据技术;应用

中图分类号：TP393 文献标识码：A

文章编号：1009-3044（2019）31-0013-02

当前社会的方方面面都与网络的应用密不可分，网络在维持社会正常运行的同时，也面临着一些令人棘手的安全问题，对于个人、机构甚至国家的信息安全等都存在一定的威胁。随着互联网的快速迭代升级，安全漏洞也日益增多，如果继续沿用以往的分析模式和分析工具，将难以满足实际需求。在这一背景下，引人最前沿的大数据技术，对于提高网络安全防护具有不可估量的作用。

1网络安全分析现状与大数据技术概述

科技在现阶段正处于高速发展阶段，相比以往的从无到有，层出不穷的新技术和新设备为互联网的应用提供了更多的可能。由于IT架构日益复杂，很多新的应用场景导致业务和数据逐渐集中化，并形成了发展趋势。网络和应用之间的界限不再像以往那么清晰明确，为了保障整个系统或者网络的安全，相应的设备也亟待更新。根据现阶段的网络发展情况来看，占据主流位置的安全分析模式是基于网络流量以及日志等数据，它最顯著的弊端在于为了保留下大量的数据，不得不花费高昂的资金成本。与此同时，想要对更复杂的网络，比如云计算平台等进行全面的安全分析，就必须获得包括网络数据包、用户相关业务信息以及漏洞信息等在内的关键性数据。然而，这些数据的类型不仅限于常见的结构化，还包括分结构化和半结构化，且产生的速度极陕，总体上呈现出“大数据”的特征，无法直接套用传统的网络安全分析进行处理。由此可以看出，深入研究网络安全分析并引人更先进的技术迫在眉睫。

作为当下最前沿的技术，大数据以其多样化、内容丰富和生成速度快等特点，在很多领域都取得了不俗的应用成效。而对于大数据的处理，传统的数据体系架构并不能发挥理想的效果。从资源上来说，大数据是一种新的资源，展现了不同以往的资源观;从技术上来说，大数据也被认为是一种新的数据处理和分析技术。综合而言，我们所说的大数据技术囊括了挖掘大数据价值并将其展现的所有技术和方法，具体可分为数据采集、数据存储、数据预处理、数据分析挖掘以及可视化等技术。

2网络安全分析应用大数据技术的意义

社会的运行以及人们的日常生活都已离不开互联网络，随着科技的迅猛发展，互联网中最核心的数据也迎来了更新。不论是数据的量或是增长速度，都得到了显著提升，当然这对于互联网服务性能的提升有一定的促进作用，但不得忽视的一个问题是，它也变相地增大了网络安全分析工作的压力。具体而言，这种压力主要体现在这两个方面：第一，网络安全分析工作不得不面对更大的数据量和更丰富的数据种类，只有采取多维分析才能进行有效处理;第二，不论是数据量的增长还是数据传输速度的提升，都对数据分析处理工作提出了更高的要求，既要实现快速采集和处理数据信息，又要确保整个数据信息安全分析过程的有效，因此网络安全分析工作面临着前所未有的压力。事实上，对于数据的存储，在传统网络安全分析系统中主要是应用结构化数据库来完成的，但这种方式所花费的成本较大。为了控制成本，通常的做法是先对数据进行处理以降低其大小，然后提升数据存储容量，但这又催生了另一个问题，即数据在处理过程中容易丢失部分信息。另一方面，传统的网络安全分析系统对于一些内容复杂、非结构化的数据和数据集进行处理时，不论分析还是查询都极为低效。以上问题如果不得到有效解决，将愈发难以适应日益增长的网络需求。

引入大数据技术，对于网络安全分析的整体提升具有极大的促进作用：首先，应用大数据技术可以显著提高数据存储量，尤其在非结构化的海量复杂数据处理方面效果突出，能够保证处理效率和准确性，同时尽可能完整的保存数据信息。其次，应用大数据技术对于网络安全分析系统的运用成本控制有极大的裨益，比如相较于以往的结构化数据库，如果使用分布式数据库则能有效降低经济成本，同时不需要很高的硬件辅助;再者，应用大数据技术能够显著提升网络安全分析系统的运行效率，尤其表现在对于异构数据的存储和处理上，速度将得到进一步加快;最后，应用大数据技术便于从更多的维度、更深入的层级来分析和处理相关数据，从整体上提高了数据处理的进度，让网络安全分析系统更高效地运行。

3网络安全分析应用大数据技术的作用

网络安全分析内容庞杂，涉及很多工序和领域，其中最关键的是对各类数据的及时、有效处理。一般而言，网络安全分析需要处理日志和流量两种数据，同时兼顾相对较少的数据信息，比如日常数据访问、用户的信息交流、业务行为产生的信息流等。应用大数据技术，能够通过对以往数据分析处理过程的优化来提升网络安全分析工作的效率，即凭借对分散性日志和数据的统筹处理，来进一步降低数据采集和分析处理的时间。除此之外，大数据技术的合理应用还可以通过关联分析多种安全信息，多维度地进行数据处理，更好地发现其中可能存在的问题，从而让安全分析更加有效。综合而言，网络安全分析应用大数据技术的作用主要体现在这几个方面：

3.1数据的采集

在网络安全分析中应用大数据技术，通常需要借助一些工具，如Flume、Scribe等，以便于进行分布式采集。这种数据采集方式更为高效，采集速度能达到每秒内数百兆左右，从而在对日志数据信息等处理过程中发挥显著成效。

3.2数据的存储

能否有效存储安全数据，是衡量网络安全分析的一个重要参照，而应用大数据技术则能够采取不同的存储方式应对各种类型的数据，从而大幅提升数据查询和存储的有序性以及工作效率。具体而言，列式存储方式最适宜用于主要在查询中发挥作用的日志信息等数据，能够显著提升查询效率;一些经过标准化处理的数据在分析处理时，需要先进行分布式计算，再将分析结果存放于列式存储部分;一些即时性数据在分析处理时，需要先进行流式计算，再将分析结果存放在列式存储部分。

3.3数据的查询

在网络安全分析中应用大数据技术，可以开发出新的数据查询处理方式，即基于MapReduce的查询模块构建，便于在查询数据时将指令分节点安置并处理，最后再将所有节点的处理结果整合。很明显，这样的方式使得系统对于查询指令的反应和处理速度都得到显著提升。

3.4数据的分析

在网络安全分析中应用大数据技术，还有助于数据分析工作的效率提升。具体表现为：第一，对于实时数据的分析，可以应用流式计算以及CEP技术和关联分析算法，从而完成即时分析、即时监控和即时处理，这样可以在短时间内找出数据异常;第二，对于统计结果和历史数据的分析，可以借助分布式存储与计算，运用多种数据处理技术，实现较深层次的数据离线处理，这样有助于更好地发挥网络安全分析系统的风险分析与攻击溯源等功能。

3.5復杂数据的分析处理

应用大数据技术还有助于系统分析处理较为复杂的数据，比如在多源异构数据、系统安全隐患以及关联性攻击行为等方面更加高效准确。举例来说，作为一种常见的网络安全问题，僵尸网络的处理通常较为低效，而应用大数据技术之后，则既可以从流量和DNS访问特性上人手，又可以通过发散性关联分析法以及与其他数据信息的整合，实现整体数据分析的全方位提升。另外，当查出系统有漏洞时，能够借助关联处理内网的主机，全面检测出析系统中的隐患位置。

4基于大数据技术的网络安全系统构建

基于以上分析不难看出，应用大数据技术在网络安全分析中发挥出重要的作用，因此有必要构建基于大数据技术的网络安全系统。具体而言，需要建立以下几个模块：

4.1数据源模块

首先要安装分布式采集器，这样有助于系统采集各个硬件设备和软件行为的数据信息，并且将采集的结果存放在相应的存储部位。在科技不断发展的当下，网络安全分析系统所要处理的数据源会越来越多，除了做好传统的防火墙和入侵检测，还应当进一步提升硬件性能，特别是对于服务器、存储器等腰做好检查维护，同时对系统软件和数据库等做好分析抽查。

4.2数据采集与存储模块

应用大数据技术能够优化数据存储与采集工作，即通过数据和元数据分立的方法实现，这也促进了分布式数据的构建。而对分布式数据来说，其优点体现在能够稳定完成数据存储和访问，并且这一过程覆盖数据自出现到删除整个阶段。当下数据量不断加大已成趋势，因此不难预测未来网络安全系统中，分布式数据存储将大放异彩，尤其体现在对于系统数据存储容量的提升和数据库稳定性的提高这方面。

4.3数据分析模块

大数据技术的应用使得网络安全系统可以同时高效运行对历史数据和实时数据的分析，在大数据分布式处理基础上构建的数据分析模块，在数据处理分析方面则更加高效稳定，从而促进系统在有效时间内实现多维度地分析处理数据信息或者联合分析处理数据信息。

4.4数据展示模块

数据展示模块的构建是基于用户的视角，通过对用户服务和体验进行分析来提供更加优质的服务，从而保障用户可以通过该模块更好地使用网络安全系统，并促进用户增强对大数据技术的信任，以便将自身个人信息放心地存储在其中。

网络安全分析是整个互联网运行的重要环节之一，它必须随着科技的进步而不断优化改进。当下正处于数据信息爆炸式增长的阶段，为了更好地保障网络运行的安全，需要引入先进的大数据技术来进行网络安全分析，从而使互联网更好地被人们应用。