网络安全分析与大数据技术的应用

时间：2024-09-03

◆沈继云

(无锡南洋职业技术学院江苏 214081)

网络安全分析与大数据技术的应用

◆沈继云

(无锡南洋职业技术学院江苏 214081)

在网络安全信息规模不断增长的过程中，使用大数据技术已经成为一种常态。结合网络安全分析的具体需求以及传统技术中的弊端可以看出大数据技术的使用势在必行。无论是安全数据的存储还是分析过程中都能够体现出大数据技术的重要作用。本文主要是结合网络安全分析以及大数据技术的应用进行探讨。

网络安全分析；大数据技术；应用

0 前言

网络安全分析不及关系到国家安全，还涉及了众多网民的信息以及隐私的安全。随着网络安全分析技术的不断使用，也出现了越来越多的网络安全问题，影响着人们的信息安全。我国将网络及信息安全提升到了国家战略的地位，可以看出网络安全分析的重要性。大数据技术在网络安全分析中具有重要的作用，有效的提高了网络安全分析的效率，突破了传统技术的限制，满足目前的网络安全分析需求。

1 大数据技术在网络安全分析中的应用

在网络安全分析的过程中，要明确日志以及流量是其中的关键因素，此外还需要重视用户行为、漏洞、访问、资产等方面的辅助信息，每一项信息的具体功能都发挥着巨大的作用。使用大数据技术的优势在于可以将一些分散日志和流量数据进行集中，使用高效的分析以及储存等技术可以有效提高网络安全分析以及处理的成效，同时可以缩短分析的时间，节约一定的成本。结合一些场景关联等方面的手段进行分析，可以发现一些安全事件中隐藏的关联性，发现其中的漏洞，在漏洞没有扩大时进行调整和修复，有效预防数据泄露等问题，不断提高网络的防御性，确保网络信息的安全。

1.1 采集信息

在采集信息的过程中，可以使用Chukwa等工具，使用分布采集的手段可以实现日志信息的每秒数百兆的采集。此外也可以使用数据镜像的采集方式，来采集相关的流量数据。

1.2 储存信息

随着网络信息规模的不断扩大，使用网络平台的人数增多，所以网络数据的内容更加丰富，增加了网络安全分析的困难。在网络中有非常多而复杂的数据，因此在处理这些复杂数据的过程中，首先要满足各种分析需求的数据储存，才能不断的加快信息检索和分析的速度，采用不同的储存方式可以存储不同类型的数据，在储存信息的环节中可以提高效率。对于供检索的原始安全数据比如日志信息等内容，可以使用H base 等列式进行存储，而且这种技术具有快速索引的特点，会对数据检索造成较大的影响。对于处理后的安全数据则可以使用Hahoop分布式进行构架计算，而是可以将分析的数据置于计算节点之上，还可以采用脚本分析的方式挖掘相关的安全数据，做好统计报告并将其内容放置于列式存储。对于实时分析的安全数据，可以使用 Storm等流式计算的方式，可以在各个计算节点处防止分析的数据，并且要在数据流经节点的同时实现自动分析的目标，当数据统计完成以后可以将结果放于流式存储中[1]。

1.3 检索信息

传统的信息计算技术可以满足基本的检索需求，但是在检索的速度和质量上还有待进一步的提高。在查询和检索数据的过程中，可以将Map Reduce作为基础，并且要在各个分析节点处理其中的查询请求主语，采用分布式计算的方法，可以有效的提高数据的检索速度和质量。

1.4 分析数据

数据分析是其中的关键环节，可以使用Storm 等流式计算的架构来完成实施分析数据的任务，还可以联合使用复杂处理技术，对数据的内存、安全信息等进行实时监控，有效保证了数据的安全性，确保第一时间可以发现问题并且采取有效的措施进行解决。还可以采用H adoop架构来分析非实时的数据，采用分布式计算的形式以及数据挖掘等技术来规避风险，对于这种隐藏的风险可以采取特殊的措施，及时发现攻击源并且进行处理。

1.5 多源数据和多阶段组合的关联分析

使用大数据技术可以不断提高数据分析的效率，而且可以在短期内挖掘分析多元异构的数据，及时发信网络系统中的风险，找到现存的攻击行为特征。如果发现了僵尸网络，除了发现正常的访问特征之外，还可以实现数据源的扩充，对一些溯源数据等进行攻击，结合数据分析的技术实现外界情报的分析。在网络系统中如果发现了漏洞可以做好基本的防范措施。

2 大数据技术参与的网络安全平台建设活动

2.1 大数据技术的网络安全平台框架

基于大数据技术的网络安全平台建设，具有高效、安全、可靠等基本的特点。在这一网络安全平台中，主要可以分为采集层、分析层、数据层、以及呈现层几个部分。其中的数据采集层主要使用的是分布式方法，可以实现用户身份信息以及安全事件等内容的收集。可以实现信息的永久性存储，还可以采用均衡的算法实现数据的规律性分布，可以有效的提高数据检索的速度。

2.2 平台实现的技术支持

为了保证这一平台更好的使用，需要一定的技术支持。在这一平台中，主要的部分有收集层、解析层、显示层以及存储层几个部分。在采集层中，收集用户信息以及安全事件等信息时可以使用分布式的手段。在存储层中使用分布式手段可以实现数据的永久性存储，可以使用均衡算法实现数据的规律性分布，提高数据检索的效率。解析层则是利用数据的分析来了解相关的情况，发现安全事件的过程中可以及时分析原因并且进行处理。在检索数据的过程中，可以利用显示层的作用，显示出分析的数据，展示出整个网络安全状态，解决现存的问题[2]。

2.3 数据采集技术

数据采集技术的使用，要结合网络安全平台的作用进行分析。使用网络安全平台的过程中，可以将Flume、Kafka 和Storm这三种形式进行有效的集合，采用科学的方法逐步完成数据采集的工作。比如可以使用Flume进行数据的采集，这种形式的优点在于可靠性较高，而且具有较强的实用性。可以定制数据并且输送数据，最后收集不同源头的数据，采用加工处理的方式传递给定制方。在加工流式数据的过程中，可以利用Kafka作为数据采集与流式数据加工之间的缓存。其中要注意在Kafka内部存在很多消费者、代理商等提供的整体服务，因此可以形成一个分布式发布的订阅系统。

2.4 数据存储技术

数据存储技术主要使用的是 HDFS开展数据收集之后的存储，尤其是在进行大量文件访问的过程中，容易造成系统的问题，比如系统无法正常的使用或者是系统崩溃现象。为了解决这一问题，要求采用高效率的数据处理方式，这一平台利用HDFS进行数据的存储，可以在总结储存数据的过程中进行数据的分析，并且可以实现文件达到64 兆字节。

2.5 数据解析技术

网络安全平台使用的数据解析技术主要可以采用Hive方法，尤其是利用SQL中的 Hive QL 语言使HDFS与H Base 与不能形成结构式的数据进行检索的操作。此外，还可以使用 Mahout来完成基于H adoop行为的机械研究，达到最终的数据解析目的，对数据实现深入的分析和整理并得出最后的结论[3]。