基于大数据的网络安全态势感知研究

祁万青

摘要：当前，网络安全问题愈加突出，安全技术之间的协同与管理存在着较为明显的欠缺，最终导致数据的整合不足。网络安全态势感知技术不仅为当前存在的问题提供了较为综合的解决方案，也让网络安全防御较为单一的状况得到有效解决。基于此，文章对当前存在的网络安全数据进行调查与整合，对网络安全状况进行综合的分析，同时对网络安全的发展趋势给予较为精准的预判。

关键词：大数据技术；网络安全；态势感知

中图分类号：TN915文献标志码：A0引言网络安全态势感知涉及众多安全态势要素，基于对安全态势要素的获取、分析、评估、预测、可视化，进而对网络安全状况做出科学准确的描述。伴随大数据技术的发展，将其与网络安全态势感知的方案结合起来成为网络安全态势感知发展趋势。

1大数据环境下网络安全态势面临难点1.1大数据环境下网络安全态势特征要素提取首先，大数据背景下，安全数据来源复杂且数据量巨大，其中的错误数据也不在少数。其次，网络安全数据变化频率高，且数据具有多维度复杂的特征，数据与数据时间的关系错综复杂，数据维数失误较为容易发生。最后，在对网络安全数据提取的过程中，会受到传统提取方法的影响，造成数据最终采集结果完整度较低。与此同时，数据的数量难以达到整合的要求，导致网络安全态势感知后段工作效率也随之降低，网络安全的整体评估不尽准确［1］。

1.2大数据环境下网络安全网络入侵检测第一，在大数据环境下，网络攻击通常是有计划性或目的性的，且大规模攻击与协同攻击并存。在传统来看，入侵检测一般针对单一攻击行为，而对多个攻击入侵检测的方法还有待研究开发。第二，网络攻击数据特征的维度多且复杂，目前尽管借助数据降维等方式能够有效提升数据处理效率，但在面临大规模攻击与协同攻击的多个攻击分类检测时，依然具有很大的计算量，这就要求持续提升高分类检测效率。第三，当遇到大规模攻击与协同攻击检测时，多个网络攻击数据到达时通常存在分布不平衡的问题，影响网络攻击检测的准确率、精确率等。

1.3大数据环境下网络安全态势评估大数据背景下，网络安全数据感知过程中存在着不稳定因素。在采集过程中，数据也会呈现不准确、不确定的特征。大数据环境网络安全数据有多维性、特征负责的特性，这增加了网络安全度量的难度，使得网络安全态势评估指标不易被量化，造成工作效果不全面或不准确。如今的网络环境繁杂多样、错综复杂，网络安全也是如此。在此情况下，网络安全态势评估准确性及全面性也会受到影响。由于网络攻击存在随机性，加之大数据系统环境复杂等原因，网络安全态势评估对于专家知识比较依赖，这就要求在多个专家意见发生冲突时，能够更客观地反映网络安全态势［2］。

1.4大数据环境下网络安全态势预测感知采集数据流会随时间变化并能够实时到达，其具有流动速度快、响应时间短的特点。在大数据环境下，对网络安全呈现动态趋势无法精准、实时的预测。纵观网络安全预测的历史，并没有系统且科学的经验可以参考。过往的经验存在着不确定性、不准确性以及自相矛盾的缺点。因此，想要实现网络安全预测的精准且自动化预测并不现实。通过对当前网络安全预测进行对比研究发现，其在学习效率提升、精准预测等方面还有较大的提升空間。

2网络安全态势感知系统平台架构设计与实现2.1网络安全态势感知系统平台架构纵观传统的网络安全分析，其更多的是侧重对单向安全事件的预测与探究。从目前来看，网络安全事件是错综复杂的、多变的。因此，单向的预测方法无法满足当前的需要，同时对网络管理决策的协助也有限［3］。本文提出一种融合大数据技术平台架构。平台包含网络安全情报信息、网络流量监测预警、收集存储、标准化、查询、分析和形成报表全部的操作。平台设置安全管理、智能分析、安全数据中心、内置数据摄取4个层面，不同层面设置相应技术，以便于对事件、漏洞、资产、情报、日志、*flow、流量镜像等各要素融合感知，采用情报比对、行为分析、关联分析、资产分析、专项分析、态势分析、漏洞分析等对所采数据做出多维度安全分析，进而实现对资产、威胁情报的安全管理，保障信息安全。

2.2网络安全态势评估模型网络安全态势评估方案通常以单个警报或日志作为基础做出检测，而单一性数据源会造成评估结果与实际产生偏差，而评估方法也通常采取相对复杂的算法，这些将会对评估及时性造成直接影响，迫使网络管理员错过处理的最优时机。

针对上述潜在问题，本文采用基于SimHash算法的网络安全态势评估模型对评估系统进行优化，具体内容如下：（1）拓扑结构：其为一个图形结构，用来表示大数据环境中的节点及其连接信息。（2）服务信息：指节点所提供的服务，用于确定节点权重。（3）日志信息：其包含系统以及安全、应用程序每日记录等关键信息。每个日志信息采用六元组（id，time，type，info，id，id）进行表征，id用于表示日志中某记录唯一标识，time用于表示该日志记录的生成时间，type是于表示该日志记录的类型，info用于表示该日志记录相应的描述信息，id用于表示生成该日志记录的节点标识，iddt表示某一安全事件内目标节点的标识。（4）漏洞信息V。其指的是节点存在漏洞信息，用于确定攻击的成功概率。其中每个漏洞信息均能采用四元组（id，time，pro，impact，info）进行表征。idv指的是某漏洞唯一标识，time为某漏洞被扫描出的时间，pro为某漏洞被成功利用概率，info为某漏洞描述相关信息。（5）攻击信息A：其是指对节点的攻击信息。每次攻击信息均可采用六元组（id，time，st，dt，info，id）进行表示，其中id作为攻击唯一标识，time作为攻击发生时间，st与dt各自表示攻击起始节点及目的节点，info作为攻击描述信息，id作为被攻击利用漏洞的标识信息。（6）节点安全态势NSA：是指针对节点安全状况的量化值，其由拓扑信息、漏洞信息以及攻击信息所共同组成，采用NSA=（T，V，A）进行表示。（7）模块安全态势MSA：是指针对模块安全状况的量化值，其由NSA与模块中节点权重综合所共同得到的，采用MSA=（NSA，ω）进行表示。（8）网络安全态势SA：是指大数据安全状况量化值，其由MSA与模块权重所共同组成，采用SA=（MSA，ω）进行表示。

在以上各种概念的前提下，以SimHash为基本前提的网络安全评估模型应运而生，如图1所示。

计算步骤分为以下8步：（1）采取复杂网络社区结构划分算法，把大数据分为多个模块，得出各模块权重；（2）整合收集网络安全态势要素，包括网络流量、网络拓扑结构、系统安全日志等内容；（3）通过对数据进行预处理，处理完毕之后对文件进行上传和保存；（4）在每个网络模块内部，扫描节点存在漏洞，同时对各种攻击类型攻击时成功概率进行计算；（5）针对各个网络模块中节点，采用基于SimHash的算法，结合攻击类型及次数，进而得出攻击严重程度；（6）按照攻击严重程度及攻击成功概率，对节点安全态势进行计算；（7）借助节点提供的服务计算节点权重，结合节点安全态势值，进一步获取模块安全态势；（8）以模块的安全状态和权重为基本的判断标准，对网络安全的状态进行最终的评估与定论。

2.3网络安全态势预测模型在传统的网络安全检测中，安全状态的评估依据主要是源自于某个检测设备的每日数据。然而，这种方式的检测具有明显的缺点，数据检测不够准确尤为明显。为了提高网络安全检测的准确性，增加多样设备每日记录数据作为对比，在这样的情况下，不同设备之间的数据可以进行补充，让数据更加准确。然而，劣势也随之暴露出来。设备之间的数据存在一定的重复性，为分析过程提升了难度［4］。伴随大数据时代来临，网络安全态势感知为计算能力以及存储能力提出了新的挑战和要求。

本文提出了动态网络安全态势预测模型。（1）通过对提取特征的提前确定，让数据的格式达到一定的统一，从而多源异构地让网络安全态势要素的采集更加全面，通过布隆过滤器的使用，让重复的网络安全态势要素得以有效过滤。（2）借助AML模型预测未来一定期限内的脆弱性数量及发布时间等内容，将预测结果和Mulval结合获得攻击图，将攻击图转换为贝叶斯攻击图，对攻击路径及概率做出动态预测；采用预测结果就网络安全态势做出评估。

（1）获取网络安全态势要素。其主要包括网络拓扑结构、报警信息、系统安全日志以及脆弱性信息等几方面。通过将数据上传至HDFS，并编写MapReduce程序，随后采取布隆过滤器对入侵检测系统报警信息以及系统安全日志中重复信息进行去除。（2）攻击行为预测。采取MulVAL工具产生攻击图，结合脆弱性预测，形成貝叶斯攻击图，并预测后续攻击行为。（3）网络安全态势量化。通过把网络安全态势要素以及攻击行为预测结果相结合，获取网络安全态势。

2.4大数据网络安全态势可视化框架网络安全态势可视化框架具体如图2所示，具体可分为以下步骤：（1）设计Zookeeper分布式服务框架，便于为平台提供统一资源管理及协调服务；（2）明确可视化数据，设计Kafka并将其传输到Spark平台；（3）读取数据，对数据降维、去噪；（4）将处理好数据存储至各分布式文件系统（HDFS）中；（5）按照滑动窗口模型，分批次将其读取数据至可视化模块当中；（6）对数据进行渲染并展示。

2.4.1Spark数据处理流程Spark运行的基本流程如下所述：（1）通过SparkContext的创建，让资源申请、任务分配与监控得以进行，完成基本运行环境的创建。（2）以SparkContext类的textFile为根本的切入方法，以文件中的增量为出发点，利用RDD类开展数据缓存，同时建立读入的数据文件弹性分布数据集。（3）无环图在RDD的依赖关系中得以创建。接下来通过DAGScheduler对数据进行解析。将任务集通过向askScheduler提交，通过Executor获取任务进行处理。（4）在各个Worker节点，采用主成分分析法对数据降维，去除冗余。（5）在Executor执行完成，将执行结果返回至任务调度器，导入数据并释放任务处理过程中所申请资源。（6）待运行完毕，通过SaveAsTextFile法将数据导入HDFS，完成数据持久化处理，同时释放资源。

2.4.2使用滑动窗口模型分批处理数据在大数据环境下，产生网络流量速度快、数量大、突发性强。因此，为更好地降低处理大量网络安全态势要素过程中的内存占用率，采取了滑动窗口处理模型。模型滑动距离可按照实际情况设置，通常为几秒，每隔几秒滑动窗口便会向前移动一个单位，通过Spark对数据处理后获得的结果集合用属性集进行表示。各滑动窗口工作流程基本一致，在获取数据之后，按照时间推进，进行数据渲染，此过程仅缓存几个基本窗口渲染结果。

综合考虑上述内容，本大数据网络安全态势感知系统的技术架构主要由数据采集、数据存储、监测分析以及指挥调度等层次所组成，借助UI和可视化技术完成安全态势展示及人机交互共同。

3结语在数据化的时代里，传统的网络安全预测已经无法满足当前发展的需要，本文以网络安全态势为根本发现，将其分为不同的阶段，并根据不同阶段的特点给出相应的解决方法。综上，网络安全态势感知的发展还有较大的空间，网络大数据的研究也亟须进步与提升。随着社会的发展和进步，网络安全态势相关研究也日趋完善，相对应的技术也更加的实用与成熟，这对网络安全的监控与预测都具有至关重要的推进作用。

参考文献

［1］王闪闪.基于大数据的网络安全态势感知与关键技术分析［J］.网络安全技术与应用，2022（10）：3-5.

［2］宾冬梅，杨春燕，余通，等.基于深度行为分析的网络安全态势感知技术［J］.微型电脑应用，2022（1）：66-69.

［3］周晶波.大数据时代计算机网络信息安全研究——评《网络安全态势感知：提取、理解和预测》［J］.安全与环境学报，2021（3）：1388.

［4］简玲，叶天鹏，林祥，等.多源融合的大数据网络安全态势感知平台研究与探索［J］.信息网络安全，2020（增刊2）：139-143.

（编辑 王永超）

Research on network security situation sense based on big dataQi  Wanqing

（Lanzhou Modern Vocational College， Lanzhou 730300， China）Abstract： At present， the problem of network security is more and more outstanding， and the coordination and management of security technology is obviously deficient， which leads to insufficient data integration. Network security situation awareness technology not only provides a comprehensive solution to the current problems， but also makes the network security defense more single situation to be effectively resolved. Based on this， this paper investigates and integrates the existing network security data， makes a comprehensive analysis of the network security situation， and gives a more accurate prediction of the development trend of network security.

Key words： big data technology; network security; situational awareness