大数据技术在网络安全与情报分析中的应用研究

诸 明

（江苏省中医院，南京 210029）

0 引言

随着网络信息技术的发展，云计算、大数据挖掘等技术也得到了极大的发展。例如，大数据挖掘技术可以系统性整合分析海量数据，满足现代社会对数据信息的需求。但随着网络环境日趋复杂，网络攻击与信息窃听已经成为网络时代影响较大的安全事件之一，其可以直接渗透金融、通信、交通及航空等诸多领域，对国家和公民的信息安全产生极大的威胁［1］。结合大数据技术优势所构建的规模化和一体化的威胁情报中心与威胁情报综合服务中心可以很好地预测网络风险，从技术层面增强网络信息的安全性。为进一步保证和提升网络安全与情报反窃听能力，对大数据技术在网络安全与情报分析中的应用必须予以充分的重视。

1 大数据技术概述

大数据技术的显著优势是数量大、来源丰富、生成速度快。大数据技术可以系统性挖掘处理海量数据，完成数据采集、数据预处理、数据存储、数据分析及可视化等相关工作。从资源处理的视角看待大数据技术，其体现了一种新的资源观念；从技术的视角来看待大数据技术，则可以认定其代表了一种现代化的管理与分析技术；从理念的视角来看待大数据技术，则可以认定大数据对传统的数据处理技术进行了全新的诠释，带来了“实事求是”的新涵义，即数据驱动和数据闭环。

大数据的计算模式主要分为批量计算、流式计算、交互计算、图计算等。就流式数据处理技术而言，这一技术可以实时反馈产生的数据信息，具有数据处理延迟短和实时性强的优势，非常适用于必须对变动或峰值作出及时响应和处理的数据场景。目前，在数据信息处理方面，其时间跨度可以达数百毫秒到数秒。在计算机构上，流式数据处理技术主要依托Twitter的Spark Streaming，属于一种极低延迟的流处理开源框架，数据处理时默认单条，若存在数据处理失败的情况依然可以处理多次。就交互式数据库信息查询而言，考虑到网络安全与情报分析均是以人为主体，需要将人的认知能力应用到数据分析中来。实际操作时，工作人员需要先对网络整体运行状态进行系统性分析，尤其是需要及时查询和分析运行状态异常的问题，对特定特征向量的时序作系统性分析，针对一些潜藏的数据漏洞和安全问题制定防控策略。交互数据查询技术所依托的典型系统有Google 的Dremel 和Apache Spark，均有较好的应用效果。

大数据安全分析技术是当代数据安全与情报分析的核心。其中，安全可视分析技术、安全事件关联分析技术及用户行为分析技术得到了广泛的应用。以安全可视分析技术为例，这一技术可以帮助分析人员挖掘和分析数据潜藏的信息，首先确定分析人员需要什么样的数据，然后借助可视化结构表示数据、构建可视化结构映射关系，最后通过缩放、聚集、回放及更新等功能确保人与可视化工具更好地交流。在用户行为分析技术应用方面，当企业存在内网与外网无法直接分离的情况时，即便采用新型和较为安全的安全防护产品也无法有效阻挡黑客的攻击［2］。对此，用户行为分析逐渐发展为一种可利用的技术，应用时可以收集用户所需要的信息，同时建立用户行为基准线，以此描述用户的正常行为。此外，用户行为分析还可以应用于反数据盗窃和反欺诈，确保数据和信息的安全，使其免受外部威胁。从应用流程来说，用户行为分析有较多的使用步骤，且每一个步骤都十分重要，尤其是其中的数据采集、数据预处理、方法选取及方法评估，同时还需要科学应用聚类分析技术、统计分析技术、时序数据挖掘技术。总体来说，用户行为分析技术在大数据环境中发挥着十分重要的作用，可以确保网络安全和情报分析的有效性。

2 大数据技术在网络安全与情报分析中的应用

2.1 API 攻击检测

高级持续性威胁（Advanced Persistent Threat，APT）攻击是近几年兴起的一种网络攻击方式，在全世界范围内得到了高度的重视。API 具有极强的攻击隐蔽性，其空间路径与攻击渠道十分复杂和多变，在大多数情况下人们无法有效抵御这种攻击。针对API 攻击，对其进行检测和反制十分必要，其亟待解决的问题主要有4 点，即渗透防护能力脆弱、检测精度较低、攻击范围取证困难及对新型未知攻击反应速度慢。为有效应对API 攻击，必须做好相关风险的检测工作。就目前而言，2012年所提出的“攻击金字塔”概念似乎可以成为解决API 攻击的手段。攻击金字塔顶层的数据信息包括敏感数据、高层职员及数据服务器，与攻击相关联的事件环境均可以通过横向平面表示，检测框架可以将记录其中的安全事件分组为多个场景，同时在多个场景中使用MapReduce 并行处理，以此达到检测恶意活动的目的。

2.2 网络异常检测

一直以来，网络异常检测都是网络安全所考虑的重点问题，其包括对流量突变、越权资源访问、设备失效及可疑主机的检测，要有针对性地开展检测工作，合理判定非正常行为模式。近几年，随着大数据技术的发展，大数据技术越来越多地被应用于网络异常检测，同时用户行为分析技术的应用大大提升了网络异常检测的准确性。另外，在网络异常分析建模与异常检测自动化发展过程中，基于行为特征和机器学习的方法得到了广泛的应用。借助深度学习技术可以快速对数据特征加以分类和处理，这让深度学习的重要性日益凸显［3］。目前，深度学习技术已经成为检测Oday 漏洞与API 攻击的有效手段，对维护数据安全十分有利。在网络异常检测过程中，可以使用的技术包括大数据可视分析技术、关联分析技术、交互式分析技术，借助平行坐标图可以对网络流量的应用开展交互式分析，以此掌握区域内的流量分类和运行情况，对于异常或非法的流量进行即时监控和清理。比如，在攻击处理方面，借助多项大数据分析技术可以对新出现的攻击源和持续出现的攻击源绘制连接线，在形成连接线之后，分析者可以及时掌握异常攻击状态，有针对性地启动攻击保护屏障。

2.3 网络安全态势感知

针对网络所存在的极大安全危害，企业和组织均给予了网络安全防护充分的重视，一改以往的网络安全防护策略，开始进行事前自动评估，通过事前自动评估大大降低了网络安全运行过程中的风险。网络安全态势感知技术的优势在于其可以综合各个方面的因素整体反映网络安全状态，对网络安全运行过程中的风险作出及时预测和报警［4］。更为重要的一点是，大数据技术凭借自身显著的优势，为大规模网络安全态势的感知提供了技术支撑。以360 公司所推出的态势感知及安全运行平台NGSOC 为例，其借助大数据挖掘技术，可以对本地数据实现全面采集与存储，持续监控网络的运行状态，对其中所存在的安全风险进行系统性分析和评估，其优势十分显著。目前所使用的大数据技术已经实现网络安全态势感知、服务器业务安全态势感知及网络安全事件实时监测，能够有效保障网络安全。

2.4 网络威胁情报分析

威胁情报可以通过大数据、分布式系统及其他方式来获取，其优势在于大大弥补了传统防御方式的不足，可以从攻击者的角度开展防御性工作。另外，基于大数据分析技术和威胁情报的广泛性优势，可以全面性地掌握互联网风险，分析者可以此为技术支撑点更好地了解相关威胁，继而采取高效和准确的防御行动，降低网络攻击所带来的损失［5］。目前，国内外的网络安全威胁情报提供商主要有Symantec、FireEye 及CrowdStrike，可以满足多种环境下的网络安全防护需求，尤其在反恐怖主义、漏洞检测、网络犯罪防范及恶意软件清理中能够发挥更加显著的作用，有很强的实用性和适用性。

3 结语

当前网络安全形势不容乐观，现阶段仍然缺乏高级网络威胁和攻击检测方法，检测和防范工作中存在较多的技术问题，而后续也会有很多需要解决的问题。在后续网络安全与情报分析的研究中，需要进一步在网络空间安全的条件下加大对大数据技术的研究力度，掌握多源数据，寻求复杂状态下的网络攻击遏制方法，尤其是在情报分析中要做好风险感知、检测与预警及情报共享等方面的工作，这对于提升网络安全和情报分析能力有十分重要的意义，必须予以充分的重视。