Hadoop大数据技术在计算机网络安全中的应用

尹 婷 赵思佳

（湖南环境生物职业技术学院，湖南 衡阳 421005）

0 引言

计算机技术和网络的发展对人们的生活有巨大的影响。许多工作都可以在计算机中进行操作，许多信息也可以通过网络进行传输[1]。通过计算机网络传输信息的方式存在很多风险，随着网络通信速度的提升以及5G 时代的来临，通过网络传输信息数据的方式在保密性和安全性方面面临威胁[2]。因此，计算机网络安全问题逐渐成为当下研究的热门课题。

目前，运用到工作中的信息数据多种多样，对这些数据进行加密的过程是十分复杂的，传统方法已经不能满足现有工作的需求，容易给信息所有者造成不好的影响[3]。在以往研究的基础上，该文引入Hadoop 大数据技术对信息数据进行加密储存，提高计算机网络的安全性能。利用Hadoop 大数据技术建立超混沌文本加密方法，在对不同类型数据采用不同方法加密储存的同时，不断优化自身性能，提高数据加密的效率。

1 设计基于 Hadoop 大数据的计算机网络安全方法

1.1 建立Hadoop 大数据超混沌系统

对所传输的数据进行加密是保障计算机网络信息安全的基础[4]。通常情况，该方法是以密码学为母本，采取数学密码的方式对网络上的信息进行加密，被加密的信息传输完成后，只有既定人群才能使用信息[5]。在接收端使用该信息的人员需要使用双方协定好的密码手势对信息进行加密和解密，这样就可以避免信息被其他人拦截和篡改[6]。加密操作可以大幅提升计算机网络信息的安全性能。

Hadoop 大数据利用MapReduce 机制建立超混沌系统。通过MapReduce 机制对需要传输的文件信息或者数据进行分割，将其分割为许多数据集合块后再进行下一步操作。

被分割的数据通过重新整合处理，集合成为大型的数据信息集团，在每个数据信息集团中执行传输指令的任务。Hadoop 大数据技术依托HDFS 高度容错性与MapReduce 机制强大信息处理能力的相互作用，构建信息加密处理平台。

在信息传输的过程中，Lyapunov 指数十分重要。将低微混沌映射与高维混沌映射进行比较，其Lyapunov 指数的数量差距较大。当混沌系统运行且至少形成2 个Lyapunov 正向指数时，该系统所处环境最适合对数据进行加密。通过Hadoop大数据平台建立的加密方法具有高效性、高稳定性以及高容错性等特点，且该方法的成本也比较低。

1.1.1 Chen 超混沌映射

Chen 系统的超混沌形式如公式（1）所示。

式中：x、y、z和w为超混沌映射4 个维度的表示值；a、b、c、d和e为系统设置的参数，作为超混沌系统的初始设定状态。

如图1 所示，设置a=35、b=3、c=12、d=7 且e=8，在该情况下，系统进入一种超混沌的映射状态。

图1 Chen 系统映射

1.1.2 Rossler 超混沌映射

公式（2）为Rossler 系统进行超混沌映射，如公式（2）所示。

式中：x、y、z和w为超混沌映射4 个维度的表示值；a、b、c、d、k和r为混沌映射的系统参数。

当a=0.25、b=3、c=0.5 且d=0.05 时，系统进入混沌模式。

1.1.3 Lorenz 超混沌映射

Lorenz 系统进行超混沌映射，如公式（3）所示。

式中：x、y、z和w为超混沌映射4 个维度的表示值；a、b、c和d为系统的初始状态设定值。

当设置a=10、b=8/3、c=28 且r=-1 时，Lorenz 系统进入混沌模式。

1.2 超混沌文本加密方案

利用3 种算法（Chen、Rossler 以及Lorenz）的融合，对计算机信息数据的超混沌文本进行加密，再通过对称加密的方法对系统融合的加密文本进行深度处理，以置乱、正向反向异或和正向反向制作模型等技术手段对网络传输信息进行深层次加密。利用HDFS 高度容错性的特点对被加密信息进行快速纠错，将冗长的加密数据进行无差别复制，再进行切分并分类储存。

采用上述步骤生成的超混沌映射计算机加密方法对需要传输的数据信息进行加密，产生的数据块Lyapunov 的数值比低维混沌映射所产生的数值更高。在保证数据加密的安全性的同时，增加了计算机的运行内存，提高了信息加密的效率。对数值域相同的数据来说，利用超混沌映射计算机加密方法进行相同程度加密后，所产生的数据块被还原破解的可能性大幅降低，因此有效迭代的次数有所增加，同时每个单独的混沌数列在运行时所需要的内存与计算机数据运行的信息量呈正向线性的关系。在一定程度上对加密文本进行简化处理，提高访问数据的吞吐量。

对信息数据进行分割，以分割后的数据误差值为基础，生成超混沌加密方法序列。针对每个误差值的极点进行数据摘取并加密，具体操作如下：1） 通过前文的分析，利用Hadoop 大数据对信息传递数据进行分割，将大型数据分割为1 MB 的数据集团。2） 选取任意的信息数据集团，按照顺序通过Chen、Rossler 以及Lorenz 对该数据集团进行加密计算。然后用欧拉法对所需要的数据集团进行计算，拆解出3个混沌映射模块中每个混沌映射生成的4 项数据集团，则每次迭代生成 12 项数据集团，这样在每次数据传输加密时就会拆解出 12 个混沌加密数据集团x：xc1、xc2、xc3、xc4、xL1、xL2、xL3、xL4、xR1、xR2、xR3以及xR4。当数据集团进入Lorenz混沌映射模块进行加密操作时，其数量比前面进入Chen 混沌映射模块时的数据量多，数据量约增加4 倍，作为下一处理流程的输入数据。3） 选取12 个超混沌加密文本数据，分析发现这些加密数据仍存在数据传输值简单、不同加密选项相互黏贴影响的问题。因此，在进入3 个超混沌加密系统前要对数据进行预处理。对传输的信息数据的数学整数部分进行删减，移动小数点使数值增大，这样就能改变数据原始数列间的相关性，使数列呈现无规律性。公式（4）为预处理操作。4） 完成预处理后，选取数列每排第一个传输数据所对应的ASCII 编码。计算该编码的位置偏移量，并对整排数据进行治乱处理，如公式（5）所示。5） 在对数据加密进行置乱操作后，将所获得的数据加密信息与Lorenz 超混沌映射所产生的信息进行正向与反向异或。6） 对数据信息进行异或操作后，用所获得的数据对Rossler 混沌加密系统信息进行正、反向取模操作。7） 经过上述加密操作后，得到最终的密文。

式中：X、Y、Z和W为增大运算后的信息数据；i为信息序列的序号；x、y、z和w为原始信息数据。

式中：S为治乱处理表达式；Xc、Yc、Zc和Wc分别为4 个维度经过治乱处理后的数据阵列；i为信息序列的序号；A为矩阵符号。

基于 Hadoop 大数据的超混沌加密方法从结构上来说，完全有别于传统的信息加密手段。超混沌加密方法利用Chen、Rossler 以及Lorenz 映射系统对数据进行加密，生成无规则的加密序列，进一步提高了计算机网络的安全性和稳定性，减小了信息被非授权者获取解密的概率。通过混沌映射优化后的加密系统可以提高信息数据的敏感性。

1.3 加密实现

在 MapReduce 并行计算框架中，通过继承Mapper 类并重写 Map 的方法逐行读取数据，从而处理明文数据。Map方法将数据分成多个子任务并分配给多个 Mapper 同时完成，Mapper 的数量由分块数决定，由 Mapper 完成加密操作。Reducer 类负责整合 Mapper 输出的所有数据。

1.3.1 Split 分解环节

该文设计的加密算法对数据进行分割（大小为1 MB），将NMB 的文件切分成N块数据集团，见表1。

表1 Split 算法伪代码

因为数据集团在加密时都会产生数据误差偏移，所以每个偏移都有特殊的数值标记，对这些偏移进行追踪，减小数据集团之间的加密干扰。

1.3.2 Map 映射构建环节

分割后的数据集团经过I/O 向不同的映射管理器（Mapper）进行传输，每个Mapper 都对该设定的数据集团进行加密，当加密所产生的数据误差达到峰值时，这些参与加密的Mapper 要对该数据集团进行超混沌映射，见表2。

表2 Map 算法伪代码

1.3.3 Reduce 重建环节

根据Map 输出的加密数据集团中数据的大小计算加密钥匙的序列长度，获取加密信息的输入原始数据和初次迭代加密的次数，对数据进行下载、储存。

当所有数据信息集团顺利通过以上所有加密系统的相关操作后，重建处理器（Reducer）对这些加密后的数据块进行采集、整合并将其按顺序排列，逐一筛选、组合排序后的数据块，将其融合为统一的加密文件，向外输出最终的加密文件，超混沌加密操作结束。

2 加密实现结果分析

2.1 加密运行环境

Hadoop 大数据运行平台为4 个节点的X86 主从架构服务器。平台设置Inter i3-8100 的核心运行系统，运行设置3.6 GHz/6 MB，总储存量为26 GB，在平台外接256 GB 的移动硬盘。

Hadoop 大数据超混沌加密运行体系是序列号为1.6.0_88的Ubuntu17.05，JDK，在Eclipse Luna Service Release2（4.4.2）的运行基础上完成相关操作。加密操作采用序列号为 Vmware Workstation 12 Pro 12.5.2 build-4638744 的虚拟装置。

2.2 执行效率

在未联网的情况下对计算机数据进行Hadoop 大数据超混沌加密，再结合分布式HDFS 与MapReduce 融合机制对计算机传输信息进行加密，可以很好地避免因信息不能及时上传所导致的内存不足进而引发的系统崩溃问题，提高加密钥匙序列与数据信息的相关程度，减小对信息进行加密过程中的重复次数，提高对计算机信息进行加密的效率。

由表3～表5 可知，Hadoop 大数据超混沌加密方法与传统方法相比，该方法在保证加密稳定性的基础上提高了加密速度，减少了加密过程的耗时，同时有效地减小了对计算机内存的消耗，增加了计算机信息的吞吐量。

使用传统方法进行计算机数据加密操作时，如果计算机处在未联网状态，那么过大数据集团会导致计算机系统崩溃，使计算机内存瞬间崩盘，从而导致数据加密进程中断。但是通过该文所设计的方法进行计算机加密操作后，通过表3～表5 的数据可以看出，在数据规模达到512 MB～1 024 MB 量级时，数据加密处理时间没有呈线性增长，而是趋于平缓。分析原因：数据规模为1 024 MB 时，映射进程达到了MapReduce框架在内存空间用以放置数据以及索引数据的环形缓冲区，MapReduce 框架开始频繁执行spill 程序，将环形缓冲区的数据写入磁盘，提高数据处理的效率，耗时缩短。

表3 各个模式的时间统计

表4 各个模式的内存统计

表5 较大数据规模的时间统计

在传统加密过程中，被加密数据参数可以保证原始数据在每次叠加的过程中保持不变，当非授权者对加密数据进行强制访问时，只要专注对1 个加密漏洞进行攻击，就能轻而易举地获得加密钥匙。该文所建立的超混沌加密系统在进行大数据超混沌加密后，每个数据集团所生成的加密信息块通过自身连接进行分割，数值域不同的数据集团会产生不一样的加密信息块。非授权者不能通过攻击漏洞来获得加密钥匙。与此同时，大数据超混沌加密系统严格地对数值域相同的数据集团进行读取，可以有效地提升加密效率。同时，能够减小加密预处理的时间，还能使加密后的数据不占用计算机运行内存，减少对计算机内存的消耗，提升运行效率。

通过以上对加密效果的分析可以看出，该文所设计的方法有效地减小了数据加密的误差，提升了计算机数据加密的效率，还提高了计算机网络的安全性能。

3 结语

该文利用Hadoop 大数据技术设计出超混沌文本加密方法，经过实验结果得出，该方法明显提高了信息数据在传输过程中的加密效率。该方法能够对不同的数据进行加密储存，与传统的加密方法相比，该方法更加精准、可靠，同时还有优化内存的效果。但是，由于该文未进行多次试验，因此没有对该方法的普适性进行验证，需要在今后进一步开展相关试验。