基于深度学习的矿井无线网络流量预测研究

王跃文，常 琳，李 鸣，3

（1.中国矿业大学计算机科学与技术学院，江苏徐州 221116；2.安标国家矿用产品安全标志中心有限公司，北京 100013；3.矿山数字化教育研究中心，江苏徐州 221116）

我国是世界最大产煤国，矿井安全始终被国家和煤矿企业高度重视。随着煤矿安全监测水平特别是通信技术的不断提高，煤炭安全生产形势已明显好转。尤其矿井无线通信网络的广泛应用，极大的改善了煤矿安全检测、快速救援、生产管理的效率[1]。

矿井无线通信系统发展经历了小灵通、WiFi、3G、4G 技术[2]，随着地面第五代移动通信技术（5G）的逐步成熟，将5G 技术应用在矿井的需求越来越强烈[3]。与此同时，煤矿自动化程度不断提高，越来越多的矿井设备利用无线通信网络传输数据。然而，矿井无线通信技术的应用面临着许多考验。首先，井下巷道环境复杂，存在大量可燃性气体，这严格限制了通信设备的发射功率，但无线终端多需要电池供电，因此，为了保证无线终端较长的巷道中长时间工作，只有降低煤矿无线通信系统的能耗。其次，巷道中工作人员和机械设备具有一定流动性，同时矿井中数据、视频等数据业务大量涌现，使得静态的网络覆盖不能充分利用每个无线网络中的频谱和能量资源，故一个灵活的动态覆盖通信方法将更加适应未来矿井高速率多媒体的无线通信需求。无线网络流量的精确预测能够提升无线网络的智能化程度，实现网络动态的拥塞控制，辅助基站实现基于流量的动态覆盖，减少网络资源的耗费，提高网络能效，最终实现网络的自组织管理、最优化配置。

流量预测的目的是通过现有的流量历史数据通过某些算法提取流量波动的相关信息精确预测下一个时间段的流量。在几十年的无线通信领域发展过程中，无线网络流量的分析与预测也在稳步发展[4]。已经有很多学者提出许多不同的流量预测方法。这些方法主要有基于时间序列的流量预测方法、基于机器学习的流量预测方法和基于深度学习的流量预测方法。

文献[5]提出一种基于差分整合移动平均自回归模型（ARIMA）的流量预测方法，该方法主要是利用了流量数据中规律的数据进行流量预测，但模型仅具有线性表达能力，而流量数据主要是由非线性数据组成，这导致了ARIMA 模型应用能力较弱。目前，由于机器学习和深度学习具有强大的特征表达能力，已成为网络流量建模的主要方式。无线网络流量预测作为复杂时空预测问题，研究人员在该领域做了大量的研究工作。文献[6]将循环神经网络（RNN）应用于基站流量预测，取得了不错的效果。为了同时捕获流量中的时间和空间相关性，文献[7]利用了卷积神经网络，通过基于参数矩阵的融合策略，融合不同种类的时间依赖性（周期性），使用多层卷积来学习空间上的依赖性增强模型的特征表达能力。文献[8]结合卷积神经网络和循环神经网络对互联网流量进行预测。在空间特征的提取方面，文献[9]研究了特殊卷积神经网络对于空间特征提取的效果，认为深层残差网络比一般卷积神经网络堆叠效果更好。而在时间特征提取方面，文献[10]研究了不同人工神经网络的互联网流量预测算法，实验认为，循环神经网络能够有效提取时间特征，比堆叠自动编码器表现更好。

以上流量预测研究一部分侧重于利用流量数据的部分特征进行预测，另一部分研究在时空特征提取或融合方面有待进一步加强。因此，为了充分利用流量数据中存在的时空特征进行预测，提出了一种有效的时空卷积全连接网络（CL-FCCNet），该模型利用残差网络捕获无线网络流量的空间依赖，基于循环神经网络捕获无线网路流量的时间依赖，将2 个模型提取出的时空相关性由全连接层融合输出，实现无线网络流量的精确预测。

1 面临问题与数据分析

1.1 流量预测研究内容

流量预测的思想是通过数学表达式来表示未来一段时间内的流量变化情况，在流量数据中呈现复杂的非线性。流量预测图如图1。

图1 流量预测图Fig.1 Traffic forecast

1.2 数据分析

通过无线网络流量的具体变化情况分析无线网路流量所具有的特征，2 个区域的流量变化情况如图2。

图2 2 个典型区域的流量变化情况Fig.2 Temporal distribution of the wireless traffic of two typical regions

图2 中，横坐标表示时间，纵坐标CDRs 表示随时间变化的流量数值情况。精确的流量预测即如何有效利用流量数据中存在的流量变化特征，即在空间上各个区域间的流量呈现相关性，在时间上单个区域内的流量变化也呈现周期性和突发性，来预测未来时间段内流量的变化。流量数据中存在特征的简要描述如下：

1）区域内复杂的周期性时间特征。如图2，单个区域内的流量变化呈周期性波动，但流量数据在周期性波动的同时也并非与上一个时间段的波动完全相同，具有一定的突发性。流量波动的周期性与人们的日常行为有关，无线网络流量的需求随时间变化，每天在固定的时间形成高峰与低谷。同时流量波动具有突发性，流量预测模型需要准确的表达流量数据中存在的周期性和突发性。

2）区域间复杂的关联性。矿井内不同区域的无线流量变化情况是与设备和人员的流动相关的。随着井下工作的进行必定会造成无线网络设备的移动，从而影响无线网络流量的变化。

3）其他影响因素。矿井下工作环境复杂，任何突发情况均有可能影响流量的波动，如矿井事件、节假日等。

综上，准确的无线网络预测模型不仅需要涉及区域内流量波动特征，也需要建模区域间网络流量相关性，因此，综合考虑以上多维度建模流量数据中所携带的相关信息。

2 时空残差卷积网络

时空残差卷积网络架构图如图3。它由2 个部分组成：①残差网络模块：用来生成数据流量序列的空间特征；②循环神经网络模块：提取流量数据序列的时间特征。如图3,经过处理后的历史数据输入至由卷积神经网络和批规范化组成的残差网络，从而提取流量数据的空间特征，随后转换数据维度，输入到循环神经网络中，以提取流量数据的时间依赖，最后通过全连接层对包含时空特征的循环神经网络的所有输出产生预测数据。

图3 时空残差卷积网络架构图Fig.3 Main architecture of CL-FCCNet

2.1 模型计算步骤

2.1.1 输入矩阵的维度扩充

模型使用same 的padding 方法对输入数据进行处理，使得输入数据在卷积时不会丢失边缘数据，以获得更多的空间特征，same padding 示意图如图4。

图4 same padding 示意图Fig.4 Schematic diagram of same padding

输入数据的尺寸为W1，步长为S，则same padding 的输出形状计算公式如下：

式中：［］为向上取整符号；new＿height、new＿width为输出数据的高度和宽度。

2.1.2 残差网络建模空间相关性

残差网络通过卷积的方式建模信息，relu 作为激活函数，加入批标准化处理加快空间依赖建模速度、打乱训练数据、约束训练参数，从而优化卷积神经网络中梯度消失梯度爆炸等问题。此外，传统的卷积神经网络的子采样操作会损失边缘数据，过多层子采样的叠加可能会使模型进入过拟合。因此，模型在使用残差网络时直接进行卷积操作，卷积堆叠方式如图5。残差网络单元如图6。

图5 卷积堆叠方式Fig.5 Convolution stack mode

图6 残差网络单元Fig.6 Residual unit

残差单元可以表示为：

式中：xl、xl＋1为第l 个残差单元的输入和输出；hr为恒等映射函数；Fr为残差函数，表示学习到的残差，在图中为直线箭头所经过的部分；Wrl为第l 层残差的权重；yl为第l 层恒等映射函数与残差函数的累加和；f 为激活函数。

从浅层l 至深层L 的学习特征公式如下：

式中：xL为第L 层残差网络输出；i 为从第l 层至第L 层残差网络的迭代。

残差网络实际输出数据XC∈kn×H2×W2，kn为最后1 层卷积层卷积核个数，H2、W2为输入张量尺寸。

2.1.3 数据维度的转化

残差网络为卷积神经网络，单次输出数据为三维数据，而长短期记忆网络单次输入数据为二维数据，需要将数据维度转换。转换公式如下：

式中：Re shape 为维度变换函数；Xc［i1，j1，k1，m1］为残差网络输出张量，整体输出数据为四维数据，且各个维度上的数据量分别是i1、j1、k1、m1；Xr［i2，j2，k2］为长短期记忆网络输入张量，整体输入数据为三维数据，且各个维度上的数据量分别是i2、j2、k2。

2.1.4 长短期记忆网络建模时间相关性

长短期记忆网络主要由输入门、输出门和遗忘门组成，输入门负责数据的输入，决定输入的新信息。输出门输出计算后的数据，如当前单元的输出值以及传递到下一个单元的隐藏状态值。遗忘门则负责从当前状态中丢弃哪些信息。具体过程如下：

1）输入数据会经过遗忘门，遗忘门会根据前一时刻的隐藏状态值ht－1和当前输入信息xt决定是否丢弃遗忘门输出信息ft，遗忘门输出结果ft会通过sigmoid 函数将数值映射到［0，1］区间，然后与上一个单元的状态值进行对应元素乘法运算。映射在0附近则对应状态信息被遗忘，映射为1 附近则状态信息被保留。

式中：Wf为权重；bf为偏置；σ 为激活函数。

2）将输入数据经过更新门，确定更新信息it。更新门输出结果同样映射在［0，1］范围内，为了计算状态信息ct还需要让更新门输出数据与输入数据xt经过tanh 函数的输出相乘，得出的结果与经过遗忘门输出的状态信息逐点相加，成为当前单元的状态信息ct。更新门的操作可以表示为：

式中：Wi为更新门权重；bi更新门偏置。

3）将输入数据输入输出门，得出输出门输出ot以及本单元的隐藏状态值ht。其中ot的计算公式如下：

式中：Wo为输出门权重；bo为输出门偏置。

4）计算单元状态信息ct和隐藏状态ht。

式中：ct－1为上一单元的单元状态；°为哈达码积（2 个矩阵对应位置相乘结果为矩阵）；σc为单元状态信息激活函数；σh为隐藏状态激活函数；Wc、Zc为可学习权重矩阵；bc为可学习偏置。

2.1.5 使用全连接神经网络融合时空特征

在残差网络提取空间特征，长短期记忆网络提取时间特征之后，输入至全连接神经网络整合时空特征输出预测结果：

3 试验与结果分析

受条件限制，无法取得井下的无线网络流量数据，但无线网络流量数据存在共同的特征。因此试验采用的是日常条件下的无线网络流量数据。

由于数据中包含流量的输入输出，存在不符合的数据。因此，需要在输入模型前先对数据集进行简单的预处理。预处理过程如下：首先将原始数据时间戳进行转换；累加区域内同一时刻不同首发区域的数据；将数据集转换为时间、网格横坐标、网格纵坐标、流量情况的符合模型输入的矩阵形式；处理异常和缺失数据，原始数据中存在明显超出流量范围的异常数据和缺失数据，根据公式将异常数据和缺失数据替换为附近数据的平均值。

3.1 试验参数设置

将历史数据的90%用来进行模型的训练，剩下的10%作为模型训练情况的验证。模型设置34 层残差网络，其中卷积核的数目是64/128，卷积核的大小为3×3/5×5。模型采用的激活函数是Relu，其表达式为：f（a）=max（0，a）。相较于其它激活函数relu能够克服在训练过程中梯度消失的问题，也能够加快模型的训练速度。长短期记忆网络的层数选择2/3 层，每层单元数目是64/128。在模型中增加信息丢失层，丢失概率是0.5。

本次试验使用深度学习框架TensorFlow 和Keras 在Linux 环境下的GPU 上运行。

3.2 试验对比和分析

为了对比本模型的试验结果，在相同的数据集上试验了现有的多个模型，并对试验结果进行对比。具体对比模型如下：ARIMA 为整合移动平均自回归方法，用来描述预测原始数据序列，识别后利用历史数据和当前数据预测未来的值，是经典的时间序列预测方法；LSTM 为长短期记忆网络，适合处理和预测长期的时间序列数据；GRU 为门控循环网络，长短期记忆网络的一种很好的变体，具有更简单的结构，提供较好的效果，能够减少需要训练的参数数目；3DCNN 为一种将卷积维度从二维扩展到三维的网络，处理时间序列数据能够对时间和空间进行卷积；CNN+RNN 为卷积神经网络和循环神经网络的组合模型，能够独立提取时间信息和空间信息，在时间序列预测问题上具有良好的表现。

采用均方误差RMSE 和平均准确度MA 作为评价指标，用M 表示输出序列数目，yi，yˆi分别为预测值和真实值。利用RMSE 和MA 参数，可以衡量预测值和实际流量数值的差异。

3.3 试验结果

试验结果对比见表1。试验对流量数据进行建模和预测，然后用RMSE 和MA 进行CL-FCCNet 与5 个基线模型之间的性能比较。

表1 试验结果对比Table 1 Test results

从表1 的试验结果中能够明显看出，提出的试验模型在无线网络流量预测中具有一定的优势，在所有基础模型中RMSE 最大的提升幅度为ARIMA，相比为39.85%，最低的RMSE 优化幅度为3DCNN，相对提升4.38%。正如相关工作所分析的内容，传统的时间序列预测方法具有自身的局限性。ARIMA 模型无法综合考虑流量变化的相关影响因素，虽具有一定的适用性但流量变化预测准确性最低。在本次的试验条件下，ARIMA 模型的预测RMSE 为7.98，预测准确度为80.21%。采用深度神经网络的预测模型在预测结果上均具有一定的优势，其中循环神经网络模型能够对流量变化数据进行线性建模的同时综合考虑流量变化的相关影响因素，在本次试验结果中，LSTM 模型和GRU 模型的RMSE 分别为6.12和6.48，MA 分别为86.65%和85.97%。LSTM 和GRU 均采用对输入数据线性处理的方式进行预测建模，LSTM 结构相对复杂需要训练更多的参数，GRU 简化了模型结构在保留模型功能的基础上减少训练参数，进一步了减少训练量。但二者作为循环神经网络的发展模型，还是存在循环神经网络存在的普遍问题，即在训练长序列数据时由于数据量较大而记忆单元容量有限，模型不可避免的需要丢失一部分预测相关数据造成预测的精度下降。三维卷积神经网络（3DCNN）在本次试验中的预测结果为RMSE 的5.02 和MA 的89.64%。此次预测结果相对于仅考虑时间相关性进行建模的循环神经网络（LSTM 和GRU）的预测结果有一定的提升，说明在进行无线网络流量预测时将无线网络流量变化点之间的相关性纳入模型预测影响因素中有助于提高流量预测的准确性。同时，在本次试验中卷积神经网络和循环神经网络的组合模型所取得的预测结果为RMSE 的11.03 和MA 的74.87%。组合模型虽然考虑到了时间和空间上的因素对流量预测的影响，但可能是由于相关影响因素提取的不彻底或者是在相关性的传递过程中丢失部分数据造成预测的准确性下降。

提出的无线网络流量数据预测模型对于一般的三维卷积神经网络超过4.38%，优于其它对比模型。模型充分利用不同深度学习模型的优势，采用分开建模的方式利用残差网络获取数据中的空间相关性，利用循环神经网络建模数据中的时间依赖最终通过全连接网络输出预测数据。试验结果表明，模型具有一定优势。

网格数目增加预测性能变化情况如图7，每次试验增加225 个预测区域。流量预测值与实际值对比如图8。

图7 网格数目增加预测性能变化情况Fig.7 Predicting performance changes as the number of grids increases

图8 流量预测值与实际值对比Fig.8 Comparison of prediction and real on traffic prediction over a period of time on a grid

从图7 可以看出，所有的模型随着预测范围的扩大，预测精度呈现下降的趋势。但所提出的CLFCCNet 模型相较于其它模型具有一定的优势。这说明，利用流量数据中存在的时空特征能够对无线网络流量进行更加精确地预测。模型使用残差网络和长短期记忆网络能够精确地建模无线网络流量的时空特征，在输出阶段使用全连接神经网络能够很好的融合2 个模型分别提取的特征。因而CL-FCCNet模型在预测范围扩大的情况下对预测精度的影响较小，从而在大范围流量预测中也具有一定的优势。

从图8 对比结果可以看出，模型能够较为准确地预测流量的变化趋势，但是预测的细节还有待加强。从图中可以看出在流量剧烈波动的细节部分预测准确度较低，但能够准确的预测流量的变化趋势。从结果来看，模型能够较为准确地预测流量的变化情况。

4 结 语

无线网络流量的精确预测是构建安全高效矿井无线网络的基础，结合残差网络、循环神经网络模型，提出一种时空卷积（CL-FCCNet）模型。该模型利用残差网络获取无线网络流量的空间特征，基于循环神经网络获取无线网络流量时间特征，并最终利用全连接神经网络融合时空特征，增强模型预测的准确性和稳定性。通过在真实的无线网络数据集上进行测试，结果表明空间依赖和时间相关的相互作用在流量预测中起着重要的作用。提出的模型CL-FCCNet具有更简单的结构，在保证较高准确率的前提下极大降低时间复杂度，使结果具有更高的时效性。未来，将收集真实的井下无线网络流量数据，引入影响流量波动的其他因素进行试验优化预测模型。