基于概率的并行粒子群AKO-RVM入侵检测

马文海，胡 平

（南京工业大学 计算机科学与技术学院，江苏 南京 211816）

基于概率的并行粒子群AKO-RVM入侵检测

马文海，胡 平

（南京工业大学 计算机科学与技术学院，江苏 南京 211816）

AKO-RVM算法不仅具有高分类精度的特点，相对于RVM算法其在一定程度上降低了性能对初始参数的依赖性,在入侵检测网络安全的方法研究中优于经典RVM算法。然而AKO-RVM样本训练与分类用时较长，为此提出一种基于概率的主辅式并行粒子群AKO-RVM方法，即将训练样本进行分组，先采用并行主辅式粒子群算法确定AKO-RVM核宽参数并进行优化，进而构造RVM分类模型，继而采用一对一分类方法应用于多类检测中。入侵实验结果表明，所提出方法在具有高精度与性能、低依赖性等特点的同时，较大程度上降低了训练所需迭代次数与检测时间。

入侵检测；相关向量机；概率并行粒子群优化

0 引言

随着网络信息量的爆炸式增长，网路攻击手段层出不穷，入侵检测在保护网络安全方面起着至关重要的作用，如何高效准确地对大量数据进行处理成为目前急需解决的问题。因此，先进的智能分类技术在入侵检测领域的应用研究具有重要的现实意义[1-2]。相对向量机(RVM)具有SVM良好非线性处理能力与泛化能力，能够有效解决非线性、小样本问题等优势[3]。但 RVM核函数参数的选择太依赖经验性，学者们提出一种相对向量机自动优化核宽(AKO-RVM)的算法[4]，它可以有效减少RVM对其内核初始参数选择的依赖，提高分类精度，但在收敛速度与计算复杂度方面的优化有明显不足之处。本文提出一种基于概率的并行粒子群优化AKO-RVM的方法[5-6]，首先通过AKO-RVM算法对样本分组并进行训练，其次使用并行主辅式粒子群(PSO)算法[7]对分组后的核宽进行优化，在保证 AKORVM算法进度的同时有效提高了其收敛速度并降低了其计算复杂度，进而探索相关向量机的快速算法，提高入侵检测的精度。

1 自动优化相关向量机核宽算法

1.1 相关向量机

相关向量机(RVM)是建立在支持向量机(SVM)上的稀疏概率学习模型。 给定训练样本集，目标值 tk∈R与 xk∈RN都相互独立分布，式(1)给出两者关系：

其中λk为相对独立的附加噪声，且满足期望为0、方差为 σ2的高斯分布，估计函数 y(xk)可由线性加权模型y(x|w)给出，通常线性加权模型 y(x|w)为：

其中 w=[w0，w1，…，wN]T为线性模型的权重因子，K(x，xk)为训练样本预先设定的核函数，由线性加权模型可得估计函数y(xk)，虽然RVM模型对核函数的选择没有任何限制，但在RVM模型中应用最为广泛的是高斯核函数，其核函数模型定义为：

其中b为核函数核宽。而在实际应用中，由于训练数样本是随着时间动态变化的，因此固定的核宽可能会导致RVM模型性能的下降。据此根据AKO-RVM算法提出一种动态改变RVM核宽的方法。

若想求得式(1)，即对样本集进行分组训练，就必须了解RVM边缘似然函数的对数模型,其模型为：

由以上可以看出对RVM样本集训练分类过程就是迭代求解α的过程，并最终通过RVM边缘似然函数的模型求得式（1），之后根据式（1）对样本进行分类。

1.2 AKO-RVM算法

AKO-RVM算法根据训练样本的不同自动改变高斯核函数的核宽，保证了RVM训练结果与RVM核宽的初始值设定无关，因此式（2）可改写为：

其中γ为几何平均值。为解决式（6）约束性问题，引入拉格朗日乘子λ，将约束问题变为无约束问题求解，最优核宽bch可变为式(7)所示：

之后通过将自变量bk与λ对Γ1进行微分计算，并结合式(7)来计算核宽的迭代公式。

由以上可以看出AKO-RVM算法主要是针对不同的训练样本迭代出适合的核宽，进而迭代求解α，最终求得式（1），并根据式（1）对样本进行分类。

2 基于概率的主辅式并行粒子群AKO-RVM优化算法

粒子群算法（PSO）是通过追随当前搜索到的最优值来进行全局最优值的计算，其追随速度 Vi=(vi，1，vi，2，…，vi，d)与位置 Si=(si，1，si，2，…，si，d)更新公式为：

其中 τ1、τ2为(0，1)之间的随机数，Pbest与 Gbest分别为粒子群的当前局部最优解与全局最优解。由文献[8]可知，当θ取随机数，且 Lmax为最大迭代次数，C1=2.5-2l/Lmax，C2= 3-C1时，可以使PSO算法性能得到增强。

标准粒子群算法采取串行比较方式，局限性较大。为获得更好的性能，本文提出一种基于概率的主辅式并行粒子群AKO-RVM模型（P2AKO-RVM）。

如图1所示，P2AKO-RVM算法首先对训练样本进行分组，分组后的样本根据式（7）分别求出核宽 b，然后将其分别送入辅处理器中，辅处理器将粒子个体最优信息通过概率计算后发送给主处理器，主处理器寻找概率适应度最大的核宽粒子，将其作为新的全局最优解，辅处理器接收新的全局最优解，并使用其进行下一次的速度更新与适应度的计算。文中定义ξ为概率系数，且P2AKO-RVM的适应度值Ffitness的公式定义如下：

其中，T为当前输入的训练样本的信号长度，zt为每组中的粒子个数，Mt为训练样本分组的个数，q3为加速比。

图1 基于概率的主辅式并行AKO-RVM算法原理框图

P2AKO-RVM算法具体步骤如下：

(1)对总训练样本进行分组，每组训练样本的数目为m，文中选取m为3，若存在剩余训练样本，则舍弃。

(2)通过式(7)对分组后的训练样本分别计算RVM核宽粒子b。

(3)将核宽粒子b均分为m组，并将分组后的 RVM核宽粒子b发送至对应的m个辅处理器，若存在剩余粒子，则舍弃。

(4)在m组并行辅处理器中对RVM核宽粒子群初始化，随机给出每个粒子的初始速度与位置，确定其迭代精度、加速系数等参数。

(5)在 m组并行辅处理器中根据式（10）计算 RVM核宽粒子b的适应度。

(6)并行辅处理器进行寻优并将其个体最优信息发送至主处理器中。

(7)主处理器寻找概率适应度最大的 RVM核宽粒子b并将其作为新的全局最优解发送回m个并行辅处理器。

(8)并行辅处理器判断迭代是否满足设置的精度要求或者粒子已完成迭代，若满足则终止迭代，否则将主处理器发送的新的核宽粒子跟新为的全局最优解，重复步骤(6)。

(9)将优选出的最优 RVM核宽粒子代入式（3）进行相关向量机的训练与检测。

2.1 P2AKO-RVM算法主处理器流程

(1)接收辅处理器发送的概率适应度。

(2)在接收的所有的m个粒子中找到其概率适应度最大的 Ffitness。

(3)若当前全局极值的适应度值大于所选 Ffitness，则将Ffitness对应的粒子位置作为新的全局极值。

(4)将新的全局极值送至辅处理器中。

2.2 P2AKO-RVM算法辅处理器流程

(1)接收主处理器发送的全局极值,并判断核宽粒子是否达到预设精度要求或者已完成迭代,若是辅处理器结束迭代，否则进行步骤（2）。

(2)由式（8）与（9）更新当前粒子的速度与位置信息，并将其发送至主处理器。

3 实际应用

本文实验样本选取 kddcup_data_10precent入侵检测数据包作为实验样本,共选取4种模式进行实验验证：normal、ipsweep、neptune、smurf，分别定义为1、2、3、4。除Normal外都为异常的入侵模式。每种模式各自选取500组数据，其中选取各模式的前100组数据作为训练样本其余的为检测样本，即共计400组训练样本，以及1 600组训练样本。文章分别采用RVM、AKO-RVM、P2AKORVM进行入侵检测，如图2所示。

图2 RVM、AKO-RVM、P2AKO-RVM入侵检测结果

图2中P2AKO-RVM算法选用3个并行辅处理器(m=3)对400组样本进行训练，由此可知每个辅处理器最多迭代45次，每次迭代都会选取一个最优核宽，大幅缩减了AKO-RVM算法的迭代次数。

图3为AKO-RVM、P2AKO-RVM两种算法的边缘似然变量随迭代次数的变化曲线。

图3 AKO-RVM、P2AKO-RVM边缘似然变量曲线

由图3可看出，P2AKO-RVM算法大幅度缩短训练迭代次数的同时保证了内核宽度的最大化。在一定程度上，其最大化速度快于AKO-RVM。

表1为分别基于3种算法的入侵检测性能方面的比较，文中使用了检测准确率、检测误报率以及检测用时3种种指标进行衡量。定义分别为：

表1 实验结果比较

由表1可看出在相同的实验条件下，相对于RVM，AKO-RVM与P2AKO-RVM算法在入侵检测上的检测精度得到较大提高，尤其是 P2AKO-RVM算法，相对于AKO-RVM，在保证了较高检测精度的同时大幅度降低了训练迭代次数，并减少了一定的检测时间。

4 结论

本文提出一种基于概率的主辅式并行粒子群AKORVM的网络入侵检测方法(P2AKO-RVM)，P2AKO-RVM可以在保证了AKO-RVM算法分类精度的同时，快速优化出适合当前训练样本集的核宽参数。通过实验验证表明，P2AKO-RVM方法不仅减少了RVM初始化值对训练与检测精度的影响，而且在保证了较高检测精度的同时大幅度降低了训练迭代次数，在入侵检测领域应用更优于RVM与AKO-RVM算法，具有较好的应用前景,后续还可以针对RVM多核函数等方向进行一定研究。

[1]RAMAN S，HARISH K，SINGLA R K.An intrusion detection system using network traffic profiling and online sequential extreme learning machine[J].Expert Systems withApplications，2015，42(22)：8609-8624.

[2]吴良海.基于粒子群优化相关向量机的网络入侵检测[J].微电子学与计算机，2010(5)：181-184.

[3]TIPPING M E.Sparse Bayesian learning and the relevance vector machine[J].Journal of Machine Learning Research，2001，1(3)：211-244.

[4]YALDA M，HAMID S.Gaussian kernel width optimization for sparse Bayesian[J].IEEE Transactions on Neural Networks and Learning Systems Learning，2015(4)：709-719.

[5]李国栋，胡建平，夏克文.基于云PSO的RVM入侵检测[J].控制与决策，2015(4)：698-702.

[6]SABAN G，HALIFE K.A novel parallel multi-swarm algorithm based on comprehensive learning particle swarm optimization[J].Engineering Applications of Artificial Intelligence，2015(10)：33-45.

[7]MALIK A J，SHAHZAD W，KHAN F A.Network intrusion detection using hybrid binary PSO and random forests algorithm[J].Security and Communication Networks，2015，8 (16)：2646-2660.

[8]CHEN S.An efficient predistorter design for compensating nonlinear memory high power amplifiers[J].IEEE Trans.on Broadcasting，2011(4)：856-865.

Intrusion detection using automatic kernel width optimization RVM based on probabilistic parallel PSO

Ma Wenhai，Hu Ping
（College of Computer Science and Technology，Nanjing Tech University，Nanjing 211816，China）

AKO-RVM algorithm not only has the characteristics of high classification accuracy,but also reduces the dependence of the performance of initial parameters relative to the RVM algorithm to a certain extent.In the study of intrusion detection method of network security，it is better than classical RVM algorithm.However training and classification of AKO-RVM sample are longer，therefore this paper puts forward a kind of based on the probability of advocate complementary type parallel particle swarm AKORVM method,the training samples are grouped,advocate complementary type parallel particle swarm optimization algorithm is adopted to define the first AKO-RVM nuclear parameter and optimize it,and then the RVM classification model is constructed.Then adopting the classification method is applied to the type of testing.Invasion of the experimental results show that the proposed method has high accuracy and performance characteristics as well as low dependence，at the same time,it largely reduces the number of iterations needed for training and testing time.

intrusion detection；relevance vector machine；probabilistic parallel particle swarm optimization

TP393

A

10.16157/j.issn.0258-7998.2016.11.032

马文海，胡平.基于概率的并行粒子群 AKO-RVM入侵检测[J].电子技术应用，2016，42(11)：119-121，125.

英文引用格式：Ma Wenhai，Hu Ping.Intrusion detection using automatic kernel width optimization RVM based on probabilistic parallel PSO[J].Application of Electronic Technique，2016，42(11)：119-121，125.

2016-03-28)

马文海（1989-），通信作者，男，硕士研究生，主要研究方向：计算机网络安全、机器学习，E-mail：mawh_1989@163.com。

胡平（1962-），男，硕士，教授，主要研究方向：计算机网络安全、物联网及人工智能等。