联通公有云平台下军校多源数据融合清洗技术

李弘扬， 史令飞， 张利龙

（海军工程大学， 武汉 430033）

0 引 言

随着5G 和物联网技术的发展，采用数字化云平台体系构造的方法进行军队院校的数字化管理，构建智慧化的校园管理体系，通过对智慧教学支持平台构建，结合大数据分析方法，实现对军队院校管理过程中的数字化信息调度。 军队院校管理的运维数据主要有科研管理数据、教学管理数据、学生画像数据以及师资分析数据等多源数据，这些多源数据的种类分布主要分为教学管理类、学生管理类和科研管理类以及资产管理类等［1］。 采用大数据的云融合技术，结合对海量数据的采集、清洗和调度处理，提高军队院校的数字化信息管理水平。 在进行军队院校的多源管理数据处理中，处理数据存在冗余，需要采用数据清洗技术提高对数据分析的针对性，因此，研究军校多源数据融合清洗技术，对提高数据调度和共享能力方面具有重要意义［2］。

对数据清洗是建立在对数据的融合滤波和抗干扰设计基础上，构建滤波检测模型，通过动态参数融合和线性化调度，结合数据行为特征参数分析和提取，实现对信息化管理数据的清洗处理，传统方法中，对信息化管理数据的清洗技术主要有基于protocol buffers 调度的数据缓存清洗技术、基于PSO粒子群调度的数据聚类清洗技术以及基于网格调度的数据清洗技术等［3］，通过对待清洗数据的非线性时间序列分析和包络幅值检测，通过线性预测方法实现对数据的动态清洗和优化调度，但传统方法对复杂平台体系下的数据清洗聚类性好。 针对上述问题，本文提出基于联通公有云平台调度的军队院校多源数据融合清洗技术。 首先构建军队院校的信息化管理数据的大数据挖掘模型，然后采用冗余数据滤波技术实现对多源管理数据的滤波处理和数据强化跟踪，结合优化的数据聚类算法，实现数据融合清洗，最后进行仿真测试分析，展示了本文方法在提高军队院校多源管理数据动态清洗融合能力方面的优越性。

1 平台总体构架

为了实现联通公有云平台下军校多源数据融合清洗，构建基于CiteSpace V 的军队院校多源数据融合调度模型，构建军队院校多源数据动态融合清洗数据库，结合AD 信息采样进行军队院校多源数据采样，在联通CMP 多云管理平台体系下，通过联通机房控制，结合动态融合的分布式云数据清洗技术［4］，采用交叉编译和PCI 总线协议进行军队院校多源数据融合清洗的平台体系构建，将军队院校的信息化管理系统分为管理资源数据库模块、网络模块、人机交互模块和接口控制模块等，通过对管理员的权限配置和动态参数分析，结合管理用户分配，建立底层数据库，信息管理平台的底层结构如图1 所示。

图1 平台底层结构模型Fig. 1 Platform bottom structure model

根据图1 的底层结构模型，采用嵌入式的BS 总线调度下进行军队院校多源数据动态融合清洗的数据库体系结构设计，对军队院校多源数据融合清洗平台设计分为数据采集输入单元、数据库模型调度单元、数据集成加工单元、数据三维可视化处理单元以及人机交互输出单元等［5］，得到联通公有云平台下军校多源数据融合调度模型的实现结构如图2 所示。

图2 平台实现结构流程Fig. 2 Platform implementation structure flow

通过ADO.NET 组件库建立军队院校多源数据融合清洗平台的3D 可视化处理模型， 采用ModelBuilder 3D 中间件技术进行军队院校多源数据动态融合过程中的私有云平台调度，在上述总体结构设计的基础上，进行数据清洗算法设计［6］。

2 多源数据挖掘和特征分析

2.1 军队校园多源分布大数据挖掘模型

构建以科研管理数据、教学管理数据、学生画像数据以及师资分析数据等为一体的大数据挖掘模型，根据对数据采集的活跃状态节点分布式部署，结合传感信息融合跟踪识别［6］，建立军队校园多源分布大数据分布的样本集，得到K个近邻样本值为：

其中，x表示多源数据调度节点汇聚链路增益；di表示科研管理数据的动态调度特征分布集；Cj表示联合自相关分配参数；Sim（x，di） 为相似度；y（di，Cj） 为校园全域感知的动态信息特征分配参数。 基于可视化的数据特征重构技术，建立军队院校数字化信息管理的云平台处理模型，得到数字孪生的动态稀疏特征分配模型表示为：

其中，

采用线性化的均衡调度方案，实现军校多源数据融合过程中的边缘分布式检测，得到边缘特征分布检测模型为：

其中，

通过稀疏性特征重组，结合线性均衡调度和分块特征匹配，实现对军队校园多源分布大数据挖掘，根据数据挖掘结果进行样本特征点匹配［7］。

2.2 数据异构特征分析

在构建了大数据挖掘模型的基础上，结合对分配数据的联合关联相似度分析，采用模糊自相关特征匹配技术，建立军队校园多源管理数据时间序列的检测统计量，得到检测统计特征分配模型参数表示为：

其中，a0为数据融合调度过程中的特征匹配系数；xn－i为任意某时刻点p处的语义相似度分配的条件概率密度；bj为每个节点采集的军校信息化管理的匹配数据。 采用回归分析方法，建立数据异构特征匹配模型，得到特征匹配函数为：

其中，xa，b，d，p为第m类匹配数据的边缘联合特征分配特征向量；Vp为整合移动平均自回归参数；为军队院校多源管理数据融合的联合加权；（S） 为大数据模糊隶属度；B为学习行为的多维特征分布集。 根据上述分析，采用基于物联网模型的数字孪生技术建立智慧校园动态管理数据的可视化调度模型，采用冗余数据滤波技术实现对多源管理数据的滤波处理和强化跟踪数据。

3 数据融合清洗算法实现

3.1 数据冗余滤波和强化跟踪学习

采用模板匹配技术，对军队院校多源数据进行动态增益控制，构建双向链路管控模型，表示为（k，i），提取军队院校多源数据融合相关性特征量，采用联通公有云平台调度方案，结合3DStudio MAX 软件进行军队院校多源数据融合清洗的过程分配，得到清洗过程的过程分配特征子集：

其中，pdrop为军队校园多源分布大数据清洗的冗余特征分量；k1为自相关特征匹配系数；l为数据分布的长度；Ecomm是动态约束参数。 在重连通图中，通过数据融合聚类处理，结合聚类中心的强化跟踪学习，实现对数据冗余滤波［8］。

3.2 数据模糊C 均值聚类及清洗

采用无线传感器网络的共享调度的方法，建立军队校园多源管理数据匹配模型，通过模糊C均值聚类进行节点的参数动态调节［9］，得到模糊C均值聚类中心分别为p和q，链路l的联合特征匹配模型参数通过频率间隔指数TL×1（l ＜L） 调节，数据清洗的动态调节模型表示如下：

其中，Fp1和Fq1为军队院校多源数据分布节点的能量匹配系数。 在N个簇首节点中，通过大数据融合、预测和自适应处理，得到冗余滤波系数为p∈［0，p1，p2，…，pmax］。 根据计算数据的状态差异度函数，得到匹配周期矩阵PN×1，数据清洗输出为：

其中，i为数据清洗的冗余参数配置节点；G为连通图；λi为冗余数据的分布网格单元；σ为协方差。 基于冲突调节机制，采用模糊C 均值聚类，得到数据特征参数提取和信息融合输出为：

其中，σ为sink 节点周围的统计分析数据；G为模糊C 均值聚类簇；hi为最大跳数；γi＝γth为阈值。 根据上述算法设计，实现对数据模糊C 均值聚类及清洗，提高数据的调度和检索能力［10］。

4 仿真实验测试

为了验证本文方法在实现军队院校多源管理数据动态融合清洗的性能，数据采样的动态分布覆盖范围为240×120 个网格节点，数据采样的频谱分布特征量为Pe＝0.12；种子节点集分布概率Pd＝0.09，云平台虚拟机初始能量为90 KJ，吞吐量为23.4 B／S／HZ，多源数据管理平台任务分配参数分布见表1。

表1 多源数据管理平台任务分配参数Tab. 1 Task allocation parameters of multi－source data management platform

根据上述仿真条件设定，进行军队院校多源管理数据采样，得到原始采集的数据如图3 所示。

图3 原始采集的数据Fig. 3 Original collected data

以图3 的军队院校多源管理数据为测试对象，采用本文方法进行多源数据融合清洗调度冗余数据并封装后返回到docker 中，得到输出的数据如图4所示。

图4 冗余清洗输出Fig. 4 Redundant cleaning output

分析图4 得知，本文方法能有效实现对军队院校多源管理数据冗余数据，提高了数据的动态提取能力。 测试数据清洗过程收敛性，得到测试结果如图5 所示。

图5 收敛性测试Fig. 5 Convergence test

图5 采用多元回归联合自相关分析方法进行数据清洗性能的收敛性测试，分析得知，随着嵌入维的增大，清洗过程逐步收敛，测试数据的查准性，对比结果见表2。 分析得知，本文方法对数据的查准率比传统方法提升12.3%，

表2 查准性测试Tab. 2 Comparison of precision test

5 结束语

采用大数据的云融合技术，结合对海量数据的采集、清洗和调度处理，提高军队院校的数字化信息管理水平。 本文提出基于联通公有云平台调度的军队院校多源数据融合清洗技术。 构建军队院校的信息化管理数据的大数据挖掘模型，结合动态融合的分布式云数据清洗技术，将军队院校的信息化管理系统分为管理资源数据库模块、网络模块、人机交互模块和接口控制模块等，通过数据融合聚类处理，结合聚类中心的强化跟踪学习，实现对数据冗余滤波和清洗。 分析得知，本文方法提高了对多源数据的动态清洗能力，数据调度过程的抗干扰性较强，数据采集和检索的查准率较高，在构造军校多源数据管理平台和数字化建设中具有很好应用价值。