基于云计算与物联网技术的数据挖掘

摘要：随着我国云计算和物联网技术的持续发展，数据挖掘技术和模型逐渐发展成熟，提高了网络数据利用率。文章基于云计算和互联网技术下的数据挖掘技术以及模型、系统研究，在简单阐述云计算和物联网技术内涵的前提下，针对以云计算和互联网技术所形成的数据挖掘系统中的数据汇集调度、挖掘算法并行、服务调度管理等多项关键技术进行探讨，并对以云计算和物联网技术形成的数据挖掘模型、系统建立进行了分析。

关键词：云计算;物联网;数据挖掘

中图法分类号：TP391文献标识码：A

Data mining based on cloud computing and Internet of things technology

LU Yu

（Wuxi City Cloud Computing CenterCo.，Ltd.，Wuxi，Jiangsu 214135，China）

Abstract：With the continuous development of cloud computing and Internet of things technologies in China，data mining technologies and models have gradually developed and matured，improving the utilization of network data. Based on the data mining technology and model and system research under cloud computing and Internet technology， this paper briefly expounds the connotation of cloud computing and Internet of things technology， and aims at the data collection and integration in the data mining system formed by cloud computing and Internet technology. Scheduling，mining algorithm parallelism， service scheduling and management and other key technologies are discussed. and the data mining model and system establishment formed by cloud computing and Internet of things technology are analyzed.

Key words：cloud computing， Internet of things， data mining

數据挖掘技术能够帮助企业以及相关部门发掘社会生活中存在的海量数据，以便在掌握人们真实需求的前提下，为其提供针对性的产品和服务。对于相关部门而言，数据挖掘技术能够深刻发掘目前国内经济社会发展问题背后的原因，在采取针对性措施解决相关问题的基础上，推动国内经济社会的发展。企业则可以利用数据挖掘技术将业务经营中积累的各项数据进行分析，充分利用这些数据反映出的市场变化规律形成正确的企业发展决策。

1概述

1.1云计算技术

云计算技术可以凭借分布式计算平台对海量数据背后的隐藏规律进行挖掘。云计算技术可以帮助用户结合真实需求随时访问计算机和数据库，并提供不同类型数据的分析处理服务，对提高数据挖掘效率及数据利用率都有着重要作用[1]。为了进一步提高数据的安全性，云计算技术可以同步实施储存和计算操作，对各项数据进行高效处理，并能够解决其中的融合性和存储问题。随着国内云计算技术的持续发展，逐渐展现出如下特征：第一，规模较大。云计算技术通常会涉及百万台服务器，这意味着能够在极短时间内对海量数据进行全面计算和挖掘;第二，资源的虚拟特征。用户可以凭借基于云计算技术的现代化装置在任意时间和地点实现和数据中心的连接，获得自己所需要的各种服务，同时数据不会在任何实体服务器内进行储存，通常会被存入云端系统中;第三，可靠性和通用性特征。云计算系统中分布的各种节点能够实现同构互换的效果，与本地计算机相比，计算可靠性得到了明显提升。

1.2物联网技术

物联网技术实际上是一种全新的网络模式，能够使用节点表示对象，并涉及数据的查询、应用、汇总等多个环节，能够将数据分别传送到不同的传感器和服务器中。随着国内物联网技术的持续发展，计算机技术和第5代通信技术的融合也变得越发深入，物联网技术可以借助实体对象与信息网络进行无缝连接，以保障业务经营的有效性[2]。国内物联网技术发展体现出如下特征：第一，可以凭借现代信息技术和电子标签技术获得生产、生活的基础性信息;第二，有着较高的信息传输可靠性，物联网可以通过无线、有线网络技术的集成处理，借助传感器和通信网络获取、传输各种信息;第三，物联网技术可以与云计算技术进行结合，进行数据信息的传输和处理，通过使用标准化数据识别技术对各项异构数据及时进行处理，从而维护海量数据的有效性。

2数据挖掘中的关键技术

2.1数据汇集调度技术

以云计算和物联网平台作为基础，数据挖掘体系逐渐形成，其能够借助云计算平台汇集和调度多种不同类型的数据，最终实现综合性管理和应用数据信息的目标。数据汇集调度技术作为数据挖掘技术的核心，能够有效连接不同格式、类型之间的数据，实现二者之间的交流，同时不同类型的数据也能够同步进行处理和连接。数据处理技术可以帮助相关人员在设计问题解决方案时，保障不同数据生成格式的统一化，具体包括联机事务处理系统的形式数据、分析处理系统的形式数据和各种日常维护日志数据等[3]。数据汇集调度技术的应用能够在深入挖掘海量数据信息背后价值的前提下，帮助企业做出正确决策。

2.2挖掘算法并行技术

基于云计算和物联网技术的数据挖掘系统拥有挖掘算法并行技术，具体可以分为可行化算法、并行化算法和并行策略等。在数据挖掘算法应用的过程中，挖掘算法并行技术同样可以引入决策树算法和关联规则算法。用户可以在使用云计算平台时，结合自己的具体需求以及数据规模选择不同的挖掘算法，以便对数据背后的价值进行挖掘以及利用。

2.3服务调度管理技术

出于满足不同业务系统服务需求的考虑，需要在综合使用云计算和物联网技術的过程中融入服务调度管理技术。服务调度管理技术可以针对服务等级、资源匹配进行科学分析，从而实现优先级服务的调度工作。在应用这一技术的过程中，同样需要保障隔离不同服务以及维持彼此之间的互斥状况，确保服务调度管理技术能够发挥应有的作用，保证云服务的安全稳定运行[4]。此外，应用服务调度管理技术时，可以通过设置服务注册、服务暴露等功能模块，开展用户所需的一体化服务管理工作。以服务调度管理技术为基础所形成的数据挖掘系统能够接入第三方数据，从而进一步提高系统的数据挖掘能力。

2.4基于云计算数据的挖掘技术

在国内信息技术持续发展的影响下，数据信息已经成为各个行业可持续发展的重要基础资源，使用云计算数据的行业若要取得市场竞争力方面的优势，必须深入挖掘核心数据中的商业价值，以实现数据价值的利益最大化目标。随着云计算数据下的挖掘技术不断发展，企业内部的数据挖掘工作在质量和效率方面也得到了明显的进步。同时，企业的数据挖掘工作总量也得到了控制，企业完全可以凭借云计算技术、物联网应用获取关于生产、生活的关键数据信息，对数据背后的规律进行全面挖掘，确保企业的生产、生活信息应用逐渐向着高质量方向发展。

3数据挖掘模型及系统

3.1数据挖掘模型

以目前结合云计算和物联网技术所形成的数据挖掘模式看来，通常是以物联网环境作为基础。但当下物联网应用拥有明显的复杂性、烦琐性和关联性特征，企业为了避免数据模型中的应用出现问题，会在数据应用的过程中进行创新，发挥云计算和物联网数据技术在数据挖掘过程中的重要作用。以云计算和物联网技术为基础形成的数据挖掘模型可以帮工作人员对互联网世界中的数据分布特征进行全面解析，从而选择符合自身需求以及数据处理规模的方法，能够进一步推动云计算和物联网下的数据挖掘模型的发展。随着国内信息化社会的持续发展和进步，物联网数据同样出现了关联性弱、容量大、质量差等缺点。针对数据挖掘模型的应用，也需要结合数据规模方面的变化进行科学调整。基于云计算和物联网技术所形成的数据挖掘模式和传统的数据挖掘模式存在较大的差异，尤其是原始数据来源于四维空间中的时空网络表现得最为明显，而传统的物联网数据则是使用个体用点进行表示。数据挖掘模型可以合理应用云计算数据成果，尤其是网络发掘技术，实现对生产、生活数据的高质量处理，并且数据挖掘操作中的失误事件发生概率有所降低。

基于云计算和物联网技术所形成的数据挖掘模型建立需要综合考虑物与物之间的个体联系。并且，联系方面的差异意味着建立的数据挖掘模型也存在明显不同。一般而言，物与物之间存在的间接联系可以使用拉普拉斯变换模型或者是 SVD 模型表示，数学模型的差异也会带来表现结果的不同[5]。比如，目前较为常用的超图物联网数据模型就可以随意的连接预编点，借此客观展示网内的数据关联关系，最为常见的表示如下：A={ v1，v2，v3，v4，v5，v6，v7}超边集合，B={ e1，e2，e3，e4}={{ v1，v2，v3}，{ v2，v3}。同时，稳定性相对较好的可外推非参数模型的建立也需要相关人员针对事物之间的联系进行深入分析，通过建立数学模型，获得完整的数量效果。但实际上，这种模型的应用也会受到网络数据丢失以及错误方面的阻碍。

3.2数据挖掘系统

基于云计算和物联网技术所形成的数据挖掘系统，其内部结构可以分为应用层、中间层、网络层、接入网络层和感知层等。感知层作为整个数据挖掘系统的底层，一般都是以硬件和物理设施为主;中间层则是感知层和应用层之间的连接和过渡层，能够实现数据在二者之间的有效传递。中间层是处于底层的硬件层和上层应用层之间的接口，具备设备、信息管理等关键功能，同时数据过滤、语义分析、信息发现等工作也需要在这一层进行处理;应用层需要为用户提供相应的服务或者是应用程序;接入网络层在数据挖掘系统中主要是负责消息发布，并且在必要的情况下能够实时跨平台通信。

数据挖掘系统中的应用程序和中间层需要使用云计算技术实现其功能，云计算技术能够提供带有伸缩性的储存、计算时间和其他工具，为用户提供应用程序服务。基于此，网络层能够进行物联网设备和云端的连接。数据挖掘系统可以借助云计算和物联网技术形成较大的流量，在解决相关问题的过程中可以引入 fog 计算方式来否定节点。因为提供了本地化服务，以及拥有明显的低延迟和上下文感知特征，云计算技术能够提供全局集中的服务。

为了建立完善的以物联网技术和云计算技术为基础的数据挖掘系统，通常会使用readmake云或者是大数据的数据挖掘系统。微软的 Azure 机器学习作为一个以 SaaS 技术所形成的预测分析服务，能够向用户提供必要的包括数据获取、预处理、特征定义等在内的完善数据分析服务。但用户只能够在 Azure ML 学习算法中应用包括分类、回归、异常检测和聚类等方式，并且在算法扩展的过程中也只能添加有关机器学习市场上其他成熟、可用的算法，这项技术可以凭借 Azure API 发布集成性质的其他模块以及服务。

Apache Spark 机器学习库作为一种以 Apache Spark 平台为基础形成的带有扩展性的机器学习库，涵盖了最为常见的学习算法和工具，以分类、回归、聚类、协同处理等为主，拥有属于自己的 MapReduce 范例实现，可借助已有内存进行数据的储存和管理。同时，这种机器学习库算法能够进一步提高算法效率，用户也可以根据自己的需求拓展机器学习算法。但实际上，用户在对其进行具体应用的过程中，需要在地图上进行算法分解，这使得部分机器学习库中的功能有所减少，限制了数据挖掘算法的并行化能力。

作为国际社会知名度较高的开源数据挖掘库下的拓展成果，Weka4WS 实现了 WSRF 网格中的数据挖掘算法执行框架，可以做到在远程网络节点上执行拥有的挖掘算法。Weka4WS 可以实现产品的远程调用目标，Weka 提供的数据挖掘算法是一种以 Web 服务的形式进行全面公开，能够在各个网络节点上进行部署。但实际上，这种算法也只能够针对单个储存节点中储存的数据集合进行处理，并且需要将数据集合传输到需要挖掘的计算节点中。

4结束语

基于物联网和云计算技术所形成的数据挖掘算法和模型通常使用的是集中式或者是分布式架构，又以集中式结构体系为主。由于分布式结构体系能够减少终端在互联网上的网络流量，逐渐得以推广和应用。在今后的数据挖掘系统算法持续优化的过程中，相关人员需要结合物联网和云计算技术发展的全新技术成果，将数据挖掘算法分解成系统中的各个功能逐一映射到参与者身上，以便在进一步提高数据挖掘系统的数据分析性能的同时，降低终端设备和云端之间的网络流量，以最小的成本提高数据挖掘系统算法以及模型的数据处理效率。

参考文献：

[1]周鑫隆，梁婧.云计算与物联网技术的数据挖掘分析[J].电子世界，2022（2）：28?29+32.

[2]王艳雨，刘萍.基于云计算与物联网技术的数据挖掘分析[J].科技创新与应用，2021，11（35）：94?97.

[3]杨烈龙.基于云计算与物联网技术的数据挖掘[J].中小企业管理与科技（下旬刊），2021（2）：148?149.

[4]房悦.基于云计算与物联网技术的数据挖掘分析[ J].粘接，2021，45（1）：163?166.

[5]汤勇峰.基于云计算平台的物联网数据挖掘研究[J].电脑知识与技术，2017，13（7）：218?219.

作者简介：

陆煜（1983—），硕士，工程师，研究方向：物联网产业和云计算产业的发展。