基于云计算的大数据处理及关键技术分析

田丽华

（吉林工程技术师范学院应用理学院 吉林省长春市 130052）

云计算技术是互联网技术推出的全新计算方式，采用这样的计算方式能够根据网络平台不同的需求来实现资源信息的完全共享。共享资源可以包含服务器、储存器或者应用程序，在这样的大环境下不需要管理员就可以做到轻松快捷地将共享资源进行配置。结合大数据处理技术能够对海量的信息进行处理、储存和管理，能够随时查找有效信息。

1 云计算技术概述

云计算的概念较为广泛，涉及到的内容也较多，但主要提到的还是网络计算这一部分技术。通过云计算的形式来将数据以及信息进行处理加工之后广泛地传播出去。云计算具有其他技术所不具备的优秀的资源池，可以保存海量信息和数据，具有十分辽阔的空间范围，能够为用户提供优质的服务，满足人们的任何需求。对网络平台上的信息以及各项资源都能够进行系统的调整和不断地完善。云计算的内部同样也包含了许多的服务项目设施，能够结合大数据的特点对数据信息进行有效的处理，也可以通过虚拟技术来对数据进行保存，进而达到对数据有效管理的最终目的。

2 云技术与大数据处理技术的交汇点

新时代背景下，云计算已经逐渐发展成熟，通过优质的互联网技术能够将网络上的资源进行计算、整合、存储，进而形成丰富的数据资源库，随时为用户提供便捷精准的服务。云计算自身具备了无限性、便捷灵活以及透明化的特点，通过采用云计算技术能够有效对动态数据信息进行处理和分析，操作透明化的同时也能够保障准确性避免人为失误。云计算的应用范围广泛，不受地域、空间、时间、行业的限制，各行各业都可以根据企业的实际情况来选用适合自身企业的云计算模式。云计算能够高效快捷地处理数据资源，更能够结合用户的实际需求来进行计算，更有针对性地为客户提供服务。在云计算的基础上运用大数据处理技术能够起到强强联手的作用。云计算借助网络快速递收集信息，大数据处理技术则设立用户所需的平台来处理收集到的信息，这样的互相辅助能够有效地密目大数据处理技术中所存在的缺陷，在提供给用户有效数据的同时也能够提供数据存储以及数据处理的服务。可以说云计算能够充分地发挥大数据处理技术的效果，云计算可以作为大数据处理技术的优秀载体，将大数据处理技术推广到更多的行业当中。

3 云计算在大数据处理技术中的关键技术

3.1 对数据隐私的保护

图1：大数据可视化技术在企业核心业务中的展现

就网络技术而言，任何数据处理技术在安全保护方面都存在着一定的风险性。任何供应商在提供数据计算服务时都会存在着数据安全以及数据隐私保护风险的问题。云计算平台采用隐式机制的数据存储方案能够有效避免了管理密钥等复杂的数据加密过程。虽然不能完全杜绝信息泄露的情况，但极大程度杜绝了因操作失误以及云服务器自身原因而造成的数据泄露情况，采用多个云服务器的联合数据存储方案将用户数据分别存储与不同的云服务器中最后经过一个云服务器来统一进行数据计算就能够最大限度抑制数据泄露的风险。用户得到加密数据之后只需要解密数据就能够得到有效数据。这种数据保密存储方案能够有效降低投入成本，同时也能够提升云计算技术当中的数据处理效率，有效地提升了用户数据的安全系数。这种方案的优势在于能够将数据计算结果安全隐私彻底保护起来，在保障数据计算准确性的同时也能够保障计算条目数体积条目内容的安全隐私。

3.2 数据的海量存储

云计算大数据处理技术对数据存储的安全可靠和读写效率是这项关键技术的基础内容。云计算存储通常会采用分布的存储方式，即将海量的数据分别存储在集群的服务期当中，同时对数据进行备份，采用数据加密的技术来确保数据存储能够安全可靠。云计算采用HDFS 存储系统，HDFS 的容错功能较高，即使是性能较差的硬件中也能够使用，具备较大的数据吞吐量，能够应用在任何领域的数据收集方面。HDFS 系统能够采用流式的方法来读取文件系统中的所有数据。在大数据处理技术方面经常用HDFS 来作为平台之间迁徙数据的系统，这样让大数据的应用能够更加方便快捷。

3.3 对数据的有效管理

在大数据技术的关键技术中，存储是所有数据管理的基础。当数据能够进行妥善存储之后就能够对数据进行统一的管理。在管理方面，主要分为两个部分，一个是对大数据的相关内容进行管理，另一个则是对大数据的具体存储来进行管理。大数据处理技术可以根据内容来分门别类对数据进行管理，要点在于确保数据的真实可靠并且完整，这样的管理才有意义也方便之后对数据进行分析。而在数据的存储方面需要采用更容易识别以及更加科学的存储方式，这样能够方便系统在对数据内容进行识别时的工作效率，有效提升信息资源的利用率。

3.4 软硬件环境的搭建

云计算大数据处理技术的算法首先要搭建软硬件，在云计算的环境下采用HDFS 作为开源分布的整体框架，采用分布编程模型MapReduce 来进行运行。搭建环境前，需要安装Linux 系统作为计算机的集群，在虚拟机组上安装vim 以及ssh。对主机的名称和网络配置进行更改，其中包括了子网的掩码以及DNS 服务器等，同时也要对计算机群组上的所有etc，hosts 文件进行更改，更改后配置了ssh 就无须登录密码了。采用分布式密度峰值聚类算法能够进行大规模的高维度数据性能的检测，从检测结果能够看出这种算法所得的数据点副本个数的增长较为缓慢，副本的数量会渐渐变少，这样就能够有效地缩短数据点之间的距离计算次数，极大程度地减少了程序执行的时间。

3.5 对数据的采集

云计算大数据处理系统能够根据对数据采用集中式采集以及分布式采集两种采集方法。通常会结合实际的数据环境来选择更加适合更加科学的采集方式。在不同的行业中，大数据采集的过程各有不同，通过对数据资源的采集来对信息技术进行精准的计算，这两种采集方式一方面能够有效地对数据资源进行统一，另一方面也可以十分灵活地对不同的数据资源进行采集。采用独立服务器来对数据进行处理，极大程度地提升了数据的采集和处理效率，通过云计算来对数据进行分门别类的存储，有效提升了大数据的整体处理效率。我国现阶段广泛使用此技术的企业有国家电网、医院等，在系统运行过程中能够实时监控数据的运行情况，及时发现数据运行过程中出现的问题，最大限度地保障了企业数据能够安全存储，通过计算机系统来设置数据群组有效限制了数据的访问权限，对企业的计算机系统设计流程也能够起到优化的作用。

3.6 大数据可视化技术

云计算大数据处理技术还拥有可视化的特点，能够以图形或者图表等直观的方式来让用户对数据进行查阅或者浏览。用户通过更加直观的数据图表能够更加容易地理解信息中的内容。可视化技术能够清晰地将数据运行的规律展现给用户，让用户有更直观的概念，如在银行金融行业方面能够展现出阶段性的数据报表信息，财务人员能够更加直观地对数据进行对比并且对数据进行分析。同时可视化技术也能够将风险性数据信息进行单独标识，形成更加具体化的视觉结构，便于工作人员加大对风险的关注。通过可视化图表用户能够掌握数据的运行规律制定相应的风险对应措施，降低企业的经济损失。另外，大数据的可视化技术近几年也应用在建筑行业的施工过程和管理当中，通过可视化的界面能够随时掌握施工的进度和过程，并且对仓库的材料存储实现可视化数据管理，能够更加优化材料的资源配置，对工程相关数据能够进行精准的判断，为后期的建设施工打下良好的基础。单一数据的呈现已经无法满足现代人们的需求，相比于对繁琐、复杂、毫无规律可寻的数据进行阅读，人们更喜欢对可视化的数据图表行性阅读，应为人类是视觉动物，对视觉图像的捕捉能力要绝对优于对数字的阅读与理解，当前云计算与大数据处理技术已经逐渐趋于成熟，云计算与大数据处理技术的发展能够将数据可视化的问题完美的解决，通过一系列的技术处理，可以在后台通过相关技术手段将数据从数据库中钻取后，分门别类的对数据进行特定的加工处理，而后将数据通过前台传送至屏幕最终展现给观众，观众能够从例如：图1 大数据可视化技术在企业核心业务中的展现中，直观的感受到当前企业的业务具体发展情况，为企业的进一步扩张与发展提供详细的数据支持。

3.7 大数据挖掘技术

云计算大数据技术能够采用联机分析的技术对不同层次的数据信息进行分析和掌握。云计算模式下的大数据技术能够对数据的本质进行深层挖掘，通过对数据的分析来挖掘出不同数据之间的关联，采用概念模式报表等形式将关联性体现出来。当前我国大数据在海量数据中的采用的挖掘方法通常是并行的方式，传统的串行数据区域不足，同时也会消耗过多的时间，工作效率不高。采用分布式的挖掘方法能够有效地采用多样综合的方式来拆分集群，有效减少数据的计算时间，同时也能够提升数据计算的准确率。采用云计算大数据的挖掘技术比较其他的串行挖掘方式能够有效对供给系统来进行集群拆分，能够同时使用多机来进行计算，极大程度降低了数据处理的成本投入，有效提升了处理的效率和水平。

4 结束语

综上所述，大数据利用云计算这一有效平台能够在进行海量数据处理的同时深入挖掘数据中的核心内容。采用密度峰值聚类算法来进行分析能够加大大数据处理相关技术的研发深度，同时，云计算具备强大的存储能力，能够让大数据处理技术对海量信息高效处理的同时保障数据的安全存储。社会各个行业都在广泛采用云计算大数据处理技术，我国的科学技术人员应当充分掌握大数据的关键技术特点以及其充分的功能优势，更加深层地挖掘大数据处理技术在各个行业的应用价值，在现有技术的基础上不断地进行改善和革新，通过开发更多的新技术来为大数据处理服务提供更为高效的服务，这样才能够推动大数据处理技术的健康可持续性发展，进而推动社会和经济的发展，为国家的建设添砖加瓦。