计算机大数据分析与云计算网络技术

郇涛 山东信息职业技术学院

引言

在新时代的互联网背景下，传统的数据处理方式和数据处理技术都已经很难满足能够对大规模数据进行有效处理、分析的要求，大数据工作也因此面临着诸多问题，例如数据过于分散、数据量庞大以及数据结构存在漏洞等。为了真正实现大规模数据信息的输入、输出、存储等功能，并不断推动数据信息处理技术的发展，不断调整和优化数据信息的整体架构，人们提出了一个新的网络应用概念——云计算。云计算的核心概念是以互联网为核心，在网站上提供云计算服务和数据存储，最终形成一个庞大的计算资源与数据中心。通过云计算，人们不仅能够通过多种渠道获取数据信息，而且还能满足数据信息在传播时的一系列性能需求，例如安全性、准确性等。基于摩尔定律可以推测，每年的数据信息总量都会呈现出线性增长趋势。因此，云计算也在不断面临着新的挑战，只有更加精确、高效、迅速地处理和分析数据，才能满足人们日益增长的需求。

1 大数据的特征和应用

整体来看，大数据共有五大特征：庞大性、丰富性、价值性、高速性以及准确性。由于大数据能够实现数据的准确分析和研究，因而在各个领域都起到了极大的促进作用，间接性地提高了我国生产建设以及经济发展的水平。在云计算环境下，大数据的容量和架构是不尽相同的，其应用主要包含以下三种架构：

其一，融合式架构。融合式架构可以将大量的数据信息进行整合，并采取相应的优化处理，从而提升系统的可操作性。这样一种架构模式被称为用户/服务器模式。服务器可以对系统进行管理和整合，具体来说，就是对其中的程序进行管理和设置，对其中的数据的运行是否符合逻辑性等进行判断和处理等等。

其二是分散式架构。这一架构类型最显著的特点是，其可以将不同的模块以较为均匀的形式散落分布在不同的客户端当中。如此一来，整个系统就可以在其内部实现具有高度灵活性的自我控制，与此同时，其自我调整也会更加便捷。立足于此，这一类型的架构也能够为系统的整体安全性提供保驾护航的力量。但是其同时也存在着不容忽视的缺陷，那就是这一架构无法提供有效性水平较高的数据信息储存功能和数据维护功能。除此之外，当客户在这一架构下进行注册的时候，就会遇到数据错误的问题，而无法顺利完成注册。

其三是混合式架构。这种架构类型兼具了以上两种类型的优势，其在分发和传播相关的数据信息的时候，所依赖的主要是服务器。而当其在进行不同用户之间的数据交互的时候，主要依赖的则是客户端。

2 大数据和云计算的关系分析

云计算在本质上是一种模式，其存在的目的是为了使得当前不断增加的互联网服务器以及相关的虚拟资源能够获得有效的运行和及时的处理。由于其具有无可比拟的数据处理功能，因此，其在进行数据处理的时候，所需耗费的资源较少，但是，其所能够提供的网络共享服务，却具有十分不容小觑的功能。具体来说，云计算具有以下几大方面的特性，其一是可扩展性，其二是虚拟性，其三是通用性，除此之外，其还具有着无可比拟的安全性，同时，其规模也是其他计算模式所无法企及的。据统计，云计算能够实现千台服务器以上的计算规模，而且还能够将其所获得的数据进行虚拟化的处理。与传统的本地计算机相比较，这一计算技术，能够立足于不同应用本身的特点，来进行针对化的数据处理，以此来为对方提供更高质量的数据。其次，如若用户的需求规模发生变化，那么这一云计算的规模也会进行相应的自我调整。而用户在使用这些数据的时候，可以实现跨行业的运作方式，同时无需花费较高的成本。

而具体来说，大数据和云计算之间的联系是密不可分的。前者可以将后者的成熟技术作为其进行数据处理的基础，而后者则可以为前者提供不容忽视的大规模数据处理的技术支持。与此同时，由于大数据在实践过程当中，对于数据处理方案有着极大的需求，因此，这也在很大程度上推动了云计算技术的稳步发展。

3 浅析以云计算为基础的大数据处理技术

3.1 集中和分布式采集技术

具体来说，大数据拥有两种采集信息的方式，其一是集中式的，其二是分布式的[4]。如果使用者看重的是对数据的整体性进行把控的能力,那么则可以采用集中式的技术。而如果其看重的是对数据进行灵活性处理的能力，那么则可以采用分布式的方式。而大数据技术所要采集的信息内容，主要就是客户端的使用者们在与不同的平台进行互动的过程当中所产生的一系列数据。而这些数据信息有可能是相对独立的，也有可能是较为分散的。因此如果能够借助大数据将这些分散的信息关联起来，那么则能够对其进行有效的利用。而云计算则可以有针对性地解决这些大数据的采集问题，并使得相关的数据都能够被储存在各个组织所配备的服务器当中。

3.2 存储技术

当前，互联网每天所产生的数据都是海量的，且其同时具备分散性较强的特点。因此，如果借助传统的数据存储方法，则无法有效地使得当前的数据处理需求得到及时的满足。而且如果采用较为传统的处理数据的方式，其同时还需要花费较长的时间，同时效率也不高。在这样的背景下，如果能够基于云计算技术，借助于其独有的列式存储数据的途径，来使得属性迥异的数据可以进行合理的分割，并配备相对独立的存储单元，那么则能够使得数据最终的处理效果得以获得极大的提升。除此之外，由于这种存储数据的方式能够使得以往数据所占用的空间得以极大地压缩，因此，也能够节省不容忽视的数据存储成本。

3.3 挖掘技术

立足于云计算这一技术,大数据的处理和挖掘工作可以以更为全面的方式来进行。在联机分析的基础之上,云计算所制备的挖掘技术可以通过对于诸多数据的充分挖掘，来借助模型的方式对其进行表达。与此同时,这一技术也可以使得诸多潜在的数据得以被充分的挖掘出来，并使其价值最大化。

4 结语

近年来，大数据正以无可抵挡之势席卷全球的各个角落，当前已经没有哪一个行业能够离开大数据而独立存在了。而云计算作为一种为大数据提供技术支撑的基础，其所具有的高水平的数据处理模式，不仅能够给大数据模式的运行提供前所未有的助益，与此同时，还能够节省大量的数据分析和处理时间以及空间，来为大数据提供更为智能的运行模式。