大数据、人工智能和云计算融合的总体构架与实现

何力

（成都市大数据中心 四川省成都市 610000）

伴随着科学技术的发展，人工智能、大数据、云计算三者都是科学发展的良好结果。人工智能的出现属于三者中最早，与大数据相比，人工智能有着更大的发展年龄。经过了多次的动荡之后，原本的计算力与训练数据量这一瓶颈技术，被大数据成功攻克，进而帮助人工智能得到了迅速的发展。经过与大数据分布式技术结合后，人工智能拥有了极大的发展前景，而这样的发展方向也让人工智能与大数据两者之间的发展方向出现了重合。从此两大领域进行了有机的结合。大数据的不断发展，随着数据在平台上不断地汇聚，企业大数据与技术平台对于分支机构的需求越发迫切，容器技术的出现真正的让大数据与人工智能得到了融合，而容器技术又属于云计算的一种，从此大数据、人工智能与云计算得到了真正的融合应用。

1 数据处理的发展阶段

伴随着信息技术的发展，尤其是近些年移动网络的迅速建立，各大行业对于数据的生产量以及储存需求量，呈现了几何级别的增长趋势。数据处理性能在数据量急速增长的情况下受到了巨大的挑战，同时数据量的增长也让数据种类出现了各种各样的分支，让数据处理手段产生了新的要求。对于企业的数据应用维护来说，在生产过程中，许多种类稍微偏颇的数据，往往形成了一座座数据孤岛，无法进行归纳与整理，同时计算也存在着极大的困难。伴随着大数据技术的不断发展，企业对于数据处理技术也在不断地提升，在图1 中对于企业数据处理转型的阶段变化进行了表述。

在大数据刚刚发展的阶段，数据孤岛让数据无法整合，为了将数据孤岛清除，从而建立了一些数据归集，在数据归集的基础上，作为数据归纳的标准化进行数据合并。在此阶段中，企业对于数据的处理往往是以进行储存检索为主要方向，为结构化的数据处理提供各种API 与少量SQL 支持。但在此阶段中主要的阻碍是海量的SQL 业务无法转移到大平台中，数据无法转移让数据技术的发展出现了瓶颈，影响了大数据的发展。

在第二阶段中，企业客户对于大数据平台的需求主要展现为能够将数据进行更好的结构化规范，同时将以往的it 架构迁移到分布式架构中。针对于这点想要将架构进行迁移，就需要将SQL 技术进行重新开发研究，因此各大厂商在SQL 领域进行了竞争，不断提高SQL 标准的兼容程度。SQL 技术的发展，让数据分布式事物的难题得到了解决，从而让SQL技术成功的跃入了企业客户的眼帘。而SQL 的兼容程度越来越高，让更多的业务场景能够将这种技术应用于信息储存中。同时伴随着技术的提升，强大的分布式计算能力，让更多的客户可以使用SQL 对海量数据进行处理。伴随着众多企业用户数据处理能力的提升，数据分析研究技术的不断提高带来了流处理技术的发展。

图1：企业数据处理转型阶段性变化

在最后阶段中，一些企业用户已经将关系型数据库作为核心，从而建立了一个数据处理体系。在这样的数据处理模式中，数据技术能够成为数据处理的核心技术，将这项技术作为核心后，能够出现一个全新的处理体系。SQL 体系伴随着时间的发展，已经无法满足企业用户对于数据处理的需求，因此想要使用传统计算机算法中的分布化架构。但最终受限于结构化数据的学习挖掘，并没有实际进行。而随着深度学习技术的不断推广与分布式技术的碰撞，新一代计算框架横空出世，这其中包括tensorflow 等等。在这一项技术得到运行后，各种各样的新型技术横空出世，这其中包括人脸识别、车辆识别、智能客服、无人驾驶等等。从此，大数据计算系统、与人工智能、云计算系统得到了完美的结合，各项数据已经逐渐走向了企业的生产生活中。

2 大数据、人工智能与云计算的融合

在未来的发展中，企业的数据资源已经不再封闭，已经能够让各大部门都能够接触到数据的使用。伴随着数据处理技术的不断发展，企业面临着众多的问题，这些问题都需要使用大数据人工智能进行良好的处理应用。在大数据发展的最早一段时间内，所做的仅仅是在计算框架内，提供相应的作业调度算法。伴随着企业的发展与社会的进步，对大数据提出了更多的需求。除了依旧对资源管理较为粗放之外，大数据已经能够进行计算框架资源的管理。而云计算技术作为一项资源隔离封装虚拟化以及管理调度的技术，主要的应用方向就是对上述问题进行解决。但是在容器技术被广泛接受之前，云计算技术往往主要应用于虚拟机封装资源，而并没有得到重视。这项任务进行过程中，云计算技术主要负责在其上进行加载操作系统，这就导致资源的利用率极低。在云计算技术发展的早期，有厂商尝试将大数据平台建立在虚拟技术的云化平台上，但是由于资源利用以及大数据平台的稳定性问题，这方面的尝试并没有得到成功。伴随着容器技术的发展，以及一些其他技术概念的形成，大数据人工智能基础平台开始在容器云构建底层资源管理调度平台。从定义的角度来讲，平台就类似于为大数据和人工智能进行操作系统的分布式平台，将集群中存在的各类资源进行封装与管理。也就是说，通过平台的建立，人工智能、大数据与云计算三项技术真正的实现了融合发展，而主要的发展方向依旧集中在对数据的处理中。通过各项技术的使用，能够让原本的数据处理模式得到相应提升与发展，虚拟的运化平台主要的发展案例是中国邮政大数据平台，有效的提升与发展能够更好的让数据得到提升。

3 技术融合的总体构架与实现

本文所挑选的技术融合对象主要是中国邮政大数据平台，在中国邮政大数据平台中，使用了TDH 作为基础构架系统，同时搭配了TOS。这种基础构架系统， 产生了新一代的逻辑数据仓库与数据集市，完全取代了以往的数据构架系统。

在中国邮政大数据平台中，主要的服务集中于各类系统，同时通过云容器来实现多租户的数据分析挖掘，从而保证数据的储存安全性和储存质量。在中国邮政大数据处理中，智能分析体系从业务层到管理层，最后到决策层，都有着相应的建立。在中国邮政大数据平台中，还会对相应的风险与收益进行量化和模拟，保证邮政各项业务的收益能够得到计算。同时通过大数据系统中国邮政还能对全面经营状况进行掌握，从而实现宏观决策所必需的数据提供。在中国邮政服务的过程中，大数据平台建立了5 大基础服务集群。以5 大数据集群为基础，达到了4 个维度统一，分别是数据管理，服务管理，运维管理与安全管控。在4 维度达到统一以后，还会对6大应用领域展开应用，这其中包括风险管控，决策支持，服务支撑，流程优化，品牌创新，交叉营销。数据库与数据仓库的构建基础是TDH。而各类数据语言汇集到一起的方式是esb，这其中包括业务系统数据，实时流数据，合作单位数据，互联网数据等等。

无论是数据湖还是数据仓库，建立的基础理论都是TDH，这也就决定了在中国邮政大数据平台中，能够将各方面的数据进行综合后处理。通过数据资产目录的方式来对数据进行标号，从而让数据的检索更加简单轻松。而在进行数据录入的过程中，系统会将数据自动从数据湖中加载分析，再分发到各个租户的个人空间中，从而让开发人员的数据使用难度降低。需要注意的是，在数据使用完成后，开发人员还会将数据成果应用在数据湖内，实现对外数据的供应。由此可见，中国邮政的大数据平台技术已经接近成熟，可以作为行业内的典型案例以供学习。

4 人工智能、大数据与云计算的融合发展研究

伴随着科学的发展，时代的进步，各项高新技术都有了巨大的飞跃。作为未来发展的主要目标，人工智能、大数据与云计算的运用范围有了巨大的扩大，三者之间的界限日益模糊。云计算的发展让人工智能得到了迅速的提升，而大数据和人工智能则促进了云计算的进一步深入发展与大规模运用。也就是说，大数据人工智能以及云计算系统三者相辅相成，不断帮助对方得到进一步的提升和发展。在当下，我国的科学技术依旧处于发展阶段，众多经济企业都对人工智能、大数据与云计算的发展提供了支持，这让人工智能、大数据与云计算的使用越发广泛。人工智能方面首当其冲，在人们的生活中人工智能已经越来越常见，在生产生活中成为了必不可少的一部分。而人们对于人工智能的硬性需求，也促使了人工智能得到进一步的发挥发展，让人工智能的分类得到更为精细和丰富化。

而在另一方面，大数据发展的方向是在各领域进行广泛应用。大数据系统的存在让人们意识到数据所能带来的商业化帮助，而想要让大数据得到进一步的发展，云计算技术需要进行相应的提升。在当下的发展进程中，云计算技术已经得到了充分的发展与进步，而主要的发展方向是储存方向。而由于网络的发展和人工智能的逐渐进步，让云计算所要面对的数据处理量呈现了指数性的增长。而云计算对于数据的处理能力决定了在未来智能生活中云计算的重要地位。在未来的发展中云计算是数据进步的基础之一，更是在时代发展中不可缺少的一部分。

在未来的发展过程中，人工智能、大数据与云计算三者之间的界限将日益模糊，进而发展成为一体化的高新科技，而三者之间的关系也从以往的互相帮助到如今的互为基石。需要注意的是，这三者之间，无论哪种科技，想要发展都需要得到另外两种技术的水平突破支持。因此未来的发展中，需要将人工智能、大数据与云计算三种科技视为一体，重要程度不分上下。

5 结束语

无论是云计算、人工智能还是大数据，人们的生活将会通过这三样技术而受到一定的影响，伴随着社会的不断提升，人们对于这三样技术也将产生更大的需求。因此为了满足社会中人民群众的生活需求，三者之间的融合发展已经属于未来发展的主要趋势之一，在未来的形势中需要加强三者的融合推动。主要目的是让三者能够更快地进行融合，同时为社会提供更多的便利与帮助。