基于大数据时代的数据挖掘及分析

时间：2024-09-03

中国人民解放军77169部队熊伯安

基于大数据时代的数据挖掘及分析

中国人民解放军77169部队熊伯安

随着信息技术的不断发展，人类进入智能社会的进程不断加快。智能社会的发展带动了互联网、物联网、电子商务、现代物流和网络金融等现代服务业的发展。网络信息的广泛应用，造成各种业务数据几何级数形式的巨大增长，这就给数据的收集、储存、分析和应用等带来极大的困难。2011年5月，麦肯锡全球研究院正式提出“大数据”的概念，在大数据时代的大环境下，大数据挖掘的核心框架、本质、应用、算法、数据和平台等如何有机结合，这是这个时代高科技工作者共同面临的重要课题。

大数据；数据挖掘；数据应用

随着人类进入信息化时代，越来越多的数据需要处理，人类进入“大数据时代”，人类对信息的掌握达到前所未有的速度、厚度、细度和准确度。面对大量的数据，对这些数据进行挖掘和分析，并将这些运用到各行各业的发展中，推动社会的不断发展，成为当今大数据时代的必行之路。

1.大数据的简述

2011年5月，在EMC举办了主题为“云计算相遇大数据” ，“大数据”概念被首次提出。掀起了学术界对于“大数据”的研究和讨论。大数据具有规模大、类型多、价值高、处理速度快等特点，数据增长速度日渐增快，以至于传统的主流数据库管理工具根本无法满足数据增长的需求，日益增长的数据的存取、分析、收索、共享和可视化需要大数据技术的支持。

由于大数据的迅速发展，不断有专业信息技术研究机构对“大数据”进行了解释和分析。信息技术的不断发展带来了科学技术的变革，大数据环境下人民的生活、工作和思维正在随着信息技术的更新悄无声息的改变着，大数据成为时代变革的先行者。据权威机构的不完全统计，超过百分之九十的数据是近两年来才创造出来的。数据的巨大增长速度代表的不仅仅是发展速度，还代表着巨大的数据信息量。

数据挖掘是大数据时代的一项重要技术。数据挖掘可以从大量的数据中搜索出隐藏在大量数据中具有特殊关系型的信息过程。它是数据库知识发现KDD中的重要步骤。知识发现KDD过程包括数据准备、数据挖掘、结果表示和解释三个阶段。数据挖掘需要数据库技术、统计学、人工智能、云计算和可视化等学科的积极配合。

2.大数据挖掘及分析

数据挖掘的实际应用功能大致分为分类去隔法、推算预测法、序列规则法等三类。具体又分为分类、聚类、回归、时间、关联、序列六个分项。数据挖掘利用这些分项功能对大量数据进行挖掘，发现那些被隐藏的信息对于社会的发展有巨大潜在价值。

数据挖掘过程是一个复杂的建模过程。大量的复杂数据为建模提供依据，各种数理模型能够对大量数据进行有效的分析和整理，从而获取有用的信息数据帮助用户了解情况，为客户划分市场寻找对策提供最基础最有效的数据支持。在数据挖掘过程中经常需要统计分析的一些知识和方法的支持。数据挖掘过程是一个复杂而细致的过程，数据挖掘过程还需要联机分析与处理系统、专家系统及模式识别系统等科学方法的支持。数据挖掘是一种运用数据搜素技术分析整理企业所需技术的方法。规律性的联系被隐藏在大量的数据中，数据挖掘就是把这种隐藏关系进行搜索和分析，在数据挖掘过程中，通过数据建模对大量数据进行分析，利用数据模型把隐藏在大量数据之中的关联性、规律性从数据中提取出来。

当今社会已经进入大数据时代，从数据的快速发展来看，工业、农业、教育和军事等多个信息化的发展过程中肯定会产生庞大的信息数据需要处理，这就对数据挖掘和数据分析提出更高的要求。随着社会的发展，数据在不断的增加和更新，数据挖掘和分析的技术也在不断的进步。现行条件下数据分析方法大致分为描述性分析、推断性分析、差异性分析、相关性分析、预测分析五大类。这几种数据分析方法相互配合，为企业或机构的发展和需求提供必要的数据分析结构和信息资源，促进企业或机构的高效管理和竞争力。

3.基于大数据时代的数据深度挖掘策略

由于企业对大数据资源有开发方面的需求，于是便有了数据的深度挖掘。企业拥有大量宝贵的数据资源，它们都希望从中提炼出最有用的信息与线索。深度数据挖掘包括了准备阶段、挖掘阶段以及结果的表达和解释工作。数据挖掘的手段也有很多，诸如关联分析、分类分析、聚类分析、特异群组分析以及演变态势分析等。根据数据中的差异性，可以很好地建立分类模型，这样做有十分明显的作用，它能够把状态细分化，实施更具有针对性的营销，找到更有价值的客户群体。可以在进行正式分类前先进行一次估计，然后根据估计结果对数据进行预分类，再进行修正直到达到更好。

对数据进行预测有着十分重要的意义，这是对数据进行深度挖掘的一个不能缺少的过程，也是对于数据挖掘更为高级的应用。预测不仅是估计大数据，更要求根据这些大数据进行准确的预判。预测要对以前做好的大数据集进行分析整理，对它所代表的现实世界进行抽象，初步得到最基本的模型，然后从信度及效度两个方面对模型进行检验，确保建立的模型的准确性。建立模型只是一个对数据进行模拟的过程，其目的是通过这一过程对未来趋势进行预测，尽量达到准确。数据本身是过去的，从这一方面来说它们只能代表过去，但是我们可以通过模型找到其产生的基本机制，使预测成为可能并有准确性。过去的数据并不只是能够表示过去，它们是十分珍贵的财富，因为从这些数据之中我们能够预测未来。预测是一个复杂的过程，据统计，目前有关预测已经存在的模型已经有了几百种，就算是最常用模型的也有好几十种，因此这个过程有待于进一步提高和改进。现实世界是复杂的，虽然说预测技术到目前有了突飞猛进的发展，但是预测只是预测，永远都替代不了现实，而且任何已经存在的模型都不一定比量身定做出来的更符合当前的业务。目前，可以运用于大部分企业应用的模型有很多种，包括多元回归、非线性回归、AR模型、MA模型等各种各样的预测模型。还有一些是专业级统计应用软件，比如矩阵实验室、SAS、SPSS、MATLAB等，这些也为深度数据挖掘提供了便利条件。

4.大数据时代数据精细管理浅析

如果说数据挖掘提高了企业的洞察力，那么大数据管理的精细程度则为企业提供了数据管理方面的保障。目前，大数据的精细管理仅限于大型企业，尤其是互联网或其他高科技企业，因为庞大的数据量在目前并不会出现于普通百姓之家，即使一些企业有数十年的数据量，也都没有达到大数据的水平。不管是以利润为中心，还是以客户为中心，大数据的精细管理都是一种推动力量，有利于推动企业的发展。大数据的精细管理为其提供了管理方面的基础，同时为差异化竞争提供了原始理论方面的强有力支撑。目前大型企业在精细管理方面存在着不少问题，正是由于这些问题的存在才导致企业主营业务缺乏方向性、针对性、导向性以及向心性等诸多问题。