开源仍是大数据技术创新重要模式

赛迪智库

大数据在各行业全面深度渗透，应用场景不断丰富，有力地促进产业格局重构，驱动生产方式和管理模式变革，推动制造业向网络化、数字化和智能化方向发展。

2017年，随着《大数据产业发展规划（2016-2020年）》等重要政策发布实施，我国大数据逐步进入发展黄金期，产业规模呈快速发展态势。据赛迪统计，包括大数据硬件、大数据软件、大数据服务等在内的大数据核心产业环节，2017年达到4222亿元，将在2020年超过1.2万亿元;大数据关联产业规模，2017年达到7万亿元，将在2020年超过11万亿元;大数据融合产业规模2017年达到5.5万亿元，将在2020年超过22万亿元。从大数据核心产业结构来看，基于大数据的服务仍是核心产业的主体，其规模约占大数据核心产业规模的90%。随着大数据于各行业领域的不断深入应用，大数据融合应用产业将迎来巨大发展空间，其增速将远超大数据核心产业本身。

发展概况

（一）政策体系不断完善，产业环境持续优化

2017年，中央和各省市接连出台多项大数据相关政策，为推动产业快速成长提供良好环境。工信部发布《大数据产业发展规划（2016-2020年）》，全面部署“十三五”期间大数据产业发展工作，加快建设数据强国。国务院发布《新一代人工智能发展规划》《关于深化“互联网+先进制造业”发展工业互联网的指导意见》、工信部发布《促进新一代人工智能产业发展三年行动计划（2018-2020年）》，加强大数据与新一代信息技术的融合发展;发改委等部门出台《关于促进分享经济发展的指导性意见》，促进大数据在新型经济领域的深入应用;网信办出台《中华人民共和国网络安全法》《个人信息和重要数据出境安全评估办法（征求意见稿）》、信标委出台《信息安全技术个人信息安全规范》，加强网络和信息安全、个人信息安全及隐私保护，推进大数据法治化进程。

同时，各省市对大数据的推进力度进一步加强，通过相关政策、项目、技术和应用推动大数据发展。一是建立组织机构。大数据不仅涉及电子信息制造、软件和信息服务、通信等信息产业，还涉及与各行各业的融合创新以及在经济社会各领域的深入应用，因此大数据发展需要能够统筹协调各个部门的专门管理机构。我国已有贵州、广东、上海、辽宁、四川、广州、兰州、成都等多个省市成立了大数据管理局，以便充分发挥政府部门的统筹决策作用和引导带动作用，在整合利用各方资源的同时，突破传统观念、部门利益等限制，快速推進大数据发展与应用相关工作，同时，各地成立大数据地方监管部门共23个。二是出台顶层设计文件。各省市纷纷出台促进大数据相关政策和配套措施，为推动大数据产业快速成长不断优化发展环境，北京、上海、广东、浙江、福建等省市均纷纷出台大数据相关产业规划和细分领域相关政策，北京、江苏、贵州等共18个省市已经颁布大数据相关政策法规。三是建立产业联盟。各省市积极引导建设以企业为主体，科研机构、高等院校、用户单位等共同参与的大数据产业联盟，加强对行业发展重大问题的调查研究，共同推进大数据相关理论研究、技术攻关、数据开放共享和创新成果应用推广，参与有关产业的政策制定。目前，我国已有大数据产业联盟20余个，在推进地方大数据产业发展、建设大数据平台、推进大数据项目实施等方面发挥了重要作用。四是推动政府数据开放和数据交易。数据是政府掌握的核心资产，也是长期以来政府治理国家、服务民生的重要依托，许多国家的政府部门已成为本国最大的数据生产者和拥有者，社会各界对政府开放数据的需求也越来越强烈。目前，我国有北京、上海等省市建设了数据开放平台，尝试推动政府数据资源开放。营造数据资源交易流通的良好环境是推动大数据产业快速发展的基础。

（二）区域布局基本形成，综合试验区引领特色发展

我国大数据产业区域布局基本形成，以京津冀区域、长三角地区、珠三角地区、中西部和东北地区等五个集聚区各具发展特色。京津冀地区着力打造大数据走廊格局，已初步形成大数据协同发展体系;长三角地区依托上海、杭州、南京等地，持续推进大数据与当地智慧城市建设，以及云计算、人工智能等其他新一代信息技术发展深度结合;珠三角地区在大数据应用创新、产品研发及产业管理方面率先垂范、具有成效;中西部地区近年来实现跨越式发展，已成为大数据发展的新增长极;东北地区依托东北老工业基地基础，不断发展工业大数据。从区域发展水平看，各省市大数据产业发展水平差异较为明显，大数据产业发达省市大都集中在东部沿海地区。北京、江苏、广东、山东、上海、福建、浙江等排名前7的省市都位于东部沿海地区，主要原因在于这些省市信息产业发展基础好，集聚了大批知名大数据、软件、电子制造等知名企业，大数据相关创新创业活跃，从而使得整个产业呈现较高发展水平。

（三）企业布局细分行业，不断夯实创新基础

当前我国大数据企业业务范围不断拓展，几乎覆盖了产业链的各个环节。其中以从事大数据分析挖掘业务的企业最为集中，所占比例高达63.7%;从事数据采集业务的企业占比为37.4%;从事IDC、数据中心租赁等数据存储业务的企业比重最低，仅为8.5%;从事数据分类、清洗加工、脱敏等预处理业务的企业占比为27.8%;从事数据可视化相关业务的企业占比14.3%;从事大数据交易、交换共享等数据流通业务的企业占比18.3%。

同时，我国企业已经在大数据领域开始布局，不仅加强物理存储设备与处理能力的建设，也加快技术产品的研发与人才队伍的培养。在软硬件方面，国内骨干软硬件企业陆续推出自主研发的大数据基础平台产品，一批信息服务企业面向特定领域研发数据分析工具，提供创新型数据服务。在平台建设方面，阿里、百度、腾讯等互联网龙头企业服务器单集群规模达到上万台，具备建设和运维超大规模大数据平台的技术实力。

在智能分析方面，科大讯飞、第四范式等企业积极布局深度学习等人工智能前沿技术，在语音识别、图像理解、文本挖掘等方面抢占技术制高点。在开源技术方面，我国对国际大数据开源软件社区的贡献不断增大。面对各行业的特性需求和不同用户的个性化需求，企业不断地创新出新技术、新产品、新业态和新模式。

（四）行业应用深度融合，应用场景不断丰富

2017年，大数据在各行业全面深度渗透，应用场景不断丰富，有力地促进产业格局重构，驱动生产方式和管理模式变革，推动制造业向网络化、数字化和智能化方向发展。

在政务领域，我国不断加强大数据在政府治理和社会服务领域的应用，整合宏观调控、税收监管、商事管理、信用体系建设、维稳、公共安全等数据资源，加快数据共享开放，提升政府治理能力，例如中兴智慧政务解决方案，通过智慧银川项目建立了十个数据系统，形成13个子模块，涵盖了智慧政务、智慧环保、智慧交通、智慧安全等多个方面，进行数据汇集、整合、分析挖掘，最终达到辅助政府决策的目标。

在工业领域，通过运用大数据技术对工业企业产生的海量数据进行分析挖掘，得到有价值的分析结果，实现工业与互联网等新一代信息技术融合创新发展不断深入，例如东方国信打造BIOP工业大数据平台，具备数据实时采集、数据整合治理等功能，可以实现从设备端到服务端的无缝衔接，通过整合现有生产端的MES、ERP、CPS等实时数据，统一汇总分析，提供实时监控、生产管理等多种生产运行管理的服务。

（五）资本市场规模增加，行业应用仍为热点

“大数据”逐渐度过概念热炒期，大数据投融资并购活动热度趋于稳定。据不完全统计，截至2017年前三个月，国内获得融资的大数据企业有150家，2016年上半年、下半年、2017年上半年国内大数据投融资金额分别为326.61亿元、455.34亿元、556.83亿元，显示国内大数据产业投融资的热度正逐渐下降，随着我国大数据产业格局日趋成熟，处在A轮（及之前）融资阶段的初创型企业占比有所减少，越来越多的企业走向了B轮甚至C轮的融资。大数据企业对资本需求更旺盛，特别是对高量级资金的需求上升迅速。

发展特点

（一）技术特点

开源技术仍是大数据技术创新的重要模式。开源是当前大数据技术创新的主要模式。根据初步统计，开源软件和开源工具包括计算软件、存储软件、查询软件、基础平台、平台管理、系统工具、数据应用等多个类型，覆盖了大数据服务产业发展的各个环节，利用开源软件企业可以在短时间内构建起大数据应用平台，进而提供各类的大数据服务。2017年7月，在大数据开源软件领域，Spark2.2的发布使得基于开源软件的大数据商业服务水平进一步提升，Structured Streaming的开发环境更加完善，将有助于端到端流应用程序的构建。

人工智能成為非结构化数据处理的利器。大数据服务中的核心环节是数据价值的挖掘，随着数据资源中非结构化数据的快速增长，传统的数据整合和处理方式已经无法满足大数据分析的需求，集合人工智能技术的大数据服务成为产业发展的重要方向。从数据对象来看，现有的大数据处理技术对于传统的结构化数据拥有较强的处理能力，而对于更多的非结构化数据，其处理难度则大大增强。从技术创新方向来看，拓尔思、东方国信等大数据领军企业均将非结构化数据处理作为其技术研发的重点，其主要思路均是将海量的非结构化数据转化为结构化数据。从技术路径上来看，人工智能技术是非结构化数据处理的重要手段，图像识别、自然语言理解等技术在大数据处理的应用更加频繁。

区块链技术正重构数据交易体系。区块链是指通过密码学方法产生相关联的一串数据块，以分布式方式实现集体维护可靠数据库的技术方案。本质上来看，区块链是一种点对点分布式账本技术，涉及数据库、安全加密、分布式计算、博弈论、共识机制等多种技术，区块链技术下的数据具有完整性、可靠性、连续性、永久性、可追溯性、精确性与透明性等特点，突出应用于有价值的数据流通方面。

（二）结构特点

数据资源是大数据产业发展的基础，也是大数据服务的基本要素，只有拥有了丰富的数据资源，才能更好地发挥数据价值，建立以数据为核心的大数据产业生态。2017年，随着越来越多的企业特别是传统行业企业对大数据的认识更加深刻，行业数据积累量稳步提升，但是，跨行业的数据鸿沟依然存在，数据流通不通畅、不充分，大数据的价值挖掘仍面临较大困难。

从产业结构来看，数据资源的开放利用至关重要，数据源服务商在大数据产业发展中处在重要位置。数据服务商通过对海量数据的采集、整合和预处理，形成了对整个大数据生态圈创新发展的基石。

在此基础上，进而推动数据价值的挖掘和应用，并带动服务器等大数据硬件、大数据分析软件等产业的快速发展。从我国大数据产业发展现状来看，以互联网巨头为代表的互联网数据源服务商在产业发展中占据了主导地位，成为构建大数据生态圈的主力军。未来，随着大数据与各行各业业务的融合渗透，拥有海量数据的行业领军企业有望成为新的数据源服务商，数字交易标准的建立将带动数据资源在各行各业中的可信流通，带动大数据服务产业的快速发展。

（三）企业特点

领军企业加速构建行业数据平台。由于数据源在大数据发展中处于基础性关键地位，拥有数据资源的企业在大数据发展中处于优势地位。从我国大数据产业发展现状来看，拥有海量互联网数据资源的百度、腾讯、阿里巴巴，以及拥有电信运营数据的电信运营商，在大数据产业发展中处于领先地位。在拥有大量数据资源和大数据关键技术后，互联网大数据服务巨头纷纷开放大数据服务平台，为企业和个人用户提供丰富的大数据服务应用。百度凭借深厚的数据积累，在大数据服务领域占据一定的竞争优势，其提供的数据服务和产品包括了行业洞察、营销决策、客群分析、舆情监控、店铺分析、推荐引擎以及数据加油站等;阿里巴巴推出了大数据平台“数加”，在此基础上提供了20余个大数据产品，涵盖数据采集、计算引擎、整合加工、数据分析、机器学习、数据应用等数据应用服务。

行业企业深耕行业应用需求，提升垂直领域竞争优势。除大型互联网企业之外，我国行业领军企业和深耕行业信息化的科技企业则聚焦于行业应用，为特定行业企业提供大数据服务。经过多年的积累与发展，金融、电信、政务、商贸等领域数据资源较为丰富，信息化发展水平较高，为行业大数据的发展提供了有利条件。在此背景下，垂直领域的大数据服务业呈现出快速发展态势，在营销、预测、预警、智能管理等场景下实现了应用。