政府大数据资源管理与价值挖掘机制构建

熊赢新 刘华南 章青 彭一轩

[摘 要]中国政府非常重视政务信息化、政府大数据的创新发展，但国内目前构建长效机制挖掘政府数据价值的成功案例并不多。本文以湖北省宏观经济大数据仓库项目为例，首先分析了政府大数据的应用价值与发展现状，以及数据资源管理等方面的困境;其次介绍了湖北省宏观经济大数据仓库项目多元化、融合性的硬环境设计理念与建设概况;最后阐述了如何运用互联网思维构建政府大数据价值挖掘长效机制的软环境。该项目的实践探索对构建政府大数据“存、管、算、用”价值挖掘链条具有一定的指导意义。

[关键词]政务信息化;政府大数据;大数据技术

doi：10.3969/j.issn.1673 - 0194.2019.20.066

[中图分类号]D63[文献标识码]A[文章编号]1673-0194（2019）20-0-05

0     引 言

随着互联网及信息技术的发展，政府及社会各种信息平台也相继建立并逐步完善，基于各种数据平台的集成与融合共享，人工智能、区块链和大数据技术的各种应用也日益广泛。中国政府高度重视政府大数据的应用发展，相关部门近几年先后印发了多个关于大数据发展、政务信息化的实施方案和文件，例如国发[2015]50号、国办发[2015]51号、发改办高技[2016]42号、国办发[2017]39号、发改高技[2017]1449号和国发[2018]27号等。2016年，李克强总理在贵州全国数博会上提出政府要积极参与大数据“钻石矿”的价值挖掘，推动政府信息共享。中国共产党第十九此代表大会报告中，***总书记强调，推动大数据与实体经济深度融合，培育新增长点、形成新动能。在互联网、大数据时代，及时、准确、全面的信息及分析技术能够赋予人千里眼、顺风耳和最强大脑。通过构建政府大数据平台，对来源于政府、网络和社会的各类信息进行科学汇总与综合分析，能够在辅助政务管理，支撑区域经济平稳增效与转型升级，促进社会文化发展等方面发挥重要作用。

国内电子政务等各类管理信息化建设在近年来得到快速发展和普及，积累了大量真实、权威、系统性的各类信息数据。然而在构建长效机制，合理挖掘这些数据价值的成功案例并不多。基于此，本文结合湖北省宏观经济大数据仓库项目建设与运营工作，阐述了如何通过硬环境与软环境建设，构建政府大数据资源管理与价值挖掘长效机制的整体思路以及在政务管理、决策分析等多方面的应用展望。

1     我国政府大数据应用现状与主要困境

全社会的网络化、数字化发展，极大地丰富了政府大数据的内涵，在社会管理中如何挖掘数据价值服务成为政府部门面临的新课题。

1.1   政府大数据的应用价值与发展现状

1.1.1   政府大数据的内容、特点及价值

随着计算机、互联网等信息技术的发展与管理信息化的普及，从电子商务到电子政务，从管理信息化到数字化运营，政府、企事业单位、社会组织和个人等各类社会主体的多种信息都快速地转化为信息数据，在各类信息系统中快速积累，形成了内涵豐富的政府大数据。政府大数据数量庞大、种类繁多，包含了很多高真实性、权威性、专业性的信息，是各级政府扩展触觉点、提高敏锐度，提升决策水平与执政能力的重要工具和依托。

政府大数据是产、学、研各类机构开展专业分析的主要数据来源和依据。目前，中外许多国家和地区非常重视政府数据的社会化开放与共享，统计年鉴、气象数据、行业数据等原属内部掌握的专业信息已被广泛应用，为社会各类主体的专业研究提供数据支撑，取得了良好经济效益和社会效益。

1.1.2   我国政府大数据应用与发展现状

我国近几年推动的“互联网+政务”，加速了电子政务、数字化政府等政府大数据典型业态发展。以政务信息化为主的政府大数据主要是以行政管辖权为边界，以国家部委、省级、重点城市为主体进行总体规划、布局。一些省市的政府大数据已经逐步应用到公共安全、应急救灾、精准扶贫、市场与环境监管以及经济环境预测分析等多个领域。其中，贵州省政府在大数据分析应用方面起步较早，在2014年初步建成融合电子政务云、工业云、环保云、智慧交通云、旅游云、食品安全云和电子商务云的“云上贵州平台”，通过各种平台解决了社会治理问题，提升了政府的服务能力，产生了较好的示范效应。

总体来说，虽然这些地方性的“云平台”、数据中心在建设与应用方面已经取得了很大发展，但基础信息数据库受管理边界的限制呈现条块化，限制了政府大数据的推广应用。为提高政府大数据价值挖掘能力，目前，我国多个国家部委不断推行“数据大集中”。纵向来说，国家、省、市分级垂直管理的部门正通过建立高度集中的数据中心，为更高效的政府大数据价值挖掘提供支撑。横向来说，国家相关部门也发文（国发[2018]27号等）推动跨部门、跨系统的信息数据集中与融合，并积极倡导各级政府向社会提供数据信息公共服务，促进信息技术等相关产业发展。

1.2   数据资源管理与价值挖掘的主要困境

政府大数据的推广应用在数据管理、分析技术、系统运营与价值挖掘等方面仍存在一些困境与局限。

1.2.1   数据资源融合与管理的局限

目前，政府数据主要来源于政府部门和企事业单位的业务管理信息系统。这些信息系统在初始建设时主要定位于满足自身个性化的管理需求，经过功能扩展、版本升级而沿用至今，各自积累了大量的信息数据。但从政府大数据应用的视角来说，这些独立的信息化系统存在许多弊端，例如同类系统重复建设，信息系统结构、数据处理技术差异较大，信息数据标准不统一;数据存储、分析与应用各自独立，信息资源开发与应用缺少协同、共享机制，缺少数据来源和获取途径;数据存储、管理与使用存在多种安全隐患，相关制度法规不健全，这些因素制约了政府大数据仓库、云平台的整体化建设与运营。

1.2.2   数据处理与分析技术的局限

虽然近年来国内外许多软件企业在大数据分析技术与应用方面取得了很大进展，但以职能部门、商业主体为边界的条块化数据难以融合共享，使数据价值挖掘的许多需求在技术上很难满足，主要体现在以下几方面：面对条块化的基础数据壁垒，缺乏技术手段直接、高效地获得原始数据，可用数据的完整性与有效性难以保证;海量数据的多维分析、计算能力不足，大数据分析的业务需求应用与技术创新难以形成相互促进的良性循环;数据安全与授权使用问题未得到解决。这些问题限制了政府大数据系统应用与服务领域的扩展。

1.2.3   系统运营与价值挖掘的局限

源于多主体、条块化的政府大数据存在数据融合共享的壁垒，导致政府数据资源难以得到有效利用;缺少系统化的维护、运营和应用，数据汇聚、存取管理、分析计算与应用几个环节不能协同发展;配套制度不完善，政府部门和各类社会主体缺少动力来主动挖掘数据价值。因此，政府大數据的运营管理与价值挖掘面临共享难、共建难、共赢更难的困局，一些政务管理、决策分析的应用场景仍停留在概念阶段。

2     湖北宏观经济大数据仓库的规划与建设

湖北省宏观经济大数据仓库项目在建设前期就全面考虑了持续优化、有效运营问题，规划建设专业化、多元化、融合性的数据平台，构建政府大数据价值挖掘的长效机制。

2.1   项目背景与建设必要性

2.1.1   政策指引及发展方向

随着国家相关部门相继发文，政务信息化、大数据不断发展，再该背景下，湖北省政府相继部署了建设智慧湖北、运用大数据加强对市场主体服务的监管、全省政务信息资源共享等各项工作，发布了全省大数据发展行动计划。此外，湖北省宏观经济大数据仓库项目获得批准，数据仓库的整体设计参照了国家相关部门对同类信息化项目的建设规范与设计规范。湖北省政府大数据主要服务于以下几方面：一是按照国家政务信息资源共享要求上报数据，为国家级统一电子政务平台提供支撑;二是推动本省政务数字化建设，为社会治理、决策分析提供支撑;三是面向社会有选择地开放数据，建设智慧湖北，促进相关产业发展与转型升级，促进区域经济、社会、文化的健康发展。

2.1.2   项目定位与建设必要性

按照国家积极推动“数据大集中”，深入挖掘大数据价值，以促进实体经济发展为指导精神，湖北省宏观经济大数据仓库项目应运而生。湖北省宏观经济大数据仓库能够进一步完善政府大数据价值挖掘的专业化服务链条，有力推动全省大数据建设及相关产业发展，其中，建设的必要性体现在以下几个方面。一是数据汇聚与交换融合，能够实现对全省现有信息服务平台的无缝对接，推动政府数据、网络数据和社会数据汇聚融合，形成政府部门间信息共享、数据资源交换的通道和平台。二是数据存取与使用管理，快速扩展数据存储空间。三是分析计算与综合应用，在省电子政务内外与外网环境都可部署数据计算、存储和展现能力，为政府及各类社会主体提供数据支撑服务。

2.2   建设目标与功能规划

2.2.1   建设目标与总体架构

根据项目定位，湖北省宏观经济大数据仓库需要从整体规划开始，综合考虑政府大数据在资源管理、分析技术、系统运营与价值挖掘等方面的局限性，以数据分析应用需求为导向，构建一个注重实效、注重用户，具有良好可持续性与可扩展性的支撑服务平台。项目总体目标是建设一个大数据仓库，通过“数据管理、数据存储、数据计算和数据应用”四大核心功能，为现有各大平台信息交互、资源共享、价值挖掘提供重要支撑。

大数据仓库的总体架构由宏观经济数据主题、大数据仓库硬件环境、大数据仓库支撑软件、标准规范与管理制度4部分构成。项目建立了数据主题和若干子数据主题及数据模型。其中，宏观经济数据主题是数据存储分类的基本标准，也是数据管理、数据计算、数据交换、数据安全和数据应用的基础支撑。大数据仓库硬件环境作为基础设施层，包含服务器集群、网路系统和其他硬件设施等硬件。大数据仓库支撑软件层，按照功能划分为存储计算层，应用支撑层和业务交换层。大数据仓库建设总体架构见图1。

2.2.2   数据架构与核心功能

湖北省宏观经济大数据仓库的数据架构主要体现以下几方面。

（1）在政府大数据资源管理方面。湖北省宏观经济大数据仓库汇聚政府数据、互联网数据和社会数据，根据不同条件和不同场景，通过仓库数据接入层实现数据归集。针对异构系统数据、数据包、填报文件等不同类型不同来源，仓库数据接入层分别采用前置系统通道接入、实时采集、爬虫采集、离线上传等方式，使各种数据进入仓库数据管理层进行处理后，实现元数据存储和各原始数据分区存储。

（2）在数据处理与分析技术方面。湖北省宏观经济大数据仓库可根据指标分析、分析报告、形势预测等需求，通过多维分析服务，从原始数据分区读取并构建物化立方体，建立多维分析数据库;根据搜索需求，通过搜索服务，建立索引，构建搜索与多维分析数据库。

（3）在系统运营与价值挖掘方面。湖北省宏观经济大数据仓库结合业务功能和应用产品需求，规划构建经济、环境资源、社会民生、科技教育、基础建设和资讯等多领域、多类型的分析主题数据库。大数据仓库数据架构见图2。

湖北省宏观经济大数据仓库系统设计的核心功能主要包括以下几方面。

（1）数据管理支撑。根据宏观经济大数据平台数据资源体系的应用需求，汇聚政府、网络、社会三大来源的宏观经济数据资源，从数据来源、数据分类、数据质量要求、数据共享发布权限和数据安全保障等方面实施数据资源的全方位管理，保障数据资源的统一、规范、安全、优质，为宏观经济大数据平台等各大信息平台提供高效的数据服务。具体包括大数据主题体系设计，“元数据、数据目录、数据质量、数据共享发布和数据安全”等大数据管理子功能模块。

（2）数据存储支撑。搭建分布式大数据仓库集群，依据宏观经济数据主题设计相应数据模型，对数据资源进行存储;新建的宏观经济大数据资源专库可实现与各大信息平台的数据共享交换，支撑宏观经济大数据平台开展大数据应用创新。实现关系型数据库、非关系数据库和分布式文件系统二次封装开发。

（3）数据计算支撑。依据宏观经济大数据应用体系对数据挖掘进行功能分析，基于Spark计算框架，采用分布式计算架构开发部署查询计算、机器学习、深度学习、流计算、图计算和数据分析等大数据挖掘引擎，提高大数据计算处理能力，满足宏观经济大数据平台等各大平台的大数据处理和计算服务需求。

（4）数据应用支撑。依据宏观经济大数据平台大数据应用体系的开发需求，开发部署“数据服务、计算服务、算法服务、搜索服务和分析服务”五大服务接口，配置“智能搜索、数据资源分析、自助分析、多维分析、自助仪表板”等应用组件，打造灵活易用的数据探索与价值挖掘平台，为各大平台开展大数据应用提供支撑。

2.3   项目建设的預期成效

（1）面对未来海量的政府、网络与社会数据，提供更加高效、经济、可扩的存储方式与空间。宏观经济大数据仓库以经济适用的服务器构建分布式大数据存储资源，设置统一的数据资源目录标准，为各大信息平台提供统一、规范的数据交互通道和资源共享平台。打造可扩、弹性、适用的数据存储支撑，避免不同平台之间独立建设存储资源带来的重复投资。采取分布式存储，并配有流式计算和高速网络，确保数据存取的实时性要求。同时，基于分布式、可扩展的架构特性，未来在应对海量数据接入、存储等问题时，使资源投入更加经济。

（2）面向数据计算的应用和需求，提供灵活、经济、高效、适用的分析工具与解决方案。大数据仓库以经济适用的服务器构建分布式计算节点，可满足数据计算场景性能需求，避免采用集中式计算架构所带来的高投入。同时，大数据仓库强大的数据计算能力可便捷地共享给其他应用平台和经授权的社会用户，实现多平台计算资源的统一建设，避免独立建设造成的资源浪费。在应对未来不断增长的计算资源方面，该数据仓库同样可展现较好的可扩展性，后续投资成本较低。

（3）有效支撑宏观经济数据汇聚、分析技术和多场景应用的相互促进。大数据仓库基于丰富的宏观经济数据集和先进的大数据分析技术，建立大数据仓库应用开发环境，为多场景应用开发搭建了功能强大的系统性支撑。在严格的安全保障下，可面向湖北省各级政府部门、科研机构乃至社会各类合规主体逐步开放，协同挖掘数据价值、创新数据应用产品、推进需求成果转化，形成供给、需求、技术相互促进的良性循环，不断扩大共享数据规模，增加分析应用场景，提升分析技术效率与能力，促进各大信息平台挖掘价值。

（4）辅助提升政府宏观决策分析与政务管理的协同性、精准性、实时性。大数据仓库能够在持续运营中不断优化、升级，逐步建立健全数据目录、统一数据标准，形成基础统一、逻辑严密、种类多样的宏观经济大数据体系。在仓库内解决数据打架、口径混乱、粗细不匹配等问题，为宏观经济决策分析提供强有力的数据支撑，保障宏观决策管理的协同性和精准性。

（5）有力推动湖北政府大数据价值挖掘和大数据相关产业的发展。大数据仓库项目是湖北省开展大数据技术研究和宏观经济领域大数据应用创新的重要实践。项目规划采用业界主流的大数据技术和大数据思维，力求从多维度挖掘宏观经济数据价值，支撑政府宏观经济决策、辅助政务管理，促进全省大数据等相关产业发展，促进区域经济发展与转型升级。

3     资源管理与价值挖掘的长效机制构建

构建政府大数据资源管理及价值挖掘的长效机制，需要从硬环境和软环境两方面着手，有针对性地破解存在的困境。运用互联网思维，推动“养数据”与“用数据”的社会化参与及融合共享，打造数据汇聚与分析应用相互促进的软环境。

3.1   网络化融合的数据仓库运维

政府大数据仓库的运维首先要制订好资源管理与“养数据”规划，有效提高数据仓库的信息容量，加强数据仓库的统一、安全与标准化管理。一是数据汇聚。通过搭建数据仓库、共享平台，推动网络化信息资源共享，加速政府数据、网络数据和社会数据的汇聚融合，实现更大范围、多种来源的数据信息汇聚，保持数据来源的广泛性。二是数据存储与管理。采用标准、统一、安全、规范化管理，结合统一规划逐步破解各主体信息数据仓库的条块与壁垒等问题，推动各种数据的高效汇聚与融合。三是数据库设计的开放性与可扩展性。支持社会各类用户按照统一格式标准，快捷上传、存储合规的数据，扩展数据信息的深度与广度。

湖北宏观经济大数据仓库项目在可研阶段详细规划了政府数据、网络数据与社会数据的网络化融合问题。从规划的数据汇聚内容来说，政府数据主要包括国家数据、省内数据、相关省市数据三类，项目前期汇聚的政府数据主要来源于相关横向数据服务平台或系统;网络数据主要包括国内、外主要经济网站数据，包括移动互联信息、搜索数据、社交数据、电商数据、就业数据等内容，主要以网络爬虫方式获取;社会数据主要包括企业、社会机构等各类主体的综合性统计数据、重点企业数据、专业公司数据，主要通过无偿获得、共享交换或数据交易的方式获取。通过数据资源融合保证数据仓库的多样性、丰富化，从而显著提高决策分析的准确性，同时也通过数据信息社会化共享融合，推动分析应用的快速发展。

3.2   多元化参与的数据平台应用

政府大数据仓库的运维要做好“用数据”的整体规划，结合实际拓展研究应用场景，按照需求导向开发简单易用的自助式、可视化分析工具;通过向更多的用户提供数据分析服务，鼓励社会各界用户积极参与数据价值挖掘，以“用”促“养”持续优化数据运维，提升大数据仓库的服务能力，形成政府大数据价值挖掘的共享协作机制。美国政府在数据开放方面一直走在全球前列，是面向公众的数据网站开放API数据接口，通过举办开发大赛，鼓励社会用户自行开发APP等各类数据应用，积极参与数据应用创新。湖北宏观经济大数据仓库项目重视借鉴国内外的先进经验，建立了数据计算、分析技术与应用需求动态相适应的开发管理机制，通过开发配置的服务接口与应用组件，为各种分析应用提供支撑。项目将分期推出多类应用主题，通过应用主题开发，引导政府相关部门、各类社会主体积极参与“用数据”，带动全社会的大数据应用与价值挖掘。

4     结 语

随着互联网、大数据等信息技术的快速发展，政府大数据已经是政府提高执政能力、服务能力、创新发展能力的重要手段。针对政府大数据应用在数据资源管理、数据处理与分析、系统运营与价值挖掘等方面的局限性，政府等相关部门应做好政府大数据项目硬环境与软环境建设与运维。湖北宏观经济大数据仓库项目以政府部门和社会各界用户的需求为导向，鼓励多方参与和社会化互动，推动用数据与养数据的相互促进，有针对性地破解政府大数据应用的困境，一些实践经验具有较好的指导和借鉴意义。展望未来，政府大数据仓库可通过跨平台的信息资源共享推动多种专业分析应用的数据联动与挖掘分析，为政务管理、决策分析、专题研究等工作提供支撑。为社会各界授权用户提供数据服务，支持相关行业、产业经营，促进区域经济脱虚向实、健康发展。

主要参考文献

[1]金江军，徐靖，王伟玲.政府大数据发展对策研究[J].中国信息界，2013（9）.

[2]楚海龙.地方政府视角下数据开放的困境与发展对策研究[J].安徽文学，2017（8）.

[3]李宇.“互联网+政务”解决社会治理问题——贵州省政府大数据应用经验的启示[J].中国党政干部论坛，2015（6）.

[4]陆健英，郑磊，Sharon S Dawes.美国的政府数据开放：历史、进展与启示[J].电子政务，2013（6）.

[5]王芳，陈锋.国家治理进程中的政府大数据开放利用研究[J].中国行政管理，2015（11）.

[6]丁辉侠，地方政府大数据治理：行动、挑战与应对[J].郑州大学学报：哲学社会科学版，2018（1）.

[7]陈涛，李明阳.数据开放平台建设策略研究——以武汉市政府数据开放平台建设为例[J].电子政务，2015（7）.

[8]关浩宇.大数据背景下提升地方政府治理绩效的对策研究——以广东省佛山地区为例[J].当代经济，2016（34）.

[9]王萌萌.地方政府治理中的大数据技术运用研究[D].重庆：中共重庆市委党校，2017.

[10]田晨.大数据背景下循证决策的应用研究[D].长沙：湖南大学，2016.

[11]张爱舒.大数据环境下我国政府数据开放平台建设策略研究[D].湘潭：湘潭大学，2017.

[12]刘媛媛.大数据背景下我国政府治理创新机遇、挑战与对策研究[D].徐州：中国矿业大学，2016.

[13]季希.大数据时代服务型政府建设问题研究[D].哈尔滨：哈尔滨商业大学，2016.

[14]傅倩.政府大數据平台的建设策略研究[D].南昌：南昌大学，2014.

[15]王博.大数据时代网络舆情与社会治理研究[D].昆明：云南财经大学，2016.

[16]杨靖雯.大数据战略下边疆政府治理的技术变革研究[D].昆明：云南师范大学，2017.

[17]李威廉.大数据平台在社会治理中的应用问题研究[D].保定：河北大学 ，2019.

[18]王林川.开放政府数据平台绩效评估指标体系研究[D].合肥：合肥工业大学，2018.