基于大数据的省级计量监管平台原型设计

吴行惠　张东　王光昕　房立镇　耿宏伟

摘要：大数据在我国电子政务中的应用越来越广泛，山东省质监局建设的“基于大数据的山东质监信息共享平台”是山东省内首家完成的电子政务大数据项目， 本文依托该项目形成的质监大数据仓库，针对质监领域的计量业务，而设计出了基于大数据的省级计量监管平台的原型，结合质监局实际开展的计量业务阐明了该平台所解决的实际需求问题及建设的意义，并给出了该平台建设的总体设计方案及具体开发技术方案，给系统的开发提供了依据。

关键词：计量；大数据；管理平台；原型设计

中图分类号：TM933.4 文献标识码：A 文章编号：1007-9416（2018）01-0147-05

随着大数据技术的不断进步，“大数据”在电子政务中的发挥的作用也越来越受到人们的重视[1]。山东省质监局自2012年以来一直致力于质监大数据的研究与开发工作，目前已经依托“基于大数据的山东质监信息共享平台”项目建设完成了山东质监大数据仓库。为充分利用质监大数据的数据资源，优化山东省计量相关的业务流程，本文提出了基于大数据的省级计量监管平台，该平台实现了对计量数据资源的统一监管和信息共享，对规范山东省计量技术机构的检定或检验工作流程，统一检定证书和检验报告格式[2]，提高工作质量加强计量监管等方面都会发挥重要的作用。

1 项目背景

1.1 山东质监局计量业务信息化系统现状

山东省质监局根据自身计量业务的发展需要，已经开发完成了多款关于计量的信息化系统，在计量业务的办理及监管中也曾发挥了重要的作用，但随着计量业务的不断发展以及对数据共享需求的不断提高，目前的信息系统也暴露出了证书报告以及检验工作流程不规范统一、计量检定或检验工作责任不可追溯等一系列问题，更重要的是，国家对政务数据的共享要求以及质监计量业务对数据共享的需求都在不断的提高，当前计量业务信息系统“数据孤岛”的情形，已经远远不能满足社会各方对数据共享的需求[3]。

1.2 山东质监局“基于大数据的山东质监信息共享平台”现状

山东质监局“基于大数据的山东质监信息共享平台”自2012年开始建设以来经过不断的完善、优化以及持续的深化应用，截止到2017年年底共梳理形成了776 个信息类，13461个信息项，4435 个数据元；已采集结构化数据138，258，082 条，非结构化文档403，618 个，数据量4.3T。从管理的业务对象来看，包含了3，169，619条组织机构数据、702，573条人员数据、429，049条产品数据、1，814，182条设备数据以及189，828条标准数据，并可以对这些数据的历史进行追溯，从而在数据和信息层面满足了对管理层决策、业务管理和公共服务的需求[5]。

目前，山东质监局在行政许可、监督检查、特种设备等很多领域已经建立了依托“质监大数据”的信息化系统，并得到了广泛应用，提高了社会和公众对质监业务的满意度同时也增强了质监局对企业、设备的监管力度。

2 大数据在计量业务中的应用

通过对山东省质监局计量业务信息系统现状及“质监大數据”项目的应用情况进行分析，笔者认为借助大数据平台的舆情采集、日志采集以及强大的数据分析能力，将会使计量业务的信息化产生非常重要的影响，具体表现在以下几个方面：

借助大数据平台，解决了跨部门之间的数据共享问题，将会使计量相关部门的工作效率得到大幅度的提高，同时可以实现跨部门之间的联动，对于存在问题的器具、机构可以快速追本溯源，从而确定具体监管部门并采取针对性的措施，最大限度的降低危害与影响，同时，借助大数据仓库的舆情采集与分析系统，可以快速响应群众提出的有关于计量的质量问题，进一步加强政府对计量业务的监管力度。

借助大数据平台的舆情采集与分析，可以使相关监管部门更加容易的发现一些企业、机构的违法信息，实现更加精准的执法。

借助大数据平台强大的数据分析能力，并结合计量业务数据、海量舆情数据、行政许可、监督检查等数据进行统一的分析整理，可以给政府相关部门更加准确和直观的展示各种分析数据，从而为政府相关部门提供辅助决策支持。

借助大数据的日志采集与分析，可以发现企业及机构等各类用户使用系统的关注点，从而更加方便的实现计量系统为各类用户提供服务。

3 需求分析

3.1 计量行政许可业务需求分析

（1）业务分析。根据权力清单，当前山东质监行政许可计量业务主要包含6类许可事项，如表1所示。

每项行政许都可统一划分为受理、审查、许可三分离工作模式，受理、许可是由行政许可部门完成，审查是由审查技术机构完成，明确了行政管理人员和技术审查人员的岗位职责和任务，提高现场审查工作质量。依据受理、审查、许可三分离工作模式，主要包含行政许可审批管理、技术审查机构业务管理、行政许可审查人员管理、行政许可文件支撑管理的需求，实现行政许可审批管理、审查机构的业务管理、各类（认证、监督、工业产品、计量）技术审查人员“进、用、管、出”的统一规范管理及行政许可审批过程中需要的法律法规、产业政策、细则、产品标准、作业指导书、具体要求等技术支持文件。

（2）行政许可的业务模型。行政许可的业务模型如图1所示。

3.2 计量检验检测（检定）规范管理需求分析

计量检验检测（检定）业务目前主要涉及计量检定证书、定量包装商品净含量检验报告、计量器具型评价报告、计量器具监督检验报告四大类证书（报告）。通过许可审批提供计量授权，获得授权的检验检测机构按照抽查计划的要求对抽查的相关产品进行抽样、检验检测，并按照标准规程规范库中报告的模板出具检验报告，最后将报告及相关数据按照相关要求进行共享，以满足统计分析、风险预警、省政务资源共享以及国家局计量统计的相关需求，其业务流程示意如图2所示。

3.3 计量业务监督检查需求分析

计量业务监督检查主要实现制造（修理）计量器具许可证的证后监督检查管理、授权计量技术机构的监督检查管理以及计量建标机构的监管（包括：法定计量检定机构、省局对外开展工作的专项计量授权检定机构、法定计量检定机构）。目前，计量业务监督检查采用企业（机构）自查和监督部门组织检查两种形式。

企业（机构）自查是由计量技术机构或建标单位填写报表并提交到市局，市局审核提交到省局计量处，由计量处确认归档入库。计量技术机构或建标单位填报后也可直接报到计量处，由计量处直接确认归档入库。业务流程如图3所示。

监督部门组织检查是由计量机构选定授权类型、填写计划信息、选择待检计量技术机构或建标单位、选择评审专家生成临时考评组（同时为录入考评信息的专家分配登陆账号）、执行计划、填写监督检查记录，计量处审核确认、归档入库。如图4所示。

3.4 计量行政执法业务需求分析

根据山东省政府办公厅对行政执法的部署要求，计量业务的行政执法必须要遵从行政执法公示制度、执法全过程记录制度、重大执法决定法制审核制度这三项制度的要求[7]。根据调研整理，计量业务行政执法的需求主要包含以下几个方面：（1）行政执法资源管理：包含行政执法事项管理、随机抽查事项管理、行政执法主体资格管理、行政执法人员资格管理、行政执法程序流程管理、行政执法服务指南管理、窗口办事人员信息管理。（2）行政执法过程记录信息管理：对执法全过程记录中的文字、音像等信息进行收集、保存、管理和使用。（3）重大执法决定法制审核管理：重大执法决定法制审核流程管理，重大执法决定法制审核目录清单管理、重大执法决定法制审核人员力量管理。

4 总体设计

4.1 设计概述

省级计量监管平台的设计要满足上述需求，与质监大数据平台的互联互通是设计的关键点，一方面要充分利用已建成的大数据仓库来获取计量业务中所需要的数据，另一方面也要使本平台产生的数据通过大数据项目的数据采集模块及时共享到大数据仓库中，以便于监管部门实现精准执法。系统总体设计规划如图5所示。

4.2 功能模块设计

根据业务需求分析计量省级计量监管平台可以划分为：计量资源信息库管理、判定依据管理、计量项目指标库管理、计量规程规范标准管理、证书（报告）数据要求管理、证书或报告上传、信息资源使用、其他业务管理八大模块。各功能模块的具体职责如下：

计量资源信息库管理：指对质监系统内具有检定能力、定量包装检验能力、型式试验检验能力的各计量技术机构的基本信息及各种资质数据库的管理。主要包括以下数据库的管理。如表2所示。

判定依据管理：对是否超范围开展检验或检定的判定依据进行管理。包括对检定证书、定量包装报告、型式试验报告的判定。

计量项目指标库管理：该模块主要功能是对全省计量技术机构所要出具的检验报告进行规范化，所有计量技术机构所出具的检验报告的格式按照省局统一规范定义的模板格式，结果部分由专家组按照相关标准进行确定，全省统一应用。

计量规程规范标准：是计量检定、校准、检测的技术依據，建立统一的计量规程规范标准数据库，对全省计量技术机构所依据的技术规范进行统一管理，确保计量技术机构在用技术文件的有效性。

证书（报告）数据要求：该部分功能主要描述检定证书、定量包装报告、型式批准及试验试验报告这 3项的证书（报告）的数据结构定义；录入信息的复制功能；企业信息建立数据数据库，各单位从数据库中选择。

证书或报告上传方式：各计量技术机构在使用该平台计量管理有关数据库的基础上，将已有证书或报告数据通过该服务平台接口定期导入，实现计量技术机构的检定证书或检验报告上传。

信息资源使用：该模块主要功能是通过查询、统计的方式，实现对检定证书、定量包装报告、型式批准及试验试验报告的分析。该功能对监管部门和各计量技术机构通用。根据用户级别可分为：省、市局和技术机构三类；每一级别可查看依据行政区域管理授权范围内的数据，也可根据服务平台进行用户授权查看不同的数据。

其它业务管理：该模块主要涉及制造计量器具证书信息、强检计量器具、能源计量等业务数据的管理、维护、分析功能。根据使用用户级别可以分为省级、地市级、区县级、技术机构四类；每一级别可查看依据行政区域管理授权范围内的数据，也可根据服务平台进行用户授权查看不同的数据。

4.3 系统逻辑架构

为了增强系统的可维护性、可扩展性与灵活性，同时提高系统的性能和高可用性，系统在开发时采用目前流行的微服务架构，并将整个系统逻辑上划分为逻辑表现层、接口访问层、实体层、业务服务层、公共服务层、服务治理层和资源层七个层次[8]。

逻辑表现层为最终展现给使用者的应用与对外数据共享提供的接口服务。

实体层和接口访问层属于逻辑层，并不单独发布为服务，而是使用Jar包类库的方式提供给其它服务调用，实体层是系统中与数据库对应的实体类。

业务服务层在设计时按照4.2节中功能模块的划分，将系统规划为八个服务，每个服务都以restful接口的形式对外提供服务。

公共服务层的日志采集、字典服务、权限管理和通知四个服务同业务服务层的服务类似，以restful接口的形式供业务服务层和web服务直接调用。

服务治理层是是整个系统的核心控制层，采用典型的“服务注册表”模式对服务的管理，系统使用dubbo分布式服务框架，利用zookeeper作为服务注册中心，并借助zookeeper的动态“心跳”机制实现服务的治理与高可用，业务服务层和公共服务层的每个服务组件在启动时将自己注册进服务注册表，web服务器或api网关在访问服务时查询服务注册表得到服务的uri，然后调用某服务接口。同时服务治理层也可以单独对某个接口进行权限控制和配置有针对性的负载均衡策略，保障系统运行的性能与安全性。

资源层使用质监局目前搭建的数据库服务系统、文件管理系统，同时为了增强系统的性能，系统采用Varnish作为静态页面和图片的高速缓存，并使用Redis集群作为业务层的高速缓存。具体的系统逻辑架构图，如图6所示。

4.4 计量大数据分析核心架构

对计量业务中的日志信息、舆情信息等需要借助大数据平台中的大数据分析架构，具体核心架构如图7所示。

数据采集模块根据系统复杂的数据采集情况，使用Sqoop、Kettle以及Scrapy等技术混合采集。Sqoop主要用于在Hadoop（Hive）与传统的数据库（Oracle等）间进行数据的传递，可以将一个关系型数据库（如Oracle等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中；Kettle是ETL工具，可在多平台上运行，且数据抽取高效稳定；Scrapy是一款由Python编写的网络爬虫。

为了适应数据存储的复杂性，大数据存储设计为传统关系性数据库和KV非结构化数据库混合存储。redis是一个高性能的key-value存储数据库。它支持存储多种value类型，包括string（字符串）、list（链表）、set（集合）、zset（sorted set --有序集合）和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。

大数据计算模块由spark、mapreduce等组成。Spark 是专为大规模数据处理而设计的快速通用的计算引擎，启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。MapReduce是一种批处理计算模型由Map和Reduce两个模型组成，Map是将一组键值对映射成一组新的键值对，Reduce则用来保证所有映射的键值对中的每一个共享相同的键组。

4.5 系统运行架构

根据上述系统的逻辑架构，针对系统中存在的页面访问、日志采集、数据交换共享三个主要控制流程，并结合当前大数据仓库的数据交换情况，给出系统的运行架构图如图8所示。

页面访问控制流：由前端浏览器发起请求，如果请求的内容已经存在缓存中则返回，如果没有缓存内容，则继续请求web服务器。也有部分请求可以指定不通过缓存直接访问web服务器获取数据。

日志采集：操作日志的采集设计了两条控制流。一条是在jsp中调用统一js方法，直接将用户请求发送至日志采集接口，由日志采集接口提交给消息队列，再由日志采集模块从消息队列里获取数据并保存。另外一条是利用web服务器的拦截器，拦截到用户访问请求后，传送到消息队列，日志采集模块在消息队列中获取和处理数据。日志采集数据库与大数据仓库之间互通，借助大数据的分析工具产生结果后，传入业务数据库中。

数据交换共享：由接口调用方或者定时器触发的形式发起数据交换的请求，经由dubbo框架的控制，通过缓存或者数据库存取的方式来实现数据的交換。

5 结语

基于大数据的省级计量监管平台的建立必将会强化质监局对计量业务的监管力度，使得监管的效率得到提高的同时监管维度更加的精细，并且通过对数据的共享与分析，使政府相关部门、检验机构和企业都能各取所需从中受益，从而创造更多的社会效益，推进服务模式创新，提高了电子政务服务水平。

参考文献

[1]史小雪.大数据在质量监督中的应用[J].信息化建设，2016，（4）：6-7.

[2]张瑞，杜衍华.计量检测信息系统的开发与应用[J].中国计量，2006，（5）：67-68.

[3]孙淳，戴洪宇.计量管理软件系统发展概况[J].计量与测试技术，2006，（12）：4-5.

[4]吴行惠，刘建，张东，等.论质量技术监督大数据[J].电子政务，2015，（03）：113-117.

[5]吴行惠，张东.质监大数据在产品质量监督检查中的应用[J].信息安全与技术，2015，（12）：10-12.

[6]高展，吴志刚，高栋.业务流程规范化是电子政务系统建设的基础[J].信息技术与标准化，2003，（11）：27-30.

[7]梁勇.Java语言程序设计[M].北京：机械工业出版社，2011.