大数据背景下精准扶贫管理系统的设计与优化

卢丽

（广西金融职业技术学院 广西壮族自治区南宁市 530000）

1 课题研究的背景和意义

广西壮族自治区是全国贫困人口超过500 万人的6 个省区之一，涉及全国集中连片特困地区的滇桂黔石漠化片区，一直以来都是全国扶贫攻坚的主战场[1]。在各项政策、制度、资金保障的同时，扶贫工作提出了强化大数据支撑的建设要求。依托国家扶贫开发建档立卡系统，建立精准扶贫大数据管理系统，定期对贫困村、建档立卡贫困户进行全面核查，精准识别，动态管理；加强农村贫困监测调查与数据统计分析，为领导决策、完善政策提供科学依据。据此我们将大数据应用到精准扶贫中，设计了精准扶贫管理系统。

2 系统功能设计

精准扶贫管理系统主要搭建扶贫信息管理、数据审计、贫困分析、扶贫考评系统四大功能模块，通过大数据、人工智能、深度学习等技术，实现智慧决策、智慧帮扶、智慧预警。

2.1 扶贫信息管理

扶贫信息管理系统主要用来统计贫困户信息、贫困村信息、贫困县及扶贫单位信息并对数据进行直观的呈现，能按照条件进行查询。例如对贫困户信息进行查询：按照查询条件——所属省、市、县、乡、村，与户主关系，贫困户属性，识别标准，脱贫属性，贫困人口姓名，证件号码，或其他自定义查询条件。

2.2 数据审计

通过数据对接，实现贫困对象信息与公安户籍数据的对比以及贫困对象银行存款、机动车、不动产、残疾人员等数据的审计，并能呈现上述数据审计信息的综合对比情况。

2.3 贫困分析

对贫困人口的年龄分组、健康状况、文化程度、劳动能力、务工状况、贫困户进行分析、贫困村、贫困县的贫困类型、致贫原因、经济状况、人口分布状况等进行统计和分析。

2.4 扶贫考核评价

对全省贫困县党政领导班子和领导干部的帮扶工作开展、帮扶成效、帮扶单位工作情况等进行考评。对定量考核指标进行新增、修改、删除、查看操作，根据定量考核指标体系，将各考核内容录入系统中，作为考评依据。

3 云平台部署设计

3.1 网络结构

一般内网工作用户通过PC 或PAD 移动设备接入政务内网访问系统，手机用户通过SSL VPN 虚拟网接入系统，其它外网用户通过互联网接入外网网站，并通过网闸和防火墙进行内外网隔离，以保证数据中心的安全。

通过部署SSL VPN，可满足电脑、移动终端的随时随地安全加入，同时借助SSL VPN 设备中的EMM 模块可以实现针对移动终端的统一设备管理、统一身份认证、统一内容管理，既保证安全接入，同时又可实现移动设备统一管理。

3.2 双活数据中心

大数据时代，数据已成为企业和机构最为重要的资产。数据的安全，应用的连续性成为企业运营的关键，主要解决如下问题：

业务连续性：业务无法无缝迁移；生产服务器出现宕机或者出现数据丢失状况时，业务连续性难以保证。RPO（恢复点目标）和RTO（恢复时间目标）无法达到预期目标。

异构存储管理难题：大量异构的存储设备和管理系统无法兼容，造成管理难题；系统扩展时，现有资源无法利旧，造成资源浪费。

性能瓶颈：应用集中和数据量增加导致出现存储性能瓶颈，影响业务体验。

基于存储虚拟化网关的双活数据中心解决方案是定位于高性能、高可用的存储解决方案。该方案可实现在任意存储节点及存储虚拟化网关节点出现故障时，保证业务系统的数据安全性和业务连续性；混合存储池及虚拟卷精简配置功能可满足大数据环境下在线增加容量和存储节点以及在线维护、维修以及更换存储阵列的需求。分布式的双向双活存储虚拟化镜像技术实现多节点存储集群负载均衡，以满足私有云及公有云环境存储大I/O 和冗余的需求。

系统采用Browser/Application server/DB Server 三层软件体系结构，即“前端HTTP 服务器--应用服务器--数据库服务器”模式，其中前端HTTP 服务器负责做静态内容服务和流量分发，将动态请求转移到后面的应用服务器Tomcat 上。这样的架构的优点是具有良好的线性扩展能力，当访问流量继续扩大时能够方便的进行扩展。如果前面的http 请求过大，可增加http 服务器，若业务处理能力不足时，可将扩大Tomcat 集群服务器数量；另一方面，可以增强内部应用和内部网络的安全性。

3.3 HTTP服务

一般情况下，一个网页会产生3-20 个并发连接，如果我们使用应用中间件直接作为HTTP 服务器，会导致并发连接方面效率较差，容易存在性能瓶颈。

为此系统将专门使用Nginx 来负责静态页面，图片及flash 等的发布。Nginx 是一个高性能的 HTTP 和反向代理服务器，在高连接并发的情况下，Nginx 是目前顶尖的软件平台之一，能够支持高达 50,000 个并发连接数的响应。采用Nginx 技术可以提高静态内容发布效率，缩短静态内容访问时间，也减少了应用中间件线程的占用。在静态化页面的基础上又大大的提高系统的可用性能。

4 系统性能优化

4.1 分布式技术应用

4.1.1 分布式缓存技术

使用缓存技术的目的是为了提高数据利用率和检索效率。设想如果每次读取数据都去访问数据库，对数据库服务器的磁盘IO 的压力是很大的，尤其是高并发系统，如果不借用缓存技术，系统将会无法上线运行。

使用缓存技术，就不需要频繁地访问存储在内存或硬盘中的数据。当读取数据时，将结果放在缓存中，下次可以直接访问缓存，从而带来系统性能的提升。

4.1.2 负载均衡技术

负载均衡技术的应用主要解决网络拥塞问题、为用户提供更好的访问质量、提高服务器响应速度及提高服务器及其他资源的利用效率。

网络负载平衡允许传入的请求传播到最多达32台的服务器上，即可以使用最多32 台服务器共同分担对外的网络请求服务。网络负载平衡技术保证即使是在负载很重的情况下它们也能作出快速响应。如果网络负载平衡中的一台或几台服务器不可用时，服务不会中断。网络负载平衡自动检测到服务器不可用时，能够迅速在剩余的服务器中重新指派客户机通讯。此保护措施能够为关键的业务程序提供不中断的服务。

4.2 AJAX局部更新

Ajax 的主要优势是异步刷新，从而减少了用户等待时间，同时局部刷新技术给Web 页面带来的变化有：页面版式更加丰富、版块化更加明显、结构更加复杂，从而使得Web 页面能够承载更多的内容。Ajax 和其他技术的结合能够使前端更加丰富，即所谓的富客户端，结合JS 可以设计出如QQ 空间之类的复杂丰富的页面，结合Comet 技术可以实现微博的主动推送功能。

Ajax 前端设计时，也需要考虑以下因素：

（1）Ajax 请求的数据量不宜过大；

（2）对页面的刷新面积根据实际情况设定；

（3）尽量少的alert 提示信息；

（4）一定的容错机制使得页面在请求失败的时候不至于变形过于严重；

（5）适当的数据缓存机制等。

4.3 预加载技术

WEB 应用程序区别于桌面应用程序，响应速度才是最好的用户体验。如果想要速度与优雅兼得，那就必须提前获得图片尺寸，如何在图片没有加载完毕就能获取图片尺寸。

浏览器在加载图片的时候，图片会先占用一块地然后才慢慢加载完毕，并且这里大部分的图片都是没有预设width 与height 属性的。因为浏览器能够获取图片的头部数据，基于此，只需要使用javascript 定时侦测图片的尺寸状态便可得知图片尺寸就绪的状态。

5 安全保密设计

5.1 应用系统安全

5.1.1 基于资源的访问

在程序设计过程中，我们根据用户的具体业务，利用基于资源的访问的思路，将权限控制到字段级别，控制页面上的所有域可以根据用户不同，而具备不同的权限，例如：审核意见栏只能审核人填写，其他人只能浏览。

5.1.2 岗位与角色安全设计

从权限管理模型上看，目前实际应用中比较常见的模型还是基于角色的权限管理模型（RBAC），其基本思想是根据工作中的职能岗位划分出不同角色，将系统资源的访问权限附加到角色上，并为用户分配相应的角色，从而实现对用户访问资源的控制。如图1所示。

基于角色的访问控制方法是目前公认的解决大型系统的统一资源访问控制的有效方法。其显著的两大特征是：

（1）减小授权管理的复杂性，降低管理开销；

（2）灵活地支持系统的安全策略，并对管理要求的变化有很大的伸缩性。

在应用安全的设计中将应用系统的权限按照用户的工作岗位、行政职务等要素分为系统权限、数据权限、系统角色。通过这种设计将应用系统的使用权与数据的所有权、访问权分割开来，以确保各工作岗位的用户之间、相同工作岗位的用户之间能够按部就班、各行其职，在信息高度共享和信息高度保密工作上能够达到收发自如的控制、管理。

图1：基于角色的访问控制模型

5.2 数据安全

虽然本项目采用双活数据中心设计，考虑了数据和系统的备份，但也要采取离线存储的备份措施。由于运行环境和使用过程中出现的各种故障，使整个数据的完整性和许多因素相关，主要包括计算机本身软硬件的故障，使用过程中的误操作和各种计算机病毒的破坏，还有各种不可预测的自然因素也会造成数据的损坏和丢失。所以制定合理的备份方案十分必要。

目前系统数据库的备份方案主要有如下两种：

第一种为物理备份，该方法实现数据库的完整恢复，且需要大容量的外部存储设备，例如磁带库；

第二种备份方案为逻辑备份，业务数据库采用此种方案，此方法不需要数据库运行在归档模式下，备份简单。

数据备份策略拟建立一套容灾备份系统，通过专业备份软件，制定策略进行系统定期备份。周一到周六执行增量备份，周日进行完全备份，保障系统的容灾冗余，保护系统安全。

6 结束语

本文针对精准扶贫大数据管理系统，介绍了系统扶贫信息管理、数据审计、贫困分析、扶贫考评系统四大功能模块，对云平台的部署、性能优化及安全保密设计进行详细的阐述。下一步的工作将在进一步完善平台顶层设计和功能的基础上，积极与各级政府进行深入合作，建设市县级特色服务平台，提供更具个性化的服务，推动产业扶贫项目发展。