面向终身教育的大数据统一支撑平台架构研究

程方昭 杨惠

摘要：为促进终身教育科学化管理，推动终身教育发展，本文从大数据视域出发，研究终身教育统一支撑平台架构，以实现终身教育资源与服务的优化配置为目标，从数据采集、数据治理、数据分析和数据应用四个层面详细阐述了平台设计思路。

关键词：终身教育;大数据;平台架构

中图分类号：G40-057  文献标识码：A  论文编号：1674-2117（2022）13-0105-04

● 引言

构建终身教育体系，建设全民学习、终身学习的学习型社会，促进人的全面发展是我国教育发展的战略部署。通过对终身教育数据进行采集、汇聚整合和应用分析等，可以探索终身教育发展规律，促进终身教育科学化管理，优化终身教育学习环境，从而推动终身教育的发展。因此，笔者尝试从大数据视域研究终身教育统一支撑平台架构，以实现终身教育资源与服务的优化配置的目标。

● 终身教育大数据的需求分析

1.终身教育大数据体系建设需求

大数据体系建设包括数据资产规划、数据管理、数据分析，以及面向客户的不同类型数据资源应用，数据应用的目的是将数据及数据分析的结果投入到实际业务层面，用于辅助管理与运营，从而产生效益。建设终身教育大数据体系，有助于研究人员开展终身教育的相关应用研究，为社区居民、青少年、老年学习者提供精准化个性化教育服务，同时为政府、行业、企业、院校等机构提供相关数据咨询及研究依据，为提高终身教育发展水平、优化终身教育发展环境提供有力支撑。

2.精准化个性化终身教育服务需求

终身教育用户群体分散，学习需求多样，为提高教育效率，增强教育效果，加强主管部门对终身教育发展现状的掌控力度，需要通过对终身教育大数据的研究与应用，进行个体学习行为分析、能力画像分析、学习者综合素质分析、学习情况数据跟踪等，实现教学资源的精准化匹配，为社会成员以及师生提供多样化、精准化、个性化的终身教育服务。

3.科学化高效化终身教育管理需求

终身教育主管部门需依据业务发展情况和问题制定相关管理制度和决策，指导终身教育工作开展。利用大数据分析技术，对终身教育发展情况，如课程开展、活动安排、受益人群、学习效果评价、学员信息、学习行为、就业信息等数据进行采集与分析，量化终身教育发展现状，随时掌握各地区各部门的终身教育业务发展情况，从而帮助主管部门更好地配置终身教育资源、制定教育管理相关决策。

● 终身教育大数据统一支撑平台架构的研究与设计

终身教育大数据统一支撑平台由数据感知采集平台、数据处理存储平台、数据分析挖掘平台、数据应用展现平台四部分组成，自下向上地提供数据采集、数据存储治理、数据分析挖掘、数据应用展现等大数据服务（如图1）。[1]

1.数据采集子系统

数据采集子系统需以规范要求为引导，以现有数据资源为基础，以服务下沉与精细化运营为手段，以大数据技术为支撑，建立完善的终身教育数据采集与管理体系。通过数据交换、数据推送等方式进行数据的集中存储和管理，不同数据资源采用针对性的差异化采集手段，具体包括现有业务系统数据对接、互联网终身教育数据采集和非结构化数据整合等。

（1）现有业务系统数据对接

与现有的终身教育业务系统进行数据对接，通过API接口定时从各业务系统采集数据，并汇总到数据中心，包括学生数据、教师数据、资产数据、學生评价数据、学习过程数据等。

（2）互联网终身教育数据采集

系统需集成爬虫工具，利用爬虫技术对政府部门网站、主流新闻媒体网站、终身教育专题网站、官方微博和微信公众号等渠道进行网络数据采集、处理和存储，要求爬虫工具支持同时对上万个互联网站点内容进行采集，并具有快速采集数据和响应的能力，通过采集互联网数据，实现对终身教育大数据的补充。

（3）非结构化数据整合

终身教育相关业务部门日常产生的文档、网页、图片和音视频等资料通常是非结构化数据，对数据做清洗处理，并结合业务理解和深度学习的手段进行数据处理，如通过深度学习来做特征提取等，将非结构化数据转换为结构化数据，并存储到数据库中。

2.数据治理子系统

数据治理是将数据作为资产而展开的一系列具体化工作，是对数据的全生命周期进行管理，也是对数据资产的实际管理和控制的过程。[2]终身教育工作开展存在信息化程度不高、数据标准规范还不健全等问题，导致数据共享存在困难，通过数据治理统一规范终身教育数据标准，可以大大提高终身教育数据资源的共享程度。数据治理子系统包括数据资源规划、数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量与服务六大模块，详细设计如下页图2所示。

通过数据资源规划可以梳理业务数据，制订数据资源目录;通过数据标准管理，制订并更新终身教育数据统一标准;数据模型是数据治理的关键和重点，数据模型设计应该尽可能细致，通过对终身教育相关系统和业务进行详细调研和分析，对业务划分主题，数据划分类别，产生终身教育各业务线的业务模型，在此基础上进行数据模型的设计;元数据管理主要解决数据的参考框架、数据模糊性、可视化数据流动、影响和血缘分析、标准化建设、规范化数据审计等问题;主数据管理要做的就是从各部门的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和处理，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给业务单位范围内需要使用这些数据的操作型应用系统和分析型应用系统[3];数据质量管理通过完整性、一致性、准确性、及时性等多类维度对数据进行度量[4]，是提供数据服务、发挥大数据价值的前提。

3.数据分析子系统

数据分析子系统需提供终身教育大数据分析建模和挖掘的基础算法，并包含数据集管理、算法定义与管理、模型定制与管理等功能，同时要能为数据应用展现子系统提供服务调用接口。

（1）数据集管理

为大数据建模挖掘提供数据接入、数据导出和数据配置等功能。支持多种数据源的接入，包括关系型数据库、数据仓库、分布式文件系统、NoSQL数据库等。提供离线数据文件导入功能，支持CSV、TSV等文件格式。提供分析挖掘各类数据集的生成、切分等功能，能够生成训练集、验证集等。支持数据集的持久化存储、多副本配置，保证数据高可用性。支持数据删除、数据集导出等功能。

（2）数据预处理功能

支持对数据集进行OLAP分析，提供缺失值补全、数据归一化、数据离散化、识别和去除离群点、平滑和去除噪声等方法，实现数据格式标准化、异常数据清除、错误纠正、去除重复数据等功能。[5]

（3）大数据分析挖掘算法

提供通用算法库，包括但不限于特征提取、主成分分析、特征选择、特征关联性分析、特征趋势分析等特征分析算法，K-Means、EM等聚类算法，线性、指数、逻辑回归等回归分析方法，FPGrowth、Apriori等关联分析算法，指数平滑、稀疏时间序列、移动平均算法等时间序列算法，贝叶斯模型、决策树、随机森林、神经网络、深度学习等机器学习算法。

（4）可视化建模

提供可视化建模操作界面，通过可视化交互的方式构建分析模型，操作功能主要包括数据导入，算法加载和组合，参数配置和调整，模型的新建、导入、保存、查看等，支持命令行方式执行算法模型。提供模板库管理功能，能够复用已有的数据挖掘流程模板，支持快速模型创建、验证和调整。

（5）实时计算支持

基于分布式流数据实时框架，对连续数据流进行实时分析处理。可以提供自适应机器学习算法，实时获取增量数据并优化模型参数，支持在线预测、实时推荐等分析任务。

4.数据应用展现子系统

数据应用展现子系统由数据应用和可视化展现两部分组成。

（1）数据应用模块

数据应用是以实现终身教育业务价值为导向，以用户为中心，为终身教育内外部不同层面用户提供数据服务的能力。围绕终身教育数据应用的两个核心部分——数据和服务，聚焦数据应用的效率和质量，需建立敏捷、高效的数据应用子系统，主要由数据开放协同、业务流程管理、报表指标应用和智能运维应用四部分组成（如下页图3）。

（2）可视化展现模块

该模块需要为终身教育大数据的可视化分析展示提供多种通用和自定义的图表组件，为数据展现提供直观快捷的发布方式及丰富的呈现样式，能基于不同维度定义可视化展现效果，支持时间维度自动拆分，提供图表属性的设置功能，支持根据维度、层次等进行上卷下钻，提供即时预览、图表自動刷新等功能，支持多种图表展示方式之间的自由切换（如图4）。

● 结语

本文从数据采集、数据治理、数据分析和数据应用展现四个方面完整展现了终身教育大数据统一支撑平台架构的设计思路，构建终身教育大数据统一支撑平台对终身教育的数据规范、数据应用等有很好的推动作用。平台建设的目的在于应用，后续研究应围绕数据洞察、数据服务、数据流通等，开展数据资产运营和应用的治理，严格按照信息采集、业务架构、运行机制、数据共享、可视化展示等标准，以教学为中心，以服务为导向，探索构建终身教育大数据体系的途径，通过可视化平台多维度多层次地展示数据内容，揭示数据潜藏的规律和价值。

参考文献：

[1]沈光辉，陈明，程方昭，等.终身教育大数据应用模型与服务平台构建研究[J].中国远程教育，2020（12）：59-68.

[2]谢湘.基于大数据平台的数据治理思路[J].科学与信息化，2017（18）：38-39.

[3]孟欣.高校智慧校园数据治理解决方案探究[J].电脑编程技巧与维护，2019（10）：83-85.

[4]余鹏，李艳.大数据视域下高校数据治理方案研究[J].现代教育技术，2018，28（06）：60-66.

[5]徐帆.人力资源和社会保障大数据智能分析平台的设计与实现[D].杭州：浙江工业大学，2019.

第一作者简介：程方昭（1970.2—），副研究员，本科，主要研究终身教育信息化、终身教育大数据云计算平台。

基金项目：福建省教育厅、财政厅2018—2020年终身教育一般课题研究项目“社区教育与老年教育融合发展研究”（JZ190013）;福建省教育厅、财政厅2018—2020年终身教育重点课题研究项目“大数据视域中社区教育数据服务平台的开发和应用研究——以福建省为例”（JZ190128）。