大数据背景下高水平专业群建设成效评价体系构建

宋楚平 陈正东 路雅淇 朱永君 邵世智

摘 要 中国特色高水平高职专业群建设呈现数据多源化、数据海量化、数据多维化特征，在此背景下带来高水平专业群建设成效评价的困境，即高水平专业群建设成效评价标准的缺失、群内信息的共建共享和沟通不畅问题突出、大数据支持下的评价指标体系尚未形成。基于科学性、可操作性和定量性三大原则，运用层次分析法对专业群实践工作进行分析，构建出高水平专业群建设成效评价指标体系，并提出评估分值计算方法，为当下中国特色高水平高职专业群建设提供一种新的评价工作思路和操作方法。

关键词 高水平专业群;高职院校;建设成效;评价体系;大数据

中图分类号 G719.2 文献标识码 A 文章编号 1008-3219（2021）29-0071-05

自2006年11月16日教育部在《关于全面提高高等职业教育教学质量的若干意见》（教高[2006]16号）中提出“高职院校要建立专业群，以提高服务面向，增强学生就业能力”的要求以来，专业群建设逐渐成为高职院校开展人才培养改革的重要载体。2019年随着中国特色高水平高职学校和专业建设计划（简称“双高计划”）的实施，高水平专业群建设正式纳入国家顶层设计的范畴，成为高职院校革新人才培养模式、促进地方区域性产业发展、提升人才培养质量的关键抓手。随后，各省市为响应“双高计划”，启动了以“引领改革、支撑发展、特色鲜明、融合发展”为主要目标的高水平专业群建设工程。各地高职院校纷纷启动了面向区域产业、围绕职业岗位、依托共享资源等不同模式的高水平专业群建设工作。但专业群建设得怎么样、建设成效如何评估，目前相关研究还十分缺乏，国家层面也尚未出台统一的评价标准和评价办法。因此，为明确专业群建设依据、落实建设计划、监督实施过程、评估建设成效，基于大数据开展专业群建设评价体系研究显得尤为重要。

一、专业群建设的大数据特征

作为教育信息化、网络化、智能化的一种教育教学组织形式，专业群涵盖行业企业、师生队伍、课程教材、仪器设备、财务资金等各个方面的内容，随着专业群建设的不断深入，任何一个教学对象和资源要素都可以在信息技术的支持下产生数据，专业之间的跨界融合会越来越强烈，多元化、多样化和复杂化将是专业群建设数据发展的必然趋势，这也就决定了专业群建设的“大数据”形态。

（一）专业组群重构数据的多源化

“双高计划”中专业群所含专业数以3～5个较为普遍，其中跨2个及以上专业类组群的占比高达85.4%[1]。由此可见，专业群的出现打破了原有专业之间的边界，重组了不同专业的师资、课程、设备、实习实训等资源。以南京科技职业学院省级高水平专业群“化工装备技术”为例，该专业群以化工装备技术专业為龙头，包含数控技术、电气自动化技术、工业过程自动化技术、云计算技术与应用4个专业，所有专业合力对接新一代化工装备智能制造产业链，进而形成一个全新的“政—校—企—系—专—课”教学组织共同体。这种多元主体构成的专业群在建设中产生的数据必然表现为一种新的数据样态，即多源化，这种多源化的数据形态势必会给专业群的评估决策带来困难。

（二）专业群教育教学数据的海量化

专业群建设的初衷就是要发挥专业集群优势，加快专业间的融合与创新，增强专业群服务区域产业和经济发展的能力，这种协同性的专业群建设所开展的教育教学活动，产生了大量各种各样的数据。如南京科技职业学院“化工装备技术”专业群内有学生231人，专兼职教师23人，课程总数92门（含共享课程11门），群共享合作企业8家，在高水平专业群建设计划推进过程中，存储了人才培养模式创新、课程体系与教学资源、教材建设与教法改革、教师教学创新团队建设、产教融合平台建设、服务发展能力提升、管理体制和运行机制等方面的大量数据，这些数据每日都在快速增长，积累起来的海量数据为评估专业群建设成效奠定了数据基础。

（三）专业群建设数据的多维化

根据教育部、财政部2020年12月21日发布的《中国特色高水平高职学校和专业建设计划绩效管理暂行办法》（教职成[2020]8号）[2]，专业群建设数据采集指标含产出、效益、满意度3个一级指标、6个二级指标、26个三级指标，这里既包含学校自评指标，又包含用人单位、学生家长等第三方评价指标;既有人才培养模式创新、课程教学资源建设等相对静态的指标，又有任务完成进度、引领职业教育改革发展和人才培养的贡献度等时效动态指标，这些繁多的指标体系直接导致专业群建设数据的多维化和微观性。为了窥视多维数据中隐藏的专业群建设缺陷，科学评价建设成效，必须将大数据技术赋能专业群建设，设计合理有效的评价体系，以信息化手段持续驱动专业群建设质量的提升。

二、高水平专业群建设成效评价存在的困境

目前，高水平专业群处在建设的初级阶段，还没有经历一个完整的建设周期，对专业群的建设成效如何评价，如何达到以评促建的目的，仍存在诸多问题，总体来说，开展专业群建设的成效评价遇到以下挑战。

（一）高水平专业群建设成效评价标准缺失

对于建设效果及目标达成的评价，《中国特色高水平高职学校和专业建设计划绩效管理暂行办法》（教职成[2020]8号）中明确指出：评价工作主要包括学校自评、省级评价、两部复核与综合评议，评价工作应当做到职责明确、相互衔接、科学公正、公开透明。但暂行办法并没有给出一个规范性的建设评价文件标准，各省级教育主管部门也没有制定一个指导专业群建设的指标体系。因此，高职院校在进行高水平专业群建设时就很容易出现建设效果与建设目标不匹配，以及建设方向缺失“航标”等问题。

（二）群内信息的共建共享和沟通不畅问题突出

专业群建设不是群内各专业“单打独斗”，更不是各部门各院系“单兵作战”，专业组群的主要目的之一就是打破专业界限、破解院系组织壁垒，整合资源与共享信息，提高办学效益。相关研究表明，专业群建设过程中“信息孤岛”现象普遍存在，部门院系之间、政校企之间在建设层面的信息沟通和数据共享未能实现，具体表现就是建设数据缺乏系统设计，政府、学校、师生、企业及家长等相关利益者在建设期间的信息沟通与反馈不及时，建设任务涉及多个部门或院系时执行难度较大[3]。

（三）大数据支持下的评价指标体系尚未形成

基于大数据开展高水平专业群协同建设是教育信息化、教学数字化的必然产物，也是国家战略层面职业教育创新发展的内在需求。因此，高水平专业群建设是以专业交叉融合为切入点，基于专业群建设全要素，采用大数据技术手段对建设内容和预期成效作出实时诊断和评价的过程。令人遗憾的是，目前全国范围内还没有建立一套数据支撑的建设成效评价体系，直接导致多数高职院校在专业群建设方面只有群的外在形式，缺乏统一的数据支持，违背了专业组群的初衷。

三、高水平专业群建设成效评价体系的构建原则

只有建立了科学、规范的专业群建设成效评价体系，才能更好地引导专业群建设方向，客观评价建设成效，正确诊断建设中存在的问题，真正实现以评促建，保证专业群建设质量。在构建评价体系过程中，要遵循以下基本原则。

（一）科学性原则

评价体系的制定工作必须要在科学理论的指导下，灵活运用对标法、层次分析法、数据包络分析法、公众评判法等开展评价体系设计，如对建设指标进行全面梳理，抓住关键环节，掌握全面的信息，聚焦评价的核心要素，明确评价目标，合理甄别各评价指标的权重，分阶段有序开展论证工作。评价工作的科学性还表现为评价指标能适用于反馈专业群建设中多变量、大系统的各种新问题，以实际建设数据为依据，方便开展独立评价活动。

（二）可操作性原则

评价体系要适用于内部评价、同业互评、外部评价等多种评价方式，既要涵盖与预设的目标、成果的横向对比内容，又要包含与上一时段预期建设效果纵向对比的内容。根据专业群建设方案和上级主管部门评价要求，将建设任务转换成可观测、可检测的评价指标，做到有据可评、评价有序。如对教学团队建设的评价可以分级设计，既有“双师”数量、专兼职教师结构等通用指标，又有领军人物、能工巧匠等特色指标，尽量避免主观评价，增强评价的可操作性。

（三）定量性原则

在对专业群绩效目标定性分析的基础上，将表征考核项目的数量指标、质量指标、时效指标和效益指标等描述清楚，即便是一些定性考核的项目，也要以定量考核结果为依据，充分发挥大数据在评价中的赋能作用，确保评价结果客观可信。以“人才培养模式创新”评价项为例，数量指标反映的是学校在立德树人文化体系、校企合作培养人才等方面完成的改革数量及学生受益人数等;质量指标反映的是人才模式创新效果和达到的水平，如教学成果奖和学生获奖等级等;时效指标反映的是建设完成度和效率情况;效益指标反映的是此项改革所产生的成本效益和对社会、行业带来的数量影响和对比效果。上述定量指标为后期的可视化评估活动奠定了数据基础。

四、高水平专业群建设成效评价体系构建

基于上述基本原则，本研究依据国家“双高计划”建设内容和绩效管理要求，借鉴中国特色高水平专业群建设经验，结合南京科技职业学院省级高水平专业群建设成果，利用层次分析法[4]将高水平专业群建设成效评价问题分解为不同的评价组成因素，确定专业群建设产出数量、产出质量、效益和满意度等4个一级指标，然后根据专业群建设的目标链和标准链，从学校层面、专业群层面、课程层面、教师层面、学生层面、校企合作层面以及国际交流层面科学设计二级评价指标及权重，以专家组专题会议的形式推敲各指标项和权重值。具体做法是，若80%以上的专家勾选该指标，则选用该指标，否则舍弃该指标项，三级指标的设计也采用相同的做法进行筛选，最后形成形成1～3级指标矩阵。从1级指标矩阵开始，由专家组按重要性或影响大小对其中的指标进行5级排序（排序过程中相同重要性的指标可以赋予相同的权重分），按排序大小分别用数字5、4、3、2、1填充矩阵，然后按下列公式计算第i项指标的权重值wi。

上式中fi是矩阵中第i项指标的权重得分，其他2级和3级指标矩阵也采用上述方法计算各指标的权重，随后逐项检查并结合大家的意见，最终形成如表1所示的包含105个观测点在内的高水平专业群建设成效评价指标体系。

基于上述評价指标体系，利用下面式来计算高水平专业群建设成效的评价分值S。

公式中pk是第k个一级指标的权重值，pki是第k个一级指标下第i个二级指标的权重，pkij是编号为ki的二级指标下第j个三级指标的权重，函数 的取值= ，

其中xkij是编号为kij的三级指标的实际值，tkij是此项三级指标的学校预设目标值。经过迭代计算，就能计算出建设成效的总体评估分值S。当S<60时，评价结果为不合格，若60≤S<90，评价结果为合格，如S≥90，评价结果为优秀。此外，利用上述公式还能逐项计算出目标值与实际值之间的偏差，绘制出动态的时效进度曲线，体现“对比度”。另外，公式还可以分级统计出各一级或二级指标的评价值，突出各评价值的结果导向作用。例如，产出质量指标中“人才培养模式创新”的评价值如果明显偏低，则建设院校要加强教学改革力度，以教学要素体系改革为切入点，必要时需重新调整人才模式创新思路，以提高育人模式创新效果。

高水平专业群评价体系的构建，为建设方、评价方及相关利益者之间建立共建共享数据链奠定了底层数据结构和评价框架。运用评价分值计算方法，不仅能分级统计建设成效和工作进度，还能多维度分析专业群建设的质量和效益，实现对高水平专业群的建设绩效进行客观公正的评价，保证评价结果的可信度。同时，量化的评价结果可供院校参考决策，及时发现建设中存在的问题和不足，以便适时调整建设方向和力度，最终达到以评促建的目的。然而，评价活动本身就是一个不断动态变化的过程，涉及的评价对象和状态数据都因时而动，本文的评价体系只是在南京科技职业学院实践中得到应用和检验，其中的指标和权重仍需在后续研究中进一步优化和完善。

参 考 文 献

[1]王亚南，成军，王斌.高职教育专业组群的逻辑依归、形态表征与实践方略——基于253个高水平专业群申报资料的质性文本分析[J].高等教育研究，2021（4）：84-93.

[2]教育部，财政部.关于印发《中国特色高水平高职学校和专业建设计划绩效管理暂行办法》的通知[EB/OL].（2020-12-23）[2021-07-09].http：//www.moe.gov.cn/srcsite/A07/moe_737/s3876_qt/202012/t20201225_507515.html.

[3]徐洁.“双高”建设背景下高职院校内部质量保证体系诊断与改进路径[J].中国职业技术教育，2021（1）：81-87.

[4]马燕，汪爱珠，郭惠芬，等.基于AHP的教师教育学科群评价指标体系研究[J].现代教育管理，2021（7）：81-88.