非结构化测评在推荐免试研究生招生复试中的应用探析

白丽新,李传波,张立迁,侯曌晨

(天津大学 研究生院,天津 300072)

1978年,我国恢复研究生招生以来,研究生招生制度不断完善,逐步形成了以全国统考为主、推荐免试为辅的多种方式并存的多元招生选拔机制,为实现科学选才提供了制度保障[1]。从人力资源管理角度来看,研究生招生属于人才测评范畴,即采用一定的测量方法,对考生知识水平、个性特征、发展潜力和价值取向等素质开展测量与评价,为选人用人提供依据。全国统考实行初试、复试两阶段招生制度,初试以全国统一组织的笔试方式进行,复试主要以招生单位组织的笔试+面试方式进行。推荐免试则以推荐选拔替代初试,在接收阶段由招生单位自行组织复试,这个复试是保证生源质量的重要环节。

一、问题的提出

科学选拔和公平公正是研究生招生工作的基本原则。相对于科学选拔,公平公正更容易直观表现,研究生招生一般采用差额复试,受到考生及社会的关注。以往,复试大多采用结构化测评的方式进行,即对复试的组织流程、问题设置、考核要素、评分标准等进行规范化、结构化和精准量化[2],使所有考生的测评程序相同,考题基本相同,考查结果客观且具有区分度。结构化测评既有利于招生单位考查考生基本能力水平,又因操作方式符合公平公正的要求,受到招生单位和考生的青睐。然而,相对于操作形式上的公平公正,结构化测评程序严密,甚至过于僵硬,缺乏灵活性,导致其在科学选拔方面存在一定缺陷。具体表现为:

第一,结构化测评考核内容上要求统一规范,而考生与考生之间存在内在素质的个体差异,这些差异体现在人格、智力、价值观、知识、态度、技能和能力等方面,采用统一的考核标准,选拔出的考生易于成为统一规格的“标准件”,不利于专门人才和跨专业考生的选拔。

第二,结构化测评评价方式上追求客观、量化,而招生复试不但要考查考生所具备的专业基本理论、基本知识以及基本技能掌握程度,还要考查考生的创新能力和综合素质等。前者宜使用客观试题考查,而后者需要考查创造性思维和专业素养,评价标准具有非确定性,宜使用开放性试题考查,以往的结构化测评难以灵验评判。

相对固定的考核内容、考核程序以及评价标准将考核限定在固定范畴内,一定程度上限制了考生的主观能动性,也不利于导师招生自主权的有效发挥。这种缺陷在推荐免试招生复试中尤其明显。不同于全国统考,推荐免试在复试阶段考生之间竞争相对缓和,结构化测评公平公正的制度优势被大为弱化,反而在科学选拔上的缺陷被进一步放大,这也导致了推荐免试复试录取中 “唯学校层次”和“唯推荐排名”等乱象情况的出现,偏离了人才选拔规律。

《国家中长期教育改革和发展规划纲要(2010—2020年)》提出“建立分类考试、综合评价、多元录取的考试招生制度”。研究生招生复试应在保证公平公正的基础上追求科学选拔,在不同的招考模式中,根据考生的特点因类施策。全国统考报考人数多,竞争激烈,复试开展结构化测评能够最大限度保证公平公正,体现国家考试公信力。而推荐免试相对于全国统考考查方式更加灵活,在复试中为有效避免结构化测评的缺陷,有必要尝试探索其他的测评方法。一些大中型企业为弥补结构化测评的不足,在对中高层管理人员的招聘中经常使用“无领导小组讨论”和“实际问题的调研”等非结构化的能力测评方法[3],取得了良好成效,这也为研究生招生,特别是在推荐免试研究生招生复试中开展非结构化测评提供了借鉴方案。

二、推荐免试研究生招生复试中开展非结构化测评的可行性

(一)非结构化测评的优势及应用条件

非结构化测评与结构化测评的区别在于测评内容和形式的标准化程度。非结构化测评追求深层次了解考生,采取灵活的考查方法,既没有固定的结构框定,也不使用有标准答案的固定问题,多以面试形式进行,具有明显的随机性,以及深入化和差异化等特征,在考查考生潜质方面优势明显。第一,考官具有自由裁判权。评分标准不固定,考官可针对考生答题思路、角度和风格等特征,根据自己丰富的经验及理解自定评判标准。评判结果直接体现考官意志,考官自主权得以充分发挥,体现专家智慧的高水平选才。第二,测评内容自由灵活。考官一般提出一个初始问题或设定一个情景,根据考生的回答进行追问;一个问题可以有多种回答,还可提出多个问题,追问可以往多个方向发展[4],没有固定规则和框架。考生不易提前准备,回答内容出于本能,有利于真实考查。第三,考查环境轻松自由。测评内容以开放性问题为主,没有固定答案,考官可以任意地与被试者讨论各种话题[5]。测评氛围宽松,过程自然随意,考生容易敞开心扉,更能激发考生潜能的发挥。

但由于非结构化测评存在结构化和标准化低,被试者之间可比性不强,影响测评的信度和效度[5],因此尚不具备普适性,其应用需要满足特定条件。第一,自主性考查。结构化测评为保证可比性,追求统一化,易受事先安排好的规则和框架约束,而非结构化测评重在发掘潜质,追求差异化,测评流程、内容、方式、时间均由考官自由把握,针对某些特质,考官认为如有必要可以随时调整既定策略,进行更深入考查,因此考官要具有较高自主性。第二,精英式考查。结构化测评考查点主要体现在易于测量和比较的通性要素上,便于进行显性比较,适应大众化考查,而非结构化测评考查点在特性素质,考查对象宜少而精,即根据特定的条件和标准开展指向性测评,挖掘特质,评判匹配度,选拔出最合适的个体或群体,在企业中一般用来考查中高级领导干部。第三,轻竞争性考查。结构化测评追求公平公正,致力于考查结果不被质疑,而非结构化测评往往可比性弱、信度低,容易引起公平性质疑,所以适用于竞争性偏低或者公平性不被过度解读的人才选拔情境。

(二)推荐免试招生复试具有深入化、差异化考查的内在要求

推免招生制度分推荐和接收两个阶段分别施行。在推荐阶段由推荐单位遴选考生,给予免初试申报研究生资格;在接收阶段由招生单位根据考生申请,组织复试(以面试为主),确定录取资格。推荐单位按考生本科期间的表现择优推荐,主要以考生课程成绩以及发表论文、社会实践、竞赛获奖等为推荐依据。而为避免公平争议,大多数高校以刚性的课程成绩排名作为学生是否获得推荐资格的基本条件[6],实践经验表明,高分未必高能。本科与研究生的培养方式截然不同,前者侧重基础教学,后者侧重培养专业素养。研究生入学后要面临学习方式转变、专业衔接等方面的挑战。因此,对接收推免生必须在复试中深入细致地考查,将真正具有学术志趣且具备培养潜质的考生选拔出来。

同时,推荐免试研究生来自不同高校,考生与考生之间存在校际差异、区域差异、知识结构差异。由于没有经过初试的统一筛选考核,复试更应尊重个体差异,因人而异设置考查方案,开展差异化考查。由此可见,推荐免试研究生招生复试的深入化、差异化要求,正是非结构化测评的基本特征。

(三)推荐免试招生复试具有开展非结构化测评的外在条件

1.复试自主权较大

第一,招生单位复试自主权日益加大。2003年教育部发布《关于做好部分高校进行自主确定硕士研究生入学考试复试分数线试点工作的通知》,首次允许部分高等学校自主确定复试分数线,并明确提出积极大胆地探索复试工作的新思路、新做法,加大复试权重,增强复试的有效性。2006年教育部发布《关于加强硕士研究生招生复试工作的指导意见》明确提出提高复试有效性,各招生单位可以根据学科(专业)特点及办学特色决定复试内容。2020年教育部发布《关于做好2020年全国硕士研究生复试工作的通知》,要求各招生单位科学制定复试方案,自主确定复试办法,科学设计复试内容。随着研究生招生复试制度改革不断发展,招生单位被赋予更多自主权,学术自由精神进一步体现。

第二,由导师组成的复试专家组具有高度自主权。导师是研究生培养的第一责任人,研究生入学后需要在导师的指导下,通过课题研究进行学习和培养,因此选择什么样的人,如何选人,导师应最有话语权。推荐免试接收环节,专家组全程组织考生材料筛选、复试名单确定、复试方案及试题设计、复试、成绩评判等工作,可最大限度行使招生自主权。另一方面,在全国统考中,录取结果依据初试成绩与复试成绩按照一定比例生成的综合总成绩确定,复试成绩所占比重仅为30%-50%;而在推荐免试中,考生已先期取得推荐资格,接收阶段由招生单位根据复试成绩确定录取结果,复试成绩所占比重为100%。相比于全国统考,推荐免试为导师发挥招生自主权提供了更有力的基础条件。

2.复试生源偏精英化

第一,精英化推荐。为保障生源质量,推免制度对推荐条件以及规模做了严格限制。其一,教育部依照本科教学质量、办学行为规范性以及研究生招生管理水平,严格筛选推荐优秀应届本科毕业生免试攻读研究生资格单位。2021年全国共有1270所本科高校,而具备推荐资格的仅为366所[7],且一般为重点高校或部分具有优势学科的高校,占比不足30%。其二,严格限定推荐条件。1953年发布的《高等学校培养研究生暂行办法(草案)》限定的推荐对象除了应届毕业生,还包括有规定资格的人员[8],从1985年开始推荐对象限定为全日制应届本科毕业生,且要求品德优秀,一贯学业表现良好,本科阶段综合成绩名列前茅等。其三,严格限制推荐比例。1985年以来推荐比例多次调整,1991年推荐比例为1%;2006年研究生院高校的推荐比例为15%左右,未设研究生院的“211工程”建设高等学校一般按5%,其他高等学校为2%,初次开展推荐免试工作的高校前三年按1%的比例进行推荐[9]。从全国层面看,2011年硕士推免生录取人数为8万人,2021年录取人数为12.7万人;随着硕士研究生招生规模和非应届考生数的大量增加,推免生录取的绝对数量虽有较大增长,但录取比例反而有所降低,由2011年的16%,下降到了2021年的12.1%,总体录取控制在较低比例的精英化水平。

第二,精英化复试。不同于大众化的本科教育,研究生教育目前仍是以培养高层次专门人才为目标的偏精英式教育,专深性、研究性和创新性是其显著特征,招生录取应坚持宁缺毋滥,优中选优原则。为保障生源质量,教育部设定了推荐免试生接收限额。1985年限定不得超过本单位硕士研究生招生计划的30%,随着推荐名额的增加,2014年将限额调整为50%。推免生招生人数仅设定了上限,招生单位没有完成计划的压力,可以纯粹从人才培养的角度开展生源选拔,择优录取。据调查,除个别招生单位接收硕士推免生所占比例接近50%外,大多数高水平研究型大学介于30%-45%之间。

3.录取竞争相对较小

第一,备选生源不足。随着硕士研究生招生规模大幅增长,尤其一些高水平研究型大学硕士研究生招生规模已达到甚至超过本科生招生规模。多数大学推荐名额未超过本科生招生规模的20%,而部分高水平研究型大学接收名额可达到硕士研究生招生规模的50%,推荐人数远低于可接收人数。另外,取得推荐资格的考生也可以申报“直博生”,分流了部分优秀生源;一些科研院所虽然不是推荐免试单位,但可以接收外单位推免生;部分取得推荐资格的考生,选择出国深造,或后因各种原因放弃,而致使推荐免试名额浪费的。这些因素都导致了硕士推荐生源不足。虽然推荐阶段因推荐率低导致竞争激烈,但在接收阶段只要考生取得推荐资格,则会形成供小于求的局面,录取率将近100%,大幅缓解了考生竞争压力。

第二,考生选择范围广。现行的推免制度要求切实保证考生自主报考,一方面鼓励所有取得推荐资格的考生(定向专项计划除外)自主选择报考单位;另一方面要求推荐高校不得限制考生自主报考。考生为增加录取机会,一般会同时申报多所高校或专业志愿,并多次参加复试,最终决定选择一个录取志愿;高校为应对复试合格生源流失,往往会扩大复试规模,为更多考生提供复试机会。复试机会越多,考生录取选择范围越大,复试录取竞争性越小。

(四)非结构化测评在“保研夏令营”中的成功应用

“保研夏令营”是针对潜在推荐生源开展的以学术活动为载体的招生复试形式。招生单位按照一定标准邀请部分大三学生入营,开展参观实验室、学术讲座、与导师座谈、分组讨论等活动,一方面加深营员对未来求学环境的了解,宣传专业特色,另一方面通过“提前面试”锁定优质生源。

“保研夏令营”对营员的综合考查具有明显的非结构化测评属性。首先,夏令营活动内容丰富。与传统面试20-30分钟的时限不同,夏令营活动时间长,一般持续一周左右,招生单位可以举办丰富的考查活动,为营员提供全方位展示机会。第二,夏令营活动形式灵活多样。招生单位可以自主设置考查活动,活动形式可以结构化也可以非结构化,座谈、分组讨论等属于非结构化测评的常用手段。第三,夏令营活动需要导师的深度参与。夏令营为导师和营员提供交流平台,导师可以在各项活动中与营员互动,根据生源需求,自主把控考查要素、考查内容和考查标准,深入考查营员的科研潜质,以及与科研要求的匹配度。

“保研夏令营”实现了对营员的全方位考查,对招生复试的非结构化测评进行了有益探索,成为推荐免试招生的重要途径。自北京大学中国经济研究中心于2000年首次开展以来,取得良好示范效应,现已有100多所高水平高校(含绝大部分“双一流”建设高校)、超过500个二级院系陆续跟进[10]。然而“保研夏令营”对营员的选拔标准相对苛刻,仅涉及部分学校层次高且本科成绩排名靠前的考生,非结构化测评的覆盖面有待进一步拓展。

三、推荐免试研究生招生复试的非结构化测评方案设计

在推荐免试研究生招生复试中,考生要经过复试资格初选和综合素质测评双重考核。初选主要针对考生报名材料开展横向比较,筛选并确定复试名单;综合素质测评是复试的关键环节,一般以面试的形式进行,需组建面试专家组、确定测评要素、设计试题并制定测评标准,以测评结果决定录取与否。在复试中开展非结构化测评能够实现导师与考生之间的深入交流,使复试考查更充分,但是测评难度和复杂性高,评价结果难以把控。科学设计测评体系,提高非结构化测评信度,是推荐免试研究生招生非结构化复试有效实施的关键。

(一)组建专业化面试专家组

面试专家的知识、能力和经验是保证非结构化测试信度的关键。组建面试专家组应注重选拔有具备长期研究生指导经验,熟悉研究生选拔和培养规律且有较强责任心的研究生导师。面试专家组设主考一名,评委若干名,主考控制面试进程,掌控全局,一般由学科带头人或者学系负责人担任;其他评委根据考生面试表现独立打分,一般由上岗招生的研究生导师担任。鉴于面试专家存在个体差异,为避免面试打分差异过大,首先面试前对专家组成员开展业务和纪律培训,强调正确执行招生政策,遵守面试规则;第二,由主考组织评委集体研讨评价体系、评分尺度以及注意事项,并组织专业化培训,也可以开展模拟演练,使面试专家熟练掌握非结构化面试技巧和评分规则。

(二)标准化筛选复试考生

针对考生申报,招生单位可建立统一的考生信息表,将审核要点逐一列出。审核要点由考生逐项填报,可包括个人基本信息、社会实践、专业竞赛、奖励惩罚、发表论文、研究计划等情况。标准化征集信息既方便开展考生间的横向比较,又可以通过审查考生填报信息详细程度评估考生报考态度。招生单位可要求考生提交本科课程成绩单,该成绩单是对本科期间上百门学分、数十门课程学业绩效的综合反映,是数十名评委在多种背景下对学生的多维评价[11],是考生学术背景和专业基础的直接体现。招生单位也可要求考生提供专家推荐信,推荐信一般由申请人的指导教师、授课教师等对申请人熟悉的学者来写,用于说明申请人的素质和能力,作为第三方评价,丰富招生单位了解考生的途径。为保证公平公正,招生单位成立资格审查小组,统一审核考生材料,必要时可以辅以专业笔试或者心理测评。为保证入选考生有充足的面试时间,提高面试效果,还应尽量控制考生规模。

(三)明确考查要素

心理学研究认为,个体的内在素质在一定程度上影响行为表现,只有当工作特点与素质结构相匹配时,才会有最佳的工作业绩[12]。研究生招生实质是考查考生是否具备胜任“研究生”这一角色的能力,根据培养定位可将这种能力概括为专业素养和创新能力等专业素质能力,以及思想品德和综合素质等综合素质能力。这些能力需要由复试专家根据考生的各项表现加以综合评价,由于能力表达的相对抽象,考查往往过于宽泛,测评结果容易以偏概全。因而,考查关注点要集中和统一,考查要素要简要且明确,可分成专业素养、创新能力、思想品德和综合素质等四个考查方面。专业素养考查可具体到专业知识掌握程度、专业技能运用能力、外语听说能力等要素;创新能力考查可具体到学习能力、系统性思维能力、发现问题并解决问题能力等要素;思想品德考查可具体到政治态度、心理健康、遵纪守法、诚实守信等要素;综合素质考查可具体到知识结构、读研动机、表达能力、担当精神等要素。考查要素具体化,既有利于分项考查,分项评分,又有利于选取针对性的考查方式。知识和技能等显性特征可以通过本科成绩单、获奖情况、专业笔试等形式考查;品质、动机、价值观等隐性要素,不易直接观察测量,是复试考查的关键环节,一般以面试形式深度考查。

(四)科学设计试题

面试专家组根据生源定位以及专业培养要求,有针对性地设计面试试题,针对思想品德、专业素养方面设置最低限度的资格要求;针对创新能力、综合素质设置择优标准,在考生其他方面都相当的情况下,评判考生优良程度。试题设计应选择研究生学业中可能遇到的研究问题及情境作为测试内容,重点考查影响培养成效的能力要素。当然,结构化和非结构化之间并没有明确界限,在推免研究生接收复试中开展非结构化测评的同时,可在部分适合客观考查的素质如专业素养,采用结构化的测评方法,兼取两者之长。而在其他不适宜客观考查的方面,主要采用面试的方法进行非结构化测评。见表1。

表1 复试测评要素及测评方式

非结构化面试形式主要分追问式考查和情景模拟考查两类。追问式考查主要针对考生个人信息设计试题,考查既往表现,试题设计体现STAR原则。如依据考生本科期间参加过的实践(如竞赛、科研、社会实践等)设计问题,第一步,开展背景考查(SITUATION),通过不断发问以了解实践背景,判断考生在实践中的贡献度;第二步,开展任务考查(TASK),追问考生实践中完成了哪些任务,了解其具备哪些实践经验;第三步,开展行动考查(ACTION),追问考生为完成任务具体采取了哪些行动,了解其行为方式和思维方式;第四步,开展结果考查(RESULT),追问考生采取行动后取得了哪些成效,了解其总结概括能力。情景模拟考查主要根据研究生培养过程中的一些环节,如研究课题讨论等,设置类似的模拟场景,安排考生扮演某一角色,去完成指定任务。在情境中考生可自由发挥,考官做好观察和记录,并依据考生行为表现评判素质潜能。情景模拟中也可同时安排多名考生扮演角色,方便考官甄别比较素质潜能。情景模拟可在研究生招生夏令营中广泛推广。

(五)规范评价

正视个体差异的客观存在,尊重个性发展,因材施教,是教育的基本理论[13]。非结构化复试正是根据考生个体差异以及各专业或学科生源需求的不同,采取差异化考查的具体表现。但是非结构化面试没有固定评分标准,评分尺度完全由评委自主把握,每个评委评选喜好、评价侧重点各不相同,难免出现打分结果差异过大的情况,导致评价结果信度过低。

充分发挥非结构化面试的成效,必须规范评价标准。推荐免试研究生招生具有选拔性,测评结果要有区分度,可将各考查要素评价结果划分为优秀、良好、一般和较差四个等级,并赋予其分值范围,方便评委按相对一致的评分标准打分。面试前选择个别考生进行试评,由面试专家根据考生面试表现分别发表评判意见,形成统一共识,确定评价等级,并以此标准作为后续考生面试评判参照依据。

四、非结构化测评体系的动态优化

许多用人单位在对人才进行测评时,为了弥补面试的不足,通常开展追踪分析,对录用人员进行全面的业绩考核,测试结果与考核结果一致性越高,测评效度越高[4]。影响个体业绩成效的内在素质,在测评中也会有所体现。测评体系可通过后续追踪个体业绩来反向验证是否存在偏差,并据此不断校正。

研究生生源需求、招生模式具有一贯性,选取以推荐免试形式录取的在读或已毕业硕士研究生作为效标样本,评价其在学习、科研上的表现,并划分为优秀、良好、一般和较差四个等级。将效标样本表现等级与其接收复试时的评判等级进行比较,二者一致性越高,表明测评体系效度越高,若二者差别较大,则需对测评体系进行校正。为此,应坚持对非结构化测评体系实施动态优化的原则方向,首先组织面试专家回看效标样本接收复试时的视频,对比其入学后表现等级,检查评价体系在考查要素、筛选标准、考官业务素质、试题设计、评价标准等方面存在的缺陷,并加以校正;第二,在推荐免试研究生招生非结构化复试时采用校正后的评价体系,同时对录取考生建立跟踪机制,再次比对其入学后的表现等级与接收复试评判等级一致性,循环往复不断完善测评体系。

致谢:本文得到天津大学研究生院常务副院长李斌教授、研究生招生办公室主任卢铮松副研究员和张舒亮老师的指导与帮助,在此表示诚挚感谢!