标准化(h,R)指数在科研绩效评价中的应用研究——以中国大陆地区教育学领域研究人员为例

魏顺平，王丽娜，张翔宇

(国家开放大学 信息化部(工程中心)，北京 100039)



【开放大学与远程教育】

标准化(h,R)指数在科研绩效评价中的应用研究
——以中国大陆地区教育学领域研究人员为例

魏顺平，王丽娜，张翔宇

(国家开放大学 信息化部(工程中心)，北京 100039)

该文运用标准化(h,R)指数对中国大陆地区教育学领域1994年至2013年20年间研究人员的科研绩效进行了评价，评选得到100位“1994至2013年段中国教育学领域最具影响力学者”，并对这100位学者进行教育学二级学科聚类分析，非常准确地发现了“高等教育学”和“教育技术学”两个二级学科的期刊特征及主要学者，较为准确地发现了“比较教育学”这一、二级学科的期刊特征及主要学者。

标准化(h,R)指数；中国大陆地区；教育学；研究人员；科研绩效评价

一、引言

科学研究是推动学科领域发展的重要方式。如何评价科学研究成果，以客观方式呈现科学研究的发展态势，是科学评价研究领域中一直在探讨和深思的问题。长期以来，众多学者对机构、期刊、地区等学术影响力进行了系列分析。苏新宁等根据研制的《中文社会科学引文索引》，分别对2000-2004年、2004-2006年之间的各类数据借助引文索引对我国人文、社会科学成果的学术影响进行了全面的评价，涉及期刊影响分析、作者学术影响分析、机构学术影响分析、地区影响分析、论文影响分析等方面。[1][2]它对我国科学研究成果评价相关研究发挥了重要的推动作用。

研究人员是开展科学研究的主体。对于学科发展来说，分析研究人员对该学科领域的贡献力及影响力能够更准确地把握学科研究的脉络，聚焦学科发展热点，同时也有利于进一步激发个体的学术生命力，促进学科发展。在个人科研绩效评价方法上，最为著名也最为常用的方法是美国物理学家Jorge E. Hirsch提出的h指数方法，[3]但其在评价科学家个人科研绩效方面存在三个方面的缺陷，即缺乏灵敏度、缺乏区分度、缺乏波动性。针对这些缺陷，金碧辉和Rousseau Ronald进一步提出了R 指数和AR 指数。[4]鉴于不同的评价方法在精确性、相关性等方面的差异，探索在科研绩效更为精确的评价方法具有重要意义。金碧辉和Rousseau Ronald指出，当以质量为科研绩效评价的价值取向时，标准化(h, R)指数更能体现这样的价值取向。也就说将h指数与R指数配伍使用，最终形成一个复合指标，即标准化的(h,R)指数。

本研究将选择教育学学科为例，采用标准化(h, R)指数作为主要指标来对中国大陆地区教育学领域的研究人员(这里“中国大陆地区”用于限定研究人员的学术活动范围，而不是限定研究人员的所在研究机构)进行科研绩效评价，以发现我国教育学领域主要研究人员，以及这些研究人员在教育学二级学科的分布情况。

二、文献研究

在教育学领域，针对研究人员的科研绩效评价并不多见。王泽龙和苏新宁以南京大学中国社会科学研究中心《中文社会科学引文索引》(CSSCI)收录的2001-2009年中国高等教育研究论文为基础，通过对该领域论文发表数量、发文类型、引用文献的语种类型、发文分类、论文作者、研究机构和地区分布、被引用情况、发文基金资助等信息进行分析，对中国近10年的高等教育研究总体特征、发展态势和学术影响力做了较系统的评估。[5]路秋丽等人通过中国知网(CNKI)和北京万方数据股份有限公司的若干数据库对教育技术研究领域的研究者进行发表文章数、被引文献数、被引文献比例、被引频次等多项指标的计量分析，从中选出16位最具影响力的关键学者，并进而对这16位关键学者的工作单位、指导硕士论文数量、历年发表论文数进行调查和统计分析，从而进一步展现了这16位关键学者的学术表现。[6]综合来看，上述两项研究均是采用“发文数”“被引频次”等单项指标进行评价，并未用到h指数这样的综合指标。

魏顺平等人进一步改进了教育学领域研究人员的科研绩效评价方法，通过中国知网(CNKI)期刊论文数据库和引文数据库采集1998年至2007年中国教育学领域研究人员发表论文的信息以及论文被引用的信息的相关数据，运用h指数和w指数对我国教育学领域研究人员的科研绩效进行了分析，得到了最具影响力的43位学者，[7]在学术领域中产生了较大的影响。当然，这一研究也存在若干缺陷，包括：在研究样本跨度上，所采用的论文和引文数据的持续时间只有10年，这对于一个研究人员的科研生涯和研究人员h指数、w指数的计算都显得过于短暂；在评价方法上，该研究只用了h指数以及与之相似的w指数，如前文所言，这将导致科研绩效评价缺乏灵敏度和区分度；在结果呈现上，这一研究给出的评价结果并未标明每位最具影响力的学者所属教育学科的二级学科，这不利于研究结果的扩散和传播。

随着时间的推移，中国知网(CNKI)期刊论文数据库和引文数据库在不断完善，我们可以采集到时间跨度更长的论文信息及其被引用信息，并且采用标准化的(h,R)指数可以优化单一h指数的评价方法，最后对评选得到的最具影响力学者进行教育学二级学科聚类分析，想必可以取得更为准确、更为有用的研究人员科研绩效评价结果。

三、研究样本

本研究以中国大陆地区教育学领域的研究人员为研究对象，通过对中国教育学领域重要学术期刊中研究人员的论文发表信息以及引用信息，以此为基础开展对研究人员科研绩效的评价。在时间跨度上，作者选择2013年作为论文及引文信息采集终点。之所以没有选择刚刚过去的2014年，是因为2014年发表的论文，大多还没有被引用过，没有太多的研究价值。然后选择1994年作为信息采集起点，由此构成一个20年的时间跨度。在中国教育学领域重要的学术期刊选取方面，笔者参考CSSCI来源期刊(1998-1999)、CSSCI来源期刊(2000-2002)、CSSCI来源期刊(2003)、CSSCI来源期刊(2004-2005) 、CSSCI来源期刊(2006-2007) 、CSSCI来源期刊(2008-2009) 及扩展版、CSSCI来源期刊(2010-2011) 及扩展版、CSSCI来源期刊(2012-2013)及扩展版，选取该引文索引来源期刊及扩展版来源期刊列表中属于教育学领域的学术期刊(不同年份的期刊数略有差异)，整理得到历年(1998-2013年)中国教育学领域重要学术期刊列表。

对于1994年至1997年的学术期刊，笔者对前面整理得到的1998年至2013年学术期刊列表中各个期刊出现的次数进行统计，选取出现频次较高的40余种期刊作为1994年至1997年的教育学领域重要学术期刊。

接着，笔者按照1994年至2013年历年教育学领域重要学术期刊列表，从中国知网(CNKI)期刊论文数据库逐年下载对应期刊所刊发的有被引用记录的论文及其被引用频次(下载时间为2015年3月1日)。所下载得到的论文共计114 362篇论文。相比CSSCI数据库，中国知网(CNKI)引文数据库的引文来源更为广泛，更能反映论文的影响范围。因此，本研究选择中国知网(CNKI)引文数据库。

四、研究过程与讨论

1.评选中国大陆地区教育学领域最具影响力学者

基于前文获得的约11万篇研究论文信息，通过拆分论文信息的作者字段，计算每位作者的h指数和R指数，然后根据h指数和R指数计算标准化(h,R)指数，最终得到教育学领域研究人员科研绩效评价表。笔者选取标准化(h,R)指数排名前100的研究人员，如表1所示，这些学者可被看做1994至2013年段中国大陆地区教育学领域最具影响力学者。

表1 1994至2013年段中国教育学领域最具影响力学者(TOP100)

由表1可知，标准化(h,R)指数的应用，使得每位学者的得分都有所差异，有效克服了以往h指数区分度不够的弱点，同时能将一些低产高被引作者如叶澜教授、鲁洁教授推向前列，更为注重对科研质量的评价。

表1所示的TOP100学者来自中国大陆、中国香港乃至美国的31家机构，其中学者数不少于2名的机构列表如表2所示。

表2 TOP110学者的机构分布情况

表2可以窥见,一些师范大学如北京师范大学、华东师范大学、南京师范大学、华南师范大学等,综合实力排名位居全国前列的综合性大学如北京大学、华中科技大学、厦门大学、南京大学、清华大学、浙江大学,以及来自中国香港的香港中文大学在教育学领域具有的较强研究实力。另外,我们还可以看到,教育部行政人员在教育学研究领域的影响力也是不可小觑的。

2.聚类发现教育学各二级学科最具影响力学者

在我国,教育学作为一级学科,有10个二级学科,包括教育学原理、课程与教学论、教育史、比较教育学、学前教育学、高等教育学、成人教育学、职业技术教育学、特殊教育学和教育技术学等。对最具影响力学者进行二级学科细分,将有助于评价结果的应用和推广。

上述100位学者的论文发表在46种期刊上。因此,可以将每位作者视为由这46种期刊维度构成的一个向量,如表3所示,作者在某种期刊上发表论文则在这个期刊维度上取值为1,否则为0。

表3 46种期刊维度的作者向量(局部)

我们假定,来自同一、二级学科的学者将会在同一组期刊上发表论文,他(她)的作者向量更为相近。因此,我们可以采用k-means聚类方法,通过计算比较100个作者向量间的距离来实现作者聚类,然后根据每个类别的期刊特征来判断每类作者所属二级学科,从而实现最具影响力学者的二级学科细分。

笔者采用SPSS19.0的k-means聚类算法,对表3所示的100个作者向量进行聚类。在分别尝试3-6中预设类别的聚类后发现,分为4类,可以使每类的作者数相当。因此,最终分为四类。这四类的特征期刊如表4所示。通过每个类别的主要特征期刊,我们基本可以判别该类别对应的教育学二级学科。

接着我们再来看上述每个类别对应的学者，如表5所示。

表5 最具影响力学者的二级学科分布

通过咨询高等教育学、教育技术学、比较教育学等三个二级学科的研究者，分类结果“第1类：高等教育学”和“第2类：教育技术学”的期刊特征非常明显，类别中的学者全面而准确，“第3类：比较教育学”的期刊特征不是很突出，类别中的学者比较全面和准确。除高等教育学、教育技术学、比较教育学之外，教育学中的其他二级学科未能通过期刊特征凸显出来。这四个类别聚类中心间的距离如表6所示。

表6 四个类别聚类中心间的距离

“第2类：教育技术学”与其他各类的距离相对较远。在其他三类之间，“第1类：高等教育学”又与其他两类的距离相对较远。

通过上述聚类结果分析我们可以看出：(1)在教育学的二级学科中，高等教育学和教育技术学有着若干种相对专门的学术期刊，对于高等教育学而言这些期刊是《高等教育研究》《中国高等教育》《清华大学教育研究》《中国高教研究》《江苏高教》，其中《高等教育研究》最具代表性；对于教育技术学而言这些期刊是《电化教育研究》《中国电化教育》《开放教育研究》《现代教育技术》《现代远程教育研究》《中国远程教育》《远程教育杂志》《现代远距离教育》，其中，《电化教育研究》《中国电化教育》最具代表性。(2)在教育学的二级学科中，高等教育学和教育技术学的研究队伍主要在其二级学科对应的学术期刊上发表论文。

我们仍然对前文统计得到的TOP100学者数不少于2位的机构，统计这些机构中各个类别的学者数量，得到如表7所示结果。

表7 各个类别学者的机构分布情况

由表7可知，华中科技大学、厦门大学、北京大学在“高等教育学”方面研究实力更强，北京师范大学、华东师范大学、华南师范大学在“教育技术学”方面研究实力显著，北京师范大学、华东师范大学在“比较教育学”方面研究实力较为突出。

五、研究结论

本文运用标准化(h,R)指数作为研究人员科研绩效评价的主要方法，通过CNKI期刊论文数据库采集历年教育类CSSCI来源期刊共计72种期刊在1994年至2013年20年间所刊发论文(约11万篇)及其引文信息，计算每位作者的标准化(h,R)指数，最终评选得到100位“1994至2013年段中国教育学领域最具影响力学者”，并对这100位学者进行教育学二级学科聚类分析，非常准确地发现了“高等教育学”和“教育技术学”两个二级学科的期刊特征及主要学者，较为准确地发现了“比较教育学”这一、二级学科的期刊特征及主要学者。

研究结果表明，标准化(h,R)指数的应用，使得每位学者的得分都有所差异，有效克服了以往h指数区分度不够的弱点，同时能将一些低产高被引作者推向前列，更为注重对科研质量的评价。

尽管h指数与R指数的配伍使用即标准化(h,R)指数在科学家个人绩效的评价中具有科研质量的价值导向，但是，面对错综复杂的科学研究活动，我们不能单凭一两项指标对研究人员个人科研绩效作简单的评价，而是应该着力于建立以同行评议为主的科学合理的评价机制和评价制度，各种定量指标的设定可为同行得出公平合理的评价意见提供相关参考。

[1]苏新宁.中国人文社会科学学术影响力报告[M].北京:中国社会科学出版社,2007.

[2]苏新宁.中国人文社会科学学术影响力报告[M].北京:高等教育出版社,2001.

[3]Hirsch JE. An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the USA, 2005, 102(46):16569-16572.

[4]金碧辉,Rousseau Ronald. R指数、AR指数:h指数功能扩展的补充指标[J].科学观察,2007(3):1-8.

[5]王泽龙,苏新宁.中国高等教育研究现状与学术影响力评估——基于2001—2009年CSSCI论文数据[J].华中师范大学学报(人文社会科学版),2011(3):27-34.

[6]路秋丽,田雨,魏顺平.教育技术研究领域关键学者研究[J].电化教育研究,2008(8):26-31.

[7]魏顺平,路秋丽,王冰洁.中国教育学领域研究人员科研绩效评价研究[J].开放教育研究,2009(3):73-79.

Application of Standardized (h,R) Index in the Research Performance Evaluation:A Case Study of Evaluating Researchers from Pedagogy Field in China Mainland

WEI Shunping, WANG Lina, ZHANG Xiangyu

(R&D Center for E-Learning, the Open University of China, Beijing 100039, China)

In the study, the authors apply standardized (h,R) index in evaluating the research performance of researchers in pedagogy field of China mainland during the period of 1994 to 2013 and bring forward a scholars list which is the 100 most influential scholars in pedagogy field of China mainland during the period of 1994 to 2013. Through cluster analysis of the 100 most influential scholars into different second disciplines of pedagogy field, the study accurately finds the journal characteristics of two second disciplines (higher education and educational technology) and major scholars, and also finds the journal characteristics and major scholars of another second discipline, comparative education.

standardized (h,R) index; China Mainland; pedagogy; researchers； research performance evaluation

2015-09-17

国家社科基金教育学2012年度重点课题《工业化、信息化、城镇化、农业现代化同步推进下的农村教育发展与改革研究》(AGA120007)

魏顺平(1981-)，男，江西南昌人，理学博士，副研究员，主要从事教育数据挖掘研究。

G40-03

：A

：1008-469X(2015)06-0017-06