当前位置:首页 期刊杂志

中国人文社会科学期刊综合评价体系的建构与实践

时间:2024-04-24

文/王雅静

学术期刊及其评价

繁荣中国学术发展、打造中国学术话语体系、促进学术生产体系的良性循环需要建构科学权威、公开透明的学术评价体系。期刊评价是学术评价的重要组成部分,是推进我国学术评价科学化、合理化和伦理化的路径之一。改革开放以来,我国借鉴国际学术评价机制,逐渐形成了以论文和期刊为中心的学术评价体系。20世纪80年代末,我国科研管理体制开始引入SCI、SSCI等学术评价指标体系,并初步建立了科学计量模式下的期刊评价体系。科学计量学的期刊量化评价研究期刊增长趋势和分布规律,根据指标算法、权重、数据结果排序对期刊等级分类,拟定“核心期刊”。“核心期刊”起初应用于图书馆采购学科期刊和引文数据库遴选来源期刊,后逐渐应用于科研管理和评价,成为学术评价、职称评定、绩效考核、人才评价、学科评估、资源配置、学校排名等方面的核心指标。由此可见,期刊评价不断影响着学术评价和学术共同体的科研活动。近年来,国家《关于分类推进人才评价机制改革的指导意见》《关于进一步加强科研诚信建设的若干意见》《关于深化项目评审、人才评价、机构评估改革的意见》《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》等文件相继出台,对学术评价和期刊评价提出了新要求:“规范各类评价活动,完善学术同行评价,建立健全分类评价体系,慎选量化指标,鼓励定性和定量相结合的综合评价方式,探索建立科学的评价体系,回归学术初心,优化学术生态。”

期刊评价方法主要有行政绩效评价、学术同行评价、量化指标评价和综合性评价。现阶段,引文评价法是基于论文被引数的定量评价方法,同行评议法则侧重同行专家的问卷打分。计量指标有引用率、转载率、影响因子、H指数、G指数等,但计量指标的信度和效度基于量化方法的理论假设和应用场景,指标设立的原则和权重会受到学科特点、社会制度和文化环境等因素的影响。所以,简单量化指标虽反映了系统某一方面特征,但也简化了对系统和结构的认识,易导致偏离真正的评价目的。同行评议打分是一种依赖专家问卷的定性评价法,它易将同行评议引入一种数量化和技术主义的路线,如德尔菲法、层次分析法和模糊数学法等,往往忽视了学科特点和评价的社会文化环境。目前,期刊评价界尚缺乏对人文社会科学学术期刊的质化评价体系和制度框架的设计,需要在全面认识期刊评价的科学性、社会性和公共性的基础上,探究我国人文社会科学学术期刊评价在理念上如何回归价值理性,推动其从“简单量化评价”到“综合评价”过渡,建构中国特色科学权威、公开透明的期刊综合评价体系。

期刊评价理论和方法演进:从“简单量化”到“综合评价”

人文社会科学期刊评价的理论和方法研究主要有三大脉络:第一是文献计量学框架对期刊量化评价方法和技术指标的研究,引文分析法和影响因子类指标的设计成为量化评价的一个重要维度;第二是人文学者从哲学思辨和方法论角度探讨“简单量化评价”对人文社会科学学术研究的影响,认为简单量化评价只是期刊评价的一个维度,关键在于理解指标的价值和内涵,以及评价工具的社会情境性;第三是知识社会学对同行评议的研究,探究期刊评价在知识生产中的社会角色,从知识内涵、生产传播特点分析评价科学性和社会性的关联,关注学术生产体制和学科文化对期刊评价的影响。这些研究呈现出了简单量化评价的弊端和建立一种期刊综合评价体系的趋势。评价学的理论和方法演进具有跨学科特点,评价经历了测量、描述、价值判断、认知建构阶段,均体现出学术评价的范式转换。学术管理主义的评价侧重绩效问责和管理监控,而哲学范式的学术评价需建立多元利益相关人的沟通平台,处理价值多元性和利益平衡性的问题。评价者甚至要扮演历史学家、社会学家、政治学家和哲学家的融合性角色,推动评价体系从管理主义到多元融合的综合性框架转变。

学术期刊综合评价体系应包含5个方面的要素:第一,在价值理念上,学术界、期刊界和政策界应该思考期刊评价科学性和社会性的关系,认清人文社会科学知识产品的准公共物品属性,探究评价的价值伦理学,理解学科文化和学术共同体发展特点,建构期刊评价的科学化和伦理化路径;第二,在评价原则和目标上,学术评价要符合国家哲学社会科学发展政策和战略方向,体现国家意识形态的导向,推动中国学术走出去,坚持评价的公开性、科学性、独立性和公正性等原则,深入理解评价对象和社会制度环境特点;第三,在评价方法论和方法上,摒弃简单量化评价的绝对化和“科学主义”倾向,将定量和定性评价动态结合,建构质化评价方法框架,加强同行评议和制度建设;第四,建立多维度、动态性和综合性的评价指标体系;第五,建设专业学术评价机构,为学术评价提供制度和组织保障。

我国人文社会科学学术期刊第三方评价的实践

(一)计量潮的兴起和人文社会科学成果评价体系的建立

计量潮下的科学评价是一种国际化趋势,被广泛应用于科研管理和科技决策。2005年,世界各国开始建立以计量为基础的第二代科技政策,如英国的REF2014和REF2021、美国的STAR METRICS、澳大利亚的ERA、加拿大的CAHS、法国AERES、日本的NIAD-UE等。这些科技评价指标虽然各有侧重,但都是以计量指标为基础。2015年英国的《计量浪潮:研究评价与管理指标作用的独立审查》报告和《REF2014同行评议与计量相关分析》标志着科学评价计量潮的到来。它的特点是立足计量、关注质量和学术影响力、支撑科技政策制定。同时,支撑评价的定量化信息系统和引文数据库也竞相涌现。

我国学术评价借鉴国际科技评价体系,初步建立了一套服务于科技政策制定、科研管理和学术评价的理论方法框架。在此背景下,我国开始引进国外SCI和SSCI等国际性通用性评价指标。与此同时,中国科学引文索引(CSCD)、中国社会科学引文索引(CSSCI)等一系列评价数据库也应运而生。另一方面,计量潮下的人文社会科学成果评价体系也适应了知识生产、学术传播和科研管理体制的变化。科研成果和交流形式从一种精英化的学术活动变成一种高度职业化、专门化的科研活动。量化评价可操作性强,标准明确,利于科研管理和学术资源分配;而同行评议的交易费用过高,具有主观性和不确定性。

(二)人文社会科学期刊评价的早期研究与专业评价机构

追溯我国学术期刊的研究和评价历史可知,20世纪90年代开始兴起的学术评价理论框架建设先从文献计量学开始,比如建立引文数据库、专家遴选数据库、匿名同行评议制度,特别是引文分析法为同行评议提供了新的参考和检验的方式,改进了学术期刊评价工作。在早期学术评价研究的基础上,我国专业评价机构逐渐开展人文社会科学核心期刊的评价工作,第三方评价机构也应运而生。

我国人文社会科学期刊评价主要有四大评价机构,分别是北京大学图书馆、中国社会科学院中国社会科学评价中心、南京大学中国社会科学研究评价中心和武汉大学中国科学评价研究中心。1992年北京大学图书馆开始研究中文核心期刊项目,同年《中文核心期刊要目总览》以工具书的形式出版。1996年,中国社会科学院图书馆主持国家社科基金“九五”重点项目,着手建立人文社会科学引文数据库,进行中国人文社会科学核心期刊评选。南京大学自1998年开始研制“中文社会科学引文索引”(CSSCI),并于2000年首次公布CSSCI来源期刊目录。2004年南京大学国家社会科学基金重大项目“建立和完善哲学社会科学评价体系研究”,利用CSSCI数据采用文献计量法、调查法、信息组织法、系统法等对我国哲学社会科学的评价体系进行研究。专业性评价机构在评价理念、原则目标、评价方法、指标体系、评价对象和学科范围、评价周期、结果应用、机构类型、发展历史和人员构成等方面各具特点。在评价主体上,北京大学、南京大学和武汉大学的评价体系都是由高校研制的,中国社会科学院的期刊评价体系是由科研机构研制的;从评价范围上看,北京大学和武汉大学的评价体系包含自然科学和人文社科学术期刊,指标体系存在同质化现象,缺乏对不同学科发展规律和特点的关注;南京大学和中国社会科学院评价中心则主要根据人文社会科学学术期刊发展的特点进行评价;在评价理论和方法上,北京大学、南京大学、武汉大学和早期中国社科院评价体系基本源于文献计量学的理论和方法框架,以计量数据为基础,采用引文评价法研究期刊集中分散规律,进行核心期刊遴选。

早期专业性期刊评价机构的兴起与发展确实得益于文献计量学理论和方法的应用。但现阶段,基于计量法的核心期刊评价体系还处在“简单量化评价”的阶段。一些人文学者认为“简单量化评价之弊端,在于过度量化、行政主导、同质化、忽视差异性和人文社会科学学科发展规律”。而同行评议法在评价过程中尚处于辅助和边缘地位。

期刊评价的价值理性回归:综合评价体系的建构

在学术评价视域下的期刊评价是一项学术活动,评价者应站在研究者角度深入研究期刊评价的学术性和社会性,建构期刊综合评价的理论基础和方法体系。简单量化评价体现利用大数据和技术手段对学术成果进行量化测量,忽视了在价值领域对意义系统的理解,易造成评价的异化和扭曲。现阶段,我们要促进人文社会科学学术期刊评价体系从“简单量化”走向“综合评价”阶段,从评价的工具理性回归价值理性。

中国社会科学评价研究院(2017年7月,中国社会科学评价研究院成立,其前身是2013年12月成立的中国社会科学评价中心,以下简称“评价院”)及其前身评价中心从20世纪90年代开始,一直积极探索学术评价视域下的期刊综合评价体系的建构,在掌握学科特点和了解学科文化的基础上,进行期刊评价的基础理论和方法的研究,将评价建立在学科之上。评价院按照中编办批复的“制定标准,组织评价,检查监督,保证质量”的要求,致力于建立科学权威、公开透明的哲学社会科学评价体系,研制期刊AMI综合评价体系,分别是吸引力(A)、管理力(M)和影响力(I)。

(一)评价学下的AMI综合评价体系

学术期刊发展特点体现了学科特点和学术共同体成长规律,对学术期刊的研究具有跨学科特点。AMI综合评价体系在跨学科理论的基础上,关注评价的价值理念、认知建构、测量描述等方面的历史变化,推动期刊评价回归价值理性。AMI综合评价体系和模型的理论来源于公共管理学、组织学、知识论、科学计量等,并在实践中不断将这些理论融合,呈现了综合化、多层次、全方位和分类评价的特点。AMI模型的各层指标是相互关联和循环强化的互动过程,分为吸引力、管理力和影响力三个核心要素,共设三级指标体系。AMI评价的创新性主要体现在四个方面:(1)在评价理念和原则上认识到期刊评价的综合性和复杂性,理解评价所处的价值体系、意识形态、社会情境、社会制度等宏观因素对其价值判断和评价决策的影响;(2)建构分类评价的理念和制度体系,根据期刊和学科发展特点和阶段进行期刊学科分类、评价方法分类、评价指标分类等;(3)加强期刊评价的价值导向,坚持正确的政治方向和学术导向,加强对学术研究方向的引导和科研诚信的监督;(4)从方法创新到制度保障,在拓展同行评议定性评价方法体系的同时,加强与之配套的制度建设,保障同行评审的公正性。

(二)期刊AMI综合评价体系的实践与创新

作为第三方评价机构,评价院及其前身致力于建立科学权威、公开透明的哲学社会科学评价体系,其探索和创新主要体现在:

第一,认识到期刊评价的科学性、公共性和社会性的关系,坚持意识形态导向。树立正确的价值立场和导向,不盲目崇拜国外指标体系。AMI综合评价体系在国家评价政策精神指导下,注重期刊评价价值观的引导、论文的原创性,期刊的编辑质量和编辑规范、审稿制度建设和编辑队伍建设,促进学术期刊发展和学术生态的优化。第二,在跨学科视域下将声誉评价和管理力评价纳入综合评价体系。AMI综合评价体系的理论和方法具有跨学科特点。吸引力指标包含学术声誉、同行评议和论文情况。学术声誉评价借鉴国外组织声誉评价方法,建立针对同行评议的问卷调研法,对期刊进行综合打分的同时,汇聚学术共同体的意见。另外,AMI综合评价体系将管理力纳入评价体系,并设立观察指标对期刊管理过程进行观察和研究,体现了定性评价、过程评价、特色评价和对期刊流程的监督。第三,建立分类评价的方法和制度体系,在多维指标下兼顾特色和差异。AMI综合评价体系以分类评价原则将评价建立在学科之上,关注期刊评价的学科差异和评价文化。首先,根据学科和期刊发展规律进行对象、方法和指标权重分类。评价院2018年的A刊评价将人文社会科学期刊分为人文、综合和社会三大学科类,并赋予不同权重。在A刊评价之外,评价院又推出了新刊和英文刊的评价,并根据期刊发展周期和语种特点遴选评议专家。其次,分类评价理念需将常规评价和特色化评价相结合,建构期刊特色评价体系和案例研究方法。评价院2019年推出《中国人文社会科学期刊特色化发展报告(2019)》,以评价促进期刊编辑部建设和特色化发展。第四,将定性和定量评价法相融合,拓展同行评议的质化方法体系。现阶段,核心期刊评价中的定性评价,尚不成体系,仅将定性评价作为定量数据的参考和补充。而在AMI评价体系中,同行评议比重平均达到30%左右,并建构了一个多层次、全方位的期刊评价专家库。评价院分批建立了29个学科的期刊评价专家委员会,共465人,并分学科组织召开各个学科的专家委员会,通过社会调研法拓展其质化研究的功能。在评价前中后期开展参与观察、焦点座谈、深度访谈和问卷调查等质性研究活动,了解学科文化、学术共同体特点和学术期刊发展规律。第五,完善评价制度建设和人才培养机制,保障评价的三公原则。评价院的专业研究人员,学科背景覆盖经济学、社会学、公共管理学、政治学、教育学、历史学、哲学、图书情报学等学科,为跨学科的评价学基础理论方法的研究工作提供科研人员保障。同时,评价院在公开、公正和公平性的评价原则下,加强评价的制度建设,制定了信息公开公示制度、专家遴选和推荐制度、意见反馈和动态调整制度等。第六,汇聚期刊发展的利益相关人,建立双向沟通平台和共享价值理念。一方面,评价院根据学科建立了一个多层次,全方位的期刊评价专家库,汇聚了学科专家、期刊专家、计量专家和科研管理专家等;另一方面,评价院在加强同行评议制度建设的同时,探索建立一个评价的双向沟通平台,形成共享价值认知,推进学术共同体平等协商和成功有效的对话。

免责声明

我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!