我国第一轮本科教育评估反馈的有效性分析

张慧洁　薛　震

摘 要：目前关于本科教学评估反馈意见对学校的教学工作水平提高的实际作用如何很少有学者作专门的研究，而评估反馈直接关系到学校进一步发展的问题，评估的关键在于整改，在于建立质量保障的长效机制。本文是以上海市教育评估院开展的《教育评估反馈有效性研究》课题为基础，通过对15所不同层次高校问卷调查的实证分析，对本科教学评估反馈有效性进行了较为全面的研究，最后总结了本科教学评估反馈有效性的特征并给出了应对教学评估反馈无效性的对策建议。

关键词：教学评估；反馈；有效性分析

一、从本科教学评估调查问卷看评估及反馈中存在的问题

我国第一轮高等学校本科教学评估结束了，笔者认真地阅读了2007年以前参评的234所高校本科教学工作水平评估整改方案并进行了认真地分析，在此基础上选取了“985工程”院校、“211”院校、普通本科院校15所对教育评估反馈的有效性进行了认真地调查。本次调查共发放问卷600份，回收问卷582份，回收率为97%。问卷发放遵循了以下几个要求：⑴为了确保问卷发放和收回的效率，发放问卷的学校是与课题有密切关系的院校，如上海工程技术大学、华东政法大学、东华大学、上海师范大学、上海理工大学、华东理工大学、上海财经大学、厦门大学、浙江大学、中华女子学院等。⑵选择本科教学评估结束在一年以上，五年以下的学校。⑶问卷发放对象为亲历过教学评估的教师、教学管理人员和学校领导，这是因为一方面教师是教学质量改进的促进者和见证者，他们对自身情况、学生情况、教学条件、教学管理等方面的变化都比其他群体更熟悉；另一方面，大多数教师都直接或者间接地参与了评估工作，对教学评估工作比较熟悉，相关调查发现认为非常了解本科教学评估相关内容的教师比例达到82.2%。⑷问卷内容设计采用李克特五点尺度(Likert scale)，分别为非常同意、同意、不确定、不同意和非常不同意等五个等级，依序给予4，3，2，1，0之评分。

（一）反馈意见对教学相关方面的有效性调查情况

这里的教学相关条件指教学投入、教学改革、教学管理等。教学相关条件是教学活动得以正常进行的物质基础和体制保障，对教学水平的稳定和提高起着非常重要的作用。[1]对教学相关条件的教育评估反馈有效性调查主要是从以上三个方面（见表1）考察教学评估结束后，学校是否能够在评估反馈意见的基础上在这些方面有所改进。在教学改革方面，从调查结果可以看出，“学校的教学改革力度较大”得到了54.8%教师的肯定，均值达到2.30，但是教学改革效果却不是很理想，均值仅为1.82，肯定教学改革效果较好的仅占36%，而持否定态度的却占到了47.1%。教学管理方面，从调查结果可以看出反馈意见对教学质量控制和教学管理绩效两个方面的影响比较大，两方面均值分别达到了2.51和2.43。然而在教学管理队伍优化和教学态度改善这两方面持否定态度的分别占32.7%和51.3%，而持肯定态度的仅占26.5%和28.3%，两者的均值分别为1.84和1.66，这说明反馈意见对教学管理队伍和教学管理态度的改善作用不明显。教学投入比较大，对其变化持否定态度比例仅为9.0%和14.2%，两者的均值分别达到了2.95和2.77，这说明教学评估反馈意见对教学投入的影响显著。

（二）对教师相关教育评估反馈有效性调查情况

教师是主要教学活动的组织者和实施者，其个人素质、教学态度、师德修养、教学方法等方面都影响着教学效果，这些方面的进步也是教学水平提高的关键所在。[2]设置以上四个问题（见表2）的目的就是为了考察教学评估反馈后，教师在结构、素质等方面是否有所优化。从调查结果看，反馈意见对教师规范教学计划和学校师资队伍建设的促进作用比较明显，两者的均值分别为2.70和2.45，尤其是对教师规范教学计划影响明显持肯定态度的占75.3%；然而反馈意见对教师改进教学方法和师德修养的提高的影响却不明显，对教师改进教学方法影响明显和师德修养提高影响明显持否定态度的人分别为55.5%和64.0%。由此也可以看出，教师的教学方法、师德修养等“软实力”的提高并不是通过一次评估就能解决的问题，而必须建立一种长效的监督机制，促使教师的持续成长。

（三）对学生相关的教育评估反馈有效性调查情况

学生在教学活动中居于主体地位,是整个教学活动的中心,也是教学质量的最终载体，他们的发展是教学质量及对其评估的核心所在。以上四个问题（见表3）从学风、综合素质、就业率等方面考察了本科教育评估结束后学生的变化情况。调查结果清楚地表明，从我们设置的四个问题的回答情况来看，大部分被调查者认为学生在这几个方面几乎没有进步，四个问题的均值都没有超过2，尤其是在学生综合素质、就业率和就业质量两个方面，61.9%和66.3%的调查对象对两者明显提高持否定态度，两者的均值仅为1.38和1.26。通过对部分调查对象的访谈我们得知，绝大部分教师认为在评估过程中学校会通过层层动员，确保学生的上课出席率，确保学习风气在评估期间的良好。事实上学生素质的提高、学习风气的良好以及这两者的最终表现形式—就业率的提高都不是通过突击动员所能达到的。

（四）对学校发展影响相关的教育评估反馈有效性调查情况

本科教学工作水平评估的目的、特征和意义都鲜明地指出“名义是教学评估，实质是对学校办学水平和能力的综合评估”，它带有促进学校整体发展的功能。设置以上四个问题（见表4）主要从学校的办学自主权、办学指导思想等方面考察教学评估反馈意见对学校发展的影响。调查结果表明：首先，51.3%的人对评估反馈意见从总体上有利于促进学校发展持肯定态度，均值为2.32，这说明教学评估在总体上是有效和必要的；其次，评估反馈意见对学校办学指导思想的提高促进作用比较明显，仅有15.5%的人持否定态度，均值为2.53；第三，关于反馈建议与自主办学明显矛盾和反馈建议会导致办学模式雷同这两个选项，43.8%和40.5%的人持否定态度，均值分别为1.76和1.89，这说明评估反馈意见并没有和学校自主办学权之间产生明显的冲突，也不会导致办学模式的雷同，这点和社会上很多人的认识有所不同。[3]

二、成绩、问题与分析

（一）成绩

通过以上调查问卷的统计结果和分析不难得出以下结论：

1. 理清了学校发展的思路，抓住了不同类型学校特色问题

经过调查，特别是阅读不同院校评估整改材料，笔者认为，本科教学评估在帮助各类院校理顺学校发展思路上的作用比较明显，在帮助各类院校找准办学特色上的作用也比较大，在确立发展目标上的作用明显。

通过这次评估，不同层次的院校都能够抓住其发展的重点，虽然说评估的标准趋同，但是每一所学校各自的发展重点还是凸现出来，由于发展侧重点不同，很难在同一把尺子上分出等级，但是涉及到质量的共性问题还是一致的。比如，不管发展目标怎样，都有师资队伍建设问题。“985工程”院校和特色院校还是区分出了各自发展的不同点。如人才培养模式上，“985工程”院校普遍制定了通识教育或者是大类人才培养方案，在人才培养模式上进行了探索，这是提高质量的根本，也是在评估指标设计中所没有涉及到的。教学评估反馈提出了针对性的建议，对特色学校有针对性地提出了本校要迫切解决的问题。

2. 在软指标中，学校传统、办学资质等隐性因素受到了检验

本科教育评估使学校办学年限、办学资质、办学传统等隐性因素受到了检验，几乎每所大学都十分重视这些软指标对学校的影响，各校自评报告中都有一部分是对软因素为学校发展带来的影响所做出的总结。这些软因素为学校的进一步发展奠定了基础，同时它也是学校发展不可忽视的因素。这次评估虽然考察硬件建设较多，但是对软实力的检验也是空前的，看似是对本科教学质量的评估，其实是对整个学校办学水平的检验。对于各学校围绕评估目标进一步形成的大学制度建设，适应这一目标的办学体制、运行机制作了检验。许多学校制定了内部质量保障制度，在平时督导检查学生的作业、教师上课的规范等方面都有了一定程度的提高；总体上促进了学校水平的提高，促进了学校的校舍、运动场所、语音室、计算机、投影仪等先进设备的改善；在某种程度上，也促进了学校整体办学方向、办学特色的提升。

3. 在硬指标中，学校的各项实力得到加强

通过第一轮评估，学校的基础设施建设得到了完善。各级政府投入学校楼堂馆所建设的力度较大，使学校的整体面貌有了较大的改观。通过评估，学校的师生比、教师中高学历人数、学科带头人、教师的外语水平等方面得到了改善。从100多份整改报告中，我们看到硬件建设集中的问题是师资队伍建设问题，几乎每一所学校都把师资队伍建设问题作为今后整改的重点。[4]其次是学科建设问题，而学科建设问题的实质还是师资队伍建设问题。校区融合问题是合并院校所面临的共性问题，特色院校向综合化发展也具有代表性，但是经过评估调整，坚持特色化对于行业院校进一步明确发展方向已经起了很大的作用。

4. 评估促进了本科教学质量的提高

课题组除了阅读各院校的整改报告之外，还选取了上海体育学院、上海理工大学、同济大学、上海财经大学、天津大学、浙江大学等院校进行实地访谈。一些院校认为，教学评估在提升高等学校对本科教学的重视，特别是研究型大学重视本科教学方面效果明显。如许多教师认真研究课程，改变了教案几年也不变的现象。通过大面积检查考卷，促进了教师教学水平的提升，改善了学校的办学条件。

绝大多数院校原来的教学管理制度已经老化，毕业论文、教学事故、教材标准、研究生代课等还时常遇到问题。评估整改后，制度逐渐朝着规范化的方向发展。许多院校认为，质量保证体系在评估前没有可操作性，评估后对发现的问题进行小整改，经过大约两年时间的完善，能够解决基本问题。因此，评估整改的再评估是非常必要的。

5. 加强了师资队伍质量建设

经过这一轮评估，各个学校都从两个方面提出了师资队伍建设方面的问题。一是加大引进人才的力度；一是加大培训人才的力度。现实中许多重点院校从编制上来说并不缺教师，但是绝大多数教师都在搞科研。还有人指出，加强师资队伍建设，深化人事制度改革，要着力培养青年教师。所以，师资队伍建设包含着很广的内容，它确实是目前制约高校教学质量的因素。不论是加大世界一流科学家、人文社会科学大师的引进力度，还是增加重点学科，或是为了向着学科齐全、综合化的方向看齐，或是为了加强学科融合，或是为了理工、文科尽快实现交叉，特色院校强调为行业服务，总之，学校的层次不同，师资队伍建设的要求也不同。

绝大多数院校缺少师资的原因，许多专家认为，这轮评估的师生比指标是参照国外的，国外提倡小班上课，则师生比高。而我国大班上课，加上扩招的因素，师资队伍建设缓慢。因此，大多数院校普遍缺乏师资。另外，评估的无效性，反馈意见失灵，也是一个原因。从自评报告上看，有的学校并不缺教师，只是因为专家根据其他院校的普遍意见而照搬，出现了评估结论失真的现象。实际上，少量的资源可以用在改善其他更需要的办学条件上。如此强调学校缺少师资，反而会降低学校对教学质量其他制约因素更多的思考，没有在学校体现出整改的特色，拉大了其与强校的距离。从某种角度上说，学校缺乏师资的评估结论，是评估无效性问题造成的。

6. 加强学科建设

学科建设的关键是经费投入、人才引进与出高水平的成果。它反映了我国绝大部分院校的现状。“985工程”院校加强学科建设在于增加重点学科的数量，注重大师的引进，同时也重视SCI论文的数量；“211工程”院校学科建设重在增加博士点，增加研究型大学的含金量；新建院校的学科建设是为了向着学科齐全、综合化的方向看齐；合并后的院校加强学科建设，是为了与理工、文科尽快实现交叉；特色院校加强学科建设是为行业服务，突出学科特色，调整和优化学科结构，坚持突出重点，兼顾全面，强化优势，办出特色。总之，学科建设的层次不同，要求也不同，但是有一点是相同的，这就是投入。这也是此轮评估暴露的最多的问题。[5]

7. 加强学生的考风、考纪和课堂纪律建设

学生考风、考纪与学校纪律有关，大学的特别权力对学生考风、考纪与纪律的约束在平时的作用比较明显，远远超过了一次评估所起的作用。因此，与各个学校制定的规章制度相比，评估不是起绝对作用，但却督促了学风。所以，在许多学校的整改意见中，并没有过多涉及考风考纪问题。通过评估，许多学校的学生自觉遵守纪律，无旷课，无考试作弊，迟到率少于百分之一；校园课外科技文化活动丰富活跃，多数学生积极参与，效果好。学风建设措施得力，积极开展优秀学风班级评选活动。学生实习成绩评定标准完善、合理；实习工作总结制度健全。毕业论文组织领导职责清楚、论文工作计划周密、工作要求明确，论文选题有实际意义或理论意义；指导教师配备符合标准，纪律清楚、有针对性，指导次数得当，论文评定标准合理。

（二）问题

1. 评估制度不完善带来的问题

尽管目前本科教学评估还存在较多的问题，比如过长时间的评估准备，耗费了学校大量的人、财、物，给学校领导、教师和学生增加了巨大压力，他们把许多精力用在应对评估而不是集中在教学本身的管理质量；打乱了学校正常的教学秩序，助长了弄虚作假等恶劣风气。[6]评估时间短，一次性难以检查出存在的问题，评估结论雷同的比较多，这一方面反映了教学质量的共性问题，另一方面也说明评估指标本身存在着问题。目前媒体和许多专家都对本科教学评估持批评态度。下一轮评估时间应相对长一些，专家住进学校，帮助查找问题，变总结性评估为过程性评估。

2. 在“硬性指标”方面，教学评估反馈意见的作用明显

这里“硬性指标”是指能够通过行政手段和临时动员迅速提高的项目，它们属于高等院校教学的外在条件。比如教学设施、教学经费、教师规范、教学计划、师资队伍建设等。这些项目通过学校的教学投入和行政命令在短期就能得到明显的提高，同时这些指标往往也是评估专家容易考察的项目。[7]我们认为“硬性指标”并非教学水平表现的关键性指标，它们只能反映学校的办学条件如何，而并不能在更深层次上反映学校的教学质量。

下一轮评估将在课程设计、教学过程的设计、学生评估的设计、时间质量、投放于教育质量工作的资源等方面着手。或者在人才培养模式方面经常变换指标以增加评估的覆盖面。另外，指标要和谐，就是整体指标与部分指标之间不能冲突，否则，会顾此失彼。指标还要具有相对独立性，每一项指标不会产生相互覆盖，你中有我、我中有你的现象。指标能够量化，有些隐性指标要尽量找到可测量的方面。如学校的声誉，这项指标是测量大学办学在社会上声望的指标，可以找出有典型性的项目取代，比如入学率和就业率。评估指标设计的原则是使大学评价生态化，建立生态大学的评价指标体系。

3. 在“软性指标”方面，教学评估反馈意见的作用不如硬指标

“软性指标”是本科教学水平的内在质量的体现，这些内在质量是行政手段或临时动员所难以从根本上提高的。它们主要包括教学管理态度、学生综合素质、学习风气、师德修养、学生就业率、教师教学方法等。调查结果表明，大多数人认为教学评估反馈意见对这些方面没有促进作用。而以上这些指标却恰恰是反映教学质量的关键性指标，从根本上反映了本科教学质量。而这些关键性指标往往是难以测量的。“软性指标”的难以测量也正是导致教学评估优秀率居高不下的原因之一，这事实上与我国教育的实际不符。比如在软指标中，没有反映制度、机制等方面的问题，而恰恰是制度、机制影响了大学教学质量的提升。软指标应该是“暗物质”，它的存在应该起到决定名次的重要作用。比如，一个学校的资质、是否在某一领域曾经起到旗舰作用、今后发展的预测与分析等等。

三、改进评估的建议

（一）每一所学校根据自身的发展制定目标，评价围绕着目标达成度来进行

日本实施大学法人化后，2008年正式实施国立大学法人评鉴[8]，其目的是以大学院校的研究生和本科生为单位，六年一次对各大学公布的中期目标达成多少的程度进行评鉴。我国下一轮评估应该根据每所学校的自身状况，设定指标来对此进行评鉴。这样对不同实力、不同特色、不同学科基础的院校进行质量检测；根据他们的办学目标、办学特色、办学思路，进行评估指标设计，建立每一所学校的教学质量保障体系，特别是涉及到本科教学体系的质量保证框架，综合提炼带有共性的质量标准；研究国际上发展水平类似的学校质量标准制作的过程，进行国际性评鉴，制定评鉴院校的标准，定期进行评鉴；制定院校教师研究计划、续任、长聘与升迁等审查；成立国际评估咨询委员会，邀请国际大师、学者对本校进行评鉴，提出建议及发展策略，在不同层级的院校列出国际标准的制作过程，作为各校努力的方向；在学校升迁时，均以国际标准测量学校发展计划的实施情况及存在的差距。

（二）把人才培养体系和学生支持体系作为重点进行评价

把人才培养体系作为重点进行评价，揭示各种不同类型院校本科生教育的本质、特点与规律，以及与之相适应的人才培养质量保障体系。建立符合人才培养内涵、特点和本质要求的评价理念与方法；构建人才培养评价指标体系。注重高校内部在招生、教师、课程、实践教学等方面的制度建设。在教学内容和教学方法上，设计指标应侧重：教学课程是否依照教学目的成体系编写，其内容、水平以及学位名称是否恰当；开设的课程是否有其相应的教学形式以及学习指导方法；成绩评价、学分认定以及毕业认定是否恰当有效；对照教育目的所希望培养的人才标准，教学的效果是否提高；在学生学习过程中是否有合适的指导，向学生提建议并且帮助解决问题的学习支持体系是否有效运行；支持学生自主学习的环境是否具备。[9]此外，对学生课外活动的支持体系是否可行，关于学生生活、就业以及经济援助等方面的支持体系是否有效地运行。

（三）对本科构成框架中的软环境进行评价

要将评估指标制定的重点放在本科教学质量构成的框架上，包括本科教学质量的领导机构、管理机构、执行细要的工作机构及各自的职责，同时明确本科教学质量的监督系统。评价内容还包括：本科教学目标是否明确，本科教学内容是否明确，并且该内容是否与《学校教育法》的规定、大学所追求的一般目标相吻合，本科教学的基本组织是否依照大学目的进行设置；开展各类教学活动时，必要的运转体制是否恰当的设置并发挥作用；对教师、教学管理人员以及教学辅助人员的培训的体制是否设置进行评价；为了实现大学目的，对于将来的教学活动是否有合适并且稳定的财政来源；作为实现大学目的并开展各项活动的财务基础，是否有恰当的收支计划并且严格执行；关于大学的财务的监督是否有效实施进行评价。[10]

（四）注重院校、系、教师、学生个体的评估

目前评估由于是政府自上及下的行政性行为，教学改革难以形成学校整体性的组织行为。评估后提高教学质量的任务，靠学校行政部门是难以推动的，必须依赖于调动基层教学组织和教师教学改革的积极性。现在的教学评价倾向于对高校教学工作的整体性评价，而不是就某一学科专业教学状态或教学质量进行评价。学校必须摆脱这种粗放型状态，而向专业化、深入化发展。可行的做法是从对各个高校的评估，转变为对各个高校的各院系的评估，制定出院系评估指标体系，组织相关领域的同行进行评估。以院系为重点进行评估，首先要制定评估指标体系，与学校整体评估相比，院系评估指标体系针对性强、个性强；把质量落实到院系自己身上，有利于调动各院系的积极性，使评估成为一种全校共同价值的创造过程，实质上是对大学自治管理的回归。目前，许多高校都在第一轮评估后制定了院系评估指标，力争在两年内完成对院系的评估。每所学院的评估者同时也是该领域的同行或专家，他们既是评估者，又是被评估者，这样的身份更有利于他们成为教学质量保障的专家。

（五）注重评估整改

我国实行的是五年一轮的教学评估制度，在每次评估结束后不论评估结果如何都要求学校根据评估反馈意见进行为期一年的整改。整改工作是高校落实教育部专家组反馈意见，巩固和深化评估成果的重要措施。[11]然而，部分高校存在着重视专家组进校考察评估而忽视评估后的反馈意见或者仅对反馈意见的“硬性指标”进行改善的情况。在目前制度下，学校在整改结束后只需向教育部呈报整改情况报告，并不需要再接受任何检查，这就更导致了对学校评估反馈意见的不重视。因此，要提高评估反馈意见的有效性，关键是建立长效监管机制，随时抽查或考察学校根据评估反馈意见的整改情况。长效监管机制的建立要充分利用现代信息技术，建立日常调查与现场突击考察的监管制度。

（六）对每一所学校的制度创新进行评价

高等教育质量的提高并不只是对质量的结果进行评价，更主要的是对质量生成机制的制度创新进行评价，从注重评价的结果转向注重评价过程。摒弃那种舍本逐末的表面化、形式化、程式化和工具化的困扰及过分强调结果的评价方法，探究一种反映学校内在素质提升和创造性文化模式生成过程的评价方法。注重教学要素质量的评价，注重各种因素对教学创新影响程度的分析，注重大学学术力量成长的内在要素及相关规律的分析，注重教学内涵、特点和本质要求的评价。对独特的学术创造进行评价，对教学成果永恒性、学术研究创造性、学术资源丰富性、独特性、学术氛围的宽容性进行评价。

（七）改革评估方式，降低评估成本

评估方式的选择直接影响到评估结果的准确性和反馈意见的有效性。我国目前采取的是五年一次对所有高校都进行评估的方式，一般会提前一年通知学校。这种方式有以下明显的缺陷：首先，这种提前一年通知学校、兴师动众的评估方式，大大增加了评估成本，尤其是评估中的隐性成本，造成了大量的人、财、物的浪费，加重了国家和学校的负担，长此以往，本科教学评估必然难以持续[12]；其次，提前一年通知学校，实际上是给学校充分的准备时间，评估结果并不能反映学校教学水平的正常发展状况，反而给学校弄虚作假提供了充分的时间；再次，由于在5年内要对全国600多所高校进行评估，工作量巨大，这就难以保证所有评估的质量，从而也难以保证评估结果的准确性。评估形式是抽查了若干门课程的若干份试卷，抽查了若干个专业的毕业设计和毕业论文；召开了学校领导、管理干部、教师、学生、毕业实习学生等座谈会；专家随机听课，抽查实验课，随机抽查评阅课程、试卷和毕业论文，对实习学生进行理论测试，进行了临床技能测试，检查了学生早操情况。这样的形式几乎在所有被评估过的院校都发生过，这样走了过场，而且被评学校都进行了伪饰。[13]