同伴反馈对大学生英语作文修改质量的影响——基于AWE系统的研究

周志成,蒋联江

(集美大学外国语学院，福建 厦门 361021)

随着现代信息技术在教育领域的不断发展和完善，自动作文评价(Automated Writing Evaluation，以下称AWE)系统凭借其便利性和及时性，在英语教学中被广泛应用。在我国，由于班级人数的增加，大学英语教师对AWE青睐有加。AWE系统已经成为大学英语写作教学中的重要辅助工具。AWE反馈、同伴反馈和教师反馈成为大学生英语作文修改过程的重要组成部分。在学术界，有关这三种反馈的研究很多，它们之间的对比或者组合研究也不少，比如AWE反馈和教师反馈的对比研究[1-2]、AWE反馈与同伴反馈的对比研究[3]、AWE评分与人工评分对比研究[4]、教师反馈与同伴反馈的对比研究[5-6]、AWE反馈准确性研究以及学生的接受情况[7-8]、AWE反馈和教师反馈在教学中结合使用研究[9-10]等等，但是鲜有研究将同伴反馈和AWE反馈二者结合起来。笔者尝试把同伴反馈和AWE反馈结合在一起，用来考察学生合作对AWE反馈的接受和修改情况，以期对大学英语作文教学提供参考。

一 文献综述

尽管有研究者认为AWE不一定能够明显地提高修改质量，但是更多研究者认为，作为一种教学辅助工具，AWE有利于提高英语学习者的写作能力[11]。具体体现在提高作文分数[12-13]，增加作文长度[14-15]，减少机械性错误[15]，减少语法错误[16]，对词汇的多样性具有积极的影响[17]，“充分激活学习者的最近发展区”[18]76，提高写作技巧[19]。

与AWE反馈相比，同伴反馈一直是英语写作教学中的重要一环。有研究认为，仅靠同伴反馈可能不足以成功地修改作文并提高修改技巧，要使同伴反馈的作用最大化，教师应该提供必要的支持和指导[20]。然而，相关研究大多认可同伴反馈对英语写作的正面作用：有助于批判性思维、合作学习、作文质量[21]，有利于提高写作表现[22-23]。国内的相关研究也肯定了同伴反馈在我国大学生英语作文修改中的积极作用，认为它对英语作文水平的提高具有积极作用[24-26]。

有关AWE和同伴反馈的研究不少，基本肯定了它们在作文修改中的积极作用。有研究者建议，在教学实践中将AWE和同伴反馈结合起来，以弥补AWE反馈自身的不足，更好体现写作作为社交方式的本质，但是相关的研究很少[7],[27]。笔者尝试把同伴反馈和AWE结合起来，试图揭示这种做法对学生作文修改的影响，在提高作文修改质量方面发挥的作用能达到什么样的程度，教师多大程度上依靠它来修改作文，从而为教师反馈提供参考。

二 研究设计与方法

(一)研究环境

在国内，目前最受欢迎的AWE系统是句酷批改网(https://www.pigai.org/)(以下简称“批改网”)。它是“一款基于云计算的英语作文自动批改在线服务，通过计算学生作文和标准语料库之间的距离，即时生成学生作文的得分和语言及内容分析结果”[28]。自2011年6月上线至今，吸引了包括清华大学、复旦大学、南京大学在内的1 000多所高校使用。批改网官网宣称，它可以“秒批作文”，目前用户超过2千万，批阅的英语作文超过6亿篇。

批改网提供两种类型的反馈：整体反馈和按句点评。整体反馈是对文章的语法、词汇、句法、内容和结构组织等方面的综合评价。但是这个评价过于笼统和公式化，缺乏具体和实际的建议，而且在使用批改网过程中也发现整体反馈在内容和结构组织方面的反馈不够准确[7]。正如Li,Link & Hegelheimer研究中两位受访者所说的， AWE系统只是“一台机器”，无法在作文的内容和组织方面提供有益的反馈[29]。因此，研究未将批改网的整体反馈纳入分析。

按句点评包括非纠正性反馈(non-corrective feedback)和纠正性反馈(corrective feedback)。非纠正性反馈也称为非错误反馈(non-error feedback)，相应地，纠正性反馈也称为错误反馈(error feedback)。非纠正性反馈不反馈句子中的错误，而是为英语学习者提供一些学习提示和参考，不要求学生做出修改。由于这个原因，研究未将非纠正性反馈纳入分析。纠正性反馈带有“错误”或“警示”标记，要求学生做出修改。 因此，研究侧重于学生对纠正性反馈的接受情况以及所做修改。

(二)研究对象

2019年秋季考入福建某省属重点建设大学的64名非英语专业学生，18或19岁，来自交通、物流、船舶和电子四个不同专业。虽然是刚入学的新生，却直接学习大学英语三级课程。根据该大学的大学英语分级规定，学生的英语高考成绩在125-133分之间，可以直接修大学英语三级，免修大学英语一、二级。在研究开始之前，学生已经在批改网上完成了两次作文任务，能比较熟练地使用批改网。

(三)数据收集

在实际的教学实践中，同伴反馈通常是指同学之间相互反馈，相互修改作文。学生可能担心负面的反馈会令同伴难堪，往往避免给予负面的评价[30]。这种现象在一定程度上会降低同伴反馈的质量和同伴修改的有效性[3]。为了避免这种情况的发生，揭示在AWE系统辅助下的同伴反馈所能取得最佳的修改效果，研究让学生小组合作，利用AWE系统对同一篇作文进行修改。

教师从学生之前的习作中选出一篇题为My conception of university的作文(见图1)。该篇作文的主要问题集中在标点、拼写、语法等方面。如图所示，批改网对这篇作文提出了14项反馈。

教师让全班同学在课堂上讨论这篇作文(见图1)的优缺点，然后要求学生以小组(每组2人)为单位，课后合作，找出作文中的具体错误和可以改进的地方，提出具体的修改意见，通过社交媒体(比如微信和QQ)或者面谈交换意见，经过讨论，最终达成的一致意见：一起修改作文。修改时间为一个星期，以便让学生有足够的时间进行充分的合作、讨论和修改。修改稿提交到批改网后，允许小组根据批改网反馈多次修改，直至形成最终的修改稿。鼓励学生在修改过程中与其他人或者其他小组讨论，以确保每个小组提交的修改稿是他们所能达到的、质量最好的修改稿。

全班共32个小组，提交的修改稿共32篇。研究只讨论同伴反馈的最终修改结果，即最后一次提交的这32篇修改稿(文中表格里的数据均来自于此)，而不讨论同伴反馈的过程，如提交次数、修改次数、成绩变化等。

(四)数据分析

如图1所示，批改网对这篇作文提出14项反馈，其中学习提示、推荐表达、拓展辨析、和近义词表达学习属于非纠正性反馈，如上文所说，不列入该研究中。其余10项反馈：标点警示、拼写错误、句子错误、冠词警示、名词错误、大小写错误、代词警示、词性错误、形容词错误、词性警示属于纠正性反馈。Bai & Hu将纠正性反馈分为三类：机械性错误反馈、语法错误反馈和搭配错误反馈[7]。由于批改网对该作文没有提出搭配错误反馈，该研究中10项纠正性反馈只有机械性错误反馈和语法错误反馈。机械性错误反馈指出拼写、空格、标点、大小写四个方面的错误，而语法错误反馈指出主谓一致、时态、助动词、词序、冠词、词形等方面的错误。

图1 学生作文My conception of university

1.修改稿对批改网机械性错误反馈的接受情况。批改网总共提出3项机械性反馈，共23条。

(1)标点警示(14)。原文：In university,you should develop yourself in all different ways.

批改网反馈：[标点警示]该句句首与上一句句尾标点符号之间缺少空格，请检查。

这14处标点警示属于同一错误，都是指句与句之间缺少一个空格。不过，句子中缺少空格时，比如句中“you”与它前面的“，”之间缺少空格，批改网没能识别出来。

(2)拼写错误(7)。批改网一共指出了7处的拼写错误：unuversity,opiniins,furture,excitment,curiousity,inorder and 1。

(3)大小写错误(2)。原文：my conception about university is complex.

批改网反馈：[大小写错误]请确认句首单词大写。

批改网共指出2处大小写错误：my conception和however。

从表1可以看出，大部分修改稿全部接受了批改网机械性错误反馈，94%的修改稿修改了大小写方面错误，69%的修改稿修改了拼写错误，不过，只有53%的修改稿接受标点警示。出乎预料的是，41%和31%的修改稿分别只是部分修改了标点警示和拼写错误，还有6%的修改稿拒绝修改标点警示和大小写错误。

表1 修改稿对批改网机械性错误反馈的接受情况

2.修改稿对批改网语法错误反馈的修改情况。如图1所示，除了3项机械性错误外，批改网还指出了7项语法错误共13条。笔者发现有些语法错误反馈准确，而另一些反馈则不够准确，甚至是错误的。为了得到更为客观的结果，有必要分别分析学生对准确反馈和不准确反馈的接受以及修改情况。为了便于分析，把不准确和错误的语法反馈放在一起讨论，统称为“不准确的语法错误反馈”。

(1)修改稿对批改网准确的语法错误反馈的修改情况。语法反馈1：

原文：If we lose ourselves in the colorful life.

批改网反馈：[句子错误]疑似连词开头的句子不完整。

语法反馈2：

原文： All of your achievement depend on yourself control.

批改网反馈：[句子错误]本句语法不规范，请检查。

语法反馈3：

原文：All of your achievement depend on yourself control.

批改网反馈：[代词警示]人称代词有主宾格和形容词性物主代词等之分，注意检查本句中yourself的“格”。

如表2所示，与反馈2相比，反馈1和反馈3的接受率较高，分别达到72%和69%。不过与机械性反馈的拒绝率相比，这3条语法反馈的拒绝率非常高，分别达到13%、35%和18%。另外，删除原文的比率也高，分别为6%、9%和13%。

表2 修改稿对批改网准确的语法错误反馈的修改情况

(2)修改稿对批改网不准确的语法错误反馈的修改情况。批改网提供的语法错误反馈共13条，其中10条反馈不准确甚至错误。将10条反馈整合成7条，分析如下：

语法反馈4：

原文：Such as,communication,co-operate and so on.

批改网反馈：[句子错误]疑似谓语缺失，请检查。

批改网反馈：[名词错误]请检查Such as,communication,co-operate，该处名词一般使用复数形式。

这两条反馈错误。即使根据修改建议加上一个所谓的“谓语”并把communication替换为communications，修改还是失败。原文的问题关键是such as不能引导从句。因此，可以把这两条反馈整合为一条，在统计数据时，把修改稿是否正确使用such as作为正确修改的标准。

语法反馈5：

原文：So inorder to improve myself.

批改网反馈：[句子错误]此句语法不规范，请检查。

批改网反馈：[句子错误]疑似谓语缺失，请检查。

这两条修改意见其实是同一个问题，因此合并。这条反馈错误，因为原文不是“谓语缺失”的问题，而是in order to不能引导从句。因此在统计数据时，评判标准是修改稿是否意识到in order to do sth的正确用法并做相应的修改。

语法反馈6：

原文：however,the other hold their opiniins that university life is also challenge and we should also study hard.

批改网反馈：[冠词警示]冠词缺失，请检查is also challenge。

批改网反馈：[词性警示]challenge疑为名词误用为形容词。

这两条修改意见其实是同一个问题，因此合并。这条反馈不准确，因为challenge不仅可以作名词，还可以作动词。数据统计时，is also a challenge、is also full of challenges、is also challenging均视为正确修改。

语法反馈7：

原文：University is just like a small society.

批改网反馈：[冠词警示]冠词缺失，请检查university is。

反馈不准确。这里可以选择冠词或者零冠词。

语法反馈8：

原文：however,the other hold their opiniins that university life is also challenge and we should also study hard.

批改网反馈：[词性错误]other疑为形容词误用为名词。

反馈不准确。other可作形容词，也可以作代词。该原文可以有不同的修改方案。

语法反馈9：

原文：Before l go to university,most of my teachers and the elder students say that unuversity life is colorful and relaxing.

批改网反馈：[形容词错误]请检查relaxing,疑似形容词ing/ed形式混淆。

反馈错误。原文中的relaxing正确，不能改为 relaxed。

语法反馈10：

原文：So more bravery,more belief,l will be better.

批改网反馈：[名词错误]请检查belief，该处名词一般使用复数形式。

反馈错误。即使根据反馈建议改为beliefs，原文还是错误。原句的问题在于句子结构错误，而不是belief的单复数问题(见表3)。

表3 修改稿对批改网不准确的语法错误反馈的修改情况(1)接受AWE不准确的语法错误反馈并不表示修改错误，拒绝不准确的反馈也不表示修改正确。比如，反馈6给出了不准确的修改建议，4篇修改稿接受了这个不准确的反馈，但修改正确，25篇修改稿拒绝该建议，但是相应的修改却是对错共存。由此可见，小组对批改网不准确的语法错误反馈的接受率与修改质量缺乏相关性。因此，对于这7条不准确反馈，表3不讨论接受率问题，只分析修改情况。

学生对这部分语法错误的修改质量差，主要体现在对语法反馈4、9、10的修改，修改正确率分别为47%、41%和35%。对于语法反馈4和9，高达15% 的小组选择“删除原文”。尽管这样，仍有91%小组正确地修改了反馈7，76%的小组正确地修改了反馈5。

三 结果讨论

(一)对批改网机械性错误反馈的修改情况

批改网对作文原文(图1)提出了3项机械性反馈共23条，准确率达100%，与Bai & Hu的研究结果(98.07%)基本一致，远高于Criterion 系统50%的准确率[2][7]。表1显示，将近四分之三的小组把三种机械性错误修改了过来，与Bai & Hu研究对象的表现差距大，他们全部接受并正确修改了批改网机械性错误反馈修改结果。研究中，13个小组未能把14处“缺少空格”错误全部改正过来，9个小组未能全部修改7个单词的拼写错误，2个小组完全漠视标点警示，2个小组全部拒绝大小写错误反馈。面对清楚具体的机械性错误反馈，没能全部正确修改过来，如果不是粗心，那就是学习态度问题。还可能是小组讨论和修改时，未能意识到合作学习的重要性并掌握必要的技巧。小组合作学习目的是使学生间取长补短，从而得到最佳或者接近最佳的结果，但是使用不当也会造成成员间相互推卸责任。

(二)对批改网准确的语法错误反馈的修改情况

批改网对作文原文提出10条语法建议，其中3条反馈准确，准确率较低，只有30%，明显低于Criterion的63%[2]和Bai & Hu[7]的研究发现(58.61%)。表2显示，近三分之二的修改稿接受了批改网这3条准确的语法反馈，并做出正确的修改。但是，语法反馈2的接受率低于明显其他两个反馈的接受率，主要是反馈不明确造成的。原文All of your achievement depend on yourself control主语、谓语、宾语齐全，主要的问题是主语和谓语在数方面不一致。但是批改网的修改建议“本句语法不规范，请检查”不够具体，导致学生产生困惑，不明白原句错在哪里，结果是11篇(35%)修改稿拒绝接受该反馈，保留了原文，另外还有3篇(9%)修改稿选择删除原文。而语法反馈1和3内容比较具体，直接分别指出“句子不完整”和代词“格”的问题，为修改提供明确的方向，因此，接受这两条反馈并做出正确修改的修改稿比例明显较高。

另外，与机械性反馈相比，这三条语法反馈的接受率明显降低，说明学生对于显性的机械性错误比较敏感，对于语法错误则比较迷茫，缺乏信心。从某种程度上而言，反应了学生语言能力不足。

(三) 对批改网不准确的语法错误反馈的修改情况

表3显示，与批改网准确的语法错误反馈相比，修改稿对不准确的语法错误反馈的反应显得比较复杂，修改质量稍差了些：正确修改语法反馈4、6、9、10的小组不到一半，采取删除原文的逃避式修改方式的小组比例比较高。很明显，修改结果受到不准确反馈的干扰。另外，从表2中还可以看出，虽然不少小组未能做出正确的修改，但是整体而言，学生对AWE不准确的语法错误反馈的反应比较积极。毕竟，学生不是AWE系统的奴隶[31]，不会盲目地接受AWE不准确的反馈。

批改网不准确的反馈做出反应并做相应的修改，这对于学生来说无疑是一个巨大的挑战。它要求学生利用自己的知识储备对这些反馈的准确性做出判断，然后再决定如何修改，稍不留神，学生就会被误导。以语法反馈9为例。原文“…unuversity life is colorful and relaxing”中的relaxing使用恰当，但是由于反馈的误导，在32篇修改稿中，11篇错误地把它修改为relaxed。还有小组把relaxing删去，换成casual和lighthearted，以避开relaxing和relaxed 的纠缠。遗憾的是，这两个形容词都不符合句意。有一组学生在修改时，经历了relaxing—relax—relaxed的挣扎过程，最终还是被错误反馈误导。

四 结束语

基于以上的分析和讨论，可以看出：绝大部分学生能够主动关注AWE系统的反馈并进行修改，但修改质量参差不齐，有的小组甚至“一删了之”。72%的小组正确地修改了批改网反馈的机械性错误，65%的小组正确地修改了批改网准确的语法反馈，57%的小组正确地修改了批改网不准确的语法反馈。借助AWE的同伴反馈，虽然提高了作文的语言准确性，但是修改效果不能令人满意。除此之外，学生在修改的过程中又产生新的语法错误和结构问题。这些都需要教师的干预。由此可见，大学英语教师不能过度相信并依赖AWE反馈和同伴反馈。教师反馈不可或缺。在修改过程中，教师应该在语法、内容、结构等方面给予具体的反馈。除此之外，教师应该指导学生如何充分利用词典、语料库等学习工具，如何批判性地分析AWE反馈，如何提高同伴反馈质量，以便提升学生的英语作文写作和修改能力。

此次研究，被试人数规模较小，而且只有一个案例，因此其结论还有待于大样本，多案例进一步论证。另外，研究只讨论同伴反馈对批改网反馈的最终修改结果，没有分析小组合作中的自我修改情况以及影响同伴反馈的可能因素。这些都有待于后续的研究。