解密托福写作阅卷的E-rater

在托福写作备考中，大家既熟悉又陌生的一个名词便是E-rater了，它是参与写作阅卷过程中的一个系统。今天我们就一起来了解一下“神秘”的E-rater。 E-rater是做什么的？

考生的作文部分（综合写作和独立写作）的分数将由接受过ETS培训的老师和E-rater共同批改。在批改过程中，机器和人工独立评分，互相不知道彼此的分数，人和机器的评分范围都是0-5分，最终系统会对这两个分数进行加权平均。值得一提的是，为了保证分数的公平有效，人工给分和机器给分的误差不得超过1分（如人工给出3分，机器给出4分为正常；人工给出2分，机器给出4分则为异常分数）；若两者分数误差超过1分，将由ETS的专业阅卷者进行再次评分。

E-rater是如何做到准确阅卷的？ E-rater通过计算机数据功能对于考生写作文本的相关信息进行一定的标签匹配，结合ETS的过往的写作数据库来审核考生的写作质量。它利用的是计算机语言学中的自然语言处理（Natural Language Process，简称）方法。其中E-rater*擅长捕捉的是考生的语言使用，E-rater系统将考生考场作文的语言与数据库中不同分数段的文章的语言进行比对，判断考生的写作语言质量；同时，E-rater还可以通过检测逻辑连接词的使用来大致判断考生文章的逻辑衔接情况，通过匹配主题关键词来检测考试的文章发展是否出现跑题。简单来说，像手机软件“唱吧”一样，E-rater就是把考生的作文与数据库里的文章进行比对，从而给出系统判断的分数。 E-rater能关注到考生写作的哪些方面？

许多人认为E-rater只能检查语法错误，这样想可就错了。作为ETS开发的几大数据引擎之一，E-rater可以依据托福写作评分标准，审核考生作文的五个方面： Organization&Development（文章组织和发展）， Grammar（语法），Usage（用词），Mechanics（格式），Style（语言风格），下图便是E-rater的母引擎Criterion呈现的分析界面：

在上图中，我们可以看到系统将考生的文章进行了不同色块的标注，每个色块代表着文章的不同成分（开头段的黄色表示background information，红色表示thesis statement；中间段蓝色表示topic sentence，绿色表示supporting information；结尾段橙色表示conclusion）

E-rater如何按照托福写作要求进行评分 我们知道，托福独立写作从三个维度去考量考生的作文：Development（内容发展）、Organization（结构组织）和Language Use（语言使用），E-rater读不懂我们的文章内容，那么它是如何做到精准判分的呢？

Development这个维度要求考生在文章发展中做到内容充实，而E-rater并不能读懂考生的文章内容表达，因此它采取的方式是评估考生文章的The Length of Discourse Element（话语元素长度）。简单来说，话语元素长度从两个方面进行评估： 1. 平均句长（也就是说，如果全文的句子写的都很短，则证明考生的思想内容很简单，没有能够有效表述清楚自己的论述。托福官方建议一篇托福写作的平均句长应该在15-20词左右） 2. 正文段句子数量（也就是说在中间发展段中，如果句子数量过少，证明考生没有话说，因此也就无法有效展开自己的观点） 我们可以这样理解，两个人文字聊天过程中，如果彼此有话说，那么双方发出去的句子一定不会很短，内容也不会很少；如果彼此发出去的文章都是“嗯”、“哈哈”、“哦”、“呵呵”之类的，那么就基本上进入了尬聊的阶段。 当然，E-rater也会检测与话题相关的语言内容来确保考生是否出现跑题的现象，因此，紧扣主题，不断出现与主题相关的词汇和表达对于托福独立写作非常重要。 Organization这个维度要求考生合理组织段落，并且注意文章内容的逻辑衔接。读不懂考生的E-rater很是聪明地从这两个角度去评估： 1. The Number of Discourse Elements（话语元素数量，也就是合理分段。E-rater会检测考生是否在文章中呈现了Thesis Statement、Main Ideas、Supporting Ideas、Conclusion等。一般来说，建议考生的文章为4-5个自然段） 2. The Use of Transitions（逻辑连接词的使用。机器通过检测考生句子之间的逻辑连接词去判断文章的逻辑是否存在以及是否合理）

Language Use这个维度是E-rater*擅长的，因为它可以通过对考生的语言表达进行数据分析，并匹配以往数据库里的语言数据，从而对考生的文章语言质量进行审核。在语言层面，E-rater会从Grammar角度去审核考生文章中的Fragments（句子碎片）、主谓一致（Subject-verb agreement）等；会从Usage角度去审核考生文章中的Missing or Extra Article（冠词错误）、Preposition Error（介词错误）、Wrong Part of Speech（词性错误）等；会从Mechanics角度去审核考生文章中的Spelling（单词拼写）、Missing Comma（逗号缺失）等；会从Style角度去审核考生文章中的Repetition of Words（词汇重复）、Short Sentences（过多短句使用）、Passive Voice（过多被动语态使用等） 如果大家想要进一步去了解Language Use的细节，建议大家去阅读《托福官方指南（第5版）》第669页到731页的第10章Writer’s Handbook for English Language Learners的具体内容。

其实，E-rater功能再怎么强大，它也是以人工阅卷模型来进行设计的，这就是为什么人机阅卷能够达到高度一致性。只要同学们满足了人工阅卷的要求，E-rater同样也会给出一个高分。