和谐英语

您现在的位置是:首页 > 托福考试 > 托福写作

正文

托福写作e-rater偏向中国考生?

2019-09-03来源:互联网

  VICE近日的一篇报道对作文的机器打分提出了质疑,而托福考试的写作部分正是采用了ETS自行研究的e-rater电子评分系统。

  该报道同时指出,根据ETS的研究,e-rater给中国考生作文的分数比人工评分要高。

  什么是e-rater?

  早在2010年1月,ETS就对托福写作评分进行了调整,由原来的2个阅卷人评分,取算术平均分作为原始分(raw score),改为1个阅卷人和1个电脑评分系统(e-rater)评分。

  e-rater所使用的是计算机语言学中的自然语言处理(Natural Language Process)方法。e-rater抽取出影响一篇文章好坏的一些要素,通过计算机数据功能与考生写作文本的相关信息进行标签匹配,并结合ETS过往的写作数据库来审核考生的写作质量。

  根据ETS网站的信息,e-rater目前考虑的文章要素包括以下几个方面:

  ★ content analysis based on vocabulary measures 

  基于词汇量的文本分析

  ★ lexical complexity/diction 

  用词复杂性

  ★ proportion of grammar errors 

  语法错误的比例

  ★ proportion of usage errors 

  用法错误的比例

  ★ proportion of mechanics errors 

  结构错误比例

  ★ proportion of style comments 

  文体得当程度

  ★ organization and development scores 

  组织语言及展开的能力

  ★ features rewarding idiomatic phraseology 

  使用习语的情况

  ETS也在官网上表示,由于机器无法判定语言的有效性及内容的合理性,因此这部分内容必须由人工评分员完成。

  值得一提的是,为了保证分数的公平有效,人工给分和机器给出的原始分(评分范围0-5)相差不得超过1分,若两者分数误差超过1分,将由ETS的专业阅卷者进行再次评分。