托福写作e-rater偏向中国考生?
VICE近日的一篇报道对作文的机器打分提出了质疑,而托福考试的写作部分正是采用了ETS自行研究的e-rater电子评分系统。
该报道同时指出,根据ETS的研究,e-rater给中国考生作文的分数比人工评分要高。
什么是e-rater?
早在2010年1月,ETS就对托福写作评分进行了调整,由原来的2个阅卷人评分,取算术平均分作为原始分(raw score),改为1个阅卷人和1个电脑评分系统(e-rater)评分。
e-rater所使用的是计算机语言学中的自然语言处理(Natural Language Process)方法。e-rater抽取出影响一篇文章好坏的一些要素,通过计算机数据功能与考生写作文本的相关信息进行标签匹配,并结合ETS过往的写作数据库来审核考生的写作质量。
根据ETS网站的信息,e-rater目前考虑的文章要素包括以下几个方面:
★ content analysis based on vocabulary measures
基于词汇量的文本分析
★ lexical complexity/diction
用词复杂性
★ proportion of grammar errors
语法错误的比例
★ proportion of usage errors
用法错误的比例
★ proportion of mechanics errors
结构错误比例
★ proportion of style comments
文体得当程度
★ organization and development scores
组织语言及展开的能力
★ features rewarding idiomatic phraseology
使用习语的情况
ETS也在官网上表示,由于机器无法判定语言的有效性及内容的合理性,因此这部分内容必须由人工评分员完成。
值得一提的是,为了保证分数的公平有效,人工给分和机器给出的原始分(评分范围0-5)相差不得超过1分,若两者分数误差超过1分,将由ETS的专业阅卷者进行再次评分。
- 上一篇
- 下一篇