梁茂成所著的《大规模考试英语作文自动评分系统的研制》收集了5个不同题目共1067篇大学生英语命题作文，其中4个题目为议论文，1个为说明文。首先组织多名人工评分员对以上作文进行分析型人工评分，分析其评分信度，然后对这些作文进行多轮、多次抽样，组建训练集，对自行设计的作文评分系统的性能进行较大规模的验证。此外，研究中还对自动评分系统的构架、变量类型、汇编语言等进行了介绍，并就几个有代表性的变量进行了研究，对这些变量在自动评分系统中的应用进行了描述。

梁茂成所著的《大规模考试英语作文自动评分系统的研制》在梁茂成（2005）的基础上，挖掘新的文本特征变量，设计英语作文自动评分系统，并对该评分系统的评分信度、最低训练集样本量、适用文体类型、信度影响因素等问题进行探讨。

研究中收集了5个不同题目共1，067篇大学生英语命题作文，其中4个题目为议论文，1个为说明文。首先组织多名人工评分员对以上作文进行分析型人工评分，分析其评分信度，然后对这些作文进行多轮、多次抽样，组建训练集，对自行设计的作文评分系统的性能进行较大规模的验证。此外，研究中还对自动评分系统的构架、变量类型、汇编语言等进行了介绍，并就几个有代表性的变量进行了研究，对这些变量在自动评分系统中的应用进行了描述。

研究中主要回答以下问题：

1）以统计模型为基础设计而成的作文自动评分软件是否达到可操作水平？

评分系统的评分信度是否能够达到语言测试的要求？

2）人工评分信度对自动评分信度和评分模型的稳定性有何影响？

3）训练集作文的最低样本量至少应该达到多少？

4）作文自动评分系统对不同文体学生作文进行自动评分时是否具有同等效果？

研究发现，由于我们在英语作文自动评分系统中设置了一些对作文质量具有较强预测能力的文本变量，使得系统在接受了足够的训练之后，自动评分的评分信度达到了r=0．752或更高，可以满足统计学和测试学的要求。在训练集信度可靠的前提下，自动评分系统的评分信度最高达到r=0．83以上，作文评分系统的评分结果与人工评分的结果之间的吻合率（在0～5的量表上）高于ETS的E-rater，表明当训练集样本信度可靠时，本研究中设计的英语作文自动评分系统的评分信度高于E-rater。因此，该系统已经达到了可操作水平。

《大规模考试英语作文自动评分系统的研制》还发现，人工评分信度从两个方面对自动评分模型的稳定性产生影响。首先，当人工评分信度较低时，机器学习遵循“Garbage in，garbage out”的规则，自动评分信度也相应较低；当训练集人工评分信度较高时，自动评分信度也随之升高。其次，不同的人工评分员之间的评分信度差异对自动评分的信度也存在影响。由于训练集数据存在内在的不一致陛，致使自动评分系统学习困难，评分信度降低。

对于第三个问题，研究中通过多轮多次、大小不同的训练集来对机器评分模型加以训练，并对验证集作文的自动评分信度加以比较和分析，发现当训练集样本量达到125时，自动评分系统的评分的信度开始趋于稳定并达到统计学和测试学要求。研究还表明，当训练集样本量达到1 2 5这个临界点后，大幅度增加训练集的样本量对提高机器评分的信度可能没有很大的作用。

有关自动评分系统能否适应对不同文体的作文进行自动评分的问题，研究发现，由于本研究中设计的作文自动评分系统中设置了一些可以侦测文体特征的变量，使得作文自动评分系统对学习者写作的英语议论文和说明文都可以实现自动评分，且评分信度可靠。在议论文和说明文评分模型中，权重变量既有相同的，也有不同的，表明模型中部分变量在对议论文进行自动评分时起较大作用，另一些变量在对说明文进行自动评分时起较大作用，还有一些变量在对两类文体的作文进行自动评分时都起作用。

第1部分 绪论及相关研究回顾

 第一章 绪论

1.1 本研究的背景

1.2 研究目的及研究问题

1.3 本研究报告的结构

 第二章 国外作文自动评分系统评述

2.1 引言

2.2 二语及外语作文评分要素

2.3 国外现有作文自动评分系统述评

2.4 国外作文自动评分系统的启示

第2部分 研究方法

 第三章 数据准备

3.1 本研究中使用的语料

3.2 文本转换、清理与预处理

3.3 人工评分

3.4 人工评分信度报告

 第四章 系统构架及研究的操作步骤

4.1 引言及系统概要

4.2 研究工具

4.3 变量类型

4.4 多元回归

4.5 汇编语言

4.6 研究的操作步骤

第3部分 学习者作文的三项分析

 第五章 学习者作文中的连贯性分析

5.1 话语的连贯性

5.2 相关文献回顾

5.3 研究方法

5.4 结果与讨沦

5.5 小结及本研究在英语作文自动评分系统中的应用

 第六章 潜在语义分析在学生作文内容分析中的应用

6.1 引言

6.2 潜在语义分析与学习者作文内容的自动评价

6.3 研究方法及程序没计

6.4 研究结果及其在英语作文自动评分系统中的应用

 第七章 学习者作文中的情态序列分析

7.1 情态动词、情态序列与情态意义

7.2 对二语学习者情态动词习得情况的研究

7.3 研究设计

7.4 研究结果与讨沦

7.5 小结及本研究在英语作文自动评分系统中的应用

第4部分 系统的评分信度和系统的应用

 第八章 作文自动评分信度分析

8.1 引言

8.2 自动评分信度的影响因素

8.3 机器评分与人工评分之间的相关性分析

8.4 吻合率分析

8.5 白动评分系统对不同文体学生作文的适应能力

8.6 小结

 第九章 作文自动评分系统的应用

9.1 适用丈体

9.2 人工评分阶段

9.3 机器学习及机器评分阶段

9.4 机器评分结果的利用

9.5 小结

第5部分 结论

 第十章 结论

10.1 本研究的主要发现

10.2 本研究的局限

10.3 后续研究

参考文献

英文参考文献

中文参考文献

附 录

 附录I：PEG的变量及其beta值（Page 1968）

 附录II：Page（1995）的模型及其变量

 附录III：CLAWS4.赋码集

 附录Ⅳ：Treetagger赋码集

 附录V：演示光盘使用说明

一、光盘结构及系统运行设置

二、英语作文自动评分系统（演示版）

三、光盘中的数据及其来源

四、系统运行前准备

五、系统操作方法

六、自动评分结果的分析