写作评价具有较强的主观性和模糊性,如何保证评分结果一致且可靠始终是高风险语言测试亟须解决的难题。
外语考试写作任务的评价通常采用整体评分法或分项评分法。整体评分法按照内容是否切题、丰富,思想表达是否清晰,语言是否流畅、通顺,用词和句式是否恰当、多样等要求将评价结果分为几个等级,根据宏观层面划定等级分数线。在批阅时,评分者会参照学生的语言表现与上述条件的适切程度,根据主观印象和自身经验对学生的表现快速地做出整体判断,确定学生的成绩偏向于哪一个等级或分数阈值,再对比各个等级描述语的要求进行单独判断,核查细节错误,完成最终评定。而分项评分法将写作任务要求分解成不同维度,每个维度下都有反映考生语言表现的不同评分因子,以及对应评价任务完成质量的不同等级水平,每个评分因子所属的各个等级水平应有表现的描述语,评分者按照作文表现与描述语的匹配情况给学生评分,最后取各维度评分的总值或均值作为最终成绩。以上两种方法无法让评分者真正一致地使用并解释等级描述语,也无法得知评分者是否严格依据等级标准进行评分。
笔者认为,解决上述问题的根本方法是采取统一化、客观化的评分标准,这种评分标准可以通过模糊综合评价法来构建。TRM-8的写作部分现采用整体评分法,为提高其评分信度,本文主张运用模糊综合评价法对写作评分标准进行量化处理,构建TRM-8写作质量评估的模糊数学模型,并阐述该模型应用的基本原理和具体步骤。
研究发现,写作模糊综合评价具有以下优点:第一,评分信度高。模糊综合评分法利用模糊合成的原理,很大程度上降低极端因子的影响,缩小个人评价之间的差距,减小测评误差。同时,它能保证作文分数按照评分标准给出,避免主观臆断,且方便对写作能力不平衡的考生进行评分。第二,操作较简单。评判时,评分者只需依据学生的写作表现在特定指标中选择合适的等级水平即可,成绩的统计及计算工作均由计算机执行,评分者不知道考生的最终得分,极大程度地降低了人为因素的干扰。第三,结果易解释。“优、良、中、差”的等级更易把握,评定范围仅限于这四个级别,大大提高了评分的准确性和一致性,同时减轻了评分老师的评阅心理压力。第四,权重多样化。模糊综合评分法不仅能给不同评分维度加权,还能给各维度内部的子因素加权,使评分结果更具准确性。第五,兼容性较强。模糊综合评分法可以将整体评分与分项评分结合起来,分别做整体与分项的模糊评价。
模糊综合评价的缺点在于评价指标及其权重体系的确定具有一定的主观随意性;模糊综合评分法本身不能规避评价指标之间相关、交叉甚至重复所导致的评价结果混乱;模糊综合评价排除满分和零分的情况。
模糊综合评分法提供了一种“主观评分客观化”的评价思路,可以有效减少评分过程中的随机误差,提高测试结果的准确性及可靠性,消减现行评分方法的弊端,值得加以广泛应用。
《外语电化教学》2021年第3期,70-75页
http://www.wydhjx.cbpt.cnki.net/wkg/WebPublication/index.aspx?mid=wydh