简介:口语考试的评分是评分员基于评分标准对语言产出的认知处理过程,处理的目的就是解释考生之间的分数差异(scorevari-ance)。用于解释分数差异的变量包括构念相关变量(construct-rele-vantvariables)和构念不相关变量(construct-irrelevantvariables)。如果构念不相关变量发生作用,那么评分就产生误差。考试误差可区分为系统性误差(systematicerror)和随机性误差(randomerror)。随机性误差是评分误差控制的重点内容。口语考试评分误差的主要表现形式包括评分员的个性差异、回归均值趋势和假正态分布。我们可以通过分数差异分布和回归系数等统计手段验证口语考试评分误差的大小程度。本文还讨论了口语考试评分误差控制的目标、原则和方法。评估误差控制的目的就是最大化构念相关变量的作用,最小化构念不相关变量的影响作用;这就要求评分员在评分过程中坚持一致性、完整性和独立性三条基本原则;在手段的使用方面,口语考试的评分误差控制主要包括管理手段、技术手段和统计手段等。
简介:摘要:自动作文评分( AES )是利用计算机技术对中文或者英文作文进行评分的任务。近年来随着人工智能(Artificial Intelligence,AI)、机器学习(Machine Learning,ML)与深度学习(Deep Learning,DL)的迅速发展,自然语言处理(Natural Language Processing,NLP)作为人工智能领域重要分支也得到了学术界和产业界的充分重视,越来越多的基于NLP技术的应用出现在人们的视野当中。随着全世界大部分国家对教育的重视程度越来越高,教育领域内的NLP应用得到了国内外研究机构与产业界的重点关注。
简介:基于多层面Rasch模型,研究分析某省随机抽样高中考生短文朗读和自由交谈两种口语考试任务的评分维度及量表的使用情况。结果表明,短文朗读任务和自由交谈任务的评分维度设置均较合理,能够较准确地反映考生的能力,但是短文朗读量表的等级之间存在非等距性问题,自由交谈任务评分维度中"交际策略"与其他三个维度存在显著差异。这些信息对于修改和完善评分量表及相关维度具有重要意义。
简介:本文通过对英语专业八级口语口译考试的评分标准的考察,指出八级口语口译考试评分中两个突出的特点。即突出口语考试和口译考试评分“信息单元化”,从而影响口译质量评估的有效性。适当改变评分比例和口译评分标准的改进将有助于改善测评效果。
简介:目的:探究幼儿师范生口语表达能力水平与结构,分析幼儿师范生口语测试中的评分者效应,以提升幼儿师范生口语测试公平性,促进幼儿教师口语课程教学效果。方法:以某高校学前教育学院举行的幼儿师范生口语大赛为例,运用多面Rasch技术分析本次大赛所得到的测评数据。结果:幼儿师范生口语表达能力水平相差较大,六位评分者评分严格,且差异明显,评分者的前后一贯性差,评分等级设置过于分散,高等级与低等级未能发挥相应作用。结论:幼儿师范生口语表达能力是多成分心理特质,需要从多方面训练,测试评分偏差源于评分员对评分规则的熟知度差,口语测试应当合理分散进行,过于集中测试导致的评分疲劳等会影响评分公平性。