简介:大规模语言运用测试(performanceassessment)中评分员的评分质量直接关系到考生的命运和考试成绩的信效度及公平性,因此如何通过有效的评分员培训最小化评分误差是确保考试成绩有效性的重要问题。本研究运用多层面Rasch模型(MFRM)中所提供的丰富的统计信息对评分员的评分数据进行诊断分析,研究表明,MFRM输出的统计结果可以较为全面地诊断评分员在评分中所存在的问题,为评分员培训提供更加具有针对性的反馈信息,也可以作为区分评分员准确度高低的依据,为更多评分员误差研究提供有效的测量工具。
简介:采用文献资料法、逻辑分析法、数理统计法对2014年索契冬奥会单板滑雪U型场地技巧男女运动员决赛裁判员评分的客观性进行研究.研究结果显示男女运动员决赛裁判员评分客观性系数较高,在裁判员评分一致性的显著性分析中,仅有男子决赛第2轮出现显著性差异,评分过程中存在随机误差.建议积极推进和完善我国该项目裁判员队伍建设,使国内比赛的评分更加的公正、合理、客观、科学.
简介:摘要:自动作文评分( AES )是利用计算机技术对中文或者英文作文进行评分的任务。近年来随着人工智能(Artificial Intelligence,AI)、机器学习(Machine Learning,ML)与深度学习(Deep Learning,DL)的迅速发展,自然语言处理(Natural Language Processing,NLP)作为人工智能领域重要分支也得到了学术界和产业界的充分重视,越来越多的基于NLP技术的应用出现在人们的视野当中。随着全世界大部分国家对教育的重视程度越来越高,教育领域内的NLP应用得到了国内外研究机构与产业界的重点关注。