简介:七十年代以来,项目反应理论(ItemResponseTheory,IRT)成了测量专家关心的主要课题之一。IRT中单参数Log-istic模型常称为Rasch模型,它是由丹麦数学家GeorgRasch沿着与其他项目反应模型非常不同的路线推导出来的本文旨在介绍Rasch模型在实际中的一些应用和一种模型参数的估计方法。这种方法可以借助于手算完成,从而使普通中学老师也可以作一些IRT的题目分析工作。一、模型及其应用IRT理论认为,潜在能力测量模型至少应该包括被测对象(考生)的行为反应与潜在能力的度量。前者是可观察的,后者是待估计的。Rasch模型可以表示为
简介:本研究的目的是描述一个用于测量写作能力的多面Rasch(FACETS)模型。该FACETS模型是Rasch测量模型的多元变量拓展,它可为写作测评中的校标评分员和写作题目提供框架。本文展示了如何应用FACETS模型解决大型写作测评中遇到的测量问题。参加全州写作考试的1000个随机抽取的学生样本被用来显示该FACETS模型。数据表明即使经过强化训练,评分员的严格度有显著区别。同时,本研究还发现,写作题目难度的区分,虽然微小,却具有统计意义上的显著性。该FACETS模型为解决以作文测评写作能力的大型考试遇到的测量问题提供了一个有前景的途径。
简介:大规模语言运用测试(performanceassessment)中评分员的评分质量直接关系到考生的命运和考试成绩的信效度及公平性,因此如何通过有效的评分员培训最小化评分误差是确保考试成绩有效性的重要问题。本研究运用多层面Rasch模型(MFRM)中所提供的丰富的统计信息对评分员的评分数据进行诊断分析,研究表明,MFRM输出的统计结果可以较为全面地诊断评分员在评分中所存在的问题,为评分员培训提供更加具有针对性的反馈信息,也可以作为区分评分员准确度高低的依据,为更多评分员误差研究提供有效的测量工具。
简介:目的:探究幼儿师范生口语表达能力水平与结构,分析幼儿师范生口语测试中的评分者效应,以提升幼儿师范生口语测试公平性,促进幼儿教师口语课程教学效果。方法:以某高校学前教育学院举行的幼儿师范生口语大赛为例,运用多面Rasch技术分析本次大赛所得到的测评数据。结果:幼儿师范生口语表达能力水平相差较大,六位评分者评分严格,且差异明显,评分者的前后一贯性差,评分等级设置过于分散,高等级与低等级未能发挥相应作用。结论:幼儿师范生口语表达能力是多成分心理特质,需要从多方面训练,测试评分偏差源于评分员对评分规则的熟知度差,口语测试应当合理分散进行,过于集中测试导致的评分疲劳等会影响评分公平性。
简介:摘要:目前机场大多位于城市郊区,出行需要换乘其他交通方式。航站楼内空间环境密闭,客流量集中,所以机场航站楼内的换乘导向系统标识应该具有高辨识度、易理解性和连续性,能够引导乘客安全快捷完成换乘。本文以沈阳桃仙机场为例,对机场换乘导向系统满意度进行问卷调查,基于Rasch模型对问卷进行整体质量检测。结果显示:问卷与Rasch模型拟合情况较好,能达到问卷调查目的,对此提出换乘导向系统优化建议。
简介:摘要:目前机场大多位于城市郊区,出行需要换乘其他交通方式。航站楼内空间环境密闭,客流量集中,所以机场航站楼内的换乘导向系统标识应该具有高辨识度、易理解性和连续性,能够引导乘客安全快捷完成换乘。本文以沈阳桃仙机场为例,对机场换乘导向系统满意度进行问卷调查,基于Rasch模型对问卷进行整体质量检测。结果显示:问卷与Rasch模型拟合情况较好,能达到问卷调查目的,对此提出换乘导向系统优化建议。
简介:语言运用测试(languageperformanceassessment)是各种大规模语言考试中不可或缺的部分,但因为其测试环境中不可避免地引入了评分员的主观判断、测试任务的难度、评分标准的设定和使用情况等因素,使其信度、效度及考试的公平性都受到了质疑。多层面Rasch模型是项目反应理论(IRT)中经典Rasch模型在多个维度上的延伸,它的主要优势在于可以将考试环境中多个影响考生最终得分的因素纳入同一个数学模型中进行分析,并估算出各个层面的因素对考生成绩的影响程度。本文旨在对MFRM的工作原理和基本模型进行简单介绍,并系统梳理语言测试领域运用MFRM进行的相关研究,以期让读者更好地了解如何在语言测试研究中有效地运用这种统计方法。
简介:本研究运用多层面Rasch模型测量软件FACETS分析了计算机和15名专家评分员在一次广东省高考机助英语听说考试模拟测试中批阅215名考生口语录音的阅卷行为。研究发现:计算机自动评分和专家评分员评分的严厉度虽有显著差异,但并不会对考生能力分布产生决定性影响;计算机自动评分阅卷较低的评分偏差几率说明计算机自动评分比专家人工阅卷具有更高的内部一致性。
简介:[摘要]:有效的测评对提升教师课堂教学实施能力具有实质性意义。本研究以Rasch模型及“四基石”方法为指导,在文献研究及实践的基础上建构了教师课堂教学实施能力学习进程,以此作为理论框架指导设计教师教学实施能力测评量表。运用量表对样本进行试评、初测和再测,重在利用SPSS、Winstep软件对初测结果进行统计分析评估量表并对量表进行优化;最后运用正式量表进行再测,主要用Winstep软件对数据进行Rasch建模,通过信度、拟合度、Wright map、评分等级结构、一维性等指标检验量表的评估效果,同时借助SPSS软件辅以评分者信度。基于Rasch模型对教师专业发展具有重要实际意义。
简介:摘要目的应用Rasch模型对ICF康复组合中"活动和参与"成分进行分析,探讨其作为临床数值评定量表的可行性。方法于2017年1月至2017年5月期间在广东、湖北、福建13个研究中心采用配额抽样(神经系统50%、肌肉骨骼系统25%、心肺系统10%、其它15%)方法收集非急性期住院患者资料。由经过培训的医务人员采用ICF康复组合中"活动和参与"成分对患者进行评定。采用RUMM 2030统计软件对所收集数据进行Rasch分析,统计指标包括Rasch模型整体拟合度、阈值估计值和局部独立性。结果最终完成515例患者资料收集,其中神经系统279例(54.2%)、肌肉骨骼系统119例(23.1%)、心肺系统49例(10.0%)、其它68例(13.2%)。经Rasch分析,将ICF康复组合"活动和参与"成分划分为"活动"和"参与"两个维度。"活动"维度共有9个"类目"("d450步行"和"d465利用设备到处移动"选评其一)符合模型预期(χ2=18.74,P=0.0274>Bonferroni校正后显著性水平0.0056),条目和个人拟合残差均值(标准差)分别为-0.34(1.24)和-0.32(0.98)。"参与"维度共有5个"类目"("d230进行日常事务"和"d850有报酬的就业"形成测试组合)符合模型预期(χ2=16.25,P=0.0927>Bonferroni校正后显著性水平0.01),条目和个人拟合残差均值(标准差)分别为0.24(0.78)和-0.31(1.06)。与Rasch模型相拟合的类目可通过公式将该维度内等级评分总分转化为数值得分。结论通过重新计分、删除不拟合类目和形成测试组合等处理,ICF康复组合中"活动和参与"成分可作为"活动"和"参与"两个数值评定量表应用于临床。
简介:口语考试作为一种相对真实(authentic)和直接(direct)的测试手段,已被越来越广泛地应用于语言测试实践中。然而,在测试过程中引入的主观判断、评分标准和量表的设计与使用等因素,使分数受到更多考生能力以外因素的影响。本研究基于2007年某考点PETS三级口语考试数据,用多侧面Rasch模型(Many-facetRaschModel,简称MFRM)对这次考试的评分进行了事后质量控制研究。MFRM将语言运用测试多方面因素综合在一个数学模型中,不仅能够把所有侧面在同一标尺下进行衡量,还能对单独侧面,甚至每个个体进行具体分析,有针对性地找到潜在的'问题评分员'和可能被误判的考生,是主观评分环节有效的质量监控手段。
简介:本研究的目的是使用Rasch模型检验Pimsleur语言学能组题(PimsleurLanguageAptitudeBattery,简称PLAB)的三项分测验在中国外语学习者中的构念效度,并在Rasch分析结果的基础上进一步检验PLAB的预测效度。来自国内某所重点大学的65名英语专业二年级学生参与了测试。Rasch分析表明PLAB的最后三部分测试的绝大部分的题目与模型拟合良好,题目信度较好,较能有效测出学生的外语学能。同时,研究也发现该试题对本研究中的被试群体过易,导致部分试题被试信度较低。分层回归分析表明在控制了英语学习年限以后,外语学能显著解释了学生的英语水平总变异的20.3%,这为试题的预测效度提供了证据。