简介:汉语分词是中文信息处理的一项基础性工作。为避免人工阅读或机器处理时的分词歧义和未登录词难以识别的问题,有专家建议写作时在汉语词之间添加空格。文章从语言学本体研究、语言使用以及语言工程等不同角度对传统观念下的汉语分词存在的困难进行探讨,指出汉语分词在词的定义、群众语感以及分词规范、词表确定及工程应用等方面都存在不确定及不一致等因素。近年汉语自动分词处理不纠缠于词的确切定义,以字组词,针对标注语料和网络上带有丰富结构信息的海量文本,利用机器学习方法对汉语“切分单位”的标注取得了较好的进展。针对基础性的汉语分词规范,从语言规划的政策性、科学性及引导性角度提出建议,最后指出结合语言学指导和数据驱动的机器学习策略,可望为实现汉语自动分词的准确性和适应性提升服务。
简介:摘要分析文本的阅读易读性特征,已经在英语语篇多维度分析中占据了越来越重要的地位。为英语阅读教材以及阅读考试题目编辑人员提供一些可借鉴的参考数据是本研究的最终目的。为了挖掘正确选择阅读文本以及决定语言测试中阅读文本的易读性水平的统计学依据,本研究用在线语料库分析软件Coh-Metrix3.0和统计分析软件SPSS19.0探讨了英语专业四级和八级测试真题中的阅读文本的易读性倾向,希望此研究成果对将来的语言测试学理论的构建和实践提供建设性参考。
简介:本文使用SWECCL学习者语料库和ICLE学习者语料库(对照语料库)研究了中国大学生和瑞典大学生英语中间语复杂度即词汇复杂度和句法复杂度的存在的差异。我们随机抽取了60篇中国英语大学生和60篇瑞典英语大学生的议论文作文。词汇复杂度指标规定为词长(wordkngth)、长词数(longwordcounts)、类符-形符比(type-tokenratio)和词汇量(vocabularyleve1),句法复杂度指标规定为句长(sentencelength)、从句化(subordinateclauscs)、被动化(passiveverbs)、名词化(nominalization)和复合结构化(compounding)。结果显示,中国英语学习者在词汇复杂度4个典型指标上高于或接近于瑞典同龄学生,但在句法复杂度的诸多指标上,瑞典大学生的表现比中国学生突出。本文还讨论了该结果对中国大学阶段的英语教学的启示意义。