中国语料库研究的历史与现状
语料库研究与综述.

语料库研究与应用综述一概述语料库通常指为语言研究收集的、用电子形式保存的语言材料,由自然出现的书面语或口语的样本汇集而成,用来代表特定的语言或语言变体。
经过科学选材和标注、具有适当规模的语料库能够反映和记录语言的实际使用情况。
人们通过语料库观察和把握语言事实,分析和研究语言系统的规律。
语料库已经成为语言学理论研究、应用研究和语言工程不可缺少的基础资源。
语料库有多种类型,确定类型的主要依据是它的研究目的和用途,这一点往往能够体现在语料采集的原则和方式上。
有人曾经把语料库分成四种类型:(1)异质的(Heterogeneous):没有特定的语料收集原则,广泛收集并原样存储各种语料;(2)同质的(Homogeneous):只收集同一类内容的语料;(3)系统的(Systematic):根据预先确定的原则和比例收集语料,使语料具有平衡性和系统性,能够代表某一范围内的语言事实;(4)专用的(Specialized):只收集用于某一特定用途的语料。
除此之外,按照语料的语种,语料库也可以分成单语的(Monolingual)、双语的(Bilingual)和多语的(Multilingual)。
按照语料的采集单位,语料库又可以分为语篇的、语句的、短语的。
双语和多语语料库按照语料的组织形式,还可以分为平行(对齐)语料库和比较语料库,前者的语料构成译文关系,多用于机器翻译、双语词典编撰等应用领域,后者将表述同样内容的不同语言文本收集到一起,多用于语言对比研究。
语料库建设中涉及的主要问题包括:(1)设计和规划:主要考虑语料库的用途、类型、规模、实现手段、质量保证、可扩展性等。
(2)语料的采集:主要考虑语料获取、数据格式、字符编码、语料分类、文本描述,以及各类语料的比例以保持平衡性等。
(3)语料的加工:包括标注项目(词语单位、词性、句法、语义、语体、篇章结构等)标记集、标注规范和加工方式。
(4)语料管理系统的建设:包括数据维护(语料录入、校对、存储、修改、删除及语料描述信息项目管理)、语料自动加工(分词、标注、文本分割、合并、标记处理等)、用户功能(查询、检索、统计、打印等)。
浅谈语料库语言学在的应用以及在中国的发展趋势

浅谈语料库语言学在的应用以及在中国的发展趋势一、语料库语言学的兴起与发展语料库语言学是基于大量真实的语言资料,从调查语言信息的分布频率入手来研究语言在现实使用中的规律和模式。
自20世纪中后期,电脑被大量使用在语料的存储上,兴起了专门针对大规模储存于计算机里的语料库所进行的研究,自此语料库语言学进入了现代语料库语言学时期。
由于电脑语料库容量大、语料真实、检索快捷,它在现代语言学研究和语言教育中正发挥着越来越重要的作用。
在我国,从20世纪20年代开始,有学者为制定基础汉字字表开始建立文本语料库;70年代末以来,汉语现代文学作品语料库(1979年)、现代汉语语料库(1983年)等机器可读语料库开始建设。
90年代后,以《人民日报》光盘数据库、北大语料库为代表的大型汉语语料库日益发展,语料库成为研究中文信息处理的基本语言资源。
在英语语料库建设方面,杨惠中教授80年代主持建成的上海交通大学科技英语语料库(JDEST),是当时世界上第一个同类语料库,也是国内最大最完备的英语语料库之一。
1996年广州外国语学院开始建立中国学生交际英语语料库。
此外由广东外语外贸大学桂诗春教授和上海交通大学杨惠中教授牵头开发的“中国学习者语料库”(CLEC)于1999年建成,该语料库广泛收集了包括我国中学生、大学生在内的一百多万词的各种书面语资料,并对所有的语料进行语法标注和言语失误标注,对研究中国学习者的英语特点具有开创性意义。
二、语料库语言学发展趋势语料库语言学研究的发展总是以语料库的建设为基础的。
没有语料库的建设,语料库语言学所进行的研究只能是纸上谈兵。
近十多年来,国内语料库的建设取得了一定的成就,主要建设的语料库有英语学习者语料库、平行语料库、特殊英语语料库、汉语语料库四种类型。
(一)英语学习者语料库。
其中包括书面语和口语。
有广东外语外贸大学和上海交通大学合作建设的中国学习者英语语料库CLEC,100万词次;上海交通大学建设的大学英语学习者口语语料库COLSEC,5万词次;香港科技大学建设的香港科技大学学习者语料库HKUST Learner Corpus;南京大学建设的中国英语专业语料库CEMC,148万词次;南京大学建设的中国英语学习者口语语料库SECCL,100万词次;华中科技大学建设的硕士写作语料库MWC,12万词次。
语料库语言学研究发展现状浅析

语料库语言学研究发展现状浅析【摘要】语料库语言学过去几十年中在我国的研究取得了丰硕的成果,也日益引起国外同行的关注。
本文以语料库及语料库语言学在外语教学和翻译教学方面的应用为脉络,回顾了近年来语料库语言学研究所取得的成果,并讨论了语料库语言学在中国的发展趋势。
【关键词】语料库;语料库语言学;外语教学;翻译研究;研究;发展状况兴起于20世纪80年代的语料库语言学是一门新兴的学科,主要致力于文本的检索、取样、分析以及统计,从建立之初就为语言学研究注入了新的活力。
近年来,语料库语言学得到了大量中国学者与专家的广泛关注,不仅建成了一批具有国际水准的高水平、高质量的诸如平行语料库、专门用途语料库、和用于研究学习者口语和书面语特征的学习者口笔语语料库等各种类型的语料库,研究方向也从以往单一枯燥的语法、词汇和词典编纂扩展到涵盖二语习得、外语教学与研究、翻译理论、翻译实践、话语分析、错误分析和语言处理等更为专业和全面的诸多语言学研究的领域之中,吸引着越来越多的具有不同研究背景和研究方向的学者投入到语料库语言学的研究之中,使得语料库语言学得到空前的发展。
此外,国内以及国际间的各层次和领域的合作与交流也为语料库语言学的研究和发展创造了优越的环境。
一、外语教学与研究与语料库语言学以语料库为基础的外语教学研究始终是语料库语言学研究的主要领域,也一直是国内外语言学家和语言教育家关注的焦点。
在中国,语料库语言学与外语教学一直保持着紧密的联系。
首先,基于语料库的外语教学的两个最基本的问题是“教什么”和“怎么教”的问题。
关于这些问题,国际、国内的专家和学者纷纷给出了各自的理解。
Sinclair强调学习者可直接通过相关语料库资源,凭借相应的分析软件,分析观察词汇索引和扩展语境,从而自觉得形成对语言形式的归纳和自我发现。
此外,教师也可根据实际教学需求自建小型语料库或基于现有的大型语料库建立更为细致和专业的子语料库,并将其与实际的语言教学活动相结合,切实地体现语料库对语言教学的辅助作用。
《2024年语料库研究》范文

《语料库研究》篇一一、引言语料库作为一种资源丰富的语言数据集合,已成为语言学、语言学研究以及相关领域的热点研究对象。
它能够为语言分析、语言教学、翻译、词典编纂等多个领域提供支持。
本文将介绍语料库研究的重要性,并就当前语料库研究的现状进行梳理,进而分析其中存在的挑战和问题,并探讨未来的发展趋势。
二、语料库研究的现状1. 语料库类型及建设随着技术的进步,语料库建设日趋成熟。
根据不同领域和用途,语料库可大致分为通用型和专用型。
其中,通用型语料库如COCA、BNC等,涵盖了广泛的语言使用场景;专用型语料库则针对特定领域或主题进行收集,如法律、医学等。
此外,还有多媒体语料库和口语语料库等类型。
在建设过程中,研究者需考虑语料库的规模、代表性、时效性等因素。
2. 语料库应用领域语料库在多个领域得到了广泛应用。
在语言学领域,语料库为语言研究提供了丰富的数据支持;在翻译领域,语料库可帮助提高翻译的准确性和效率;在词典编纂方面,语料库为词汇的收集和释义提供了有力支持。
此外,在语言教学、自然语言处理等领域,语料库也发挥着重要作用。
三、当前挑战与问题尽管语料库研究取得了显著成果,但仍面临诸多挑战和问题。
首先,在语料库建设方面,如何确保数据的代表性和真实性是一个亟待解决的问题。
此外,随着技术的发展,如何利用人工智能等手段对语料库进行智能化处理和利用也是一大挑战。
其次,在应用方面,如何将语料库与实际需求相结合,提高应用效果也是一个难题。
此外,不同领域和行业对语料库的需求存在差异,如何满足这些不同需求也是一项挑战。
四、未来展望面对未来的发展,语料库研究将呈现以下几个趋势:1. 多样化与个性化:随着用户需求的多样化与个性化发展,未来的语料库将更加关注用户需求和实际应用场景的差异。
研究者需要设计更多类型的语料库来满足不同领域和行业的需求。
2. 智能化与自动化:人工智能技术的不断发展将促进语料库的智能化和自动化处理。
例如,利用自然语言处理技术对语料进行自动标注、分类和分析等操作,提高处理效率和准确性。
中国语料库研究的历史与现状

中国语料库研究的历史与现状推荐文章•汉语社会中识字社群的汉字字形思维例析热度:•结构主义语言学及其源流热度:•我国汉字识别研究的新进展热度:•关于汉语词汇层的研究热度:•“语法化”问题热度:中国语料库研究的历史与现状语言学的研究必须以语言事实作为根据,必须详尽地、大量地占有材料,才有可能在理论上得出比较可靠的结论。
传统的语言材料的搜集、整理和加工完全是靠手工进行的,这是一种枯燥无味、费力费时的工作。
计算机出现后,人们可以把这些工作交给计算机去作,大大地减轻了人们的劳动。
后来,在这种工作中逐渐创造了一整套完整的理论和方法,形成了一门新的学科——语料库语言学(corpus linguistics),并成为了自然语言处理的一个分支学科。
语料库语言学主要研究机器可读自然语言文本的采集、存储、检索、统计、语法标注、句法语义分析,以及具有上述功能的语料库在语言定量分析、词典编纂、作品风格分析、自然语言理解和机器翻译等领域中的应用。
多年来,机器翻译和自然语言理解的研究中, 分析语言的主要方法是句法语义分析。
因此,在很长一段时间内,许多系统都是基于规则的,而根据当前计算机的理论和技术的水平很难把语言学的各种事实和理解语言所需的广泛的背景知识用规则的形式充分地表达出来,这样,这些基于规则的机器翻译和自然语言理解系统只能在极其受限的某些子语言(sub- language)中获得一定的成功。
为了摆脱困境,自然语言处理的研究者者们开始对大规模的非受限的自然语言进行调查和统计,以便采用一种基于统计的模型来处理大量的非受限语言。
不言而喻,语料库语言学将有可能在大量语言材料的基础上来检验传统的理论语言学基于手工搜集材料的方法所得出的各种结论,从而使我们对于自然语言的各种复杂现象获得更为深刻全面的认识。
本文首先简要介绍国外语料库的发展情况,然后,比较详细地介绍中国语料库的发展情况和主要的成绩,使我们对于语料库研究得到一个鸟瞰式的认识。
2024年语料库软件市场分析现状

2024年语料库软件市场分析现状引言语料库(Corpus)是自然语言处理和文本数据分析领域中的重要资源,可用于构建语言模型、分析语义、计算词频等。
语料库软件是支持语料库管理和分析的工具,提供了丰富的功能和服务,可以帮助用户更好地进行文本数据的处理和分析。
本文将对当前语料库软件市场进行分析,探讨市场现状和未来发展趋势。
语料库软件市场概况语料库软件市场在过去几年间持续扩大,主要受到以下几个因素的推动:1.良好的数据基础:随着互联网和数字化技术的发展,大量的文本数据得以数字化存储和获取。
这为语料库软件市场提供了丰富的数据基础。
2.增强的文本分析需求:随着人工智能和自然语言处理技术的不断进步,对文本数据的分析需求越来越高。
语料库软件能够提供高效、准确的文本分析功能,满足市场上的需求。
3.不同领域的应用需求:语料库软件不仅仅在学术研究领域有广泛应用,还被越来越多的行业和领域所认可和采用。
例如在商业领域中,语料库软件可以用于市场调研、竞争分析、舆情监测等。
主要市场参与者目前,语料库软件市场中存在着多个主要的参与者,涵盖了不同规模和定位的企业。
以下是一些重要的市场参与者:1.AntConc:AntConc是一款免费开源的语料库分析软件,提供丰富的功能和易于使用的界面。
它在学术界有着广泛的应用和良好的口碑。
2.WordSmith Tools:WordSmith Tools是一款商业化的语料库软件,也是目前市场上最为知名的语料库工具之一。
它提供了强大的文本分析功能和用户友好的界面,被广泛应用于学术研究和商业领域。
3.GATE:GATE(General Architecture for Text Engineering)是一款开源的文本工程软件,提供了丰富的文本处理和语言分析功能。
它具有高度的灵活性和可扩展性,深受开发者和研究者的喜爱。
4.谷歌语料库:谷歌语料库是一个庞大的在线语料库资源,提供了大量的文本数据和查询功能。
语料库翻译研究的历史与进展兼评《语料库翻译研究理论 发现和应用》

其次,明确化也是翻译中常见的一种策略。在Maeve的翻译作品中,这种策 略也被广泛应用。例如,在一些情况下,原文中的隐含意义或暗示在译文中被明 确表达出来,使得读者更容易理解原文的含义。这种明确化的翻译策略在一定程 度上增加了译文的冗余性,但同时也提高了译文的可读性。
此外,规范化也是翻译中常见的一种现象。在Maeve的翻译作品中,我们也 发现了这种现象。例如,在某些情况下,原文中的语言习惯或修辞手法被规范化, 取而代之的是更符合目标语言习惯的表达方式。这种规范化的翻译策略在一定程 度上削弱了原文的个性和风格,但同时也使得译文更加地道、自然。
在撰写正文部分,胡开宝教授运用平实准确的语言,逐步引入语料库翻译学 的各个概念和研究方法。他不仅介绍了语料库翻译学的基本概念、发展历程和理 论基础,还详细阐述了语料库翻译学的研究方法、翻译语料库的建立与应用等核 心内容。与此他还从实践角度出发,通过具体的案例分析,使读者更好地理解和 掌握语料库翻译学在实践中的应用。
4、跨文化交流:通过对不同文化背景下的翻译语料库进行分析,可以了解 不同文化之间的差异和相似之处,有助于促进跨文化交流和理解。
参考内容
随着语言学和翻译学的不断发展,语料库翻译研究逐渐成为一种重要的研究 方法。这种研究方法以真实的语言使用情况为基础,通过大量的语料分析,揭示 翻译的普遍特征和规律。其中,Maeve是一个备受的人物,她的作品既具有独特 的风格,又具有深厚的文化内涵,为翻译研究提供了丰富的素材。
最后,整齐化和集中化也是翻译中常见的一种策略。在Maeve的翻译作品中, 我们也发现了这种现象。例如,在某些情况下,原文中的信息结构或语言表达方 式被整齐化和集中化,使得译文的节奏感和韵律感更加鲜明。这种整齐化和集中 化的翻译策略在一定程度上增加了译文的难度,但同时也提高了译文的文学性和 艺术性。
国内语料库研究综述

国内语料库研究综述摘要本文旨在回顾国内语料库研究的发展历程、现状,并探讨未来研究方向。
通过分析相关文献资料,文章总结了国内语料库研究的主要成果、不足之处,并提出了针对性的建议。
本文旨在为语料库研究领域的学者提供参考,以推动国内语料库研究的发展。
关键词:语料库、国内研究、发展历程、现状、未来研究方向引言语料库是指为语言研究而收集的、有一定规模的、有代表性的语言材料集合。
自20世纪中期以来,语料库在国外得到了广泛应用,并在多个领域取得了显著的成果。
近年来,随着国内语言学、计算语言学等学科的快速发展,语料库在国内的研究和应用也逐渐受到重视。
本文将重点探讨国内语料库研究的现状、成果及未来研究方向。
研究现状1.国内语料库的发展历程和现状自20世纪80年代起,国内开始出现一些小型语料库的建设和研究,如国家语委现代汉语通用词库等。
随着计算机技术的不断发展,90年代中后期以来,国内开始大力推进语料库的建设和研究,涉及的领域也日益广泛。
目前,国内已经建立了一系列不同规模、不同类型的语料库,如中国传媒大学的中国广播电视媒体语言语料库、上海交通大学的中文文本分类语料库等。
2.基于不同领域语料库的研究成果和不足语料库在多个领域得到了广泛应用,如语言教学、词典编纂、语言政策研究等。
在语言教学领域,语料库可以提供真实的语言材料和语境,有助于提高语言学习者的兴趣和理解能力。
在词典编纂领域,语料库可以提供大量的实例和用法,有助于提高词典的准确性和实用性。
在语言政策研究领域,语料库可以提供真实的语言使用情况和发展趋势,有助于制定科学的语言政策和发展规划。
然而,国内基于不同领域语料库的研究成果尚不够丰富,且在某些领域还存在着研究空白。
例如,针对特定领域的语料库建设和研究尚不够深入,部分领域的语料库仍存在着规模较小、代表性不足等问题。
此外,针对语料库在二语习得、语言演化等领域的研究尚不够充分。
3.国内语料库在语言教学中的应用语料库在语言教学中的应用已经得到了广泛的认可。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
中国语料库研究的历史与现状
语言学的研究必须以语言事实作为根据,必须详尽地、大量地占有材料,才有可能在理论上得出比较可靠的结论。
传统的语言材料的搜集、整理和加工完全是靠手工进行的,这是一种枯燥无味、费力费时的工作。
计算机出现后,人们可以把这些工作交给计算机去作,大大地减轻了人们的劳动。
后来,在这种工作中逐渐创造了一整套完整的理论和方法,形成了一门新的学科——语料库语言学(corpus linguistics),并成为了自然语言处理的一
个分支学科。
语料库语言学主要研究机器可读自然语言文本的采集、存储、检索、统计、语法标注、句法语义分析,以及具有上述功能的语料库在语言定量分析、词典编纂、作品风格分析、自然语言理解和机器翻译等领域中的应用。
多年来,机器翻译和自然语言理解的研究中, 分
析语言的主要方法是句法语义分析。
因此,在很长一段时间内,许多系统都是基于规则的,而根据当前计算机的理论和技术的水平很难把语言学的各种事实和理解语言所需的广泛的背景知识用规则的形式充分地表达出来,这样,这些基于规则的机器翻译和自然语言理解系统只能在极其受限的某些子语言(sub- language)中获得一定的成功。
为了摆脱困境,自然语言处理的研究者者们开始对大规模的非受限的自然语言进行调查和统计,以便采用一种基于统计的模型来处理大量的非受限语言。
不言而喻,语料库语言学将有可能在大量语言材料的基础上来检验传统的理论语言学基于手工搜集材料的方法所得出的各种结论,从而使我们对于自然语言的各种复杂现象获得更为深刻全面的认识。
本文首先简要介绍国外语料库的发展情况,然后,比较详细地介绍中国语料库的发展情况和主要的成绩,使我们对于语料库研究得到一个鸟瞰式的认识。
一、国外语料库概况
现在,美国Brown大学建立了BROWN语料库(布朗语料库),英国Lancaster大学与
挪威Oslo大学与Bergen大学联合建立了 LOB 语料库。
欧美各国学者利用这两个语料库
开展了大规模的研究,其中最引人注目的是对语料库进行语法标注的研究。
他们设计了基于规则的自动标注系统 TAGGIT 来给布朗语料库的 100 万词的语料作自动标注,正确率为77%. 他们还设计了 CLAWS 系统来给 LOB 语料库的100万词的语料作自动标注,根据统
计信息来建立算法,自动标注正确率达 96%, 比基于规则的 TAGGIT 系统提高了将近 20%. 最近他们同时考察三个相邻标记的同现频率,使自动语法标注的正确率达到 99.5%。
这个指标已经超过了人工标注所能达到的最高正确率。
现在,国外的主要语料库还有:
London-Lund口语语料库:收篇目87篇,每篇5000词,共为43.4万词,有详细的韵律标注(prosodic marking)。
AHI语料库:美国Heritage出版社为编纂Heritage词典而建立,有400万词。
OTA牛津文本档案库(Oxford Text Archive):英国牛津大学计算中心建立,有10亿字节。
BNC英国国家语料库(British National Corpus):1995年正式发布,使用TEI编码(Text Encoding Initiative)和SGML通用标准置标语言的国际标准(The Standard Generalized Mark up Language, ISO 8879, 1986年公布)。
ACL/DCI美国计算语言学学会数据采集计划:美国计算语言学学会(The association
for Computational Linguistics, ACL)倡议的数据采集计划(Data Collection Initiative, DCI),
其宗旨是向非赢利的学术团体提供语料,以免除费用和版权的困扰,用标准通用置标语言SGML统一置标,以便于数据交换。
LDC语言数据联合会 (Linguistic data Consortium): 设在美国宾州大学,实行会员制,有163 个语料库 (包括Text的以及 speech的),共享语言资源。
RWC日语语料库:日本新情报处理开发机构RWCP研制,包括《每日新闻》4年的全文
语料,语素标注量达1亿条。
亚洲各语种对译作文语料库:日本国立国语研究所研制,中野洋主持,北京外国语大学参加。
为了推进语料库研究的发展,欧洲成立了TELRI和ELRA等专门学会。
TELRI 是跨欧洲语言资源基础建设学会(Trans-European Language Resources Infrastructure )的首字母缩写,John Sinclair担任主席,由欧洲共同体提供经费,其目的在于建立欧洲诸语言的语料库,
现已经建成柏拉图(Plato)的《理想国》(Politeia) 多语语料库,建立了计算工具和资源的
研究文档TRACTOR (Research Archive of Computational Tools and Resources),正在语料
库的基础上建立欧洲语言词库EUROVOCA。
TELRI每年召开一次Seminar 。
最近的一次Seminar在Lubljana, (Slovenia)召开(22.September – 26.September.2000),主题是从语料
库中自动抽取知识(Automatic knowledge extraction)。
ELRA是欧洲语言资源学会(European Language Resources Associationi)的首字母缩写,由Zampolli担任主席,ELRA负责搜集、传播语言资源并使之商品化,对于语言资源的使用提供法律支持。
ELRA建立了欧洲语言资源分布服务处ELDA (European Language resources Distribution Agency),负责研制并推行ELRA的战略和计划。
ELRA还组织语言资源和评价国际会议
LREC (Language Resources & Evaluation Congress), 每两年一次。
第一次会议于1998年
在西班牙的Grenade举行;第二次会议在Athens(Greece)召开(31.May –
02.June.2000),第三次会议于2002年在西班牙的Las Palmas de Gran Canaria 召开(27.May – 02.June 2002)。
二、我国语料库的发展概况
(一)早期的汉语语料库
1、我国语料库研究的先河
在我国,从20世纪20年代开始,就有学者建立文本的语料库,采用统计的方法来研究
汉字的频率,其目的在于制定基础汉字的字表。
当然,这样的语料库不是机器可读的,规模也很小,它是现代语料库的雏形,开我国语料库研究的先河,在我国语料库的发展史上是功不可没功的。
著名教育学家陈鹤琴为了教学的目的,在对语料统计的基础上,编写了《语体文应用字汇》,于1925年完成,于1928年由商务印书馆出版,陈书前有“绪论”,说明“ 中文应用字汇”曾有多种,其中包括P.克仑茨(Pastor P. Kronz)的研究和他自己的编
写的《常用四千字表》。
陈鹤琴做过两次统计,第一次统计使用了六种材料,包含
554,478个汉字的语料,得不同汉字 4261个;第二次使用包含34,818个汉字的语料,
得出与4261个汉字相异的汉字458个。
第二次统计所得的成果毁于战火,在《语体文应用字汇》中印出的只是第一次统计的结果。