语料库建设及使用专题研修班

语料库建设及使用专题研修班

时间：2014年11月8-9日

地点：上海海事大学2C305（计算机实验室）

主讲人：北京外国语大学中国外语教育中心梁茂成李文中许家金

一、基本概念

1.为什么欧洲对语料库语言学会有如此大的兴趣呢？在美国占统治地位的

Chomsky语言学的研究焦点是句法，它感兴趣的是哪些句子是可能的（What is possible?），追求的是语言理论的“解释力”，例如Colorless green ideas sleep furiously、The rat the cat the dog chased ate died都是可能的，但语料库语言学对此却没有兴趣。因为实际上没有人会这样说。语料库语言学感兴趣的是哪些语言现象在实际使用上是很有可能的（What is probable?），这和统计学中的概率有关，不是可否的问题，而是多少的问题，也就是语言的使用问题。

2.一个小型文本集并不是真正意义上的语料库。真正意义上的语料库是一个按照

一定的采样标准采集而来的、能够代表一种语言或者某语言的一种变体或文类的电子文本集。可以说，一个语料库由若干个电子文本构成，而这些电子文本作为一个整体可以代表某语言或者某语言的某种变体或文类。语料库语言学以大量精心采集而来的真实文本（authentic texts）为研究素材，主要通过概率统计的方法得出结论，因此语料库语言学从本质上讲是实证性的（empirical）。

3.文本：文本可以保存生（raw）语料，即未经任何标注的语料，称为生文本（raw

text）。文本中也可以保存经过人工或自动标注的语料，这种文本称为标注文本（annotated text）。文本中的标注信息可以标示语料的来源、文本的内部结构、文本中的语言单位等多种语言信息和非语言信息。

4.经人工或自动处理后，原来的生文本获得了“增值”（Leech 1991），文本中所包

含的多种信息可以通过语料库分析软件提取出来，为人们分析和研究语言提供大量的实证数据。然而，Sinclair等并不主张对文本进行标注，倡导干净的文本（clean text），这样我们在观察语言时才可以脱离现有理论的束缚。

5.形符（token）是一个语言单位。语料库语言学中一般将it’s视为两个形符。总

形符数是语料库容量的最常用的测量单位。如英国国家语料库约有1亿个词，说的就是该语料库中包含有约1亿个形符。

6.类符（type）指不重复计算的形符数。换言之，在一个文本中，重复出现的形

符只能记作一个类符。以美国作家Gertrude Stein的作品Sacred Emily中的诗句Rose is a rose is a rose is a rose.为例，这句中共有10个形符，而类符只有3个（即rose, is, a）。据此，我们可以计算这个句子的类符/形符比（type-token ratio, TTR，又称为形次比），即TTR=（3/10）*100%=30

7.类符/形符比是衡量文本中词汇密度（lexical density）的常用方法。然而如果文

本中有大量的功能词（function words，如the、a、of等）反复出现，文本每增加一个词，形符就会增加一个，但类符却未必会随之增加，这样，文本越长，功能词重复的次数也就越多，类符/形符比也就会越低。常用的补救方法是用标准化类符/形符比（standardized type-token ratio）来计算词汇密度。计算方法是，计算每个文本每1,000词（1,000词是参考值，可根据文本的长度进行适当调整）的类符/形符比，将所得到的若干个类符/形符比进行均值处理，最终得到的数值即为标准化类符/形符比。

8.概率（probability）是语料库语言学中最重要的基本概念之一。语料库语言学

的目标之一是解释各种语言现象是否可能发生及其发生概率的大小（参见Kennedy 1998: 270）.语料库语言学有两大支撑点，其一是大量的真实语言使用实例，其二是统计学理论及方法，这使得语料库语言学十分有别于基于“理想的本族语者”的直觉的研究方法。

9.频率（frequency）是语料库语言学中最重要的概念之一。我们可以降学习者

语料库中某词的使用频数、学习者语料库容量、本族语者语料库中该词的使用频

数、本族语者语料库的容量共4个数值输入四格列联表，通过卡方检验来确定该词在学习者语料库中是否被过多使用（overused）或过少使用（underused）。

10.索引（concordance）又称“语境中的关键词”（key word in context, KWIC），

指的是运用索引软件（concordancer）在语料库中查询某词或短语的使用实例，然后将所有符合条件的语言使用实例及其语境以清单的形式列出。

11.搭配（collocation）并不是某个词语单方面的行为，我们至少应该从两个词语

各自的出现频数（occurrences）和共现频数（co-occurrences）两方面来考察搭配的强度。据此，人们提出了互信息（MI/mutual information）、MI3、Z-score、对数似然率（log-likelihood）等众多测量搭配强度的方法。

12.与搭配相关的另一个概念是“类联接”（colligation）。类联接关注的同样也是“结

伴关系”。与搭配不同的是，类联接所关注的“结伴关系”不再局限于词汇层面，而上升到词类乃至语法层面，如形容词经常与名词构成类联接。

13.多词序列（MWE/multiword expressions）又称多词单位（MWU/multiword

units）、复现词组（recurrent word combinations）等。研究表明，本族语者往往是整块地提取预先存放在大脑中的多词序列，这样才得以把更多的认识资源用于内容整合、句法加工等方面。在对单语语料库进行研究时，人们常常借助于语料库分析工具，提取和分析出现频率最高、具有较完整的意义的那些多词序列，近年来谈论较多的短语学（phraseology）主要探讨的就是这个主题。在对平行语料库进行研究时，人们开始关注对应单位（corresponding units，或称翻译单位[translation units]），试图为语言对比和机器翻译提供一种新的方法。

14.很多词看起来并不带有明显的感情色彩。然而人们通过对索引行的观察发现，有

些词貌似中性词汇，但当它们与某些特定词汇为伴构成搭配或类联接时，会产生一些联想意义（如褒贬、好恶等）。如cause一旦后接宾语，就往往会产生一种不良的联想意义，这便是我们说的语义韵（semantic prosody）。

15.正则表达式（regular expressions，简称regex或regexp）是计算机汇编

语言中的一种技术，用于匹配文本中的字符串（如词、短语、电子邮件地址等）。

考虑到有些词英式英语和美式英语的拼法不同，还存在动词的各种屈折形式，在对赋码语料的检索和文本清洁过程中，我们就不得不使用正则表达式了。

16.词性赋码指根据文本中的上下文信息，自动标注文本中所有词的词性的过程。

即，利用现有的计算机程序，可以在文本中各类名词、动词、形容词等所有词之后加上对应的标签，以方便检索和语言处理。

17.元信息（metadata）即关于信息的信息。语料库的主要信息载体是文本，而标

注即是关于文本的信息。元信息标注为语料库检索和分析提供查询条件和依据。

利用元信息对语料库进行检索，是语料库的一种高级运用，如利用元信息设定语料的条件，由一个大型语料库快速构建一个子语料库，或者在一个语料库中查找符合设定条件的文本。

二、语料库研究基本范式：

1.基于语料库的方法（corpus-based approach）。基于语料库的方法并不反对也不试图推翻传统的语言理论，也不排斥研究者的直觉。而是由研究者根据以往的语言研究成果或对语言的认识，首先提出假设，然后到语料库中去验证假设。假设是否成立取决于语料库中的语言实例。在这种研究中，一些传统的概念和理论被进一步验证或延伸。基于语料库的研究方法以概率为基础，是统计学和实证研究方法在语料库语言学领域的具体应用。

2.语料库驱动的方法（corpus-driven approach）。这种方法主张，我们在对语料库进行分析之前并无任何假设，通过对语料库中的所有例证进行穷尽的分析和归类，得出有关语言使用情况的假设乃至结论。语料库驱动的研究方法的基本程序是“观察—假设—归纳—理论整合”。

（摘自：梁茂成、李文中、许家金，2010，《语料库应用教程》。北京：外语教学与研究出版社。）

三、语料库软件；

1.BFSU PowerConc（检索工具）

例：\上海海事大学_WORKSHOP\Tools\01检索工具\01BFSU PowerConc 1.0.beta21c\Sample_texts

2.TreeTagger for Windows自动词性赋码器（标注工具）（生文本须放在

TreeTagger_3_English的文件夹下，标注好的文件在TAGGED文件夹下）

3.BFSU Qualitative Coder（标注工具）

例：\上海海事大学_WORKSHOP\Tools\02标注工具\BFSU Qualitative Coder 1.2\CLEC_sample

（备注：上述语料库为大学生英语语料库（CLEC）中的四级作文语料库）

4.Yacsi 0.96_汉语分词标注工具（修改计算机时间到2011年或以前）

5.元信息(metadata)的设置与添加：在template中的两个

之间添

加元信息，然后再用Headappend（标注工具）添加。

6.Sub-corpus creator（检索工具）：建子语料库

例：\上海海事大学_WORKSHOP\Data\02_Learner_corpora\MICUSP

7. 用Abbey Aligner对齐文本（文本处理）后保存为TMX格式，在EditPad Pro （文本处理）中：

○1清除所有英语、汉语：首代码+.*?+尾代码（注意勾选Regular Expression和Dot Matches Newline）

○2除去剩余标签：<[^>]+>（若只除去标签，那就得到mixed版本）

○3除去空行：^\s+[\r\n]+

○4Options—Line Numbers：检查中英文行数是否一致。

○5另存为：文件名”…EN/ZH.txt”，保存类型改为txt。再将编码改成：ANSI（注意保存到文件夹parallel，因为BFSU ParaConc软件只支持ANSI编码文本，不支持Unicode编码文本。）

例：\上海海事大学_WORKSHOP\Data\03_More_texts\《中国哲学简史》英语、中文

8.BFSU ParaConc（检索工具）：用来检索平行双语语料库：

9. Keywords Plus（检索工具，可以用来计算loglikelihood）：用来比较两个语料库，一个是观测语料库（observed corpus，如\上海海事大学_WORKSHOP\Data\02_Learner_corpora\WECCL_sample），一个是参考语料库（reference corpus，如\上海海事大学_WORKSHOP\Data\01_General_and_native_corpora\NESSIEv1.0）。汉语文本要分词，以及设置（见下图）；

例2：\上海海事大学_WORKSHOP\Data\04_Other_resources\政府工作报告和\上海海事大学_WORKSHOP\Data\01_General_and_native_corpora\ToRCH2009\ToRCH2009_ANSI

10.TextSmith（检索工具）：如对文本内部进行切分，分成10个子语料库，进行比较。

四、语料库语言学研究中的主题词分析方法（梁茂成）：

1. Keyword: A keyword is a word whose relative frequency in an observed corpus is unusually higher or lower than that in a reference corpus. （如，学习者语料库与本族语者（学生）语料库，研究中国学生二语习得，若p值<0.05，则两者存在显著差异，注意控制变量，如作文题目最好是一样的）

2.Loglikelihood（对数似然率）与p值的对应关系（X2=

3.841时，表示两个语料库之间存在显著差异）

五、语料库检索中常用的正则表达式（注意区分大小写）：

\s：空格

.：任何字符或非字符，如2.4匹配204,214,2t4,2 4，等

+：重复1次或更多，如A+匹配A，AA，AAA，AAAA等

*：重复0次或更多，如BA*匹配B，BA，BAA，BAAA等

？：有或者无，如BA？匹配B和BA

()：组合，使得()中的部分可以当作一个符号处理，如act(ing)?可以匹配act和acting；B(AA)?匹配B和BAA；B(AA)*匹配B，BAA，BAAAA等

\w+：任意数目的字母、数字及两者的组合

\s+（清洁文本时，若不确定空格有多少，可以用+号，然后replace all）

国家级精品课程《高级英语》课程建设方案

国家级精品课程《高级英语》课程建设方案 一、建设目标:用五年时间，把高级英语建设成为一门充分践行“学生本位”、“素质本位”思想，人文色彩浓郁，时代内涵丰富，教学方法创新，教学手段先进，教学环境信息化特色突出，课程评价体系完善，自我革新能力强的高年级“核心”课程。 二、建设步骤:本课程建设将在多项“分目标”同时并举的基础上，采取分层次、有优先、有重点、逐年推进的建设方略。具体规划如下: 1.人文及时代内涵建设 (1)本课程组刚刚编写、出版的《新编高级英语教程》取材广泛，选材新颖，时代性强，人文内涵丰富，这为本课程实现未来5年的“人文及时代内涵”建设目标打下了坚实的基础。 (2)适时引入、编写一批教辅、学辅材料，进一步扩充本课程人文内涵，保持其时代性。 (3)在课堂教学中，充分挖掘现有教材的人文内涵，探索有利于培养学生人文素养和科学创新精神的授课形式。 (4)将对学生人文、科学精神的培养作为设计、开展实践课教学的基本要求之一。 2.教学环境信息化建设 (1)“高英”课堂教学网建设:A. 完善并适时更新现有的电子资料库——CAI课件，背景知识、作者简介、语言知识点、文本赏析、注释、相关话题导引、习题、试题等教辅、学辅材料;B. 逐步实现课程全部模块授课录像并上网;C. 在现有朗文、韦氏、金山词霸等在线词典的基础上，再投放几部高质量的网络词典;D. 建设网上学习资料下载平台。

(2)校园网、局域网建设与利用:A. 进一步拓展校园网的“资源”功能;B. 开展网上资源利用研讨活动;C. 进一步发掘Internet网上学习资源，提供具体链接地址。 (3)在线语料库建设:A. 探索能充分利用现有BNC、BROWN，LOB，LDC等在线语料库的教学新形式;B.适时购进1-2个切合“高英”(及其它课程)教学、科研需要的国、内外语料库(尤其是英、汉平行语料库);C.力争自主建设1-2个切合本课程及其它多门课程教学、科研需要的校本语料库。 3.教学过程建设 (1)课堂教学建设:A. 教学理念与方法:开展对学生期望的理想教学形式的调查分析，进一步探索能充分实践启发、体验式、发现式、研究式、合作式等现代教学理念的有效授课形式，拓展其内涵。B. 教学资源:探索能有效利用现有多功能教学资源形式的途径和方法;开辟新的资源形式;加强网络教学资源的动态性、再创性、多样性、结构合理性研究。C. 教学手段:探索能增强课堂感染力、提高教学效果的各种传统及信息化教学手段。D. 加强信息化学习方式(如适应性学习、WebQuest 学习，探险性学习)及其影响因素的研究。E.加强课堂教学评估指标研究。 (2)在线辅助教学建设:A. 创建网上学习社区，构筑学生自主学习平台。B. 创设BBS电子布告板系统，增加师生互动。C. 建立师生个人电子档案，探索在线教学规律。D.加强网上教学实践技术培训。 (3)实践课建设:A. 融高年级学生毕业论文写作与实践课教学于一体;B.通过实践课培养学生的体验式、探究式学习能力以及人文素养和科学创新精神;C.通过实践课为学生提供就业、创业的体验和能力训练;D.探索一切行之有效的实践课形式，培养学生获取知识的能力、创新能力，交流能力、协作能力、适应工作的能力、知人处事的能力以及灵活应变的能力。 4.革新能力建设

语料库术语中英对照

Aboutness 所言之事 Absolute frequency 绝对频数 Alignment (of parallel texts) （平行或对应）语料的对齐 Alphanumeric 字母数字类的 Annotate 标注（动词） Annotation 标注（名词） Annotation scheme 标注方案 ANSI/American National Standards Institute 美国国家标准学会 ASCII/American Standard Code for Information Exchange 美国信息交换标准码Associate (of keywords) （主题词的）联想词 AWL/Academic word list 学术词表 Balanced corpus 平衡语料库 Base list 底表、基础词表 Bigram 二元组、二元序列、二元结构 Bi-hapax 两次词 Bilingual corpus 双语语料库 CA/Contrastive Analysis 对比分析 Case-sensitive 大小写敏感、区分大小写 Chi-square (χ2) test 卡方检验 Chunk 词块 CIA/Contrastive Interlanguage Analysis 中介语对比分析 CLAWS/Constituent Likelihood Automatic Word-tagging System CLAWS词性赋码系统Clean text policy 干净文本原则 Cluster 词簇、词丛 Colligation 类联接、类连接、类联结 Collocate n./v. 搭配词；搭配 Collocability 搭配强度、搭配力 Collocation 搭配、词语搭配 Collocational strength 搭配强度 Collocational framework/frame 搭配框架 Comparable corpora 类比语料库、可比语料库 ConcGram 同现词列、框合结构 Concordance (line) 索引（行） Concordance plot （索引）词图 Concordancer 索引工具 Concordancing 索引生成、索引分析 Context 语境、上下文 Context word 语境词 Contingency table 连列表、联列表、列连表、列联表 Co-occurrence/Co-occurring 共现 Corpora 语料库（复数） Corpus Linguistics 语料库语言学 Corpus 语料库 Corpus-based 基于语料库的

语料库与语料库建设

语料库和语料库建设 一、什么叫语料库 1、定义 语料库，通俗意义上指的是语言材料库。严格意义上的语料库（corpus）是指按照一定的 语言学原则，运用随机抽样方法，收集自然出现的连续的语言运用文本或话语片断而建成的具有一定容量的大型电子文本库。 目前，语言学家对于语料库的定义不尽相同，如辛克莱（Sinclair）认为语料库是“按照明确的语言学标准选择并排序的语言运用材料汇集，旨在用作语言的样本”。阿特金斯等（Atkins & Clear）认为语料库是“按照明确的设计标准，为某一具体目的而集成的大型文本库”。赫努（Renouf）认为语料库是“由大量收集的书面语或口头语构成，并通过计算机储存和处理，用于语言学研究的文本库”。我们看到，以上关于语料库的几种定义相同之处在于都谈到语料库是语言材料的汇集；不同之处在于前两个定义指出语料库的设计是有明确的设计标准的，赫努的定义明确指出语料库“通过计算机储存和处理”这一特点。 语料库不同于电子文档，语料库的建设有特定的研究目的和具体用途，因此在语料抽样范围和文类覆盖方面都力求取得平衡，在收集语料时需要考虑到每一文类、体裁、语域、主题类型等的抽样比例。而大型文档目标在于搜集任何可获得的语言材料或所限定的数种文类语料，其语言材料之间的关系较为松散。 语料库具有以下特征：1、语料库的设计与建设有系统的语言学理论指导，语料库的开发具有明确而又具体的目的；如，布朗语料库用于对20世纪60年代的美国英语的研究，LOB是与布朗语料库对齐的同时期的英国英语语料库，可用以对英国英语进行研究，也可与布朗语料库加以对比进行美国英语和英国英语的对比研究。2、语料库的语料是按照明确的语言学原则采用随机抽样的方法得到的语言运用的自然语料，不是随意的语言材料的堆积，更不是由某个个人杜撰出来的。语料库的容量和语料采用随机抽样方式都保证了语料具有代表性，由此保证基于语料库的语言研究的科学性、客观性。3、语料文本是连续的文本或话语片断，而不是孤立的句子或词汇，可以借以获得语法关系、用法、词语搭配以及语篇信息。4、语料库以当代先进的计算机技术为技术手段，语料库语料通过电子文本形式储存并且是通过计算机处理的，具有资源优势和处理速度优势。5、基于语料库的研究以量化研究为基石，以概率统计为手段，以数据驱动为基本理念。6、语料库既是一种研究方法，又代表着一种新的研究思维。 二、语料库产生的背景及发展历史 对真实语言材料的搜集与研究是语言学研究的优秀传统。尤其是在20世纪50年代中期， 在语言研究中占主导地位的是重语言材料的经验主义。这种学术氛围无疑促进了对语料的重视。1959年夸克（R.Quirk）等人着手进行的“英语用法调查”(Survey of English Usage)通过系统的调查建立了第一个现代英语语料库，在此基础上完成的《现代英语语法》（ A Grammar of Contemporary English）和《英语语法大全》（A Comprehensive Grammar of the English Language）对现代英语进行了系统全面的描写，在英语语言学界产生了广泛的影响。但在当时这项浩大的工程是通过手工的方式完成的。

【CN110110336A】一种面向藏汉机器翻译的藏语句法语料库的构建方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910368324.3 (22)申请日 2019.05.05 (71)申请人 西北民族大学 地址 730030 甘肃省兰州市城关区西北新 村1号 (72)发明人 万福成　 (74)专利代理机构 西安研创天下知识产权代理 事务所(普通合伙) 61239 代理人 杨凤娟 (51)Int.Cl. G06F 17/28(2006.01) G06F 17/27(2006.01) (54)发明名称 一种面向藏汉机器翻译的藏语句法语料库 的构建方法 (57)摘要 本发明公开了一种面向藏汉机器翻译的藏 语句法语料库的构建方法，包括以下步骤：A、将 具有句对齐结构的平行语料库中的藏语句子进 行词性标记；B、利用词对齐工具将藏语句子中的 词汇进行词对齐，形成藏语词、汉语词对齐匹配 形式；C、利用树库制作工具，将具有词性标记和 词对齐信息的藏语词逐个进行短语标记；D、运用 自增模式，扩展藏语句法语料库。本发明能够解 决藏语句法语料库稀缺的问题，从而提高翻译质 量。权利要求书1页 说明书3页CN 110110336 A 2019.08.09 C N 110110336 A

权　利　要　求　书1/1页CN 110110336 A 1.一种面向藏汉机器翻译的藏语句法语料库的构建方法，其特征在于，包括以下步骤： A、将具有句对齐结构的平行语料库中的藏语句子进行词性标记； B、利用词对齐工具将藏语句子中的词汇进行词对齐，形成藏语词、汉语词对齐匹配形式； C、利用树库制作工具，将具有词性标记和词对齐信息的藏语词逐个进行短语标记，并逐层进行合并直至形成一个完整的句法树； D、运用自增模式，扩展藏语句法语料库。 2.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法，其特征在于，所述步骤B中将藏语句子中的词汇进行词对齐的方法包括以下步骤： a、运用词对齐工具训练双语句对齐平行语料库； b、以词对齐中间结果作为藏语汉语词匹配形式，并形成具有类似括号匹配的形式； c、将词对齐的结果以及词性标注的结构统一处理成具有括号匹配形式的内容，提供下一步处理作为输入。 3.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法，其特征在于，所述步骤C中逐层进行合并直至形成一个完整的句法树的方法包括以下步骤： a、将具有括号匹配形式的带有词性标记和词对齐信息的各个单元输入到树库制作工具中； b、以词性为基础，逐个将以词为单元的内容合并，并以短语标记结尾； c、逐个合并短语结构标记为新的短语结构标记，最终合并成一个句子，并标注以句子标记结尾。 4.根据权利要求1所述的一种面向藏汉机器翻译的藏语句法语料库的构建方法，其特征在于，所述步骤D中运用自增模式扩展藏语句法语料库的方法包括以下步骤： a、将人工制作的藏语句法语料库作为训练语料库，运用BerkerleyParser句法分析器作为句法分析工具； b、解码测试语料库，得到待人工校对的藏语句法树； c、人工校对藏语句法树的结果，将校对后的结果加入到训练语料库中，继续步骤a，以这种模式扩展藏语短语句法树库。 2

关于汉语中介语语料库建设研究报告

汉语中介语语料库建设研究 沈锐1，黄薇2 (1.红河学院教育技术系2.红河学院国际合作与交流处XX蒙自661100) 【摘要】本文探讨母语非汉语学习者的汉语中介语语料库建设的主要思路以及具体实现方法，重点介绍了汉语中介语语料的加工方法以及语料数据库的设计思路，并阐明了该语料库在对外汉语教学和研究中的应用价值。 【关键词】语料库;中介语;汉语教学 语料库是指按一定的语言学原则收集的语言文本或话语片断而建立的电子资料库。本文所述汉语中介语料库是基于语言学中中介语理论设计与实施的。中介语是心理语言学中第二语言习得的一种研究模式，其将语言学习者置于观察中心，去研究他们如何有意识地向目的语的正确形式迁移的各种动态表现。中介语理论自20世纪60年代末出现并发展至今，虽然时间并不长，但越来越受到语言学家以及一线教师的关注。无论是进行中介语研究还是使用中介语理论进行第二语言教学都需要收集分析大量的语料，因而通过信息化手段收集和整理语料变得十分迫切。在对外汉语教学中，通过建设和使用母语非汉语学习者的汉语中介语语料数据库，可以收集不同背景和不同学习阶段外国学生及少数民族学生的汉语书面语和用文字转写的口语语料，并对语料属性、词汇、语法等单位进行计算机处理，以实现对各种条件和要求下的语料数据进行便捷的机器检索和提取，可以为研究母语非汉语学生学习和习得汉语的规律提供大量的各种单项的或综合的资料和信息。因此，我们提出了建设汉语中介语语料库的课题，由于语料库建设是一项浩大的工程，限于人力物力条件，本文讨论的是中

小规模的语料库。 一、需求分析和框架设计 语料库建设不能盲目进行，首先要进行调研，对语料库的应用需求进行分析。半自动化的语料库构建是目前语料库建设的主流技术，目的是在确保语料库质量的前提下，减少人工参与的比例，增加自动化程度，目标是在较短时间内建设一个有一定规模，质量可靠、可扩充、成本低，能够全面、细致地记录母语非汉语学习者在汉语学习过程中的语言表征和研究他们汉语习得过程的语料库。依照软件工程的方法，建立数据库首先需要进行需求分析，在需求分析过程中要注意汉语中介语语料库主要是服务于对外汉语教学的一线教师，以及辅助母语非汉语学生自学，因此主要注重以上二类服务对象的应用需求，确保建成的语料库能够对第二语言教学、研究以及教材的编写提供持续支持。基于以上要求，在对中介语语料库的建设思路及框架做了总体考虑，基本归纳为以下三个方面： 1、中介语语料库为专门用途语料库，主要目的为研究母语非汉语的学生在学习汉语过程中的中介语现象而设计制作的。 2、中介语现象存在于母语非汉语的学生在学习汉语过程中的书面语料及口语语料中，由于口语语料的收集、分析和标注都较为困难，因此在建库的第一阶段只考虑收录书面语料，这有利于语料库的快速建设与使用。 3、语料标注的加工标准使用中科院计算所汉语词性标记集V3.0。 二、语料收集与加工

语料库常用统计方法

3.5语料库常用统计方法 第3章前几节对语料库应用中的几种主要技术做了介绍。通过语料检索、词表和主题词表的生成，可以得到一定数量的句子、词汇或结构。为能更好说明所得到的结果的真正意义，常常需要对它们加以统计学分析。本章主要介绍语料分析中的一些常用统计方法。 3.5.1 语料库与统计方法 介绍相关统计方法之前，首先需要了解为什么语料库应用中需要运用统计方法。在2.1节讲到文本采集时，我们知道文本或会话构成了最终的语料库样本。这些样本是通过一定的抽样方法获得的。研究中，我们需要描述这些样本的出现和分布情况。此外，我们还经常需要观察不同语言项目之间在一定语境中共同出现（简称共现）的概率；以及观察某个（些）语言项目在不同文本之间出现多少的差异性。这些需要借助统计学知识来加以描写和分析。 理论上说，几乎所有统计方法都可以用于语料库分析。本章只择其中一些常用方法做一介绍。我们更注重相关统计方法的实际应用，不过多探讨其统计学原理。这一章我们主要介绍语料分析中的频数标准化（normalization ）、频数差异检验和搭配强度的计算方法。 3.5.2 频数标准化 基本原理 通常语料检索、词表生成结果中都会报告频数（frequency, freq 或raw frequency ）。那么某词（如many ）在某语料库中出现频数为100次说明什么呢？这个词在另一个语料库中出现频数为105次，是否可以说many 在第二个语料库中更常用呢？显然，不能因为105大于100，就认定many 在第二个语料库中更常用。这里大家很容易想到，两个语料库的大小未必相同。按照通常的思维，我们可以算出many 在两个语料库中的出现百分比，这样就可比了。这种情况下，我们是将many 在两个语料库中的出现频数归到一个共同基数100之上，即每100词中出现多少个many 。这里通过百分比得到的频率即是一种标准化频率。有些文献中标准化频率也称归一频率或标称频率，即基于一个统一基准得出的频率。 实例及操作 频数标准化，首先需要用某个（些）检索项的实际观察频数（原始频数，raw frequency ）除以总体频数（通常为文本或语料库的总词数），这样得到每一个单词里会出现该检索项多少次。在频数标准化操作中，我们通常会在此基础上乘以1千（1万、1百万）得到平均每千（万、百万）词的出现频率。即： 1000?=总体频数 观测频数标准化频率（每千词） （注：观测频数即检索词项实际出现的次数；总体频数即语料库的大小或总形符数。） 例如，more 在中国学生的作文里出现251次，在英语母语者语料中出现475次。两个语料库的大小分别为37,655词次和174,676词次。我们可以根据上面的公式很容易计算出251和475对应的标准化频率。另外，我们还可以利用Excel 或SPSS 等工具来计算标准化频率。比如，可以将实际观察频数和语料库大小如图3.5.1输入相应的单元格，然后在C1单元格里输入=(A1/B1)*1000即可得到中国学生每千词使用more 约为6.67次。要得到母语

语料库检索分析在高级英语语篇教学中的应用_语料库检索

语料库检索分析在高级英语语篇教学中的应用_ 语料库检索 语料库检索分析在高级英语语篇教学中的应用_语料库检索摘要语料库语言学通过对自然文本的检索、统计，实现文本的语篇结构、文体风格、语言特征等的量化分析。语料库软件工具如Wordsmith、Concordancer软件等为语篇教学提供了量化分析手段。本文依据语料库语言学的研究方法,主要运用Wordsmith、Antconc软件，以课文"Blackmail"为小型教学语料库，探索高级英语语篇教学的新途径。 关键词语料库检索分析；高级英语；语篇教学1.引言高级英语是英语专业高年级阶段的一门主干课程，其教学目标是"通过阅读和分析内容广泛的材料，扩大学生知识面，加深学生对社会和人生的理解，培养学生对名篇的分析和欣赏能力、逻辑思维与独立思考的能力，巩固和提高学生英语语言技能"1。鉴于此，围绕高级英语课程的教学研究与改革长期以来备受专家、学者和广大师生的关注，如朱传枝2、杨志亭3、刘采敏和楚向群4、李洁平5、黄文英6等。十多年来，随着语言教学理论研究的深入以及计算机网络和多媒体技术的快速发展，高级英语课程改革成绩斐然，教学效果显著提高。然而，在语篇教学中不难发现，由于缺乏科学的文本分析手段和工具，学生对语篇的分析和欣赏"多来自

教师在反复阅读全文的基础上根据某种理论框架或自身独特的理解能力及审美取向所做的解释"7，或者依赖于教学参考书籍上的注解，学习效果大打折扣，成为了困扰教师的一大教学瓶颈。语料库语言学的出现为高级英语语篇教学提供了有力的理论和技术支持，对于解决教学中存在的难题有着重大的启示和意义。 2.语料库与语料库检索分析软件的应用20世纪90年代以来，语料库语言学的迅速发展"给语言研究以及语言应用研究带来了一场革命性的变化"8，而"基于语料库的研究方法已经逐渐扩展到语言教学、话语分析、翻译研究、词典编纂和自然语言处理等多个领域"9。语料库语言学以真实的语言数据为研究对象，通过对大量语言事实进行分析，寻找语言应用的规律和模式。由于语料库研究中的统计数据以实际使用中语言现象的出现概率为依据，且基于语料库而得到的数据避免了偶然性，从而提升了分析结果的可信度。 因此，语料库语言学为语言研究和教学提供了一种全新的模式。 随着计算机信息技术的日新月异，语料库为语言研究提供了空前广泛的语言资料。目前，国际上影响较大的语料库有英国COBUILD语料库（CollinsBirminghamUniversityInternationalLanguageDatabas e）、BNC英语国家语料库（TheBritishNationalCorpus）、CIC 语料库CambridgeInternationalCorpus、ICE语料库

语料库简单dye 第二讲

2008/7/31 语料库简单DIY 第二讲语料库软件初探-- 语料库软件初探--MonoConcPro 2.2 本软件是Athelstan开发小组https://www.360docs.net/doc/2e14495503.html,/ ，于1996年开发的语料库比较检索工具。目前，我的服务器上提供学术性下载，下载地址： http://vu.flare.hiroshima-u.ac.jp/whistle/corpus/MoconcPro2. 2.rar （本软件为学术交流使用，所有权归本软件开发小组所有，一切商务性盈利目的的违法使用，所带来的连带责任关系与本人及本论坛无关。请慎重下载，小心使用！！！） 功能介绍： 软件主界 面 基本功能: MonoConc Pro 2.2 的软件界面比较简单。适合语料库初学者和初级研究人员使用。 本软件据作者的研究，其内部主核使用UTF-8编码，基本支持欧洲几种主要语言。当然，其主要的应用领域还是针对英语。本软件主要处理的文本素材是以TXT结尾的记事本文件，当然，本软件还可以导入RTF文档和其他格式的操作系统默认文档格式。不过，从DIY的角度来说，我们自己收集到的语料，为了免除格式，字体，行距等等文本要求，最好全部使用TXT文档，方便，省

事！用了都说好！（谁用谁知道） 我们按照自己的研究目的，研究方向，收集我们所需要的语料素材，具体的收集方法因人而异。可以从报纸杂志的电子文文档上直接下载，也可以从网站上直接下载整理好的TXT版本的小说，资料素材等，还可以直接从各大语料库中检索需要的语用素材，然后拷贝粘贴到TXT文本中。由于MonoConc Pro 强大的跨文档处理系统，一次可以同时导入多个TXT文档进行比较处理，所以我们可以把文章或者资料按照自己喜好的分类标准进行分类，然后存成不同的TXT文件名。检索的时候，只需要同时导入这些文件就可以了。（异常强大~）下载好软件，解压缩，然后打开MP22.EXE文件，你就可以看到上图那个简单的主界面了。 之后，选择File→Lord Corpus File(s)，找到你需要导入处理的TXT文档，一个或者多个都可以，然后选择[打开]。指定的TXT文件就被全部导入进MonoConc Pro中了。 如果导入了过多的TXT文档，比如您导入了莎士比亚全集+马克思选+恩格斯选+列宁选+毛泽东选+邓小平选.....（不能否认，真的有这样的朋友存在）。那么，为了方便您查询检索结果所出现的文章，你可以选择File→View Corpus File/URL，这样就能看到查询结果所在的文章，还可以删除不需要的文章，或者添加新的文章，非常简单。 *这里的URL，指的是在HTTP或者FTP上，可以直接打开的文字页面的链接。一般朋友们DIY的语料库都是存在本地硬盘上的，所以基本上可以无视这个选项。不过，将来我们的个人语料库要实现点对点，点对多的平台连接。连接后，我们就可以相互查询对方个人语料库中的资料，此时在导入对方语料库中的文档的时候，就要用这个了。（这个目前还很遥远，大家还是踏踏实实做自己的DIY语料库吧！） 当我们要删除所有的文章的时候，这个时候仅仅关闭文章的窗口，是不能实

基于语料库的海明威作品《雨中的猫》分析

基于语料库的海明威作品《雨中的猫》分析 ——以写作风格和小说主题为例 王树振 （天津师范大学外国语学院，天津， 300387） 【摘要】美国著名作家厄内斯特·海明威的短篇小说《雨中的猫》（1922），自发表以 来便引起文学评论界的极大关注。在作品中，通过对一个日常生活片段的叙述，作者 揭示了女性生存困境的主题。而基于语料库的文学研究，则是通过利用语料库检索软 件来考察作者的写作风格、解读作品的主题。在前人研究的基础之上，笔者拟运用语 料库语言学的方法对这部小说进行更深入的研究。通过使用Wordsmith和AntConc等 语料库检索软件，笔者拟对《雨中的猫》进行词语、句子及篇章结构进行统计分析， 最后不仅能够分析得出海明威用词简单、句子简短的写作风格，还能利用关键词检索 和自动生成的语境，来了解小说的主要内容和人物形象的塑造，这为解读小说的主题 提供了新的研究方法和途径。 【关键词】语料库检索；写作风格；主题 近年来, 国内外不少学者将语料库研究方法应用到文学领域，利用语料库检索软件对文本进行分析, 如Sinclair（1991）、Biber（2000）、张厚振（2004）、肖普勤（2005）等。他们的研究大胆创新，为后来的文学研究者带来很大的启示。正如Sinclair（1991: 36）所论述的那样，“（语料库检索）最激动人心的方面不是对描述进行直观的分类，而是为找到新的方法、新的证据以及新的描述提供可能。在这里，计算机技术的客观性和表面的正当性变成了一种优势，而不是没有放弃直觉前提下的一种责任。当然，我们要尽力找到符合证据的解释，而不是为了迎合现有的解释而去修改我们的证据。” 《雨中的猫》是美国著名小说家海明威的著名短篇，故事情节主要围绕一只雨中的猫展开，叙述了旅居意大利的一对美国夫妻的一段生活场景。本文用Wordsmith及AntConc的Wordlist、Concordance和Keyword对《雨中的猫》的文本特征、主要内容、人物形象和文本主题进行分析，以展示语料库检索软件在文学分析方面的强大功能。 一、基于词表的文本总体特征分析 基于语料库的语言研究一般采取定性与定量相结合的研究方法，要进行定量研究就要涉及文本检索和数据统计。Wordsmith软件中的Wordlist工具可以对文本的基本信息进行统计，自动生成词表(图1)。它可以提供文本中的简略统计数据，从而有助于分析文本的总体统计特征和基本情况。

语料库与语料库建设

语料库与语料库建设 语料库和语料库建设 一、什么叫语料库 1、定义 语料库，通俗意义上指的是语言材料库。严格意义上的语料库(corpus)是 指按照一定的 语言学原则，运用随机抽样方法，收集自然出现的连续的语言运用文本或话语片断而建成的具有一定容量的大型电子文本库。 口前，语言学家对于语料库的定义不尽相同，如辛克莱(Sinclair)认为语料库是“按照明确的语言学标准选择并排序的语言运用材料汇集，旨在用作语言的样本”。阿特金斯等(Atkins & Clear)认为语料库是“按照明确的设计标准，为某一具体目的而集成的大型文本库”。赫努(Renouf)认为语料库是“由大量收集的书面语或口头语构成，并通过计算机储存和处理，用于语言学研究的文本库”。我们看到，以上关于语料库的儿种定义相同之处在于都谈到语料库是语言材料的汇集;不同之处在于前两个定义指出语料库的设讣是有明确的设计标准的，赫努的定义明确指出语料库“通过计算机储存和处理”这一特点。语料库不同于电子文档，语料库的建设有特定的研究LI 的和具体用途，因此在语料抽样范围和文类覆盖方面都力求取得平衡，在收集语料时需要考虑到每一文类、体裁、语域、主题类型等的抽样比例。而大型文档U标在于搜集任何可获得的语言材料或所限定的数种文类语料，其语言材料之间的关系较为松散。 语料库具有以下特征：1、语料库的设讣与建设有系统的语言学理论指导，语料库的开发具有明确而乂具体的U的；如，布朗语料库用于对20世纪60年代的美国英语的研究，LOB是与布朗语料库对齐的同时期的英国英语语料库，可用以对英国英语进行

研究，也可与布朗语料库加以对比进行美国英语和英国英语的对比研究。 2、语料库的语料是按照明确的语言学原则采用随机抽样的方法得到的语言运用的自然语料，不是随意的语言材料的堆积，更不是由某个个人杜撰出来的。语料库的容量和语料采用随机抽样方式都保证了语料具有代表性，山此保证基于语料库的语言研究的科学性、客观性。 3、语料文本是连续的文本或话语片断，而不是孤立的句子或词汇，可以借以获得语法关系、用法、词语搭配以及语篇信息。 4、语料库以当代先进的计算机技术为技术手段，语料库语料通过电子文本形式储存并且是通过讣算机处理的，具有资源优势和处理速度优势。5＞基于语料库的研究以量化研究为基石，以概率统汁为手段，以数据驱动为基本理念。6、语料库既是一种研究方法，乂代表着一种新的研究思维。 二、语料库产生的背景及发展历史 对真实语言材料的搜集与研究是语言学研究的优秀传统。尤其是在20世纪 50年代中期， 在语言研究中占主导地位的是重语言材料的经验主义。这种学术氛圉无疑促进了对语料的重视。1939年夸克(R. Quirk)等人着手进行的“英语用法调查” (Survey of English Usage)通过系统的调查建立了笫一个现代英语语料库，在此基础上完成的《现代英语语法》(A Grammar of Contemporary English )和《英语语法大全》(A Comprehensive Grammar of the English Language)对现代英语进行了系统全面的描写，在英语语言学界产生了广泛的影响。但在当时这项浩大的工程是通过手工的方式完成的。 20世纪六十年代后，语言学研究主流从经验主义转向理性主义，乔姆斯基的语言能力说被广泛接受，转换生成语法学派批评语料库研究方法，认为，1、基于语料库的方法有误。乔姆斯基等认为语言学应当以人脑的语言机制即语言能力为研究对象，语料库收集的只是人们的语言运用，语言运用会因超语言因素的影响而发生变化，它并

语料库常用术语

语料库常用术语 Type 类符 Tokens 形符 例如“I see a cat and a dog”类符6个，形符7个 Type/token ratio =TTR TTR 是衡量文本中词汇密度的常用方法，可以辅助说明文本的词汇难度。但是，文本中有大量功能词出现，文本每增加一个词，形符就会增加一个，但类符却未必随之增加。这样文本越长，功能词重复次数越多，TTR会越低。因此用TTR衡量词汇密度不合理，于是，出现了标准化类符/形符比，即STTR。例如，计算每个文本1000词的TTR，均值处理，得出STTR。Frequency（频率） 例如每百万词、十万词中，某单词出现次数。常常将某个单词在两个语料库中出现的频率参照两个语料库的容量，用卡方检验或对数似然率进行对比，来确定两个库中该单词的使用是否有差异。 Wordlist词表 根据单词或词组在语篇中出现的频率大小而排列形成的列表。 Ranks Lemma词目，词元 比如go是lemma，对应各种屈折变化形式（inflections），go,goes,went,going,gone共5种屈折变化形式。在分析语言时，需要将它们全部归到go名下，这个过程叫词形还原。Keywords关键词、主题词positive keywords 正关键词negative keywords 负关键词Concordance 索引（KWIC 语境中的关键词key words in context） 运用索引软件在语料库中查询某词或短语的使用实例，然后将所有符合条件的语言使用实例及其语境以清单的形式列出。通过前后语境，可以分析“collocation词汇搭配”“colligation 类连接、语法搭配”“semantic preference语义倾向”“semantic prosody语义韵”Collocation词汇搭配 搭配强度MI,T-score ,Z-score Colligation类连接、语法搭配 semantic prosody语义韵 词汇的语义韵大体可分为积极语义韵、中性语义韵、消极语义韵。 POS tagging 词性赋码 Regular expression regex 正则表达式

商务英语语料库的建设及应用初探

商务英语语料库的建设及应用初探 【摘要】语料库语言学作为一门新兴的语言学分支，其影响已遍及语言学研究的各领域。将语料库的方法应用于商务英语词汇教学中，发挥其语料真实丰富、计算机程序强大的重新组织语言数据的能力，既能提高学生商务词汇学习的效率和积极性，也能提高商务英语教学质量。本文从商务英语语料库的建设及其应用价值入手，以期语料库语言学为商务英语教学带来更多成果。 【关键词】商务英语语料库地方课程 商务英语（Business English）是指商务场景下所应用到的英语，作为特殊目的英语（English for Specific Purpose）具有很强的专业性。商务英语跟普通英语（English for General Purpose）最大区别之一就是专业词汇的大量使用，因此，词汇教学在商务英语教学中的作用不容忽视。语料库（Corpus）是语言素材的集合体，能快速准确地提供诸如构词、搭配、语境等多方面的语料及信息。在外语学习中，语料库能够缩小课堂语言与真实语言的差距、培养学习者的语感和学习能力及研究能力，所以用语料库的方法来学习商务英语词汇既可以刺激学生的学习积极性，也可以更加准确、更加有效地掌握商务英语中专业特点较强的词汇。 1 语料库及其发展 语料库可以概述为运用随机抽样的方法，收集自然出现的连续的语言，运用文本或话语片断，并按照一定的语言学原则建成的具有一定容量的语料体系。 语料库的发展大致经历了三个阶段：第一代语料库以20世纪60年代的Brown Corpus以及LOB Corpus为代表，由于是语料库发展的最初时期，所以规模都比较小，这个时期的语料库只能用来考查常用语言现象的频率，无法展现语言的全貌。第二阶段以20世纪80年代的Birmingham Collection of English Language Text以及Longman/Lancaster English为代表，这一时期的语料库建设以电子语料库的兴起为主要特征，语料库的容量不断扩大，种类不断增多。第三阶段从20世纪90年代至今，是语料库建设、研究与应用的迅猛发展阶段，功能更为强大的计算机系统软件的开发与应用致使第二代超大型计算机语料库开始出现，语料库进入了发展的黄金年代。 2 商务英语词汇及其特征 商务英语源于普通英语，并基于普通英语的基本语法、句法结构和词汇语，有普通英语的一些语言学特征。与此同时，作为应用在商务场合的英语，商务英语又是英语语言知识和商务专业知识的综合，因而又具有独有的专业特征。 2.1 在文体风格上，商务英语词汇属于庄重文体（frozen style）。庄重文体，即各体英语中正式程度最高的一种。这种“正式”一是为了在表达上追求准确、专业、标准化的效果，二是为了在思维上追求清晰和条理。许多商务词汇都表现出这一特性。 2.2 商务英语大量使用表意清楚的专业词汇和专业术语。专业词汇和专业术语是在专业领域用以代表部分专业知识的词汇，商务英语是英语在商务场合中的应用，内容的高度专业化势必导致专业词汇的大量使用。 2.3 商务英语具有古体特点，这种古体特点的一个主要标志是古体词语的使用。古体词是一种具有鲜明文体色彩的词汇成分，尽管古体词在现代英语口语和一般书面语中极少使用，但在商务英语文本中，古体词却大量出现，充分体现出其庄重严肃的文体风格。

语料库

关于语料库的三点基本认识：语料库中存放的是在语言的实际使用中真实出现过的语言材料;语料库是以电子计算机为载体承载语言知识的基础资源;真实语料需要经过加工(分析和处理),才能成为有用的资源; 在语言学中，语料库（Corpus）指大量文本的集合，库中的文本（称为语料）通常经过整理，具有既定的格式与标记，特指计算机存储的数字化语料库。 语料库是语料库语言学研究的基础资源，也是经验主义语言研究方法的主要资源。应用于词典编纂，语言教学，传统语言研究，自然语言处理中基于统计或实例的研究等方面。 分类 语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够体现在语料采集的原则和方式上。有人曾经把语料库分成四种类型：（1）异质的（Heterogeneous）：没有特定的语料收集原则，广泛收集并原样存储各种语料；（2）同质的（Homogeneous）：只收集同一类内容的语料；（3）系统的（Systematic）：根据预先确定的原则和比例收集语料，使语料具有平衡性和系统性，能够代表某一范围内的语言事实；（4）专用的（Specialized）：只收集用于某一特定用途的语料。 除此之外，按照语料的语种，语料库也可以分成单语的（Monolingual）、双语的（Bilingual）和多语的（Multilingual）。按照语料的采集单位，语料库又可以分为语篇的、语句的、短语的。双语和多语语料库按照语料的组织形式，还可以分为平行（对齐）语料库和比较语料库，前者的语料构成译文关系，多用于机器翻译、双语词典编撰等应用领域，后者将表述同样内容的不同语言文本收集到一起，多用于语言对比研究。目前已经累积了大量各种类型的语料库，如：葡萄牙语种树库、面向文本分类研究的中英文新闻分类语料库、路透社文本分类训练语料库、中文文本分类语料库、大开放字幕库OpenSubtitles的多语言平行语料数据(OpenSubtitles Corpus)、《圣经》双语语料库("Bible" bilingual corpus)、Short messages service(SMS ) corpus(短消息服务（SMS）语料)等。 特征 语料库有三点特征 1.语料库中存放的是在语言的实际使用中真实出现过的语言材料，因此例句库通常不应算作语料库； 2.语料库是承载语言知识的基础资源，但并不等于语言知识；

语料库建设及使用专题研修班

语料库建设及使用专题研修班 时间：2014年11月8-9日 地点：上海海事大学2C305（计算机实验室） 主讲人：北京外国语大学中国外语教育中心梁茂成李文中许家金 一、基本概念 1.为什么欧洲对语料库语言学会有如此大的兴趣呢？在美国占统治地位的 Chomsky语言学的研究焦点是句法，它感兴趣的是哪些句子是可能的（What is possible?），追求的是语言理论的“解释力”，例如Colorless green ideas sleep furiously、The rat the cat the dog chased ate died都是可能的，但语料库语言学对此却没有兴趣。因为实际上没有人会这样说。语料库语言学感兴趣的是哪些语言现象在实际使用上是很有可能的（What is probable?），这和统计学中的概率有关，不是可否的问题，而是多少的问题，也就是语言的使用问题。 2.一个小型文本集并不是真正意义上的语料库。真正意义上的语料库是一个按照 一定的采样标准采集而来的、能够代表一种语言或者某语言的一种变体或文类的电子文本集。可以说，一个语料库由若干个电子文本构成，而这些电子文本作为一个整体可以代表某语言或者某语言的某种变体或文类。语料库语言学以大量精心采集而来的真实文本（authentic texts）为研究素材，主要通过概率统计的方法得出结论，因此语料库语言学从本质上讲是实证性的（empirical）。 3.文本：文本可以保存生（raw）语料，即未经任何标注的语料，称为生文本（raw text）。文本中也可以保存经过人工或自动标注的语料，这种文本称为标注文本（annotated text）。文本中的标注信息可以标示语料的来源、文本的内部结构、文本中的语言单位等多种语言信息和非语言信息。 4.经人工或自动处理后，原来的生文本获得了“增值”（Leech 1991），文本中所包

语言文字应用研究“十五”科研规划及项目指南

语言文字应用研究“十五”科研规划及项目指南 一、语言文字应用研究的回顾与展望 （一）“九五”期间语言文字应用研究回顾 “九五”期间，我国语言文字应用研究取得多方面的进展：（1）语言文字法制建设研究和立法工作实现了历史性的突破；（2）语言文字规范、标准研制和基础工程建设进一步加强，取得了新的成果；（3）推广普通话、汉字规范化标准化的理论与政策研究逐步深入；（4）中小学语文教学、双语教学、扫盲等引起社会广泛关注；（5）随着对外汉语教学的蓬勃发展，“对外汉语教学”逐步发展成为应用语言学的一个分支学科；（6）语言文字信息处理，由于计算机学界和语言学界的共同努力，取得了可喜的成绩，基本解决了“字处理”（汉字的计算机输入和显示等）的问题，“词处理”（中文自动分词、词性标注等）以及语音识别、语音合成等方面的研究获得了重大进展；（7）领域语言研究、专名术语研究相继展开，发表、出版了一批研究论著；（8）语言习得研究、语言认知研究和病理语言研究等也开始起步；（9）在辞书编纂方面，出版了一批质量较高的辞书，对提高全民族语言文字生活的质量发挥了重要作用；（10）语言文字国情调查即将完成。 “九五”期间，我国语言文字应用研究虽然取得了较大进展，但与社会主义现代化建设、社会语言生活发展的要求和广大人民群众的愿望相比，还存在一些不足和问题，例如：（1）专业人才短缺，经费投入不足；（2）定性研究较多，定量研究较少；（3）采用人工、传统

的研究手段较多，借助现代化手段较少；（4）面向人的研究较多，面向计算机和网络的研究较少；（5）语言规划研究、语言文字规范标准建设等，还存在着明显不足。语言文字应用研究既面临着前所未有的发展机遇，也面临着严峻的挑战。 （二）“十五”期间语言文字应用研究面临的形势与任务 随着改革开放的不断深入，社会主义市场经济体制逐步完善，国际国内的交流日益频繁，社会语言生活空前活跃。语言文字作为人们交际的基本工具，社会对其规范化、标准化的要求越来越高，语言文字工作的基础性地位和作用更加突出，工作任务和工作内容也具有了更加丰富的时代内涵。语言文字工作者和研究人员对此要有充分认识，对新的语言现象要进行跟踪记录和研究，并及时加以引导，使语言生活既规范有序，又充满活力。 《中华人民共和国国家通用语言文字法》已于2000年10月31日经第九届全国人大常委会第十八次会议审议通过，并于2001年1月1日起实行。它的诞生确立了普通话和规范汉字作为国家通用语言文字的法律地位，确定了普通话和规范汉字使用范围，是我国社会主义现代化建设的一件大事，标志着我国语言文字规范化、标准化工作开始走上法制化的轨道。语言文字应用研究要全面贯彻落实《中华人民共和国国家通用语言文字法》，积极、主动地为语言文字规范化、标准化建设服务。 今后五年，是贯彻《中华人民共和国国家通用语言文字法》、加强语言文字基础建设的关键时期，也是为国家信息化发展、现代化建