常见语料库使用入门
公共语料库的检索说明
——以BCC语料库为例
34 公共语料库检索公共语源自库的检索说明——以BCC语料库为例
查
看
筛
上
选
下
如果想对检索结果进一步筛选， 可以使用筛选功能，对检索结
文
果进一步剔除或者仅仅保留符
合筛选检索式的实例。
35 公共语料库检索
下 载
高 级 设 置
公共语料库的检索说明
——以BCC语料库为例
10 公共语料库检索
小问题：
一种语言现象我们至少得收集多少条语料呢？
500 徐杰教授认为，语料多多益善，至少应收集
条。
大数定律（Law of Large Numbers）： 指在随机试验中，每次出现的结果不同，但是大量重复
试验出现的结果的平均值却几乎总是接近于某个确定的值。
11 公共语料库检索
抽样与调查
主要部分
第一节 第二节 第三节
语料库及其分类 公共语料库检索 个人语料库创建
第一节 语料库及其分类
1 语料库及其分类
语料库(corpus)：存放语言材 料的仓库。
现代的语料库是指存放在计算 机里的原始语料文本或经过加 工后带有语言学信息标注的语 料文本的汇集。
三点基本认识：
A.必须是实际使用中真实出现 过的语言材料；
资料下载：www. 1ppt.co m/zilia o/
PPT课件下载：www.1p pt.co m/ kejian/
范文下载：www. 1ppt.co m/fan wen/
试卷下载：www.1ppt.c om/shiti /
教案下载：www. 1ppt.co m/jiao an/
PPT论坛：www.1ppt .cn
一般步骤
（1）明确问题 （2）收集信息 （3）提出假设 （4）构建模型 （5）模型求解 （6）分析检测
13 公共语料库检索
由收集验证到实证分析
需要学点统计学
正态分布
在自然现象和社会现象中，大量的随机变量都服从或近似地服从正 态分布。大部分参数检验，比如t检验，方差分析，回归分析等， 要求数据符合正态分布。
7 公共语料库检索
我国21个知名语料库
15.浙江师范大学的历史文献语库:/xueke/hyywzx/xkjj.htm 16.中科院计算所语料库：/corpus/query_process.php 17.中文语言资源联盟：/xyzy.htm 18.SKETCHENGINE多语言语料库： 19.LIVAC共时语料库：/ 20.红楼梦汉英平行语料库：/hongloumeng/ 21.北京语言大学BCC语料库：/
公共语料库的检索说明
——以BCC语料库为例
离 合
26 公共语料库检索
公共语料库的检索说明
——以BCC语料库为例
句 型
27 公共语料库检索
公共语料库的检索说明
——以BCC语料库为例
定 界
28 公共语料库检索
公共语料库的检索说明
——以BCC语料库为例
构 式
29 公共语料库检索
公共语料库的检索说明
36 公共语料库检索
句 法 树
公共语料库的检索说明
——以BCC语料库为例
37 公共语料库检索
注意检索格式 依据调查需要 学点儿统计学 多摸索多使用 设置调查项目 学点编程语言
第三节 个人语料库创建
38 个人语料库创建
材料/工具准备阶段
若只是要词频数据， 则生语料库足够， word/wps或txt记事本 都可以建立word/wps 的“查找替换”工具即可， txt记事本的“编辑-查找” 工具也行。
40 个人语料库创建
熟语料库加工阶段
可以采用这个工具
双 击 打 开 软 件
41 个人语料库创建 熟语料库加工阶段
统
离散与连续
计
样本与总体
由收集验证到实证分析
需要学点统计学
频率与分布
估计与检验 描述与图示
置信区间 T检验
12 公共语料库检索
由收集验证到实证分析
需要学点统计学
集中趋势的特征数：
平均数、众数、中位数、调和平均数、几何平均数
变异程度的特征数：
极差、四分位差、平均差、方差、标准差
参数估计与假设检验
——以样本对总体的推断
B.须以计算机为必要载体；
C.材料分析加工后才有用。
2 语料库及其分类
语料库
按用途
按时效性
按语体
按语种
按是否 母语
按是否 被标注
通专 用用 语语 料料 库库
共历 时时 语语 料料 库库
书口 面语 语语 语料 料库 库
单双多
语语语
语
/
语
料平料
库行库
语
料
库
母外 语语 语学 料习 库者
语 料 库
生熟 语语 语语 料料 库库
6 公共语料库检索
我国21个知名语料库
08.北京大学《人民日报》标注语料库： 09.北京语言大学的语料库：/kych/H.htm 10.清华大学TH-ACorpus：/ainlp/source.htm 11.山西大学语料库：/homepage/cslab/sxuc1.htm 12.台湾南岛语典藏：.tw/Formosan/ 13.闽南语典藏：.tw/ 14.香港城市大学LIVAC共时语料库：/search.php
——以BCC语料库为例
构 式
30 公共语料库检索
自 定 义 搜 索
公共语料库的检索说明
——以BCC语料库为例
31 公共语料库检索
检 索 结 果
公共语料库的检索说明
——以BCC语料库为例
32 公共语料库检索
历 时 检 测
公共语料库的检索说明
——以BCC语料库为例
33 公共语料库检索
检 索 统 计
“宏”
1、电脑、办公软件 2、语料的选取标准 3、语料库大小设定 4、已收好集的语料 5、采取txt格式保存
词性标记 句法标记 词义标记 篇章指代标记 韵律标记 ……
生语料库 加 工 标 注 熟语料库
39 个人语料库创建
熟语料库加工阶段
需要工具/材料： 1、电脑、办公软件 2、语料库加工工具 2、语料的选取标准 3、语料库大小设定 4、已存的生语料库 5、采取txt格式保存
9 公共语料库检索
国外18个知名英语语料库
10.LLC口语语料库: http://khnt.hit.uib.no/icame/manuals/ 11.COBUILD语料库：/Corpus/CorpusSearch.aspx 12.ICE东非等分库：/english-usage/ice/avail. htm 13.ARCHER语料库：/english/degree_programs. asp 14.CEECS语料库：http://www.eng.helsinki.fi/varieng/main/corporal.htm 15.SCTS语料库：http: /// 16.VOICE语料库：http: //www.univie.ac.at/Anglistik/voice/ 17.ELFA语料库：http: //www.uta.fi/laitokset/kielet/engf/research/elfa/ 18.朗曼语料库：http: ///dictionaries/corpus/index.html
3 语料库及其分类
第二节 公共语料库检索
4 公共语料库检索
统计频率
基
于 检
查找例句
索
验证分析
参 数
带着 问题
设
收集
置
证据
5 公共语料库检索
我国21个知名语料库
01.中央研究院近代汉语标记语料：.tw/Early_Mandarin/ 02.中央研究院汉籍电子文献：.tw/ftms-bin/ftmsw3 03.国家现代汉语语料库：http://124.207.106.21:8080/ 04.国家语委现代汉语语料库：/retrieval/index.html 05.树图数据库：.tw/ 06.语料库语言学在线： 07.北京大学CCL语料库：/Yuliao_Contents.Asp
三个基本点：
1）呈钟形，形态如 左图； 2）两个参数，均值 和标准差； 3）图象大致表示： 平均数周围的属性 值在总体上占到大 多数。
14 公共语料库检索
公共语料库的检索说明
——以BCC语料库为例
仅输入 关键字
查找
关键字 特殊符号 搜索 检索式
进库检索
检 索 式 示 例
公共语料库的检索说明
——以BCC语料库为例
18 公共语料库检索
检 索 式 示 例
公共语料库的检索说明
——以BCC语料库为例
19 公共语料库检索
特 殊 含 义 符 号
公共语料库的检索说明
——以BCC语料库为例
20 公共语料库检索
特 殊 含 义 符 号
公共语料库的检索说明
——以BCC语料库为例
8 公共语料库检索
国外18个知名英语语料库
01.国际英语语料库 (ICE):http: ///english-usage/ice/htm 02.美国国家语料库(ANC)：/ 03.美国当代英语语料库(COCA)：/ 04.美国近当代英语语料库(COHA)：/coha/ 05.英国国家语料库(BNC)：/bnc/ 06.柯林斯英语语料库(BOE)：/wordbanks/ 07.英国英语语料库(SEU)：http: ///english-usage/ 08.澳大利亚英语语料库（ACE）：http: //khnt.hit.uib.no/icame/manuals/ 09.新规范语料库(NMC)：http: ///
美国当代英语语料库(COCA)使用介绍
• 2.3 搜索在子语料库内(或之间)出现的频率 (或比较)(不同语域中的用法)
• 如在Fiction和Newspaper子语料库中passionate 后面可以跟任何名词的词及频率，分别如两图 (2.3-1和2.3-2)。
图2.3-1
图2.3-2
COCA主要功能（三）
• 但是也可以之间对两者子语料库中它们出现频率 的对比，操作：分别选择section 1&2,如下图(图 2.3-3)：
• 例1. 输入单词“mysterious” (图2.1.1-1)：得 到相关结果(图2.1.1-2)：在各子库中的频率，每 百万词使用的频率。 • 若对图2中的相应条块进行点击，那么就可以看到 KWIC，如图2.1.1-3 (以点Fiction的条块为例)：
图2.1.1-1
图2.1.1-2
使用CHART显示
COCA主要功能（二）
• 如:跟在 “smile前面的形容词” （图2.2-2）
规则：在words里输入: smile.[n*]，表示作为名词的smile； 在collocates里输 入: [aj*]表示其前后出现形容词的语境。
Confidence前使用的形容词 图2.2-3
COCA主要功能（三）
COCA主要功能（四）
• 2.4 进行语义倾向比较 • 2.4.1 比较近义词 • 如：近义形容词hot和warm后面所跟名词的 区别（如图2.4.1）：
图2.4.1
规则：在words的方格里分别输入hot和warm，再在collocates 方框里输入[nn*],表示后面所跟任何名词。当然也可以比较在 某个子语料库中出现的频率比较。
POS LIST
verb base=动词原形 verb.INF=动词不定式 verb MODAL=情态动词 verb 3SG=动词第三人称单数 verb ED=过去式 verb EN=过去分词 verb ING=现在分词 verb.LEX=lexical verb实意动词 verb.[BE]=系动词 verb.[DO]=do verb.[HAVE]=have
语料库的分类
语料库的分类一、介绍语料库是指用于语言学研究的大规模文本数据集合，是自然语言处理（NLP）领域的重要资源之一。
通过对语料库的分类和应用，可以帮助我们更好地理解和分析自然语言现象，提高机器对语言的理解能力和处理效果。
本文将介绍几种常见的语料库分类及其应用。
二、基于文本来源的分类1. 平衡语料库平衡语料库是指从各个领域、不同类型的文本中均匀采样得到的语料库。
这类语料库可以用于构建通用的语言模型，对各种领域的文本进行处理和分析。
2. 领域特定语料库领域特定语料库是指针对某一特定领域的语言样本进行收集和整理的语料库。
比如医学领域的语料库可以用于医学文本的分类、信息抽取和实体识别等任务。
3. 实时语料库实时语料库是指根据实时产生的文本数据构建的语料库，例如社交媒体上的实时文本。
这类语料库可以用于情感分析、事件检测和舆情分析等任务。
三、基于语言类型的分类1. 单语语料库单语语料库是指只包含一种语言的文本数据集合，例如中文语料库、英文语料库等。
这类语料库可以用于机器翻译、语言模型训练等任务。
2. 双语对照语料库双语对照语料库是指包含两种语言的文本数据集合，例如中英文对照语料库。
这类语料库可以用于机器翻译、跨语言信息检索等任务。
3. 多语语料库多语语料库是指包含多种语言的文本数据集合，例如欧洲各国的语料库。
这类语料库可以用于跨语言信息检索、语言联系研究等任务。
四、基于文本属性的分类1. 口语语料库口语语料库是指包含口语化文本的语料库，例如电话对话、社交媒体文本等。
这类语料库可以用于语音识别、对话系统等任务。
2. 书面语语料库书面语语料库是指包含书面语文本的语料库，例如新闻报道、学术论文等。
这类语料库可以用于文本分类、信息抽取等任务。
3. 平行语料库平行语料库是指包含相同内容但使用不同语言表达的文本对，例如中英文平行语料库。
这类语料库可以用于机器翻译、句子对齐等任务。
五、应用领域1. 机器翻译语料库是机器翻译系统的重要训练数据来源，通过对平行语料库的分析和建模，可以提高机器翻译的准确性和流畅度。
王陆语料库用法
王陆语料库用法
王陆语料库（Wanglu Corpus）是一个面向中文自然语言处理任务的大规模语料库，由复旦大学计算机科学技术学院王宇教授团队创建和维护。
该语料库包含了来自不同领域和来源的中文文本，可用于词法分析、句法分析、语义分析、情感分析等多种自然语言处理任务的研究和开发。
使用王陆语料库的一般步骤如下：
1. 下载语料库：可以通过复旦大学计算机科学技术学院王宇教授团队的官方网站或相关科研平台下载王陆语料库。
2. 数据预处理：根据具体任务的需求，对语料库进行预处理操作，如去除标点符号、转换为小写、分词等。
3. 数据划分：将语料库按照一定比例划分为训练集、验证集和测试集，以便进行模型训练和评估。
4. 特征提取：根据任务需要，从语料库中提取出合适的特征，如词频、词向量、句法结构等，作为模型输入。
5. 模型训练与评估：根据任务的不同，选择合适的机器学习或深度学习模型，并使用训练集进行模型训练和参数调优，然后使用验证集进行模型选择和调整，最后使用测试集评估模型的性能。
6. 应用与优化：将训练好的模型应用到实际场景中，根据具体应用需求进行优化和改进。
需要注意的是，王陆语料库是一个研究资源，使用时需遵守相应的使用协议和版权规定。
此外，根据任务的具体需求，还可以结合其
他的语料库和工具进行进一步的数据处理和模型开发。
语言学常用语料库
1.语言学常用语料库是一种用于研究语言现象的重要工具。
2.它是一个大规模的语言样本集合，包含了各种不同语言的文本数据。
3.语料库可以包括书籍、报纸、杂志、广播节目、网络文章等多种类型的文本。
4.通过分析语料库中的文本，语言学家可以研究语言的结构、语法规则和语义特征。
5.语料库的建立和维护需要大量的工作，包括文本收集、数据处理和标注等环节。
6.语料库的规模越大，涵盖的语言现象就越全面，研究结果也更有说服力。
7.语料库的使用需要借助计算机和专门的软件工具，如文本编辑器、搜索引擎和统计分析软件等。
8.语料库可以用于研究语言变化、语言习得、语言教学和语言技术等多个领域。
9.语料库的应用范围广泛，包括自然语言处理、机器翻译、信息检索和语音识别等领域。
10.语料库的优点是可以提供真实的语言数据，反映语言使用的实际情况。
11.语料库还可以帮助语言学家验证语言理论和模型的有效性。
12.语料库的研究方法主要包括定性分析和定量分析两种。
13.定性分析是通过详细的文本注释和分析来理解语言现象的特点和规律。
14.定量分析是通过统计和计算来分析语言现象的频率、分布和关联性。
15.语料库的研究成果可以通过学术论文、专著和会议报告等形式进行发布和交流。
16.语料库研究的结果对于语言教育和语言政策制定具有重要的参考价值。
17.语料库的发展受到语言学家、计算机科学家和语言工程师的共同关注。
18.随着技术的进步，语料库的规模和质量不断提高，为语言学研究提供了更多的可能性。
19.语料库的建设和管理需要遵守相关的法律和道德规范，保护语言使用者的隐私和权益。
20.语料库的未来发展将更加注重多语言、多媒体和跨学科的研究方向。
语料库基本知识
.
6
计算语言学
◦ “计算语言学是研究用机器来处理自然语言的学科。它是由信息技
术和语言学交叉而成的”（CuS：1）。SLP没有直接提出计算语言 学的确切定义。SLP的作者在开篇借用了Stanley Kubrick科幻片中 的人物HAL，HAL是一个通晓英语的机器人。作者引入HAL的目 的在于说明，为了构建这样一个可与人通过自然语言进行交流的机 器人，需要哪些知识和技术：语言理解方面有语音识别和自然语言 理解（包括唇读技术），表达方面需要自然语言生成和语音合成， 另外HAL也需要信息检索、信息提取和推理方面的技能。而解决这 些问题一般涉及以下学科：自然语言处理，计算语言学，语音识别 和合成。SLP的作者将这三者合起来称为语音及语言处理，除了以 上HAL所用的这些技能外，SLP也囊括了其他重要的语言处理领域， 如：拼写校正、语法检查和机器翻译。
.
42
语言设定
.
43
.
44
(如逗号、句号等) 包括在内，但这一点有例外，如数字3.1415925 和整数的千分位分隔符(如100，000) 中的逗号等。
为了便于统计，对英语进行分词时通常在以上我们所说的“ 形符” 后加空格，使得他们与文本中的其他形符或符号分离开来。
.
11
类符(type)作为一个统计量，指语料库文本中任何一个独特的词形(word form)。换言之，在一个文本中，重复出现的形符只能记作一个类符。
◦ 都可以对语言学的语音、词汇、句法和语义等层面进行
统计和研究。
.
8
联系： ◦ 统计语言学和计量语言学都是利用统计方法来实现对语言成
分的统计，计量语言学以发现语言成分或语言成分间的数学 规律为目标。而统计语言学以所统计的语言特征在统计学上 显著和不显著为目标。
语料库基础知识
/yingyong/courses/corpusbase.htm语料库研究与应用综述语料库研究与应用综述 一 概述 语料库通常指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或口语的样本汇集而成，用来代表特定的语言或语言变体。
经过科学选材和标注、具有适当规模的语料库能够反映和记录语言的实际使用情况。
人们通过语料库观察和把握语言事实，分析和研究语言系统的规律。
语料库已经成为语言学理论研究、应用研究和语言工程不可缺少的基础资源。
语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够体现在语料采集的原则和方式上。
有人曾经把语料库分成四种类型：（1）异质的（Heterogeneous ）：没有特定的语料收集原则，广泛收集并原样存储各种语料；（2）同质的（Homogeneous ）：只收集同一类内容的语料；（3）系统的（Systematic ）：根据预先确定的原则和比例收集语料，使语料具有平衡性和系统性，能够代表某一范围内的语言事实；（4）专用的（Specialized ）：只收集用于某一特定用途的语料。
除此之外，按照语料的语种，语料库也可以分成单语的（Monolingual ）、双语的（Bilingual ）和多语的（Multilingual ）。
按照语料的采集单位，语料库又可以分为语篇的、语句的、短语的。
双语和多语语料库按照语料的组织形式，还可以分为平行（对齐）语料库和比较语料库，前者的语料构成译文关系，多用于机器翻译、双语词典编撰等应用领域，后者将表述同样内容的不同语言文本收集到一起，多用于语言对比研究。
语料库建设中涉及的主要问题包括：（1） 设计和规划：主要考虑语料库的用途、类型、规模、实现手段、质量保证、可扩展性等。
（2） 语料的采集：主要考虑语料获取、数据格式、字符编码、语料分类、文本描述，以及各类语料的比例以保持平衡性等。
（3） 语料的加工：包括标注项目（词语单位、词性、句法、语义、语体、篇章结构等）标记集、标注规范和加工方式。
国家语委语料库使用方法
表示 查询 任意 词类 的 “吃” 与 任意 词类 的 “亏” 共现 的 例句，且 两 词 之间 距离 小于 10 个 词，同时 “亏” 前 任意距离 内 不 出现 任意 词类 的 “大”；
就+<>+吃+<10+(!大+<>)亏
表示 查询 任意 词类 的 “就” 与 任意 词类 的 “吃” 及 任意 词类 的 “亏” 共现 的 例句，且 “就” “吃” 两 词 之间 距离 为 任意距离，“吃” “亏”
动词 词类 的 “吃” 要 在 检索 出 的 例句 中 出现 ， 同时 “吃” 前 3 个 词 之 内 有 副词 词类 的 “不” 的 例句 不 包括 在 检索 出 的 例句 中。
ｃ．共现项(距离限制项+!共现项)；吃/ｖ(<3+!不/d)
ｄ．(!共现项+距离限制项)共现项(距离限制项+!共现项)； (!不/d+<3)吃/ｖ(<3+!不/d)
2. 查询表达式 的组成
注意： ?表达式 中 没有 空格； ?表达式 结束 处 没有 回车； ?表达式 中 所有 的 非 汉字 符号 都 是 英文 半角 符号； ?请 不要 在 表达式 中 随意 插入空格 或者 换行符 或 使 用 全角 英文 符号 ；
注意： 共现词 之间 必须 有 距离限制项，至少 是 “<>”（表示 不 限制 距离），如果 不 写 距离限制项（如：“吃+亏”） 将 导致 表达式 书写 错误，无法查询。
2. 查询表达式 的组成
（４）简单表达式 : 由 共现项 和 不共现项 组成 ａ．共现项； ｂ．(!共现项+距离限制项)共现项； ｃ．共现项(距离限制项+!共现项)； ｄ．(!共现项+距离限制项)共现项(距离限制项+!共现项)；
最新常用在线语料库使用简介PPT课件
COCA语料库操作演示.ppt详解
• 2.1.5 输入某种词性且部分带有某些字母的命令， 如要得到以un-开头、-ed结尾的所有形容词的所 有 形 式 （ 见 图 2.1.5-1 ） 和 得 到 动 词 + 任 何 词 +ground的所有词组（见图2.1.5-2）:
• 规则：若要得到某种词性且词中带有部分带有某 些字母的形式时，如要得到以un-开头、-ed结尾 的所有形容词的所有形式，那么输入: un*ed.[aj*]； 若要得到动词+任何词+ground的所有词组,那么输 入: [vv*]*[ground]即可。前者用来研究词汇，后者 用来查询特定词性的搭配。
• 2.1.4 输入lemma（即一个单词的单复数、 时态等所有形式），若要得到sing这个单词 的所有形式，可以如下图所示（图2.1.4-1）
Hale Waihona Puke 图2.1.4-1规则：若要得到某个单词的所有单复数和时态形式，那么 就要在输入时，在这个单词外加 [ ]。
图2.1.4-2
形容词early的原形，比较级和最高级三种形式一次性检索出来检索
• 2.1.1 输入单词“mysterious” (图2.1.1-1)： • 得到相关结果(图2.1.1-2)：在各子库中的频
率，每百万词使用的频率
• 若对图2中的相应条块进行点击，那么就可 以看到KWIC，如图2.1.1-3 (以点Fiction的 条块为例)：
图2.1.1-1
图2.1.1-2
图2.3-1
图2.3-2
图2.3-2
• 但是也可以之间对两者子语料库中它们出 现频率的对比，操作：分别选择section 1&2,如下图(图2.3-3)：
图2.3-3
• 2.4 进行语义倾向比较
语料库 入门
语料库入门
OUTLINE
1.
基本概念 2. 著名网络语料库 3. 常用软件
Corpus(语料库，尸体): (pl. corpora or corpuses): a collection of text, now usually in machine-readable form and compiled to be representative of a particular kind of language and often provided with some kind of annotation（标注）. 按照一定的采样标准采集而来的、能 代表一种语言或者某语言的一种变体 或文类的电子文本集。
在口语中，start更常用。
语料库的方法基于真实的语言
使用情况，事实胜于雄辩
我们通过对语料库的检索结果进行分析，可以找到很多问 题的答案，例如： “学知识”在英语中是“study knowledge”吗？ “快速导航”翻译成“fast guide”对不对？ “只为点滴幸福”这句广告语，对应的英文翻译是“Little happiness matters.”吗？ 为何“The bad weather set in on Monday.”是正确的， 但“The good weather set in on Monday.”却是错误的？
熟 语 语 料 库
语料库语言学常用术语
Types
of corpora
General corpus通用语料库 Annotated标注 corpus: a corpus enhanced with various types of linguistic information (or tagged corpus). An annotated corpus may be considered to be a repository of linguistic information, because the information which was implicit in the plain text has been made explicit through concrete annotation (“added value附加值”).