中文信息处理--基于语料库的工作.

2018/8/4
中文信息处理--基于语料库的工作
3
关于语料库的三点基本认识
• 语料库中存放的是在语言的实际使用中真
实出现过的语言材料；
• 语料库是以电子计算机为载体承载语言知
识的基础资源；
• 真实语料需要经过加工（分析和处理），
才能成为有用的资源；
2018/8/4 中文信息处理--基于语料库的工作 4
• UPenn树库
• LDC（ Linguistic Data Consortium ）
超大规模（上亿词级）标准编码体系深度标注/多语种NLP应用
2018/8/4 中文信息处理--基于语料库的工作 10
语料库建设中处理的问题
• 文本
• 语料库建设中处理的问题
– 低级格式问题 – 标记化：什么是一个词？ – 词法 – 句子
2018/8/4 中文信息处理--基于语料库的工作 11
– 生文本 – 标注文本
低级格式问题
• 垃圾格式
– 由于语料库的来源复杂，语料库中可能存在无 法处理的各种各样的格式或内容，他们是没有 用处的，需要过滤掉。 • 文档页眉、分隔符、排版代码、表和图表 • 如果数据来源于OCR，会引入错误识别的问题
百万词级以语言研究为导向
2018/8/4
中文信息处理--基于语料库的工作
8
第二代语料库
• COBUILD语料库 • Longman语料库
千万词级词典编纂－应用导向
2018/8/4
中文信息处理--基于语料库的工作
9
第三代语料库
• ACL/DCI语料库
– The Association for Computational Linguistics – Data Collection Initiative
基于语料库的工作
张宇
大纲
• 什么是语料库 • 语料库的发展简史 • 语料库建设中处理的问题 • 数据标注
2018/8/4
中文信息处理--基于语料库的工作
2
什么是语料库
• 语料库，英文为Corpus • 存储语言材料的仓库 • 现代的语料库是指存放在计算机里的原始
语料文本或经过加工后带有语言学信息标 注的语料文本.
2018/8/4
中文信息处理--基于语料库的工作
12
低级格式问题
• 大小写
– the，The，THE – Richard Brown brown paint
• 识别句子中人名的启发式方法
– 把每个句子开头的大写字母转换成小写字母 – 把一串连续大写的词当作标题和副标题 – 这样，其余的大写字母就可以认为是名字
2018/8/4 中文信息处理--基于语料库的工作 16
标记化：什么是一个词
• 连字符：不同形式表示相同形式的词
– 带有连字符的一串字母应该看成一个词还是两个？ （有时候是一个，有时候是两个） • 一个，来源于排版印刷
– 找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起 来
– e-mail, co-operate – 连字符用于表示引用的短语或者数量、比率 • the 26-year-old – database, data base, data-base – 破折号和词语之间的空格
中文信息处理--基于语料库的工作
14
标记化：什么是一个词
• 句点
– 大多数句点的作用是表明句子结束，其它情况 表示缩写，例如：etc.，Calif.。
• 保留句点的意义
– Wash.（Washington）-- Wash
• etc.出现在句子的末尾的时候，只保留一个
句点，这个句点同时表示两种意思。
• 单语种语料库/多语种语料库
2018/8/4
中文信息处理--基于语料库的工作
6
语料库发展简史
• 第一代（1970－80年代） • 第二代（1980－90年代）
• 第三代（1990年代－）
2018/8/4
中文信息处理--基于语料库的工作
7
第一代语料库
• Brown语料库 • LOB语料库
• LLC语料库
2018/8/4 中文信息处理--基于语料库的工作 17
标记化：什么是一个词
• 相同形式表示不同的“词语”
– saw – 工具 – saw – see的过去时
2018/8/4
中文信息处理--基于语料库的工作
18
标记化：什么是一个词
• 其它语言中的分词
– 中文、日文、泰文 • 严守一把手机关上 — 严守一 把 手机 关上 – 德语中大多数的词语有空格分割，但是复合名 词写成单独的词 • Lebensversicherungsgesellschaftsangestellter
2018/8/4
中文信息处理--基于语料库的工作
13
标记化：什么是一个词
• 什么是词
– 前后有空格的连续字母组成的字符串，可以包 含连字符和省略号，但是不能包含其它的标点 符号。 – Kucera and Francis（1967） – $22.50，Micro$oft，C|net
2018/8/4
语料库示例
北京大学计算语言所富士通人民日报标注语料库样例：
历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１ /m 度/q 、/w 东经/b １１４．３/m 度/q ；/w 人们/n 将 /d 铭记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月/t １ ０日/t １１时/t ５０分/t 。/w ……
语料库的分类
• 生语料库/熟语料库
– 生语料库就是未经加工的,没有任何切分,标注标记的原 始语料库 – 熟语料库就是指经过加工,带有切分,标注标记的语料库 – 系统型语料库就是依据事先确定的选材原则和比例选 取语料的语料库 – 专用型语料库就是指专门服务于某个特定目的的语料 库
• 系统型语料库/专用型语料库
[中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港 人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香港 /ns 的/u 繁荣/an 稳定/an 。/w
2018/8/4 中文信息处理--基于语料库的工作 5
2018/8/4 中文信息处理--基于语料库的工作 15
标记化：什么是一个词
• 单撇号
– I’m，isn’t …… – I am，is not
• dog’s 表示什么？
– dog iபைடு நூலகம்，dog has，还是所有格形式？
• 词末尾的单撇号如何处理？
– 通常代表一对引号的结束，不是该词的一部分 – 如果它跟着一个s出现 • boys’ toys