第六章 中文信息处理概述.ppt

2019-8-17
感谢你的观看
5
符号层的信息处理
汉字输入
自动输入
键盘输入
字形识别
声音识别
4
手写体识别
5
在线手写
整字键盘
6
脱机手写
7 印刷体识别
2019-8-17
感谢你的观看
主辅式 感应式
通用键盘
8
形码 1
音码 2 9
形音结合码
3
6
内容层的信息处理
原文
译文
原文输入 1 译前编辑 2
词法分析 3 句法分析 4 语义分析 5 语境分析 6
• 国标码是汉字编码的国家标准。在GB 2312-80代码表中，纵向分为 0~93，共94行；横向也是0~93，共94列。行与列分别用七位二进制码
表示，第一字节表示行，第二字节表示列。其值都从0100001到 1111110。这正是ASCII 码的可打印字符的编码。其范围为十六进制 的21~7E。汉字国标码是将第一字节和第二字节连写而得到的。由于 二进制形式太长，通常用十六进制表示。
• 为便于查找，一级汉字按汉语拼音顺序排列；二级汉字一般不易熟 记它们的发音，故按部首和笔画排列。另外还包括常用符号、序号、 GB 1988图形字符集、日文假名、希腊字母、俄文字母、汉语拼音、 注音字符、制表符号等。
2019-8-17
感谢你的观看
15
汉字编码标准
• 累计使用频度不足0.001%的汉字数量接近1万个。为了满足计算机实 际应用的需要，我国在GB 2312-80的基础上扩大收字的范围，制定了 “汉字内码规范”GBK，包含了20 902个汉字，又称为扩展的国标码。 在Windows 95/98和其后的Windows 2000中，装入了GBK的全部汉字和 符合GBK和GB 2312-80的输入法。
• 在计算机内部处理文字信息时，就像处理数据一样对待。 处理完毕后，再把替代的数码还原成相应的字母或文字。 利用计算机能够调整处理数据的性能，使文字信息处理也 能够分享计算机技术的这一独特优点，从而实现文字信息 处理的高效化。
2019-8-17
感本问题
• 英文字符的编码标准是ASCII码，即美国信息交换标准代 码。这是七位的二进制代码，它是美国国家标准学会 （ANSI）为计算机的信息交换提出的标准，后来由国际标 准组织（ISO）确定为国际标准字符编码。
– 中文信息处理分为汉字信息处理与汉语信息处理两部分
• 中文信息处理是自然语言信息处理的一个分支，是一门与 计算机科学、语言学、数学、信息学、声学等多种学科相 关联的综合性学科。
2019-8-17
感谢你的观看
2
2019-8-17
感谢你的观看
3
中文信息处理
• 中文信息处理分为汉字信息处理与汉语信息处理两部分
• 外字处理：动态组字、造字、电子书等。 • 存储技术：汉字库标准中文、字符编码等。 • 转换技术：繁简转换等
2019-8-17
感谢你的观看
13
三、中文信息处理主要研究对象
• 信息处理：中文情报检索、中文文本校对、机器翻译、自 然语言理解、中文人机界面、语义网、电子字典、电脑辅 助翻译等
• 中文化：软件的国际化（internationalization）和本土 化（localization）。
2019-8-17
感谢你的观看
12
三、中文信息处理主要研究对象
• 基础研究：汉字字频统计、词频统计、汉语自动分词、句 法属性研究、汉字编码字符集、通用汉字样本库、汉字属 性字典、语料库等
• 输入技术：中文输入法、中文手写输入、中文语音输入、 光学字符识别等。
• 输出技术：汉字字模技术（字体库）、汉字激光照排、汉 语语音合成、动态组字等。
2019-8-17
感谢你的观看
20
机内码
• 目前，多数微机汉字系统的机内码是以国标GB 2312-80 规定的双七位代码为依据，经一定转换后用两个字节表 示一个汉字。每个字节的最高位均为１，以此作为汉字 的标记，以便于与ASCII码编码的符号相区别。
• 由国标码转换为机内码的规则是：将十六进制的国标码 加上8080H，就得到对应的机内码。
• 信息的两个层次： 符号层 —— 中文 / 汉语 / 汉字 内容层 —— 符号所承载的意义
• 中文信息处理的两个层次： 字符处理（输入、存储、输出等） 内容处理（词语切分，词性标注，结构分析，意义理解， 推理，翻译……等等）
2019-8-17
感谢你的观看
4
符号层的信息处理
• 拼音文字：小字符集 —— 比较容易 • 非拼音文字：大字符集 —— 难度很大
• 区位码与国标码之间有一定的对应关系： • 将区位码的区号和位号分别由十进制转换成对应的十六进
制数，然后加上十六进制数2020H（H表示2020为十六进制 数码），就得到对应的国标码。例如，“啊”字的区位码 是1601，分别将区号和位号转换成对应的十六进制数得 1001H，再加上2020H就得到“啊”字的国标码为3021H。
FF
20902 汉字
FF
27484 汉字
23
六、中文信息在计算机内的表示
• 在计算机内表示中文信息的最早在IBM、富士通、日立等计算机生产厂 家的计算机中开始，但采用的编码形式互不兼容。
2019-8-17
感谢你的观看
21
五、汉字编码字符集
• 按照一组无歧义的规则而定义的汉字字汇的有序集合。 其中每一个汉字与它的代码表示之间具有一一对应关 系。
• 在信息处理技术中汉字编码字符集用于汉字信息的表 示、交换、传输、处理、存储、输入及显示。
• 在国际标准化组织ISO的定义中，“无歧义的规则” 很重要，制定这些规则的目的是为了确保编码的唯一 性，避免重码。
• 如“大”字的区位码为2083，国标码为3473H，机内码为 3473H+8080H=B4F3H。将B4F3H 化为二进制数得： 1011010011110011，这就是在计算机中实际使用的机内 码的二进制形式。
• 8080H等于二进制的1000000010000000，国标码加上
8080H，可以保证机内码每个字节首位均为１。
• 中文编程：目前有两种发展，一种是英文coding直接翻译， 以降低开发人员的语言学习成本；一种是根据中文特点， 发展出融合中国人思维模式的新的计算机语言。
2019-8-17
感谢你的观看
14
四、汉字编码标准
• 为了用0、1代码串表示汉字，在汉字系统或通信系统之间交换信息， 必须给每个汉字规定一个统一的代码。这就是汉字的交换码。
• 为了和国际标准兼容，我国根据它制定了英文字符编码国 家标准，即GB1988。其中除了将货币符号置换为人民币符 号外，其他都与ASCII码相同。
2019-8-17
感谢你的观看
11
汉字信息处理的基本问题
• 计算机的键盘原本就是为英文输入设计的，只要按照字母击键， 就可以输入英文。键盘的译码电路按照所击的键产生英文字符 的ASCII码，输入到计算机的内存中。
• 经过编辑的文本仍然以ASCII码表示。输出时，这些代码必须 转换成字符字形的点阵，以便显示或打印。因此，计算机必须 存储每个英文字符、数码以及标点符号的点阵信息。这些点阵 信息构成了所谓“字模库”。字模库的点阵以有点或无点来表 示文字和符号。
• 汉字信息的计算机处理过程与英文信息处理过程是类似的。不 过，由于汉字信息的特点，以及要考虑与英文信息处理系统兼 容等问题，处理的难度更大。我国经过多年的研究，汉字处理 的基本问题已经解决。
第六章 中文信息处理
概述
2019-8-17
感谢你的观看
1
一、中文信息处理
• 《计算机科学技术百科全书》(清华大学出版社，1998)
– 中文信息处理是用计算机对汉语的音、形、义等语言文字信息进 行的加工和操作，包括对字、词、短语、句、篇章的输入、输出、 识别、转换、压缩、存储、检索、分析、理解和生成等各方面的 处理技术。
2019-8-17
感谢你的观看
8
二、文字信息处理的基本问题
• 文字信息的计算机处理过程
– 要用计算机来处理文字，必须解决如何把文字输入计算机并在计 算机中存储起来，进行适当处理之后再输出文字等问题。
文字信息的输入 文字信息的处理 文字信息的输出
2019-8-17
感谢你的观看
9
二、文字信息处理的基本问题
• 例如：
• 汉字
第一字节
第二字节 十六进制
区位码
•
啊
0110000
0100001
3021
1601
•
保
0110001
0100011
3123
1703
•
播
0110010
0100101
3225
1805
2019-8-17
感谢你的观看
17
区位码
• 国标码还可以表示成区位码的形式。在GB2312-80代码表 中，将行号称为区号，列号称为位号，分别有94个区和 94个位。将汉字置于其中，由区号与位号标识出汉字在 代码表中的位置。
• 由于汉字的字符多，一个字节八位二进制代码不足以表示所有的常用 的汉字。为了不与西文的ASCII 码混淆，在微型机汉字系统中，国标 码的每个符号都用两个字节（十六位）代码来表示，并作为转换为机 内码或其他汉字处理代码的依据。
2019-8-17
感谢你的观看
16
国标码
• 汉字国标码就是GB 2312-80为汉字规定的代码，也称为交换码。
• 1981年5月，我国国家标准总局颁布《信息交换用汉字编码字符集》 (GB 2312-80)，作为汉字交换码编码的国家标准，简称国家标准汉 字编码，或国标码。