计算语言学概论
计算语言学
计算机语言都可以用来控制计算机来解决一些实际问题。这些问题可以是数值计算问题，其操作对象就是一 些由符号构成的符号串；也可以是非数值计算问题如声音、图像处理问题，其操作对象就是声音和图像等。我们 应知道各种计算机语言都不是万能的，每种计算机语言都有自己的特点、优势及运行环境，有自己的应用和操作 对象 。
计算语言学之所以有这样长足的发展，是由于社会的需要。当今世界处于新技术革命时代，一个以电子计算 机为基本工具的现代化语言文字信息处理系统正在世界范围内形成，这标志着高度发展的信息化社会的到来。计 算语言学正是为担当这一历史使命而诞生和发展的 。
基本内容
计算语言学发展到今天，按其工作性质和复杂程度，可以归结为以下3个方面:
成果
计算语言学可以说是计算机和语言学相结合的产物。这种结合已经得到丰硕的成果，除了上面说到的那些应 用课题以外，还表现在对语言学理论和方法的影响上。语言的定义扩展了：语言已不仅是人类重要的交际工具， 而且也是人机之间的交际工具。为了满足计算机加工的要求，计算语言学最大的特点就是要求语言的形式化，因 为只有形式化，才能算法化、自动化。根据这项要求，制定出一系列面向语言信息处理的自动分析方法，其中包 括预示分析法、从属分析法、中介成分体系、优选语义学、扩充转移络、概念从属论等等。这些自动分析方法， 已在机器翻译和自然语言理解的系统中得到应用，并证明有效。语言的形式化是分层进行的。语法的形式化相对 来说比较简单，人们已做了不少工作；语义的形式化则是一个复杂的问题，人们进行的工作还不多。而语义形式 化问题解决得好坏，将大大影响语言自动加工的成效。因此，继续发掘行之有效的形式结构分析方法和语义分析 方法，研究它们之间的关系，以及探讨它们在不同系统中各自使用的限度，这是计算语言学中的重点研究课题 。
武汉大学文学院各专业培养方案(2010级、2011级、2012级用)
武汉大学文学院简介文学院中文学科发端于1893年建校之初的自强学堂。
起初开设“华文”课，后改称“汉文”。
国立武昌高等师范学校时期，于1917年设立国文史地部。
1922年正式成立国文系，中文学科从此有了独立的行政建制。
1927年改称中国文学系。
1928年国立武汉大学成立时设置文学院，闻一多先生出任首任院长。
1953年，兄弟学校中文系并入武汉大学组建了新的中国语言文学系。
1997年改建文学院。
1999年与其他学院合并为人文科学学院。
2003年7月恢复文学院建制至今。
文学院暨中文学科创建以来，名流云集，代有传人。
在1928 年以前的初创时期，著名学者王葆心、黄福、黄侃、廖立勋、郁达夫、杨振声等等，筚路蓝缕，开启先路，奠定了文学院的坚实基础。
其中，黄侃先生与章太炎先生所创立的“章黄学派”饮誉海内外，对文学院的学风和学术发展产生了深远影响。
1928年之后的数十年是文学院的发展壮大时期。
杨树达、闻一多、刘博平、刘永济、刘异、游国恩、苏雪林、叶圣陶、沈从文、朱东润、高亨、冯沅君、袁昌英、陈西滢、徐天闵、朱光潜、陈登恪、席鲁思、黄焯、程千帆、刘绶松、胡国瑞、李健章、周大璞、李格非等先辈，鞠躬尽瘁，不断开拓，使文学院的中文学科迅速发展壮大、走向辉煌，跃居全国同类学科前列。
尤其是五十年代，以“五老八中”为代表的学术中坚声名远播。
改革开放以来，是文学院奋发图强、蓬勃向上的时期。
这一时期，刘禹昌、吴林伯、王启兴、陆耀东、王文生、吴志达、何国瑞、蔡守湘、易竹贤、罗立乾、陈美兰、李希贤、夏渌、郑远汉、宗福邦、杨合鸣、龙泉明等学者，励精图治，奋起直追，为文学院再铸辉煌做出了重要贡献。
如今的文学院，下设中国文学系、汉语言文化系、大学语文部、古籍整理研究所、《长江学术》杂志社、《写作》杂志社等常设机构，还与“国家汉办”合作建立了“汉语国际推广教学资源研究与开发基地”，建有海外孔子学院。
共有教职工88人，其中专任教师65人。
教师中教授32人，博士生导师30人，副教授26人。
《计算语言学概论》PPT课件
4.2 詞ê判別-11
其它ê問題(辭典無收ê詞)
定量詞 eg 三張紙、二十五個人、…
定量詞若無處理，會影響台語變調結果
複合詞問題 eg 國中小、上下班、… Prefix/Suffix eg 正確性、相關性、… 重thah詞 eg 歡歡喜喜、輕輕鬆鬆、… 人名、地名 eg 陳水扁、舞鶴、… 組織名、商品名 eg 台大資訊系、可口可樂、… 新名詞、簡省詞 eg E世代、A菜、資工、… 術語(Term)
（語詞）
3. A=[aij]nn , aij = P(qt+1=j | qt=i), 1≦ i ,j ≦N (目前詞
類是i ê情形下，下一個詞類是 j ê機率）
4. B={ bj(k) }, bj(k) = P(vk|j), 1 ≦k ≦M, 1 ≦j ≦N
5. π是開始狀態ê機率分佈
23
4.3 詞性標注-8
實作上
Beh按怎真緊ka詞chhe出來？ 斷詞beh按怎做disambiguity？ 詞類beh按怎做disambiguity？
5
4.2 詞ê判別
英文ê詞 (Tokenization)
White Space / 標點 隔開 有ê詞用標點隔開 eg “I’ll” “can’t” 有ê縮寫詞有句點 eg “U.S” 有ê詞有非字母 eg “AT&T” “Micro$oft” 數字 eg “123,456.789” “23.5%” “2005/12/21”
n個詞類，O(nm)
28
4.3 詞性標注-13
Viterbi : 利用動態規劃 ê觀念
假設每一個詞lóng有n個詞類標記，wm kàu wm+1 êj-th標記，有n個可能ê路徑，假設機 率siong kôan ê是 ti tj這個路徑
计算语言学
计算语言学的研究过程包括知识挖掘、形 式表述、算法设计和程序编制几个阶段。经验 主义的方法可以在第一阶段发挥更大的运用， 而理性主义方法可以在第二个和第三个阶段发 挥更好的运用。在各个语言学研究阶段，这两 种方法的应用不应该是互相割裂的，虽然在不 同阶段可以有不同的主次之分，但是两者的有 机结合应该贯穿在整个过程中。
第三节 语言的自动理解与生成
一、语言自动理解与生成的基础
（一）语言知识库 （二）形式语言理论 （三）自动机理论 （四）语言规则的形式化表述
二、句法分析法
（一）句法分析方法 （二）分析策略 1、回溯与并行处理 2、确定性算法与非确定性算法 3、自顶向下分析法与自底向上分析法
计算词汇学：研究如何用计算机处理自然语言 的词汇，建立语言词汇库，术语数据库等机器 可读词典。 计算语法学：研究如何用计算机来分析自然语 言的语法。这种研究在计算语言学中叫做自动 语法分析。计算语义学：如何利用计算机来分 析自然语言的语义。 计算语义学：如何利用计算机来分析自然语言 的语义。
（二）应用领域
三、语义分析方法
（一）语义分析的重要性 词性序列相同的词串，句法结构看其来相同， 可是由于语义的不同，句法结构也就不同。 有时候，句法结构相同的句子，语义却有可 能有很大不同。
（二）语义分析方法
1、格语法 2、语义网络 3、义素分析法 4、优选语义理论 5、蒙塔古语法
三、语料库的加工与管理
（一）语料库的加工 在汉语语料库的加工中，人们把纯文本语料 称为0级语料，而把分词语料称为1级语料，词 性标注语料称为2级语料，句法结构标注语料 称为3级语料，语义标注语料称为4级语料。
12 第十二讲 计算语言学
• 它是用计算机来研究和处理自然语言 的一门新兴边缘学科，涉及语言学、 计算机科学、数学、心理学等多个领 域。
• 通过建立形式化的数学模型，来分析、 处理自然语言，并在计算机上用程序 来实现分析和处理的过程，从而实现 以机器来模拟人的部分乃至全部语言 能力。 • 以“自然语言”为主的计算语言学可 以看作是“人工智能”的一个分支。
• 首先，计算语言学不是研究“计算机 语言”的学问，而是面向计算机的自 然语言处理，所以研究的是自然语言。 • 语言 ：人工语言、自然语言
• “计算机语言”是一种人工语言，也 是一种机器语言，用于人和机器交换 信息。比如Basic语言、C语言等等，都 是人们专门设计出来用于计算机进行 信息处理的机器语言。
2015-05-25
一、什么是计算语言学 二、计算语言学的发展历史 三、我国计算语言学发展历程 四、计算语言学的研究特点
一、什么是计算语言学
• 计算语言学(Computational Linguistics)，也 称自然语言处理(Natural Language Processing by Computer，NLP)或自然语言理解(Natural Language Understanding by Computer，NLU)， 有时也叫计量语言学(Quantitative Linguistics)、数理语言学(Mathematical Linguistics)、人类语言技术(Human Language Technology，HLT)等。
• 一个好的机器翻译系统应该把原语的语义 准确无误地在译语中表现出来。这样，语 义分析在机器翻译中越来越受到重视。 • 随着计算语言学研究水平的提高，机器翻 译的研究走向了实用化，出现了一大批实 用化的机器翻译系统。
计算语言学概论——应用语言学系列教材
本书简介 本教材从“基础”“算法”和“应用”三个方面，较为系统地介绍计算语言学的基础理论、相关的自然语言处理技术和应用。
基础部分（包括一、二、三章）主要讲述计算语言学的数学和语言学基本概念，计算语言学和自然语言处理技术的关系，自然语言处理的基本流程等内容。
此外，作为计算语言学的重要分支之一，语料库语言学得到了较大发展，有关语料库语言学的基础概念、基本理论、近年来的一些发展概况在第三章中加以介绍。
介绍这部分内容的目的，是让读者在不涉及技术细节的情况下，对计算语言学有一个初步的，同时也是较为全面的理解和掌握。
算法部分（包括第四、五章）主要介绍计算语言学的常用技术和算法。
从处理对象来讲，主要包括词法层面的分析技术、句法层面的分析技术和语义层面的处理技术；从处理方法来讲，既有传统的规则方法，也有基于语料库的统计方法的介绍。
这部分内容的主旨是希望通过本章学习后，使学生能对计算语言学的领域中的一些主流技术(比如隐马尔可夫模型在词性标注中的应用，GLR算法，部分分析技术等)有一个概要的认识，并能运用这些技术进行计算语言学相关的工作实践。
应用部分（包括第六、七章）主要讲授自然语言处理应用系统。
需要说明的是，基于语言信息处理技术的应用系统很多，本教材只是重点介绍一些常见的系统，介绍这些系统的工作机理、发展、取得的成绩，也客观介绍这些系统存在的问题和困难。
主要包括机器翻译系统，信息检索系统、信息提取系统，文本分类系统等。
目录第一章 绪论：什么是计算语言学 第一节 计算语言学的研究对象 第二节 计算语言学的研究方法 第三节 计算语言学的实际应用 第四节 小结第二章 语言知识的形式化表达 第一节 语言与语言知识 第二节 形式化表达手段 第三节 语法知识的形式化表述理论体系 第四节 语义知识的形式化表述理论体系 第五节 语篇知识的形式化表述理论体系 第六节 小结第三章 语料库：语言知识的另一种表示形式 第一节 语料库研究概况 第二节 语料的收集与加工 第三节 语料库的应用 第四节 小结第四章 词法分析 第一节 概述 第二节 “词”的识别 第三节 词性标注 第四节 词义标注 第五节 小结第五章 句法分析 第一节 句法分析导引 第二节 广义LR分析算法 第三节 基于线图的分析技术 第四节 其他句法分析技术 第五节 小结第六章 机器翻译 第一节 机器翻译概述 第二节 基于规则的机器翻译 第三节 基于语料库的机器翻译以及混合式机器翻译 第四节 机器翻译的困难、对策和评价 第五节 小结第七章 面向文本的智能信息处理 第一节 信息检索 第二节 信息提取 第三节 文本自动分类 第四节 小结术语表后记下载后 点击此处查看更多内容。
Computational_Linguistics_01计算语言学概论
名称
授课时间授课地点助教
平时成绩期末笔试
计算语言学是一门交叉学科。
计算语言
语言障碍
终极目标当前目标
建立形式化的适于计算机处理的语言模研制分析、生成以及处理语言的各种算
规则方法举例
计算语言学的研究方法
用上述规则分析句子“the boy saw the girl with a telescope”
All grammar leak (Sapir 1921)
一般而言，很多基于规则的系统不能满
融合规则驱动和数据驱动的方法
著名的例子
联机机器翻译网站
联机
信息检索系统Google
文本数据结构化
文本分类（自动判别文本的类别）音字转换（汉字整句输入法）
拼写检查和自动勘校系统。
语言学中的计算语言学
语言学中的计算语言学计算语言学是一门介于语言学、计算机科学和人工智能之间的学科，它主要关注自然语言处理和自然语言理解。
随着大数据时代的到来，计算语言学变得越来越重要，因为它可以帮助我们加快语言分析的速度和精度，并支持大规模的语言学研究。
在本文中，我们将介绍计算语言学的相关知识，探讨其在语言学方面的应用。
计算语言学的定义和历史计算语言学，又称为自然语言处理，是指借助计算机技术对于人类语言进行的相关研究。
计算语言学的根源可以追溯到20世纪50年代，早期的主要任务是机器翻译，即将一种语言的文本翻译成另一种语言。
但是，由于自然语言的复杂性和多样性，机器翻译在实践中存在很多困难和限制。
随着计算机技术的发展和自然语言理解的深入研究，计算语言学逐渐拓展到自然语言处理的更多领域，如文本分类、信息检索、情感分析、对话系统等。
这些应用领域跨足了语言学、计算机科学和人工智能的多个领域。
计算语言学的工具和技术计算语言学的研究通常包括以下步骤：（1）语言分析：对自然语言进行分词、句法分析、语义分析等处理。
（2）特征提取：从语言分析的结果中提取关键特征，其可用于分类、聚类、识别和预测等任务。
（3）模型训练：利用机器学习等技术构建语言模型或预测模型，以后续分析使用。
（4）应用部署：将已经训练好的模型应用于实际场景，实现文本分类、信息检索、情感分析等任务。
目前，计算语言学所使用的工具和技术主要包括：统计方法、自然语言处理库、人工神经网络、深度学习、爬虫技术等等。
在进行语言分析时，计算语言学常见的自然语言处理库有Stanford NLP、NLTK、spaCy等。
在机器学习领域，常用的算法包括决策树、随机森林、支持向量机、朴素贝叶斯、深度学习和递归神经网络等等。
语言分析例子如何使用计算语言学对于文本进行分析呢？这里，我们以文本分类为例，介绍计算语言学中的几种典型的文本分析方法。
（1）朴素贝叶斯分类器：由于朴素贝叶斯分类器最初用于垃圾邮件分类，现在广泛应用于不同的文本分类任务，如新闻分类、情感分析等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
詞義的排歧
詞法分析研究的意義與目的
機器翻譯︰簡繁轉換
后面 後面 ， 皇后 皇後 松绑 鬆綁 ， 松树 鬆樹 開發 土地開發 (開發票) 便衣 便衣警察 (簡便衣物)
訊息檢索︰搜尋引擎
文本處理︰拼寫校對
繁體子 繁體字 于涉 干涉 倒垃圾跌倒
兼類現象
Time flies like an arrow.
n-v v-n q p-v det n
把
這 篇 報導 編輯 一
v-n v-n
下
q-p-v-n r
m-c f-q-v
詞性的標注 – 兼類現象
兼類數量 5 4 3 3 20 126 詞數 百分比 0.01% 0.04% 0.23% 例子 和 c-n-p-q-v 光 a-d-n-v 畫 n-q-v
語音處理︰電腦發音、重音復原
詞法分析研究的意義與目的
詞法分析的過程
1.分詞 : 將句子中的單詞切割出來 2.詞性標注 : 決定每個詞的詞性 3.詞義排岐 : 決定每個詞的意義
文章
句子
分詞
詞串
詞性標注
詞串
詞義排歧
資料庫
漢語的分詞方式
從句子轉換到詞串，會因為切割方式的不同，而有不同的意義
學生會長是誰
學生會 / 長 / 是 / 誰 學生 / 會長 / 是 / 誰 學生 / 會 / 長 / 是 / 誰分詞的基本方法
最大匹配法(Maximum Match based approach) 機率分詞法(Probability approach to Word Segmentation)
計算語言學概論
詞法分析
R94922056 吳憲國 2007/06/21
Introduction
詞法分析簡介 分詞方式
最大匹配法 最大概率法 HMM (Hidden Markov Model)演算法 Viterbi演算法 Bayesian Discrimination
詞性的標注
n-q a-d
合計
64 30
1101
4% 2%
75%
筆，刀，口 大，老，真
兼兩類詞數 1475
詞性的標注 – 兼類現象
词 把 被 並 次 词性1: 機率 p: 0.96 p: 1.00 c: 0.86 q: 1.00 词性2: 概率 q：0.03 Ng: 0.00 d: 0.14 Bg: 0.00 词性3: 概率 v: 0.01 词性4: 概率 m: 0.00
p n q n m v
r
n v
q
v v c
q
f
把
這
篇
報導
編輯
一
下
Hidden Markov Model
路徑集合T = (t1,t2,t3,………,t96) 每一步的轉移機率 = 詞性轉移機率 * 單詞出現機率
q n $
起始狀態
n
m
f q
p r q v
這 篇 報導
n
n
把
v
編輯
c
一
v
下
P(t1|W) = P(q|$) P(把|q) x P(r|q) P(这|r) x …… x P(f|m) P(下|f) P(t2|W) = P(q|$) P(把|q) x P(r|q) P(这|r) x …… x P(q|m) P(下|q) …… P(t96|W) = P(n|$) P(把|n) x P(r|q) P(这|r) x …… x P(v|c) P(下|v)
由
在
p: 1.00
p: 0.95
v: 0.00
d: 0.02
詞性的標注 – 尋找最佳路徑
把
| 這 | 篇 | 報導 | 編輯 | 一 | 下
| q | v-n | v-n | m-c | f-q-v
q-p-v-n | r
4 X 1 X 1 X 2 X 2 X 2 X 3 = 96 種可能詞性的組合
Y
W是否在詞典中
正向與反向的分詞差異
N
去掉W最右邊一個字
句子“有意見分歧” 正向匹配有意 / 見 / 分歧 反向匹配有 / 意見 / 分歧
Y
W是否長度為1
N
機率分詞法
基本概念
一個待切割的字串可能包含多種分詞結果 求得其中機率最大的切割方式作為該字串的分詞結果
路徑A: 0 – 1 – 3 – 5 路徑B: 0 – 2 – 3 – 5
計算出最大機率路徑
HMM複雜度
假定有N個詞性標記，給定的詞串中有M個單詞，考慮最壞的情 況下，每個詞都有N個可能的詞性出現，則可能的路徑有NM條， 隨著M的增加，需要計算的可能路徑數目以指數模式增長，即 演算法時間複雜性成指數成長。
P(W1) = P(有)*P(意見)*P(分歧)
單詞 有 有意 意見
出現機率 1.80% 0.05% 0.10%
詞串W2 = 有意 / 見 / 分歧
P(W2) = P(有意)*P(見)*P(分歧)
見
0.02% 0.01%
P(W1) > P(W2)
有意見分歧 有 / 意見 / 分歧
分歧
詞性的標注
2
合計
1475
1264
2.67%
2.94%
鎖 n-v
總詞數 55191
北大計算語言所《現代漢語語法訊息詞典》1997年版
詞性的標注 – 兼類現象
兼類 n-v a-n a-v b-d 詞數 613 74 217 103 百分比 42% 5% 15% 7% 例子 愛好，把握，報導 本分，標準，典禮 安慰，保守，抽象 長期，成批，初步
哪條路徑的機率較高
機率分詞法
字串S =“有意見分歧“
詞串W1 =有 / 意見 / 分歧 詞串W2 =有意 / 見 / 分歧
Max( P(W1|S), P(W2|S) ) ?
(independent) wi在語料庫中出現的次數 語料庫中總詞數
機率分詞法
詞串W1 = 有 / 意見 / 分歧
從
大 到 得 等 地 對 就 以
p: 1.00
a: 0.92 v: 0.80 u: 0.76 u: 0.98 u: 0.89 p: 0.98 d: 0.87 p: 0.84
Vg: 0.00
d: 0.08 p: 0.20 v: 0.24 v: 0.02 n: 0.11 v: 0.01 p: 0.13 c: 0.11 q: 0.01 c: 0.00 j: 0.05 v: 0.02 a: 0.00 e: 0.00 q: 0.00
最大匹配法
待分割句子S1 輸出詞串S2=“” 最大詞長 MaxLen
詞典中較長的詞，會被優先取出 缺點
S1是否為空
Y
輸出S2
N
從S1左邊取出候選 字串W，長度不超 過Maxlen
最大詞長設定 MaxLen
太小無法切割出長詞 太長效率太差
S1=S1 - W S2=S2 + W + ” /”