计算语言学0
授课内容
• • • • • • 计算语言学概论 词典 语料库 词法分析 句法分析 机器翻译的主流技术
参考教材
• James Allen, Natural Language Understanding, The Benjamin/Cummings Publishing Company, Inc., 1995. • 翁富良，王野翊，《计算语言学导论》， 中国社会科学出版社，1998。 • 冯志伟，计算语言学基础，商务印书馆， 2001。
计算语言学(0)
侯宏旭 – 通过对用于机器翻译的语言学、计算语言学、 自然语言处理等方面技术、方法的学习，让研 究生掌握基本的机器翻译理论知识、掌握机器 翻译研究中常用的概念和方法，使研究生具有 初步的机器翻译理论方面的研究能力
• 计算语言学
– 利用形式化的数学模型来分析、处理自然语言 – 围绕机器翻译这一主要问题讲述计算语言学方 法
授课方法
• 学时和学分
– 2学分 – 32学时
• 学习方法
– 讲授：教授基本知识 – 报告：由研究生学习论文后报告、讨论
课程考核
• 平时成绩
– 出勤和报告情况
• 期末考试
– 开卷考试
• 课程论文
– 完成一个设计题目 – 根据设计完成一篇论文
网络资源
• • • • • ACL主页： NLP新闻组：comp.ai.nat-lang LDC： Chinese LDC: 中文自然语言处理开放平台：
–
• 计算所自然语言处理研究组：
–
• 北京大学计算语言学研究所：
–
计算语言学
计算语言学计算语言学（computationallanguagetry）是20世纪80年代后期发展起来的一门语言学新分支。
它将语言的自然属性与功能性计算结合在一起，它从信息论的观点出发，用计算机去处理语言的各种特征和规律，因此也称为信息处理语言学。
目前，这一领域已经成为国际上语言学研究中的一个热点。
因为随着语言理解技术的不断改进，需要处理的信息越来越多，计算机的速度、容量等指标也不断提高，因此对语言理解算法的研究也逐渐引起了人们的重视。
对于计算机而言，从本质上看，它就是一种代码，如同程序员所编写的源程序一样。
但是，计算机是由人来控制的，它可以依据人的指令对数据进行加工和运算，实现特定的功能。
也就是说，计算机只能按照人事先确定的方式来执行，无法根据客观实际情况来作出相应的改变。
1、认知主义和行为主义。
语言学中一般把计算语言学分成两大派别：认知主义和行为主义。
认知主义的主要观点是：语言是知识系统的一部分，语言是我们从事交际活动的工具。
语言是在人脑中表示意义的符号系统，是外界事物的概括的反映，并借助词的形式表现出来。
行为主义的主要观点是：语言是人类交际过程中约定俗成的，符号形式能够描述人们所指的客观世界的思维过程。
人们使用语言来进行交际，是通过手势或面部表情表达他们的内心思想感情的。
他们把人的语言看作是一种人造的符号系统，其作用仅仅是向外部世界传递信息。
2、神经科学和心理语言学。
20世纪70年代以后，计算机和信息论的研究蓬勃兴起，并与人类语言学的研究产生了紧密的联系。
人们逐步发现，计算机的行为模式直接来自人的行为模式，即直接来自于大脑的某些脑区。
人脑的某些脑区被称之为高级认知中心，具有推理、解决问题、记忆和逻辑判断等功能，其主要功能是对外界事物的知觉、学习、记忆、存贮和对事物的归类，并做出适当的行为反应。
计算机是电子设备，电子设备在很大程度上都是按照人们事先制定的程序设计的，这样就保证了整个计算机的操作必须严格按照人们事先确定的规则来执行。
计算语言学 文科
计算语言学文科
计算语言学是一门文科学科，主要研究自然语言的计算处理和相
关理论。
它结合了计算机科学、数学和语言学等多个学科的知识，旨
在开发能够与人类语言进行交互的计算机系统。
计算语言学的研究领域包括自然语言处理（Natural Language Processing，简称NLP）、机器翻译、语音识别、信息检索和文本挖掘等。
通过构建计算模型，计算语言学可以帮助我们实现许多实用的技
术应用，如语音助手、智能搜索、自动化翻译和信息抽取等。
在计算语言学的发展过程中，研究人员面临许多挑战。
首先是语
义理解的问题，即如何使计算机能够准确地理解人类语言的含义。
其
次是语言的多样性和复杂性，不同的语言之间存在着巨大的差异，而
且语法和语义规则也会随着时间和地点的改变而改变。
因此，研究人
员需要开发出能够适应不同语言和语境的计算模型。
此外，计算语言学还与语言学理论紧密相关。
研究人员需要借鉴
语言学的理论知识，如句法、语义和语用学等，来解决计算语言处理
中的问题。
此外，计算语言学还为语言学研究提供了新的方法和工具，如语料库语言学和计算实验，从而促进了语言学理论的发展。
随着人工智能技术的不断进步，计算语言学正变得越来越重要。
它已经广泛应用于社交媒体分析、智能客服、虚拟助手等领域，给我
们的生活带来了诸多便利。
然而，计算语言学的发展仍然面临许多未
解决的问题，如语言歧义性、数据稀缺和隐私保护等。
因此，我们需
要继续深入研究和探索，以进一步提升计算语言学的能力和应用范围。
计算语言学，隐藏在北语的一座金矿
计算语言学，隐藏在北语的一座金矿地处“宇宙中心”北京五道口，与清华相邻不远，人称“小联合国”的北京语言大学有两个王牌专业。
一个是名满天下的汉语国际教育（俗称对外汉语教学），还有一个专业知道的人不多，因为它是北语这所文科为主的学校里唯一一个理工专业，该专业学术大拿云集，某些研究领域甚至位列世界前列，它就是隐藏在北语的一座金矿——语言智能与技术（俗称计算语言学）。
计算语言学到底研究啥北语的计算语言学开设于全校唯一理工科学院信息科学学院（简称信科）。
北语信科的历史有三十二年了，前身是计算机科学与技术系，成立于2000年，再之前，是1987年成立的中国第一个以汉语信息处理为主要研究方向的“语言信息处理研究所”。
2014年，北语进行了大部制改革，信科在原有的语言信息处理研究所基础上，成立了另外三个研究所，分别是：大数据与语言教学研究所、语言监测与社会计算研究所（国家语言监测与研究平面媒体中心）和管理科学与工程研究所。
几个研究所基本上都与计算语言学学科直接相关，分别对语言的教学、研究和应用开展深入的研究。
信科的主要任务是培养外语水平出色，具有信息处理基本素养的通用人才，在信息領域开展一些前沿性的研究。
计算语言学就是利用计算机对语言进行计算处理，比如要提出某个语言现象，若没有语言数据的支持，就不能成为一个语言规律。
而发现规律一般有两种方法：一种基于规则，如语法专家经过研究，发现语言规律;另一种基于统计，根据大规模数据提炼规则。
后一种就是计算语言学主要做的事。
在这门融合了计算机科学、语言学和数学的计算语言学中，计算机科学是研究工具，语言学是处理对象，数学是建模工具，此外还会用到物理学等知识。
计算语言学，是从字、词、句、篇章、语音等各个维度去研究语言，比如让计算机自动评判一个留学生写汉字写得对不对、好不好，这项技术的核心是数学曲线在二维平面的变换;再比如研究日本人说汉语，计算机可以判断他们说得对不对、准不准，这项技术就利用了物理学中的声学理论，通过发音的波形进行判断。
语言学中的计算模型
语言学中的计算模型语言作为人类交流的核心工具，一直以来都是语言学家们的研究对象。
在语言学的发展过程中，计算模型逐渐成为了研究语言的重要工具。
计算模型是指利用现代计算机技术对语言进行数学分析和建模的方法。
本文将从计算科学和语言学两个角度，介绍语言学中的计算模型。
一、计算科学中的计算模型计算模型是指对计算机进行模拟和抽象的一种方法。
计算模型可以帮助计算机科学家们更好地理解计算机的工作原理，从而为计算机的设计和优化提供指导。
常见的计算模型包括图灵机、广义矩阵机、有限状态自动机等。
1. 图灵机图灵机是计算机科学领域中最著名的计算模型之一，它也是目前所有计算模型的原型。
图灵机由英国数学家阿兰·图灵在 1936 年提出，他认为，如果一台计算机可以计算某个数学问题，那么一台图灵机也应该能够解决这个问题。
图灵机可以处理各种计算机可以处理的问题，它只需要一个无限长的纸带和一个可以读写纸带上符号的头。
图灵机可以模拟所有的可计算函数，也就是理论上所有的问题都可以通过图灵机来解决。
2. 有限状态自动机有限状态自动机是一种计算模型，在图灵机的基础上进行了简化。
有限状态自动机只需要一个状态转换表和一个输入字符串，就可以实现对输入字符串的识别和处理。
它是一种简单但功能强大的计算模型，可以处理许多实际问题，如计算器、文本编辑器、编译器等。
二、计算模型在语言学中的应用也越来越广泛。
语言学家们发现，计算模型可以帮助他们对语言进行更准确的描述和分析，从而为语言学的发展提供新的思路和方法。
1. 自然语言处理自然语言处理是计算机科学中一项重要的研究领域，它涉及计算机如何理解和处理人类的语言。
自然语言处理是由计算模型推动发展起来的，它可以帮助计算机更好地理解人类的语言，减少人机交互中的误解和错误。
2. 语言模型语言模型是一种计算模型，用于捕捉语言中的各种结构和规律。
它可以帮助语言学家们对语言进行更深入的分析和解释。
语言模型也广泛应用于自然语言处理、机器翻译、语音识别等领域。
计算语言学Part2高级语言及其语法描述
文法的直观概念
关于文法的定义
定义3.1
文法G定义为四元组（VN, VT, P, S）。 其中VN为非终结符号（或语法实体，或变量）集；VT为终结符 号集；P为产生式（也称规则）的集合；VN, VT和P是非空有穷 集。S称做识别符号或开始符号，是一个非终结符（S∈ VN）， 至少要在一条规则中作为左部出现。 VN和VT不含公共元素，即VN∩VT=Φ。通常V表示VN∪VT，V称 为文法G的字母表或字汇表。
Part2 高级语言及其语法描述
授课：胡静
内容提要
预备知识——形式语言基础 程序语言的定义（语法定义、语义定义） 高级语言的一般特性（程序结构、数据类型和操作、 语句与控制结构） 程序语言的文法
文法的类型 上下文无关文法及其语法树 有关文法实用中的一些说明
预备知识
更多的概念和一些约定
A, B, C, … 用来表示非终结符 a, b, c, … 表示终结符 …, X, Y, Z 可以用来表示终结符或者非终结符 …, w, x, y, z 表示终结符号串 α, β, γ, δ, … 表示由终结符或非终结符构成的符号串 在产生式A→α中，
语句与控制结构
表达式：一个表达式是由运算量（操作数，即数据引 用或函数调用）和算符组成的。 语句：不同程序语言含有不同形式和功能的各种语句
执行语句：描述程序的动作，分为赋值语句、控制语 句、输入/输出语句； 说明性语句：定义各种不同数据类型的变量或运算 从形式上分，语句可以分为简单句、复合句和分程序 等。
程序语言的定义
程序语言的语法定义
所谓一个语言的语法是指这样一组规则，用它可以形 成和产生一个合式的程序。这些规则一部分称为词法 规则则，另一部分称为语法规则（或产生规则）
计算语言学
计算语言学计算语言学（computerlanguagestudy），是20世纪50年代初期形成的一门新兴学科，它以当时非常先进的数理逻辑和集合论为基础，借助电子计算机这一工具而得到迅速发展。
1。
计算语言学研究对象及内容计算语言学是从理论上研究各种计算问题所用的语言及其相关问题的学科。
其中主要有两个方面：①理论语言学，研究语言规律及其应用; ②应用语言学，研究各类计算问题的语言实现方法及实际问题解决。
2。
计算语言学研究的目的主要是：计算机设备的开发；计算机程序语言和操作系统的设计；计算机程序自动化、智能化、人工智能化等的研究；计算机在教育、科技、经济领域中的应用。
它是语言学的一个分支学科，主要研究各类计算问题的语言实现方法及其程序系统的描述、设计、分析、研制、使用与评价等。
3。
计算语言学的学科性质与学科体系计算语言学是一门多层次的综合学科。
它是一门由几十种甚至上百种语言组成的巨大语言体系。
它不仅包括一般程序设计语言（如FORTRAN， COBOL等），还包括像数据结构、数据库语言、图形处理语言、计算机算法等专业计算语言。
同时，计算语言学又是由几十个语言组成的独立的学科群。
它们可以根据需要加以分类、整理或组织。
按照语言功能划分为语法语言学和语义语言学两大部分。
4。
计算语言学的发展历史与前景计算语言学在美国产生于20世纪50年代末60年代初。
60年代后期，在西欧一些国家发展很快。
在我国，尽管起步较晚，但也引起了人们的重视。
特别是80年代中期，国家“七五”重点攻关项目“计算机辅助汉语教学软件系统”的研究与开发成功，标志着我国计算语言学的研究进入了一个新阶段。
5。
计算语言学在社会上的应用5。
计算语言学在社会上的应用计算语言学已经广泛地应用于各种计算机应用系统，成为社会最为关注的热门课题之一。
有关单位正在不断推出各种与计算机有关的计算语言学的应用软件。
它们使计算机应用系统的普及推广更加深入。
在一定意义上说，计算机本身就是一个不错的信息处理工具，能够完成某些运算与控制。
Computational_Linguistics_01计算语言学概论
名称
授课时间授课地点助教
平时成绩期末笔试
计算语言学是一门交叉学科。
计算语言
语言障碍
终极目标当前目标
建立形式化的适于计算机处理的语言模研制分析、生成以及处理语言的各种算
规则方法举例
计算语言学的研究方法
用上述规则分析句子“the boy saw the girl with a telescope”
All grammar leak (Sapir 1921)
一般而言，很多基于规则的系统不能满
融合规则驱动和数据驱动的方法
著名的例子
联机机器翻译网站
联机
信息检索系统Google
文本数据结构化
文本分类（自动判别文本的类别）音字转换（汉字整句输入法）
拼写检查和自动勘校系统。
计算语言学(2024)
造性。
18
2024/1/29
05
CATALOGUE
语音识别与合成
19
语音识别的原理
声学建模
将输入的语音信号转换为声学特 征向量，如梅尔频率倒谱系数（ MFCC），以描述语音的声学特
性。
2024/1/29
语言建模
构建语言模型来描述词与词之间的 概率关系，常用的有N-gram模型 和神经网络语言模型。
2024/1/29
12
句法分析
句子结构分析
确定句子中词汇之间的结构关系，如主谓宾、定状补 等。
依存关系分析
分析句子中词汇之间的依存关系，如动词与其宾语、 形容词与其修饰的名词等。
短语结构分析
识别并分析句子中的短语结构，如名词短语、动词短 语等。
2024/1/29
13
语义理解
词汇语义
理解词汇在特定上下文中的含义和用法。
1 2
个性化语言处理技术的发展
随着个性化需求的不断增长，计算语言学将更加 注重个性化语言处理技术的研究和应用，如个性 化推荐、情感分析等。
多模态语言处理的深度融合
未来计算语言学将更加注重多模态语言处理的深 度融合，实现文本、语音、图像等多种信息的联 合处理和应用。
语言智能的进一步提升
3
随着计算语言学技术的不断发展，语言智能将得 以进一步提升，实现更加自然、高效的人机交互 和智能应用。
基于规则的翻译
通过预设的语法和词汇规则进行翻译，这种方法需要大量的手工编 码规则。
基于统计的翻译
利用大量的双语语料库进行统计学习，构建翻译模型。这种方法可 以自动从语料库中学习翻译规则，避免了手工编码的繁琐。
基于神经网络的翻译
通过深度学习技术，构建大规模的神经网络模型进行翻译。这种方法 可以自动学习语言的复杂特征，并实现更加准确的翻译。
计算语言学概论课件
计算语言学的重要性
社会需求
随着信息技术的快速发展，社会 对自然语言处理的需求日益增长 ，计算语言学在信息检索、机器 翻译、语音识别等领域具有广泛
的应用前景。
学术价值
计算语言学为语言学、计算机科 学等相关学科提供了新的研究方 法和思路，有助于推动相关学科
的发展。
技术创新
计算语言学的技术突破和创新， 将推动人工智能、大数据等领域 的进步，为社会发展带来更多机
信息抽取是从非结构化文本中提 取结构化信息的过程，如从新闻 报道中提取事件、时间、地点等
关键信息。
信息抽取技术广泛应用于知识图 谱构建、问答系统等领域。
信息抽取的关键技术包括实体识 别、关系抽取、事件抽取等。
机器翻译
机器翻译是利用计算机自动将一 种语言的文本转换为另一种语言
的文本的过程。
机器翻译技术已经取得了显著的 进步，如基于神经网络的机器翻
深度学习在NLP领域的应用取得了显著成果，如词向量表示、序列标注、生成模型 等。
文本挖掘
文本挖掘是从大量文本数据中 提取有用信息的过程，包括文 本分类、聚类、情感分析等。
文本挖掘技术广泛应用于信息 检索、舆情分析、企业竞争情 报等领域。
文本挖掘的关键技术包括特征 提取、文本表示、模型评估等 。
信息抽取
感谢观看
REPORTING
情感分析
计算语言学可以帮助智能客服系统识别用户的情感倾向，从而提供 更加贴心、个性化的服务。
自动回复
利用计算语言学的方法，智能客服系统可以自动回复用户的咨询， 提高服务效率。
在机器翻译中的应用
1 2
语言对齐
计算语言学可以帮助机器翻译系统识别源语言和 目标语言之间的对应关系，提高翻译的准确度。
计算语言学
语音合成： 语音合成：将可视的文本信息转化为可听的 语音信息。 语音信息。 现在语音识别技术还在发展， 现在语音识别技术还在发展，据说可以哑人 手语识别系统借助数据手套, 手语识别系统借助数据手套,将哑人在会话过 程中的手的运动信息提取出来进行识别, 程中的手的运动信息提取出来进行识别 , 提 取其中的语义,并通过语音合成, 取其中的语义,并通过语音合成,最终将他们 的手语信息翻译成语音并输出, 的手语信息翻译成语音并输出 , 便于听力健 全人理解。 全人理解。
印刷汉字识别技术主要包括：
(1) 扫描输入文本图象。 扫描输入文本图象 输入文本图象。 (2) 图象的预处理，包括倾斜校正和滤除干扰噪声等。 图象的预处理 包括倾斜校正和滤除干扰噪声等。 预处理， (3) 图象版面分析和理解。区分出文本段落及排版顺序，图象、 图象版面分析和理解。区分出文本段落及排版顺序，图象、 表格的区域；对于文本区域将进行识别处理， 表格的区域；对于文本区域将进行识别处理，对于表格区域进行 专用的表格分析及识别处理，对于图象区域进行压缩或简单存储。 专用的表格分析及识别处理，对于图象区域进行压缩或简单存储。 (4)行字切分：图象的行切分和字切分。 行字切分： 行字切分 图象的行切分和字切分。 (5)特征提取：提取单字图象统计特征或结构特征。 特征提取： 特征提取 提取单字图象统计特征或结构特征。 (6)文字识别：基于单字图象特征的模式分类。将被分类的模式 文字识别： 文字识别 基于单字图象特征的模式分类。 赋予识别结果。 赋予识别结果。 (7)后处理：识别结果的编辑修改后处理。利用词义、词频、语 后处理：识别结果的编辑修改后处理。利用词义、词频、 后处理 法规则或语料库等语言先验知识对识别结果进行校正的过程。 法规则或语料库等语言先验知识对识别结果进行校正的过程。 其中(4)、(5)和(6)，是印刷汉字识别中最为核心的技术。 、 其中 和 ，是印刷汉字识别中最为核心的技术。