第三章-自然语言的处理PPT课件
合集下载
自然语言处理基础入门教程
自然语言处理基础入门教程第一章：自然语言处理概述自然语言处理（Natural Language Processing，简称NLP）是人工智能领域中的一个重要分支，致力于使机器能够理解和处理人类语言。
NLP技术广泛应用于文本分类、机器翻译、情感分析等领域，并在智能助理、智能客服等人机交互场景中得到了广泛应用。
第二章：文本预处理在进行自然语言处理之前，我们首先需要对文本进行预处理。
文本预处理包括数据清洗、分词、去除停用词、词干化等操作。
其中，数据清洗指的是去除文本中的噪声数据，例如特殊字符、HTML标签等；分词将文本切割为一个个独立的词语；去除停用词是指去除一些常用词语，例如“的”、“是”等，这些词语在文本中出现频率较高，但对文本含义不具有太大的贡献；词干化是将词语还原为其原始词根形式，例如“running”还原为“run”。
第三章：词向量表示为了让计算机能够理解和处理文本，我们需要将文本转化为计算机可识别的向量形式。
词向量表示就是一种将单词映射到向量空间中的方法。
常用的词向量表示方法有one-hot编码、TF-IDF和词嵌入。
其中，one-hot编码将每个词都表示为一个只有一个元素为1的向量，TF-IDF根据词语的频率和逆文档频率计算词权重，而词嵌入则通过训练神经网络将词语映射到一个低维稠密向量空间中。
第四章：文本分类文本分类是自然语言处理中的一个重要任务，其目标是将文本划分到预先定义的若干类别中。
常见的文本分类算法有朴素贝叶斯、支持向量机（SVM）和深度学习方法（如卷积神经网络和循环神经网络）。
文本分类可以应用于垃圾邮件过滤、情感分析、新闻分类等领域。
第五章：命名实体识别命名实体识别（Named Entity Recognition，简称NER）是指从文本中识别出具有特定意义的实体，例如人名、地名、组织机构名等。
NER技术对于信息抽取、问答系统等任务具有重要意义。
常用的NER方法包括基于规则的方法、统计方法和深度学习方法。
自然语言理解PPT资料(正式版)
7.3 句法分析
7.3.2 递归转移网络与扩充转移网络
1、有限状态转移网络 扩充转移网络的概念来源于有限状态转移网络。我们曾指出，
自然语言理解的进展 自然语言过程的层次
7.2 词法分析 设置哪些寄存器完全取决于句法分析的需要，并没有硬性的规定。
自然语言理解是指机器能够执行人类所期望的某些语言功能。
(2)每条弧上除了用句法范畴(如词类和短语标记)来标注以外，可以附加任意的测试，只有当弧上的这种溯试成功之后才能通过这条弧； 翻译(VtrahslaVtioVn)：机器具有把一种语言(源语)翻译成为另一种语言(目标语)的能力。 它表明必须在输入句子中找到这样一个词，才可以进行这条弧所规定的转移；
LFG对句子的描述分为两部分：直接成分结构(Constituent Structure,简称C-Structure)和功能结构(Functional Structure,简称F-structure)，Cstructure是由上下文无关语法产生的表层分析结果。 一个有限状态转移网络由一组状态(即结点)和一组弧(用来把一种状态连向另一种状态)所组成：
（具体内容请参照P257---P262） 显然，如果计算机能够理解自然语言，人机间的信息交流能够以人们所熟悉的本族语言来进行，那将是计算技术的一项重大突破。
2、词汇功能语法对句子的分析过程 每条产生式具有如下的形式：
a→b 其中a∈V+，b∈V*，且a≠b； LFG用一种结构来表达特征、功能、词汇和成分的顺序。 在对一个句子进行分析的过程中，如果把分析句子各成分间关系的推倒过程用树形表示出来的话，那么，这种图称做句法分析树。
7.3 句法分析
7.3.1 短语结构语法理论与乔姆斯基语法体系
3、句法分析树 在对一个句子进行分析
自然语言处理
20世纪90年代中期以 后，计算机的运算 速度和存储量大幅 提升，使得语音和 语言处理的商品化 开发成为可能
1994年，互联网商业 化和网络技术的发 展使得基于自然语 言的信息检索和信 息抽取的需求变得 更加突出。这两件 事从根本上促进了 自然语言处理研究 的复苏与发展
自然语言处理的研究方向
（1）文字识别 文字识别（OCR）借助计算机系统自动识别 印刷体或者手写体文字，将其转换为可供计 算机处理的电子文本。
移动项数的多少要依据现象发展的特点和统计分析的要求确定 实际应用中，移动平均法主要用来有效的消除不规则变动和季节变动对原
数列的影响 移动平均采用奇数项移动能一次对准被移动数据的中间位置，若采用偶数
项移动平均，一次移动平均后的数值将置于居中的两项数值之间
长期趋势的分析方法——指数平滑
指数平滑法是对过去的观测值加权平均进行预测，使第期的预 测值等于期的实际观测值与第期指数平滑值的加权平均值
自然语言处理
语言是人类智慧的结晶，它经历了漫长而缓慢
的发展过程，是人类交际、思维和传递信息的最重 要工具。
自然语言是指人们日常使用的语言，它是 随着人类社会不断发展演变而来的，是人类 沟通、交流的重要工具，也是人类区别于其 他动物的根本标志。
自然语言处理（Natural Language Processing， NLP）是指利用计算机对自然语言的形、音、 义等信息进行处理，即对字、词、句、篇章
（2）语音识别
语音识别，也称为自动语音识别，目标是将人类语 音中的词汇内容转换为计算机可读的输入。语音识 别技术的应用包括语音拨号、语音导航、室内设备 控制、语音文档检索、简单的听写数据录入等。
1956年，乔姆斯基 （Chomsky）提出 了上下文无关语法， 并把它运用到自然 语言处理中。他们 的工作直接开创了 基于规则和基于概 率这两种不同的自 然语言处理技术。
概述语言信息处理自然语言理解PPT43页
用口语语音输入，使计算机“听懂”语音信号，用文字或语音合成输出 应答。
用口语对计算机讲话 计算机识别语音输入，把语音流变换为文字流 然后按书面语理解 最后利用语音合成将回答转换成声音输出
对外经贸大学中文学院.对外汉语
语言信息处理的学科定位
交叉学科：语言学、计算机科学、认知科学、
数学、哲学和逻辑学
因此，语言信息处理处于文科、理科和工科的交叉点 上，是建立在语言学、数学和计算机科学这三门学科基础 上的边缘性学科。
对外经贸大学中文学院.对外汉语
语言信息处理的目标----理解的定义
最终目标：让电脑像人一样理解语言 “目前学界对于‘理解’的理解、有关‘概念’的概念、赋
予‘语义’的语义、界定‘知识’的知识都可能是各不相同 甚或互不搭界的。” （张普）
计算机对自然语言的处理一般应经过三个方面： 形式化 编写算法 程序实现
对外经贸大学中文学院.对外汉语
人工智能的分支 AI, Artificial Intelligence
NLU是人工智能的重要内容。自然语言的信息处理是 跟计算机的诞生几乎同时开始的一个多学科交叉研究领域。 来自计算机科学、语言学、数学等不同学科的研究人员构 成了目前这一领域的主要研究力量。随着计算机应用的日 益普及，其功能也从主要是数值计算发展到以非数值信息 处理为主。
对外经贸大学中文学院.对外汉语
对外经贸大学中文学院.对外汉语
本章内容
语言信息处理的方向 语言信息处理的对象 语言信息处理的学科定位 语言信息处理的目标 语言信息的理解处理所需的知识 自然语言处理的根本问题 语言理解处理系统的评价 自然语言处理的研究方法 自然语言处理的发展历史 自然语言处理系统的总体构成
2009-2010学年 For 对外汉语方向本科生
用口语对计算机讲话 计算机识别语音输入，把语音流变换为文字流 然后按书面语理解 最后利用语音合成将回答转换成声音输出
对外经贸大学中文学院.对外汉语
语言信息处理的学科定位
交叉学科：语言学、计算机科学、认知科学、
数学、哲学和逻辑学
因此，语言信息处理处于文科、理科和工科的交叉点 上，是建立在语言学、数学和计算机科学这三门学科基础 上的边缘性学科。
对外经贸大学中文学院.对外汉语
语言信息处理的目标----理解的定义
最终目标：让电脑像人一样理解语言 “目前学界对于‘理解’的理解、有关‘概念’的概念、赋
予‘语义’的语义、界定‘知识’的知识都可能是各不相同 甚或互不搭界的。” （张普）
计算机对自然语言的处理一般应经过三个方面： 形式化 编写算法 程序实现
对外经贸大学中文学院.对外汉语
人工智能的分支 AI, Artificial Intelligence
NLU是人工智能的重要内容。自然语言的信息处理是 跟计算机的诞生几乎同时开始的一个多学科交叉研究领域。 来自计算机科学、语言学、数学等不同学科的研究人员构 成了目前这一领域的主要研究力量。随着计算机应用的日 益普及，其功能也从主要是数值计算发展到以非数值信息 处理为主。
对外经贸大学中文学院.对外汉语
对外经贸大学中文学院.对外汉语
本章内容
语言信息处理的方向 语言信息处理的对象 语言信息处理的学科定位 语言信息处理的目标 语言信息的理解处理所需的知识 自然语言处理的根本问题 语言理解处理系统的评价 自然语言处理的研究方法 自然语言处理的发展历史 自然语言处理系统的总体构成
2009-2010学年 For 对外汉语方向本科生
《自然语言处理》课件
过拟合问题
模型在训练数据上表现良好，但在测试数据上表现不佳，这是因为模型过于复 杂并过度拟合训练数据。为了解决这个问题，可以采用正则化、早停法、集成 学习等技术。
语义理解的深度与广度问题
深度问题
目前自然语言处理模型主要关注词义和 句子的表面结构，难以理解更深入的语 义信息和语境。为了解决这个问题，需 要研究如何让模型更好地理解语境、把 握对话进程、理解比喻和隐喻等。
句法分析可以采用基于规则 的方法或基于统计的方法进 行。
基于规则的方法主要依靠人 工制定的规则进行句法分析 ，而基于统计的方法则通过 训练模型进行句法分析。
语义分析
01
语义分析是指对句子进行语义理解，识别句子中的 概念、实体、关系等语义信息。
02
语义分析是自然语言处理中的高级任务，需要结合 上下文信息和领域知识进行理解。
03
分词算法可以分为基于规则的方法和基于统计的方法两类。
04
基于规则的方法主要依靠人工制定的规则进行分词，而基于统计的方 法则通过训练模型进行分词。
词性标注
01 02 03 04
词性标注是指在分词的基础上，对每个词进行语义分类，确定其词性 。
词性标注是自然语言处理中的重要任务之一，有助于理解句子的结构 和语义。
06
自然语言处理前沿技术
预训练语言模型
预训练语言模型概述
预训练语言模型是一种深度学习模型，通过对大量文本数据的学 习，获得对语言的内在理解和生成能力。
代表性模型
如Transformer、BERT、GPT系列等，这些模型在自然语言处理任 务中表现出色，具有强大的语言生成和理解能力。
预训练语言模型的应用
VS
广度问题
自然语言处理模型在处理不同领域Байду номын сангаас不同 语言的文本时，表现往往不够稳定。为了 提高模型的泛化能力，需要研究如何让模 型更好地适应不同领域和语言的文本。
模型在训练数据上表现良好，但在测试数据上表现不佳，这是因为模型过于复 杂并过度拟合训练数据。为了解决这个问题，可以采用正则化、早停法、集成 学习等技术。
语义理解的深度与广度问题
深度问题
目前自然语言处理模型主要关注词义和 句子的表面结构，难以理解更深入的语 义信息和语境。为了解决这个问题，需 要研究如何让模型更好地理解语境、把 握对话进程、理解比喻和隐喻等。
句法分析可以采用基于规则 的方法或基于统计的方法进 行。
基于规则的方法主要依靠人 工制定的规则进行句法分析 ，而基于统计的方法则通过 训练模型进行句法分析。
语义分析
01
语义分析是指对句子进行语义理解，识别句子中的 概念、实体、关系等语义信息。
02
语义分析是自然语言处理中的高级任务，需要结合 上下文信息和领域知识进行理解。
03
分词算法可以分为基于规则的方法和基于统计的方法两类。
04
基于规则的方法主要依靠人工制定的规则进行分词，而基于统计的方 法则通过训练模型进行分词。
词性标注
01 02 03 04
词性标注是指在分词的基础上，对每个词进行语义分类，确定其词性 。
词性标注是自然语言处理中的重要任务之一，有助于理解句子的结构 和语义。
06
自然语言处理前沿技术
预训练语言模型
预训练语言模型概述
预训练语言模型是一种深度学习模型，通过对大量文本数据的学 习，获得对语言的内在理解和生成能力。
代表性模型
如Transformer、BERT、GPT系列等，这些模型在自然语言处理任 务中表现出色，具有强大的语言生成和理解能力。
预训练语言模型的应用
VS
广度问题
自然语言处理模型在处理不同领域Байду номын сангаас不同 语言的文本时，表现往往不够稳定。为了 提高模型的泛化能力，需要研究如何让模 型更好地适应不同领域和语言的文本。
NLP课件(自然语言处理课件)ppt
自然语言处理是一种人工智能技术 自然语言处理主要研究如何让计算机理解和生成自然语言 自然语言处理技术可以应用于语音识别、文本生成、机器翻译等领域 自然语言处理技术对于人机交互、智能客服等方面有着重要的应用价值
早期：语言学、计算机科学和人 工智能的结合
1990年代：NLP研究开始繁荣， 应用范围扩大
语言文本
自然语言理解：让计算机能 够理解人类语言的含义，实
现人机交互
目的：使计算机能够理解和 处理人类语言
定义：对自然语言文本进行 处理、分析和理解的过程
应用领域：搜索引擎、机器 翻译、情感分析、智能客服
等
中文自然语言处理的特点： 语言文字的复杂性、多义性、
歧义性等
定义：将中文文 本分割成单独的 词语
添加标题
添加标题
添加标题
添加标题
1950年代：出现首批NLP相关研 究
2000年代至今：深度学习引领 NLP发展，取得突破性成果
机器翻译 语音识别 文本分类 信息检索
语言模型：建立语言模型， 对文本进行分类、聚类等操 作
基础理论：语言学、计算机 科学、数学等学科交叉的研 究
自然语言生成：让计算机自 动生成符合语法规则的自然
NLTK库的应用领 域
NLTK库的未来发 展
SpaCy库是什么？ SpaCy库在自然语言处理中的优势 SpaCy库的主要功能 SpaCy库的使用场景和案例
介绍StanfordNLP库 展示代码示例 讲解应用场景 演示效果及优势
介绍Hugging Face Transformer s 库 讲解其在自然语言处理中的优势 举例说明其在具体任务中的应用 总结其在实际应用中的重要性
结果展示：将分析结果以图表、报告等形式展示给用户，以便用户能 够直观地了解舆情分析的情况。
自然语言处理.pptx
含在语料库中的知识，学习到的知识体现为一系列模型参 数。 基于学习到的参数和相应的模型进行语言信息处理。
混合方法
理性方法的优、缺点
相应的语言学理论基础好 语言知识描述精确 处理效率高 知识获取困难（高级劳动） 系统鲁棒性差：不完备的规则系统将导致推理的失败 知识扩充困难，很难保证规则之间的一致性
针对用户提出的问题，给出具体的答案。
Apple效率
信息抽取（Information Extraction，IE）
基于某个主题模板，从非结构化或半结构化的自然 语言文本中提取出相关的结构化信息。
主题相关的信息获取。 对机器翻译、自动问答、数据挖掘（文本挖掘）等提供支
还原规则
通用规则：变化有规律 个性规则：变化无规律
形态还原规则举例
英语“规则动词”还原
*s -> * (SINGULAR3) *es -> * (SINGULAR3) *ies -> *y (SINGULAR3) *ing -> * (VING) *ing -> *e (VING) *ying -> *ie (VING) *??ing -> *? (VING) *ed -> * (PAST)(VEN) *ed -> *e (PAST)(VEN) *ied -> *y (PAST)(VEN) *??ed -> *? (PAST)(VEN)
自然语言处理
Natural Language Processing(NLP)
2019-6-23
谢谢你的观看
1
主要内容（1）
自然语言处理概述
什么是自然语言处理 自然语言处理的典型应用 自然语言处理的基本任务 自然语言处理的基本策略和实现方法 自然语言处理的难点 自然语言处理所涉及的学科
混合方法
理性方法的优、缺点
相应的语言学理论基础好 语言知识描述精确 处理效率高 知识获取困难（高级劳动） 系统鲁棒性差：不完备的规则系统将导致推理的失败 知识扩充困难，很难保证规则之间的一致性
针对用户提出的问题，给出具体的答案。
Apple效率
信息抽取（Information Extraction，IE）
基于某个主题模板，从非结构化或半结构化的自然 语言文本中提取出相关的结构化信息。
主题相关的信息获取。 对机器翻译、自动问答、数据挖掘（文本挖掘）等提供支
还原规则
通用规则：变化有规律 个性规则：变化无规律
形态还原规则举例
英语“规则动词”还原
*s -> * (SINGULAR3) *es -> * (SINGULAR3) *ies -> *y (SINGULAR3) *ing -> * (VING) *ing -> *e (VING) *ying -> *ie (VING) *??ing -> *? (VING) *ed -> * (PAST)(VEN) *ed -> *e (PAST)(VEN) *ied -> *y (PAST)(VEN) *??ed -> *? (PAST)(VEN)
自然语言处理
Natural Language Processing(NLP)
2019-6-23
谢谢你的观看
1
主要内容（1）
自然语言处理概述
什么是自然语言处理 自然语言处理的典型应用 自然语言处理的基本任务 自然语言处理的基本策略和实现方法 自然语言处理的难点 自然语言处理所涉及的学科
自然语言处理NaturalLanguageProcessing(NLP)精选版演示课件.ppt
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
Hale Waihona Puke 2020年最新2020年最新
2020年最新
2020年最新
2020年最新
2020年最新
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
——《生活报》1994. 11. 13. 第六版
20
人脑对语言的理解是一个复杂的思维过程。 自然语言理解技术同多个学科有着千丝万缕的关系。
语言学：研究语言本身的结构 语言心理学：研究人类生成和理解语言的过程 逻辑学： 计算机科学 人工智能 数学与统计学 ……
21
图灵测试
一种测试机器是不是具备人类智能的方法。
10
2、借助于语言信息处理的web智能
/
11
12
微软亚洲研究院——人立方
13
输入“王菲”得到的人物关系图
14
3、机器翻译
Ex-1: The spirit is willing, but the flesh is weak. （心有余，而力不足。） 译：精神是愿意的, 但骨肉是微弱的。(Systran，现在已经能
⇒ 08年7月一万亿个网页，每天数十亿增加 ⇒ 获得的信息只有1％被有效利用
9
“框”计算
“框计算”是2009年8月 18日，董事长兼首席 执行官李彦宏在2009 技术创新大会这种需求，并将该需求分 配给最优的内容资源或应 用提供商处理，最终精准 高效地返回给用户相匹配 的结果。这种高度智能的 互联网需求交互模式，以 及“最简单可依赖”的信 息交互实现机制与过程， 称之为“框计算”。
5
研究语言的目的
研究语言的目的
➢为语言构造出足够精细的计算模型，以便能够写出 由计算机程序来完成的涉及自然语言的各种任务。
计算模型的用途
➢作为科学研究的目的－可以探索语交流的本质； ➢作为实用的目的－能够实现有效的人机通信。
终极目标
➢能够给出一些模型，这些模型在完成阅读、写作、 听、说等任务时能够接近人的行为。
大规模语料可用，计算机性能大幅提高 互联网的迅速发展为NLP提供了实验数据来源和新的应
用场景
8
3.2 自然语言处理技术可以为我们 做什么？
1、信息检索
• 微软：106,000,000条（8年前2,060,000 条） 微软，亚洲研究院：1,060,000条 微软，亚洲研究院，研究方向：116,000条 微软，亚洲研究院，自然语言处理：38,900 条
——冯志伟
16
5、复杂的检索任务
如“给我找出所有有关在1986年到1990年之间曾经 尝试而最终失败且金额超过1亿美元的融资收买的 文章。”
处理方法： 1、对数据库的每篇文章建立一种表示形式 2、这种表示形式能用于后续的推理
17
6、语音识别
输入：美欧贸易摩擦升级 识别结果：美欧贸易摩擦生机 输入：新技术的发展日新月异 识别结果：新纪录的发展日新月异
18
信息过滤，信息安全 文摘生成 问答系统，人机交互 语言教学 文字输入，文字编辑与排版 语音翻译 网络内容管理与知识发现 ……
19
1.3 关于“理解”的理解
他说：“她这个人真有意思(funny)”。她说： “他这个人怪有意思的(funny)”。于是人们以为他 们有了意思(wish)，并让他向她意思意思(express)。 他火了：“我根本没有那个意思(thought)”！她也 生气了：“你们这么说是什么意思(intention)”？事 后有人说：“真有意思(funny)”。也有人说：“真 没意思(nonsense)”。
6
不关注与所使用的特定媒介相关的 问题，例如手写输入、键盘输入或语音 输入的问题。
关注在词语识别完成后理解和使用 语言的过程。
7
NLP的历史
20世纪50年代起步
提出机器翻译等重要问题
50年代-60年代采用模式匹配法和文法分析方法
对基于理解和基于统计方法的讨论 60年代后期衰落
70-80年代采用了面向受限域的深入理解方法 80年代后期至今统计方法占据主流
22
1.4 自然语言理解研究的基本问题
研究的层次 ——语法学：研究语句的组成结构，包括词和短语
在语句中的作用等。 为什么一句话可以这么说也可以那么说？
23
研究的层次 ——语义学：研究如何从一个语句中推导词的意义， 以及这些词在该语句中句法结构中的作用来推导出 该语句的意义。
这句话说了什么？ (1) 今天中午我吃食堂。 (2) 这个人真牛。 (3) 这个人眼下没些什么，那个人嘴不太好。
24
研究的层次 ——语用学：研究在不同上下文中的语句的应用， 以及上下文对语句理解所产生的影响。
为什么要说这句话？ （1）火，火！ （2）A: 看看鱼怎么样了？
B: 我刚才翻了一下。
第3章 自然语言的处理
1
3.1 基本概念
2
信息的主要载体－语言 语言的两种形式－文字和声音
文字和声音作为语言的两个不同形式的载体，所 承载的信息占整个信息组成的90％以上。
如何让计算机实现人们希望实现的语言处理功能？ 如何让计算机真正实现海量的语言信息的自动处 理和有效利用？
3
自然语言处理（Natural Language Processing，简 称NLP）是利用计算机为工具，对人类特有的书 面形式和口头形式的自然语言的信息进行各种类 型处理和加工的技术。
——冯志伟《自然语言的计算机处理》
NLP是用计算机通过可计算的方法对自然语言的 各级语言单位（字、词、语句、篇章等）进行转 换、传输、存储、分析等加工处理的理论和方法。
4
其它名称 自然语言理解(Natural Language Understanding) 计算语言学(Computational Linguistics) 现代语言学的一大分支，它是用计算机理 解、生成和处理自然语言，即它的研究范 围不仅涵盖语言信息的处理，还包括语言 的理解和生成。
够正确翻译)
Ex-2:
15
4、自动问答系统
在网络上输入“问句”，自动给出精确地答案。 自动问答系统的结构 三个模块：
提问处理模块（Question-Processing）； 文献处理模块（Document-Processing）； 答案的提取和构造模块（Answer Extraction and Formulation）。
20
人脑对语言的理解是一个复杂的思维过程。 自然语言理解技术同多个学科有着千丝万缕的关系。
语言学：研究语言本身的结构 语言心理学：研究人类生成和理解语言的过程 逻辑学： 计算机科学 人工智能 数学与统计学 ……
21
图灵测试
一种测试机器是不是具备人类智能的方法。
10
2、借助于语言信息处理的web智能
/
11
12
微软亚洲研究院——人立方
13
输入“王菲”得到的人物关系图
14
3、机器翻译
Ex-1: The spirit is willing, but the flesh is weak. （心有余，而力不足。） 译：精神是愿意的, 但骨肉是微弱的。(Systran，现在已经能
⇒ 08年7月一万亿个网页，每天数十亿增加 ⇒ 获得的信息只有1％被有效利用
9
“框”计算
“框计算”是2009年8月 18日，董事长兼首席 执行官李彦宏在2009 技术创新大会这种需求，并将该需求分 配给最优的内容资源或应 用提供商处理，最终精准 高效地返回给用户相匹配 的结果。这种高度智能的 互联网需求交互模式，以 及“最简单可依赖”的信 息交互实现机制与过程， 称之为“框计算”。
5
研究语言的目的
研究语言的目的
➢为语言构造出足够精细的计算模型，以便能够写出 由计算机程序来完成的涉及自然语言的各种任务。
计算模型的用途
➢作为科学研究的目的－可以探索语交流的本质； ➢作为实用的目的－能够实现有效的人机通信。
终极目标
➢能够给出一些模型，这些模型在完成阅读、写作、 听、说等任务时能够接近人的行为。
大规模语料可用，计算机性能大幅提高 互联网的迅速发展为NLP提供了实验数据来源和新的应
用场景
8
3.2 自然语言处理技术可以为我们 做什么？
1、信息检索
• 微软：106,000,000条（8年前2,060,000 条） 微软，亚洲研究院：1,060,000条 微软，亚洲研究院，研究方向：116,000条 微软，亚洲研究院，自然语言处理：38,900 条
——冯志伟
16
5、复杂的检索任务
如“给我找出所有有关在1986年到1990年之间曾经 尝试而最终失败且金额超过1亿美元的融资收买的 文章。”
处理方法： 1、对数据库的每篇文章建立一种表示形式 2、这种表示形式能用于后续的推理
17
6、语音识别
输入：美欧贸易摩擦升级 识别结果：美欧贸易摩擦生机 输入：新技术的发展日新月异 识别结果：新纪录的发展日新月异
18
信息过滤，信息安全 文摘生成 问答系统，人机交互 语言教学 文字输入，文字编辑与排版 语音翻译 网络内容管理与知识发现 ……
19
1.3 关于“理解”的理解
他说：“她这个人真有意思(funny)”。她说： “他这个人怪有意思的(funny)”。于是人们以为他 们有了意思(wish)，并让他向她意思意思(express)。 他火了：“我根本没有那个意思(thought)”！她也 生气了：“你们这么说是什么意思(intention)”？事 后有人说：“真有意思(funny)”。也有人说：“真 没意思(nonsense)”。
6
不关注与所使用的特定媒介相关的 问题，例如手写输入、键盘输入或语音 输入的问题。
关注在词语识别完成后理解和使用 语言的过程。
7
NLP的历史
20世纪50年代起步
提出机器翻译等重要问题
50年代-60年代采用模式匹配法和文法分析方法
对基于理解和基于统计方法的讨论 60年代后期衰落
70-80年代采用了面向受限域的深入理解方法 80年代后期至今统计方法占据主流
22
1.4 自然语言理解研究的基本问题
研究的层次 ——语法学：研究语句的组成结构，包括词和短语
在语句中的作用等。 为什么一句话可以这么说也可以那么说？
23
研究的层次 ——语义学：研究如何从一个语句中推导词的意义， 以及这些词在该语句中句法结构中的作用来推导出 该语句的意义。
这句话说了什么？ (1) 今天中午我吃食堂。 (2) 这个人真牛。 (3) 这个人眼下没些什么，那个人嘴不太好。
24
研究的层次 ——语用学：研究在不同上下文中的语句的应用， 以及上下文对语句理解所产生的影响。
为什么要说这句话？ （1）火，火！ （2）A: 看看鱼怎么样了？
B: 我刚才翻了一下。
第3章 自然语言的处理
1
3.1 基本概念
2
信息的主要载体－语言 语言的两种形式－文字和声音
文字和声音作为语言的两个不同形式的载体，所 承载的信息占整个信息组成的90％以上。
如何让计算机实现人们希望实现的语言处理功能？ 如何让计算机真正实现海量的语言信息的自动处 理和有效利用？
3
自然语言处理（Natural Language Processing，简 称NLP）是利用计算机为工具，对人类特有的书 面形式和口头形式的自然语言的信息进行各种类 型处理和加工的技术。
——冯志伟《自然语言的计算机处理》
NLP是用计算机通过可计算的方法对自然语言的 各级语言单位（字、词、语句、篇章等）进行转 换、传输、存储、分析等加工处理的理论和方法。
4
其它名称 自然语言理解(Natural Language Understanding) 计算语言学(Computational Linguistics) 现代语言学的一大分支，它是用计算机理 解、生成和处理自然语言，即它的研究范 围不仅涵盖语言信息的处理，还包括语言 的理解和生成。
够正确翻译)
Ex-2:
15
4、自动问答系统
在网络上输入“问句”，自动给出精确地答案。 自动问答系统的结构 三个模块：
提问处理模块（Question-Processing）； 文献处理模块（Document-Processing）； 答案的提取和构造模块（Answer Extraction and Formulation）。