宗成庆--自然语言处理--第一章-绪论
自然语言处理基础入门教程
自然语言处理基础入门教程第一章：自然语言处理概述自然语言处理（Natural Language Processing，简称NLP）是人工智能领域中的一个重要分支，致力于使机器能够理解和处理人类语言。
NLP技术广泛应用于文本分类、机器翻译、情感分析等领域，并在智能助理、智能客服等人机交互场景中得到了广泛应用。
第二章：文本预处理在进行自然语言处理之前，我们首先需要对文本进行预处理。
文本预处理包括数据清洗、分词、去除停用词、词干化等操作。
其中，数据清洗指的是去除文本中的噪声数据，例如特殊字符、HTML标签等；分词将文本切割为一个个独立的词语；去除停用词是指去除一些常用词语，例如“的”、“是”等，这些词语在文本中出现频率较高，但对文本含义不具有太大的贡献；词干化是将词语还原为其原始词根形式，例如“running”还原为“run”。
第三章：词向量表示为了让计算机能够理解和处理文本，我们需要将文本转化为计算机可识别的向量形式。
词向量表示就是一种将单词映射到向量空间中的方法。
常用的词向量表示方法有one-hot编码、TF-IDF和词嵌入。
其中，one-hot编码将每个词都表示为一个只有一个元素为1的向量，TF-IDF根据词语的频率和逆文档频率计算词权重，而词嵌入则通过训练神经网络将词语映射到一个低维稠密向量空间中。
第四章：文本分类文本分类是自然语言处理中的一个重要任务，其目标是将文本划分到预先定义的若干类别中。
常见的文本分类算法有朴素贝叶斯、支持向量机（SVM）和深度学习方法（如卷积神经网络和循环神经网络）。
文本分类可以应用于垃圾邮件过滤、情感分析、新闻分类等领域。
第五章：命名实体识别命名实体识别（Named Entity Recognition，简称NER）是指从文本中识别出具有特定意义的实体，例如人名、地名、组织机构名等。
NER技术对于信息抽取、问答系统等任务具有重要意义。
常用的NER方法包括基于规则的方法、统计方法和深度学习方法。
自然语言处理技术的基础知识
自然语言处理技术的基础知识第一章：引言自然语言处理（Natural Language Processing，简称NLP）是指用计算机技术对人类语言进行处理和分析，帮助计算机理解和生成自然语言。
NLP技术已经被广泛应用于机器翻译、文本分类、情感分析、语音识别等领域。
本文将介绍NLP技术的基础知识。
第二章：词法分析在自然语言处理中，词（word）是最基本的单元，因此需要进行词法分析（Lexical Analysis），将文本划分为一个一个的词。
其中，最基础的技术是分词（Segmentation），即将一段文本分割成一个个单独的词语。
分词技术的难点在于中文没有明确的单词边界，需要利用统计方法或规则进行词语的切分。
第三章：语法分析语法分析（Parsing）是指将句子映射到语法结构的过程，通常使用上下文无关文法（Context-Free Grammar）进行描述。
常用的语法分析方法包括自顶向下（Top-Down）和自底向上（Bottom-Up）两种。
自顶向下方法从句子的起始符号开始，通过一系列的推导过程构建整个句子的语法结构；自底向上方法则是由句子的终结符号出发，逐步向上推导出语法树。
语法分析技术的应用包括句法树分析、语法错误检查等。
第四章：语义分析语义分析（Semantic Analysis）是将文本从表面意思转化为实际含义的过程，也叫做理解过程。
常用的语义分析方法包括模板匹配（Template Matching）、机器学习（Machine Learning）和知识图谱（Knowledge Graph）等。
模板匹配方法需要人工指定模板和匹配规则，应用范围有限；机器学习方法适用于大规模数据训练，但缺乏语言知识的积累；知识图谱方法则基于结构化的语言知识，可以进行推理和问答等操作。
在NLP应用中，语义分析技术的重要性不言而喻。
第五章：情感分析情感分析（Sentiment Analysis）是指对文本情绪进行分析和识别的过程，为NLP应用领域中的重要研究方向之一。
01第一章 自然语言处理概论
几点感性认识（续）
团队合作
“128个字节的偏移量” 要求同学们善于协作，有团队精神
独创精神
“一只美丽的小花猫” 要求同学们勇于创新
哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 哈工大 雅虎中国联合实验室
研究生专业必修课 自然语言处理 , 2007年秋季 年秋季 Copyrights @ 2007. HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队
起源
80年代初
王开铸教授，俄汉机器翻译 李生教授，汉英机器翻译
哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 哈工大 雅虎中国联合实验室
研究生专业必修课 自然语言处理 , 2007年秋季 年秋季 Copyrights @ 2007. HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
语义分析歧义
At last, a computer that understands you like your mother.
– 1985 McDonnell-Douglas ad
含义1：计算机会象你的母亲那样很好地 理解你（的语言） 含义2：计算机理解你喜欢你的母亲 含义3：计算机会象很好地理解你的母亲 那样理解你
哈尔滨工业大学计算机学院语言技术中心 哈工大-雅虎中国联合实验室 哈工大 雅虎中国联合实验室
研究生专业必修课 自然语言处理 , 2007年秋季 年秋季 Copyrights @ 2007. HIT. All Rights Reserved
自然语言处理中的歧义问题
在自然语言处理的各个阶段广泛大量地 存在着形形色色的歧义问题，这是自然 语言与人工语言的根本差别之一，也是 自然语言处理的难点所在
宗成庆统计自然语言处理1一书序言
宗成庆《统计自然语言处理》1一书序言冯志伟我在1996年出版的《自然语言的计算机处理》中，曾经说过：“自然语言处理（Natural Language Processing, NLP）就是利用计算机为工具对人类特有的书面形式和口头形式的语言进行各种类型处理和加工的技术。
”2这个定义是正确的，它的缺点是比较笼统。
我一直不太满意这个定义。
后来，我在1999年出版的《计算机进展》（Advanced in Computers）第47卷上，看到了美国计算机科学家马纳瑞斯（Bill Manaris）在《从人-机交互的角度看自然语言处理》一文给自然语言处理提出的如下定义：“自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。
自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。
”这个定义的英文如下：“NLP could be defined as the discipline that studies the linguistic aspects of human-human and human-machine communication, develops models of linguistic competence and performance, employs computational frameworks to implement process incorporating such models, identifies methodologies for iterative refinement of such processes/models, and investigates techniques for evaluating the result systems.”3马纳瑞斯的这个定义更加完善，把自然语言处理的研究过程也清楚地反映出来了。
自然语言理解(App)习题参考答案
(b) G = ({A, S}, {0,1}, S, P) P: S A
NLPR, CASIA
0A0 | 1A1 0A0 | 1A1 | ε
2004-3-6
9
NLPR
第三章习题解答
3-2. 有以下文法：G = ({S,B,C},{a,b,c},P, S),其中： P: S → aSBC | abC bB → bb cC → cc 求 L(G)=? CB → BC bC → bc
x
p(x) 证明： H( p, q) = H( p) + D( p || q) = H( p) + ∑ p(x) log q(x) x∈X
= −∑ p(x) log p(x) + ∑ p(x)(logp(x) − logq(x))
x∈X x∈X
= −∑ p( x) logq( x)
x∈X
NLPR, CASIA
p ( x) D( p || q) = ∑ p( x) log q ( x) x∈X
NLPR, CASIA
2004-3-6
6
NLPR
第二章习题解答
2-3. 举例说明（任意找两个分布 p 和 q ），KL 距离是不对 称的，即 D(p || q) ≠ D(q || p)。 （略）
NLPR, CASIA
NLPR, CASIA 2004-3-6
10
NLPR
第三章习题解答
3-3. 设文法 G 由如下规则定义： S → AB A → Aa|bB B → a|Sb 给出下列句子形式的派生树: (1)baabaab (2)bBABb 解： (1) A A b B a b
NLPR, CASIA
S B a A B a
自然语言处理 第一章
• 1955年，第一个演示系统在 IBM & Georgetown 开发，包含250 个词 和 6 条句法规则,实现 Russia — English；
29
情感及观点分析
• 为什么要对文本进行情感分析？
– 文本是人写的，必然带有人的感情和观点 – 大量应用需要情感与观点分析：
• 评论性文本：商品评论，服务质量，影评 • 带政治色彩的评论：敌对势力的攻击，法轮功的攻击
• 情感与观点分析要做什么？
– 观点是什么？带有怎样的情感色彩（正面/负面）？ – 谁发表的观点或表达的情感？ – 针对的问题及对象是什么？ – 以上都需要通过文本分析提炼
自然语言处理课程讲义
第一章 绪论
王峰 华东师大计算机系
自然语言处理
Natural Language Processing
• 参考教材
– 俞士汶，常宝宝，詹卫东，《计算语言学概论》，商务印书 馆。
– 宗成庆，《统计自然语言处理》，清华大学出版社。 – Steven Bird, Ewan Klein, and Edward Loper, Natural Language
– 应用：排版、印刷、书籍编撰等。
25
• 语音识别
– 将输入语音信号自动转换成书面文字 – 应用：文字录入、人机通讯、语音翻译等 – 困难：大量存在的同音词、近音词、口音等
• 文语转换/语音合成
– 将书面文本自动转换成对应的语音 – 应用：朗读系统、人机语音接口等
宗成庆统计自然语言处理
宗成庆统计自然语言处理自然语言处理(Natural Language Processing, NLP)是计算机科学与人工智能领域的一个重要研究方向。
它旨在让计算机能够理解、分析和生成自然语言的能力，使计算机能够更好地与人类进行沟通和交互。
NLP的研究范围非常广泛，涵盖了词法分析、句法分析、语义分析、机器翻译、情感分析等多个子领域。
通过对自然语言的分析和处理，NLP可以帮助计算机理解人类的意图和情感，实现智能化的交互和应用。
在词法分析方面，NLP可以对文本进行分词、词性标注和命名实体识别等处理，从而将一段文本切分成一个个具有意义的词语，并为它们赋予相应的词性和语义信息。
通过这种方式，计算机可以更好地理解文本的语义和结构。
句法分析是NLP的另一个重要研究方向，它的目标是分析句子的结构和语法关系。
通过句法分析，计算机可以理解句子中不同词语之间的依存关系，从而更好地理解句子的含义。
语义分析是NLP的核心任务之一，它的目标是理解文本的语义和逻辑关系。
通过语义分析，计算机可以挖掘出文本中隐藏的含义和逻辑结构，实现更精确的理解和推理。
机器翻译是NLP的一个重要应用领域，它旨在将一种语言的文本自动翻译成另一种语言。
通过机器翻译，人们可以更方便地进行跨语言交流和理解。
情感分析是NLP的一个新兴研究方向，它的目标是分析文本中的情感和情绪。
通过情感分析，计算机可以识别文本中的情感倾向和情绪状态，从而更好地理解人类的情感需求。
总的来说，自然语言处理是一门充满挑战和机遇的研究领域。
通过不断地深入研究和创新，NLP将会在人工智能和社会应用中发挥越来越重要的作用。
希望今后能有更多的科学家和工程师致力于NLP 的研究和应用，为人类创造更智能、更便捷的交互方式。
自然语言处理
英语不规则动词还原
went -> go (PAST) gone -> go (VEN) sat -> sit (PAST) (VEN)
形态还原算法
1. 输入一个单词 2. 如果词典里有该词，输出该词及其属性，转4，否则，转3 3. 如果有该词的还原规则，并且，词典里有还原后的词，则
输出还原后的词及其属性，转4，否则，调用<未登录词模 块> 4. 如果输入中还有单词，转(1)，否则，结束。
另外，还可以按SVO型（主－动－宾）、VSO型（动－ 主－宾）和SOV 型(主－宾－动) 分类
自然语言处理的难点
歧义处理
有限的词汇和规则表达复杂、多样的对象
语言知识的表示、获取和运用 成语和惯用型的处理 对语言的灵活性和动态性的处理
灵活性：同一个意图的不同表达，甚至包含错误的语法等 动态性：语言在不断的变化，如：新词等
翻译记忆体（Translation Memory，简称TM） 双语对照的文本编辑 ...
自动摘要（Text Summarization）
利用计算机自动地从原始文档中提取全面、准确 地反映该文档中心内容的简洁、连贯的短文。
应对信息过载 分为单文档摘要和多文档摘要
文本分类（Text Classification）
...... 只要处理对象涉及自然语言的都需要NLP！
自然语言处理的基本任务
语言分析：分析语言表达的结构和含义
词法分析：形态还原、词性标注、命名实体（人名、 地名、机构名）识别、分词（汉语、日语等）等
句法分析：组块分析、结构分析、依存分析 语义分析：词义、句义（逻辑、格关系、......）、
课程考核
Projects
提交报告（说明基本做法）和源程序及可运行的程序
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.1自然语言处理研究的内容； 语言教学(Language teaching)：借助计算机辅助 教学工具，进行语言教学、操练和辅导等。 应用：语言学习等 文字识别(Character recognition)：通过计算机 系统对印刷体或手写体等文字进行自动识别，将其转 换成计算机可以处理的电子文本基本概念
1.1.1 语言学和语音学； 语音学(phonetics) 研究人类发音特点，特别是语音发音特点，并提出各种语 音描述、分类和转写方法的科学。 包括: (1)发音语音学(articulatory phonetics)，研究 发音器官如何产生语音；(2)声学语音学(acoustic phonetics)，研究口耳之间传递语音的物理属性；(3) 听觉语音学(auditory phonetics), 研究人通过耳、听 觉神经和大脑对语音的知觉反应。
Company Logo
1.2 自然语言处理研究的内容和面临的困难
——摘自中国金币网（/）
Company Logo
第一章
绪论
计算机发明以来，人类首先想到的计算机的 应用之一，就是自动翻译。然而时至今日，计 算机处理自然语言的能力在大多数情况下都不 能满足人类社会信息化时代的要求。有关专家 指出，语言障碍已经成为制约21世纪社会全球 化发展的一个重要因素。 因此，如何尽早实现自然语言的有效理解， 打破不同语言之间的固有壁垒，已经成为备受 人们关注的极具挑战力的国际前沿研究课题。
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.1自然语言处理研究的内容； 信息检索(Information retrieval)：信息检索也称情报检
索，就是利用计算机系统从大量文档中找到符合用户需要的相关 信息。 面向多语言的信息检索叫做跨语言信息检索 代表系统：Google: ：Company Logo
1.1 基本概念
1.1.关于“理解”的标准；
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.1自然语言处理研究的内容； 机器翻译(Machine translation, MT)：实现一种 语言到另一种语言的自动翻译。 应用：文献翻译、网页翻译和辅助浏览等。 自动文摘(Automatic summarization / Automatic abstracting)：将原文档的主要内容 或某方面的信息自动提取出来，并形成原文档的摘要 或缩写。 应用：电子图书管理、情报获取等
Company Logo
1.1 基本概念
1.1.2自然语言处理； 自然语言处理 或称自然语言理解(natural language understanding,NLU)，人工智能研究的重要内容之一。 自然语言处理（natural language processing，NLP）就 是利用计算机为工具对人类特有的书面形式和口头形式的自然 语言的信息进行各种类型处理和加工的技术。 -冯志伟1996《自然语言的计算机处理》
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.2 自然语言处理涉及的几个层次； 形态学(Morphology) 问题：研究词是如何由意义 的基本单位－词素（morphemes）构成的。
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.2自然语言处理涉及的几个层次； 语法学(Syntax) 问题：研究句子结构成分之间的相 互关系和组成句子序列的规则。 为什么一句话可以这么说也可以那么说？ 语义学(Semantics) 问题：研究如何从一个语句中 词的意义，以及这些词在该语句中句法结构中的作用 来推导出该语句的意义。 这句话说了什么？
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.3 自然语言理解面临的困难 (5) I saw a man with a telescope. I saw [a man with a telescope]. I [saw a man] with a telescope. I saw a man with a telescope in the park. …………？
Company Logo
1.1 基本概念
1.1.2自然语言处理； 计算语言学(Computational Linguistics) 计算语言学是利用电子数字计算机进行的语言分析。 －《大不列颠百科全书》
Company Logo
1.1 基本概念
1.1.2自然语言处理； 计算语言学(Computational Linguistics) 是语言学的一个研究分支，用计算技术和概念来阐述语言学和 语音学问题。已开发的领域包括自然语言处理(natural language processing, NLP)，言语合成，言语识别 ，自动翻译，编制语词索引，语法的检测，以及许多需要 统计分析和领域（如文本考释）。 －《现代语言学词典》[戴维.克里斯特尔，1997]
文档分类(Document categorization)：文档分类也叫文
本自动分类(Text categorization / classification) 或信 息分类(Information categorization / classification) ，其目的就是利用计算机系统对大量的文档按照一定的分类标准 （例如，根据主题或内容划分等）实现自动归类。 应用：图书管理、内容管理、信息监控等
Company Logo
1.1 基本概念
1.1.2自然语言处理； 近几年来，自然语言处理研究得到了前所未有的重视和长 足的进展，并逐渐发展成为一门相对独立的学科而倍受关 注，而且自然语言处理技术不断与语音识别(speech recognition)、语音合成(speech synthesis)等语音 技术相互渗透和结合形成新的研究分支，因此，很多人在 谈到“计算语言学”、“自然语言处理”或“自然语言理 解”这些术语时，往往默认为同一个概念。甚至有些专著 中干脆直接这样解释：计算语言学也称自然语言处理或自 然语言理解[刘颖，2002]。
Company Logo
1.1 基本概念
1.1.1 语言学和语音学； 语言学(linguistics) 是指对语言的科学研究。作为一门纯理论的学科，语言学 在近期获得了快速发展，尤其从上个世纪60年代起， 已经成为一门知晓度很高的广泛教授的学科。 包括：历时语言学（diachronic linguistics）（或称历 史语言学（historical linguistics））和共时语言学（ synchronic linguistics）、描述语言学（ descriptive linguistics）、对比语言学（ contrastive linguistics）、结构语言学（structural linguistics）等等。
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.1自然语言处理研究的内容；
说话人识别/认同/验证(speaker recognition/ identification/ verification)：对一言语样品做声 学分析，依此推断（确定或验证）说话人的身份。 应用：信息安全、防伪等等。
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.1自然语言处理研究的内容； 文字编辑和自动校对(Automatic proofreading) ：对文字拼写、用词、甚至语法、文档格式等进行自 动检查、校对和编排。 应用：排版、印刷和书籍编撰等 信息过滤(Information filtering)：通过计算机系 统自动识别和过滤那些满足特定条件的文档信息。 应用：网络有害信息过滤、信息安全等
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.2自然语言处理涉及的几个层次； 语用学(Pragmatics) 问题：研究在不同上下文中的 语句的应用，以及上下文对语句理解所产生的影响。 从狭隘的语言学观点看，语用学处理的是语言结构中 有形式体现的那些语境。相反，语用学最宽泛的定义 是研究语义学未能涵盖的那些意义。 为什么要说这句话？ A: 看看鱼怎么样了？ B: 我刚才翻了一下。
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.1自然语言处理研究的内容； 语音识别(speech recognition)：将输入计算机的 语音信号识别转换成书面语表示。语音识别也称自动语音 识别(automatic speech recognition, ASR)。 应用：文字录入、人机通讯、语音翻译等等。 文语转换(text-to-speech)：将书面文本自动转换 成对应的语音表征。 应用：朗读系统、人机语音接口等等。
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.1自然语言处理研究的内容； 问答系统(Question-answering system)：通过 计算机系统对人提出的问题的理解，利用自动推理等 手段，在有关知识资源中自动求解答案并做出相应的 回答。问答技术有时与语音技术和多模态输入/输出技 术，以及人机交互技术等相结合，构成人机对话系统 (man-computer dialogue system)。 应用：人机对话系统、信息检索等
Company Logo
1.2 自然语言处理研究的内容和面临的困难
1.2.3 自然语言理解面临的困难 自然语言中大量存在的歧义(ambiguity)现象 结构歧义 例如: (1) Who has seen John? 主语 (2) Who has John seen? 宾语 (3) 今天中午吃馒头。 (4) 今天中午吃食堂。
Company Logo