第六章(1)语义分析(Semantic Analysis)
语义分析
词法分析就是取出一个个词，然后给词归类、给个种别码什么的。
所以遇到不认识的词或符号，一般就会报错。
语法分析就是根据语法规则识别出语法单位（赋值语句、条件语句之类），并检查语法单位在语法结构上的正确性。
语义分析是对语法单位进行静态的语义审查（动态的在运行时才可确定）。
分析其含义，下一步就会用另一种接近目标语言或直接用目标语言去描述这个含义。
此阶段要求语句的含义和使用规则正确。
引用《统计自然语言处理基础》中的两句话来解答这个问题：•语义可以分成两部分：研究单个词的语义（即词义）以及单个词的含义是怎么联合起来组成句子（或者更大的单位）的含义•语义研究的是：词语的含义、结构和说话的方式。
以上是书本中的定义，语义分析是一个非常宽泛的概念，任何对语言的理解都可以归纳为语义分析的范畴，笼统地谈语义是一个非常宽泛的概念。
所以应该结合具体任务来看看什么是语义分析，以及语义分析的结果是什么。
从分析粒度上可以分成：词语级的语义分析，句子级的语义分析，以及篇章级别的语义分析。
词语级的语义分析词语级别的语义分析的主要研究词语的含义，常见的任务有：词语消歧、词表示、同义词或上下位词的挖掘。
•词语消歧：一词多义是许多语言的固有属性。
以“苹果”为例，可以指水果，又可以指美国的科技公司。
词语消歧的任务是判断文中出现的词语是属于哪种意思。
•词表示：深度学习兴起后，掀起了一波对词表示的研究浪潮。
词表示的任务是用一个k维的向量表示一个词，并且该向量中包含着词语的意思。
比较有代表性的工作是TomasMikolov的Word2Vec，该方法训练得到的词向量能够让语义相关的词具有相似的词向量，并且词向量间还具有逻辑推算能力。
•同义词和上下位词的挖掘：语言的多样性导致了多词义一，例如房子的近义词有房屋、房产。
语言的层次性导致了词语间具有上下位关系，像房产、存款、股票可归纳为财产。
可以使用一些机器学习的方法挖掘词语间的这种关系。
句子级的语义分析句子级别的任务就更多了，常见的任务有：语义角色标注、蕴含分析、句子表示、语义依存分析。
人工智能中的语义分析技术及其应用
人工智能中的语义分析技术及其应用一、人工智能语义分析技术语义分析(SemanticAnalysis)是人工智能(ArtificialIntelligence)的一个分支是自然语言处理技术的几个核心任务涉及语言学、计算语言学、机器学习以及认知语言等多个学科语义分析任务有助于促进其他自然语言处理任务的快速发展。
人工智能中的语义分析技术特别是深度学习(DeepLearning)技术近年来发展迅猛已经在围棋对弈、自动驾驶、图像识别、语音识别等多个领域取得了突破性进展。
语义分析指运用各种方法学习与理解一段文本所表示的语义内容任何对语言的理解都可以归为语义分析的范畴。
一段文本通常由词、句子和段落来构成根据理解对象的语言单位不同语义分析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章级语义分析。
一般来说词汇级语义分析关注的是如何获取或区别单词的语义句子级语义分析则试图分析整个句子所表达的语义而篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元(可以是句子从句或段落)间的语义关系。
简单地讲语义分析的目标就是通过建立有效的模型和系统实现在各个语言单位(包括词汇、句子和篇章等)的自动语义分析从而实现理解整个文本表达的真实语义。
二、语义分析技术(一)基础技术(按照词语分析、句子分析、篇章分析来写) 分别从词汇级、句子级和篇章级三个层次描述语义分析相关技术。
1.词语级语义分析词汇层面上的语义分析主要体现在如何理解某个词汇的含义主要包含两个方面：词义消歧和词义表示(1)词义消歧词汇的歧义性是自然语言的固有特征。
词义消歧根据一个多义词在文本中出现的上下文环境来确定其词义作为各项自然语言处理的基础步骤和必经阶段被提出来。
词义消歧包含两个必要的步骤：(a)在词典中描述词语的意义；(b)在语料中进行词义自动消歧。
例如“苹果”在词典中描述有两个不同的意义：一种常见的水果；美国一家科技公司。
对于下面两个句子：她的脸红得像苹果。
nlp六个理解层次案例
nlp六个理解层次案例自然语言处理（NLP）涉及多个理解层次，下面我将为你提供六个案例，涵盖了NLP在不同层次上的应用：1. 词法分析（Lexical Analysis），在这一层次上，NLP被用于分析文本中的词汇。
例如，情感分析就是一个词法分析的案例，它可以帮助企业了解客户对其产品或服务的感受。
通过分析顾客在社交媒体上的评论，情感分析可以识别出积极、消极或中性的情绪，帮助企业调整营销策略或改进产品。
2. 句法分析（Syntactic Analysis），这一层次上的案例涉及理解句子的结构和语法。
一个典型的案例是问答系统，它可以理解用户提出的问题，并从文本中提取出答案。
通过句法分析，系统可以理解问题的语义结构，从而更准确地回答用户的问题。
3. 语义分析（Semantic Analysis），在语义分析层次上，NLP被用于理解文本的含义和语境。
一个案例是信息检索系统，它可以根据用户的查询理解文档的语义，并返回相关的搜索结果。
语义分析可以帮助系统更好地理解用户的意图，提高搜索结果的准确性。
4. 语篇分析（Discourse Analysis），在这一层次上，NLP被用于理解文本之间的逻辑关系和连贯性。
一个案例是自动摘要生成，它可以从长篇文章中提取出关键信息，生成简洁的摘要。
通过语篇分析，系统可以理解文本之间的逻辑关系，帮助用户更快地获取所需信息。
5. 语用分析（Pragmatic Analysis），在语用分析层次上，NLP被用于理解文本的语用学特征，如指代和推理。
一个案例是对话系统，它可以理解用户的指代和推理，更自然地进行对话。
通过语用分析，系统可以更好地理解用户的意图，提供更智能的交互体验。
6. 情感分析（Sentiment Analysis），最后一个案例是情感分析，它可以帮助企业了解客户对其产品或服务的感受，从而调整营销策略或改进产品。
情感分析可以识别出文本中的情感倾向，帮助企业更好地理解客户的需求和反馈。
语义分析在自然语言处理中的应用
语义分析在自然语言处理中的应用一、引言随着人工智能的发展，自然语言处理（Natural Language Processing，简称NLP）技术逐渐成熟，得到了广泛的应用。
语义分析作为NLP中的一项重要技术，对于机器能够理解人类语言，从而实现对话、分类、推荐等功能起着关键作用。
本文将从语义分析的定义、技术原理、应用场景等方面进行探讨。
二、语义分析的定义语义分析（Semantic Analysis）又称语义理解（Semantic Interpretation），是指对于自然语言文本进行分析，并从中抽象出文本内容、语义和意图等信息的过程。
语义分析是NLP中的一个重要环节，可以让计算机对人类语言有更深层次的理解和解释，从而可以为用户提供更准确的回答、更高效的服务等。
三、语义分析的技术原理1、词法分析词法分析（Lexical Analysis）是指对于自然语言文本进行分词，将文本拆分成一个个词汇的过程。
通过词法分析，机器可以识别文本的语言、词性和词义等信息，为后续的语义分析提供基础支持。
2、句法分析句法分析（Parsing）是指对于一句话进行分析，并从中抽象出其所遵循的语法规则的过程。
通过句法分析，机器可以识别出语言的结构和联系，进一步理解文本的含义和作用。
3、语义分析语义分析（Semantic Analysis）是指对于自然语言文本进行深层次的分析，把文本中的语义元素抽象为有意义的概念和关系，并进行语义的归纳、分类和推理等操作。
通过语义分析，机器可以更深入地理解文本的意义和目的，从而为应用系统提供更多的信息和服务。
四、语义分析的应用场景1、情感分析情感分析（Sentiment Analysis）是指对于一段自然语言文本进行分析，判断文本中所包含的情感倾向和强弱的技术。
通过情感分析，可以准确判断用户对于某一产品、服务或事件的态度和看法，为企业及相关机构提供市场分析和决策支持。
2、知识图谱知识图谱（Knowledge Graph）是指通过语义分析和数据挖掘等技术，构建起一层层联通的、完整的知识库，并通过人机交互的方式展示出来。
语义分析的工作原理
语义分析的工作原理语义分析（Semantic Analysis）是自然语言处理领域中的重要研究方向，其主要目标是理解自然语言中的语义信息，并对其进行进一步的处理和分析。
本文将介绍语义分析的工作原理，讨论其主要方法和应用领域。
一、概述语义分析是自然语言处理中的核心任务之一，其主要目标是从文本中提取意义，理解語言和信息之間的關聯。
与传统的基于语法的分析方法不同，语义分析注重从文本中获取更深层次的含义。
其应用广泛，包括情感分析、问答系统、机器翻译等。
二、方法和技术1. 词义消歧词义消歧（Word Sense Disambiguation）是语义分析的一个关键步骤。
在自然语言中，一个词可能有多个不同的意义，而词义消歧的任务就是确定在特定上下文中该词的正确含义。
常用的方法包括基于知识库、统计方法和机器学习等。
2. 句法分析句法分析（Syntactic Parsing）是另一个与语义分析密切相关的任务。
它的主要目标是确定一句话中的各个词语之间的句法关系，从而提供给语义分析更准确的输入。
句法分析方法包括依存句法分析和短语结构分析等。
3. 语义角色标注语义角色标注（Semantic Role Labeling）是一项关键任务，它用于识别和标注句子中的谓词与各个论元之间的语义关系。
通过语义角色标注，我们可以更好地理解句子中不同成分之间的作用和关系。
4. 实体识别实体识别（Named Entity Recognition）是一项重要的任务，旨在识别和提取文本中的特定实体，如人名、地名、组织名等。
实体识别在文本理解和信息提取中具有重要意义，为语义分析提供了重要的输入信息。
5. 语义关系抽取语义关系抽取（Semantic Relation Extraction）是指从文本中抽取出不同实体之间的语义关系。
通过语义关系抽取，我们可以获得更深层次的语义信息，从而实现更高级别的语义分析。
三、应用领域1. 情感分析情感分析（Sentiment Analysis）是一种常见的语义分析应用，用于识别和分析文本中的情感倾向，如正面、负面或中性。
语义分析名词解释
语义分析名词解释语义分析，又称为意义分析，是一种根据语义（即句子的意思）来理解语言的方法。
它的优势在于能够揭示语言的结构和表意，这在处理复杂语句时尤其有用。
本文将分析语义分析的基本概念，以及它在文本理解和机器翻译方面的应用。
首先，语义分析理论是指影响句子含义的语义元素。
这些元素包括句子中的语法结构、词汇选择、表达方式和拼写等，它们共同决定了句子的意思。
例如，词汇选择决定了句子的宏观含义，语法结构决定了句子的方式和结构，而拼写决定了句子的准确性。
其次，语义分析的基本原理是从句子中分析出所包含的意义元素。
通常，语义分析会分解句子中的陈述、问句、命令和意图，以及它们之间的关系。
语义分析技术可以用来解析句子的语法结构，分析句子中所包含的意义元素，帮助理解句子的含义。
第三，语义分析可以用来实现文本理解。
文本理解也称自然语言理解，是一种通过机器来理解自然语言的过程。
通过分析自然语言文本中的内容和意义，机器可以获得用户的请求。
例如，在微软的Cortana智能助手中，用户发出语音指令，机器通过语义分析理解用户的请求，然后执行相应的任务。
此外，语义分析也被用来理解语言，实现机器翻译。
机器翻译是一种把一种语言翻译成另一种语言的技术。
它的基本原理是把输入的文本进行分解，理解这些文本的语义，再把他们转换成一种语言。
例如，Google翻译就是使用语义分析技术来实现的。
总之，语义分析是一种常用的自然语言处理技术，它能够帮助理解句子的含义，并帮助实现文本理解和机器翻译等任务。
语义分析也可以用于语音识别，文字理解，信息提取等其他自然语言处理任务，这些任务对于改善人机交互，发展智能系统以及其他自然语言处理的应用都具有重要意义。
语义分析与双语词典
语义分析与双语词典南京大学钱厚生语义分析(semantic analysis)是双语词典编纂过程中最主要的语言分析。
它不仅与释义的科学性和准确性有着直接的关系，而且与双语词典结构设计有着密切的联系。
积极吸收语义学研究成果，应用新的语义分析方法，对双语词典编纂很有益处。
一、词典语义分析对象语义分析, 笼统地讲是对语言单位的意义进行分析。
对于词典编纂工作来说, 语义分析就是对词语的意义作出科学的分析。
广义上讲，词语的意义包括词汇意义(lexical meaning)、语法意义(syntactic meaning)、语体意义(stylistic meaning)、语用意义(pragmatic meaning)、文化意义(cultural meaning)等。
狭义上讲，词语的意义主要指词汇意义。
在词典编纂过程中, 语义分析的首要对象是词汇意义。
语义分析的本质就是词义分析(lexical semantic analysis)。
至于语法意义、语体意义、语用意义和文化意义, 则是语法分析、语体分析、语用分析和文化分析的对象。
所有这些语言分析项目既有联系，又有区别，应当分别探讨，不要混淆。
一般认为，词汇意义包括外延(denotation)和内涵(connotation)两项内容。
严格地讲，内涵属于文化意义范畴，应当通过语言文化分析来解决。
因此，双语词典语义分析要先集中在与词汇外延相关的意义成分。
外延意义(denotative meaning)又称指称意义(referential meaning)、认知意义(cognitive meaning)或概念意义(conceptual meaning)，是词汇意义的核心部分。
外延意义的把握直接关系到双语词典释义的准确性，而准确性恰恰是双语词典的生命线。
对被释词语外延的界定过宽或过窄都会造成词典释义方面的失误。
因此，在双语词典编写过程中，编者必须对源语词目和对应词的外延进行反复对比分析，选择最佳匹配。
编译原理课件-语义分析
22/94
Wensheng Li BUPT @ 2008
符号表的逻辑结构
sort nil head area a x readarray exchange quicksort
exchange head area
–控制流检查
• 检查控制语句是否使控制转移到一个合法的位置。
–唯一性检查
• 一个标识符在同一程序块中必须而且只能被说明一次 • CASE语句中用于匹配选择表达式的常量必须各不相同 • 枚举类型定义中的各元素不允许重复
–关联名字的检查
5/94
Wensheng Li BUPT @ 2008
类型检查
由类型检查程序完成 检验结构的类型是否和它的上下文所期望的一致， 如：
countx_totalb_loop
14/94
目标地址
指示运行时变量值存放的相对位置 对于静态存储分配的语言（如Fortran），目标地 址按连续的顺序分配，从0开始到m（m是分配给一 个程序的数据区的最大值）。 对于块结构的语言(如Pascal)，通常采用二元地 址<BL,NO>
–BL：块的嵌套深度，用于确定分配给声明变量的块的数 据区的基址。
–编译程序在处理声明语句时调用两种操作
• 检索：查重、确定新表目的位置 • 插入：建立新的表目
–在程序中引用变量名时，调用检索操作
• 查找信息，进行语义分析、代码生成 • 可以发现未定义的名字
允许变量隐式声明的语言：
–标识符的每次出现都按首次出现处理 –检索：
• 已经声明，进行类型检查，... • 首次出现，插入操作，从其作用推测出该变量的全部属性
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
32
类型的种类属性： 标准、子界、枚举、数组、记录、
集合、文件、指针类型等等。 TypeKind = ( intTy，boolTy，charTy，realTy，
enumTy，subTy，arrayTy， structTy，setTy，fileTy，pointerTy)
…
｛ // 第三层头
…
｛float a； // 第四层头,定义的局部实型变量a
…
｝ // 第四层尾
…a… // 引用第二层定义的局部字符型变量a
｝ // 第三层尾
…
｝ // 第二层尾
....
｝ // 第一层尾
28
三种内部表示
标识符的内部表示 类型的内部表示 值的内部表示
值的内部表示
为[ord(C1)...ord(C2)]
31
类型的内部表示
类型表达式：
如： at = ARRAY[1..10] OF ARRAY[1..100] OF integer; rt = RECORD x : real; a : at;
CASE u : boolean OF false:( k : integer ); true :( y: real; b :boolean ) END
14
常见的语义错误（续1）
类型相关的语义错误
– 各种条件表达式的类型是不是boolean型? – 运算符的分量的类型是否相容? – 赋值语句的左右部的类型是否相容? – 形参和实参的类型是否相容? – 下标表达式的类型是否为所允许的类型? – 变体记录中表示情形的常量是否为合法类型?
常见的语义错误（续2）
22
标识符的属性（续3）
存储类别 存储类别是指数据的存储方式，存储方式可分为两大类：静 态和动态。 静态存储方式是指在程序运行前即为数据分配好存储空间( 在静态区)，在程序运行期间，数据的存储空间仍保持不变； 动态存储方式则是在程序运行期间根据函数调用(函数被激 活)和分程序语句的开始执行(分程序语句被激活)的需要进行 动态存储分配。 标识符的存储类别属性是编译过程语义处理、检查和存储分 配的重要依据。编译程序一般根据变量的存储类别以及它们出 现的位置和次序来确定每一个变量应分配的存储区及在该区中 的具体位置。
7
1. int x=10; 2. Main( )
符合变量声明的语法、语义
3. { printf( “%d”,x+x );
4. x( );
符合函数调用的语法、不符合语义
5. f = x; 6. }
符合赋值语句的语法、不符合语义
7. float f( ) 8. {int x=20,y;
符合函数声明的语法、语义 符合变量声明的语法、语义
23
作用域和可视性
标识符在程序中起作用的范围，称为它的作用
域。
一般地，定义该标识符的位置及存储类关键字 决定了它的作用域。如：C语言中， 动态存储： 自动变量（本函数内有效） 寄存器变量（本函数内有效） 形式参数（本函数内有效） 静态存储： 静态局部变量（函数内有效） 静态外部变量（本文件内有效） 外部变量（其他文件可引用）
类型 除过程标识符之外，其他标识符都具有类型属 性，函数的数据类型指的是函数返回值的数据类 型。 基本类型有整型、实型、字符型以及布尔型等。 在基本类型的基础上，还可以定义数组、结构 体、联合、枚举、子界、集合、指针等结构类型。 标识符的类型是在程序中该标识符的定义部分 得到的。 变量标识符的类型属性决定了变量所占存储空 间的大小以及能够施于变量上的操作等。 21
标识符的属性（续2）
存取方式 因为变量标识符代表的是一个内存单元或一段 连续的内存单元，根据这些内存单元中存放信息的类别 又可以把变量分为间接存取变量和直接存取变量。
如果变量标识符p所代表的内存单元中存放的是另一 个变量q对应的内存地址，则称变量p为间接存取变量； 如果变量标识符p所代表的内存单元中存放的是一个 值，则称变量p为直接存取变量。
符号表 判定
18
6.2 符号表的数据结构
标识符的属性
名字 类型 存取方式 存储类别 作用域和可视性
19
标识符的属性
名字 在程序语言中，标识符可以作为变量的名字、 函数的名字或过程的名字，是变量、函数或过程的 唯一标志，因此在符号表中标识符的名字一般不允 许重名。
若程序中出现重名标识符：
35
数组类型(方案1）：
Size Kind Low Up ElemType SubSize ArrayTy
其中各个域的含义如下：
Size表示数组类型所占空间的大小，是数组所有成分数 据占用空间的和，需要通过计算得到，Size = (UpLow+1)*sizeof(ElemType), 其中sizeof是一个辅助函数 ，用于计算每种类型的size； Kind = arrayTy, 表示是数组类型； Low表示数组下标的下界，在C语言中Low = 0； Up表示数组下标的上界； ElemType 表示数组成分类型的内部表示指针。
类型size属性：表示此种类型数据应该分配的内存空间的大小。 其它属性依类型的不同而不同。
33
内部表示：
标准类型：
Size
Kind
intPtr IntSize intTy
boolPtr BoolSize boolTy
charPtr CharSize charTy
realPtr RealSize realTy
– 编译时(compile-time)可以检查的语义 – 例如：标识符未声明
动态语义
– 目标程序运行时（run-time）才能检查的 语义
– 例如：除零溢出错误
10
如何描述程序设计语言的语义？
程序设计语言的形式语义 – 属性文法 (用于描述静态语义) – 操作语义(Operational Semantics) – 指称语义(Denotational Semantics) – 代数语义(Algebra Semantics) – 公理语义(Axiomatic Semantics)
致? – 子界类型中的下界和上界类型是否相容?下界是否小于等
于上界？
16
语义分析的实现
方式一：不作为独立的一遍 ① 语义错误检查：可以安排在中间代码生
成时进行 。 ② 一般的语义检查：与语法分析相结合
17
方式二、独立一遍的语义分析的功能图示
语法分析树 TokenList 语义定义
语义分析
自然语言描述规定
9. float x; 10. printf( “%d”,x ); 11. }
符合变量声明的语法、不符合语义
8
语义分析的必要性
一个语法正确的程序不能保证它是有意义 的！
程序中容易出现各种语义错误：
– 标识符未声明 – 操作数的类型与操作符的类型不匹配 – ……
9
程序设计语言语义的分类
静态语义
第6章 语义分析（Semantic Analysis) 和符号表
Semantic：of or relating to meaning, especially meaning in language.
1
语义分析在编译程序中的逻辑位置
表处理
中
源
词
语
语
间
程
法
法
义
代
序
分分ຫໍສະໝຸດ 分码析析
析
生
成
中
目
间
标
目
代
代
标
码
码
6
int i； switch （i）{ case 0：printf（“%s\n”，“auto”） ；break； case 1：printf（“%s\n”，“static”）；break； case 2：printf（“%s\n”，“extern”）；break； case 1：printf(“%s\n”，“register”)；break； }
程
优
生
序
化
成
错误处理
2
6.1 语义分析概述 6.2 符号表的数据结构 6.3 符号表的管理 6.4 程序设计语言符号表的实例
3
主要内容：
语义分析的功能及重要性； 标识符的内部表示； 类型的内部表示； 符号表的组织。
6.1 语义分析概述
6.1 语义分析概述
语法和语义的区别
语法：
非结构类型值的内部表示： 实型： 指针： 有序类型：整数形式
30
有序类型的常量表示：
整型常量：ord(N) = N 布尔常量：ord(false)=0, ord(true) = 1 字符常量：ord(C) = ASCⅡ(C) 枚举常量：设有枚举类型(D,A,B),则有
ord(D)=0,ord(A)=1,ord(B)=2 子界常量：设有子界类型C1..C2,则值空间
34
子界类型：
Size Kind HostType Low Up SubSize SubTy
例：T=1..10;
Size Kind HostType Low Up
1 subTy IntPtr 1
10
TypeIR’ (Size:1, Kind:subTy HostType:intPtr, low:1, up:10)
符号表的作用：
– 存储标识符的属性；
– 便于检查语义错误；
– 代码阶段作为地址分配的依据。
12
语义分析的主要任务（续1）
在整个程序范围内检查语义错误
– 声明和使用相关的错误 – 类型相关的语义错误
13
常见的语义错误
声明和使用相关的语义错误