【习题】第03章 词法分析
北航编译原理课件 03.词法分析
3. 词法分析程序算法
北京航空航天大学计算机学院
17
1.单词及内部表示 单词及内部表示: 单词及内部表示
单词名称
BEGIN END FOR DO IF THEN ELSE 标识符 常数(整 常数 整) : + * , ( ) :=
保留字和分界符采用一符一类
记忆符
BEGINSY ENDSY FORSY DOSY IFSY THENSY ELSESY IDSY INTSY COLONSY PLUSSY STARSY COMSY LPARSY RPARSY ASSIGNSY
字母、数字
标识符 无符号整数
单字符分界符
S S S
字母
标 数字
非字母数字
出口
数字
数
非数字
出口
+ * ， 单界 （ ） ：
其他字符 非=
出口
双字符分界符
北京航空航天大学计算机学院
S
冒号
=
双界
其他字符
出口 15
查保留字表 读字符
字母、数字
S
字母
标 数字
非字母数字
标识符
非数字
数字
数
无符号整数 单字符分界符
如：b{ab} = {ba}b {a|b} = {{a} {b}} = (a*b*)*
北京航空航天大学计算机学院 23
例：设 ∑ = { a,b },下面是定义在∑上的正则表达式和正则集合 正则表达式 ba* a(a|b)* (a|b)*(aa|bb)(a|b)* 正则集合
北京航空航天大学计算机学院
北京航空航天大学计算机学院 20
‘*’ : ‘,’ : ‘(’ : ‘)’ : ‘:’ :
编译原理与实现03第3章 词法分析
利用状态图识别句子的方法是一种自底向上的分析方法。开始时，处于开 始状态，此时句柄是随后扫描的字符，即输入串的的第一个符号，所要归 约的符号就是从开始状态经过标记有句柄符号的弧到达的下一个状态的名 字。以后每一步（除第一步外）的句柄是当前状态的名字和随后扫描的字 符，而句柄所要归约的符号就是下一个状态的名字。
3.3.2 状态图的用法
例3.2，对句子0110进行的分析。 解：根据上面介绍的状态图使用方法，我们在图3.5（a）列出分析的每一步。 由于这些规则很简单，所以分析也非常简单。首先，在开始状态S下扫描的第 一个符号是0，转到状态V，表示0是句柄，归约到V。接下来，在状态V扫描1， 转到状态Z，此时句柄为V1，归约成Z。再往下扫描1，由状态Z转到状态U，表 示句柄为Z1归约为U。最后，扫描0，转到状态Z，此时句柄为U0，归约为Z， 从而形成图3.5（b）所示的语法树。 步骤 1 2 状态 S V 扫描的字符 0 1 余留部分 110 10
3.3.2 状态图的用法
状态图画好后，就可以利用状态图来分析和识别字符串，其方法如下： 1.首先设置初始状态S为当前状态。从输入串的最左字符开始重复步骤2，直 到到达输入串的右端为止。 2.扫描输入串的下一个字符，在当前状态所射出的弧中，找出标记有该字符 的弧，并沿此弧前进，过渡到下一个状态。如果找不到标记有该字符的弧， 则说明输入串不是合法的句子，分析过程失败结束；如果我们扫描输入串 的最后一个字符，并从当前状态出发沿着标记有该字符的弧到达终结状态， 则表示输入串是该文法的合法句子，识别过程成功结束；如果扫描输入串 的最后一个符号后到达的状态不是状态图的终结状态，则表示输入串不是 该文法的合法句子，识别过程失败结束。
3.3 正则文法及状态图
程序设计语言的单词符号可用3型文法来描述，3型文法也称为正 则文法。对于正则文法所描述的语言可以用一种有穷自动机来识 别。我们的目的是实现词法分析程序，所以为了简化问题，我们 直接介绍这种自动机的非形式表示，即状态图。
[工学]《编译原理》第3章词法分析
![[工学]《编译原理》第3章词法分析](https://img.taocdn.com/s3/m/ee7524dbf90f76c661371acd.png)
种别码 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
单词 * */ + ， — 、 ·· / /* ： := ； < <= <> = > >= [ ]
种别码 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60
Y
缓冲区空？ N 读取单词的第1个 字符 get_nextchar() 根据第1个字 符进行分类 sort()
结束
数字 识别数值常数 recog_dig()
‘ 识别 recog_id() 是关键字? iskeyword(s) N 在符号表中? isexist_sym(s) N 插入符号表 ins_sym(s,token)
源程序 读文件 一行并 打印1.1 源程序 清单 缓冲区 buffer 读一非 空字符 1.2 字符 首字符 分类1.3
其它
字 母
识别标 识符/关 键字1.5
标 识
数
字
识别数 值常数 1.6 处理注释 和除法符 号1.7 识别文 字常数 1.8 识别界 符和运 算符1.9
数字
/关 符
常数
键 字
/
除号/
词法分析器的输出
• 1. Token串: 输出源文件中各个有用的单词
– 格式： (单词的种别码，单词符号的属性值) – 单词种别：是对能识别的单词的分类编码(P42) – 单词符号的属性值：单词的某种特性或特征 • 常数的值，标识符的名字等 • 保留字、运算符、分界符的属性值可以省略 – 文件存放最好有格式，如每个单词占一行方便 “语法分析”程序调用 – P38 例
编译原理第三章练习题答案
编译原理第三章练习题答案编译原理第三章练习题答案编译原理是计算机科学中的重要课程之一，它研究的是将高级语言程序转化为机器语言的过程。
在编译原理的学习过程中，练习题是提高理解和应用能力的重要途径。
本文将为大家提供编译原理第三章的练习题答案，希望能够对大家的学习有所帮助。
1. 什么是词法分析？请简要描述词法分析的过程。
词法分析是编译过程中的第一个阶段，它的主要任务是将源程序中的字符序列划分为有意义的词素（token）序列。
词法分析的过程包括以下几个步骤：1）扫描：从源程序中读取字符序列，并将其转化为内部表示形式。
2）识别：根据预先定义的词法规则，将字符序列划分为不同的词素。
3）分类：将识别出的词素进行分类，如关键字、标识符、常量等。
4）输出：将分类后的词素输出给语法分析器进行进一步处理。
2. 什么是正则表达式？请给出一个简单的正则表达式示例。
正则表达式是一种用于描述字符串模式的工具，它由一系列字符和操作符组成。
正则表达式可以用于词法分析中的词法规则定义。
以下是一个简单的正则表达式示例：[a-z]+该正则表达式表示匹配一个或多个小写字母。
3. 请简要描述DFA和NFA的区别。
DFA（Deterministic Finite Automaton）和NFA（Nondeterministic Finite Automaton）是有限状态自动机的两种形式。
它们在词法分析中常用于构建词法分析器。
DFA是一种确定性有限状态自动机，它的状态转换是确定的，每个输入符号只能对应一个状态转换。
相比之下，NFA是一种非确定性有限状态自动机，它的状态转换是非确定的，每个输入符号可以对应多个状态转换。
4. 请简要描述词法分析器的实现过程。
词法分析器的实现过程包括以下几个步骤：1）定义词法规则：根据编程语言的语法规范，定义词法规则，如关键字、标识符、常量等。
2）构建正则表达式：根据词法规则，使用正则表达式描述不同类型的词素。
3）构建有限状态自动机：根据正则表达式，构建DFA或NFA来识别词素。
第3章 词法分析 (编译原理 陈火旺)
标识符的符号表入口地址作为其单词符号的属性值,常
每个基本字占一个单词种别，单词符号的属性值缺省。
对于界符，运算符通常一个符号一个种别，单词符号的
属性值缺省
例: 参见P42.表3.1 单词符号及种别编码
10
3.1.3 词法分析器作为独立子程序
词法分析可采用如下两种处理结构：
把词法分析程序作为主程序。将词法分析作为
19
3.2.1 正规文法、正规式与正规集
正规集：由正规文法产生的语言所构成的集合。
注：正规集是集合，可有穷也可无穷。 可通过正规式来形式化表示。
对于一个正规文法的语言提炼出一个简洁的公式，用这个
式子来对它进行形式化的表示，这个式子叫正规式。
正规式：也称正则表达式,是说明单词的模式的一种重要的 表示法（记号）；是定义正规集的数学工具；用来描述单词 符号。
在设计一个编译程序时，通常是把对源程序的结构分析分为词 法分析和语法分析两个相对独立的阶段来完成。
第一，描述单词的结构比描述源程序的其它语法结构要简单
得多，仅使用3型文法也就基本够用了。
第二，由于把词法分析和语法分析分开，可使编译程序各部
分的功能更为单一，整个编译程序的结构也更加清晰，从而 有利于编译程序的编写和调整。 上述词法分析和语法分析两个阶段的划分，仅仅是对整个编译 程序的逻辑功能而言，而不一定指的是编译程序的执行流程。
25
例3.2 判断下述正规式之间是否等价： (1)b(ab)*与(ba)*b (2)(ab)*与a*b* 解: (1) b(ab)*对应的正规集是b后面出现任意多个ab对
L(b(ab)*)={b,bab,babab, ……}
编译原理习题
第三章词法分析练习3.1给出一个正则表达式和自动机，使之表示满足下面条件的0、1序列：1）只包含两个1。
2）不包含连续的1。
3）包含偶数个1。
3.2写出下面符号串集的正则表达式：1）{a,b,c}a偶数出现2）{a,b,c}不包含子串baa3）二进制数，大于1010014)二进制数，4的倍数5)偶数个0奇数个1的0/1串3.3构造识别下列正则表达式定义的NFA：1)(a|(b)+2)(a*|(b*)*3)(a|(bc)*d*4)((0|1)*(2|3)*)|00115)(a|b)*abb(a|b)*3.4为下列正则表达式构造极化的DFA:1)(a|b)*a(a|b)2)(a|b)*a(a|b)(a|b)3.5利用自动机原理构造模式匹配程序，即构造一个程序，使它能识别给定a/b串是不是a i b j a k b m类串：，其中i和j是大于等于0的整数，而k和m是大于0的整数。
3.5将下面不确定自动机NFA转换为确定自动机DFA:3.6将下面不确定自动机NFA转换为确定自动机DFA:3.7试将下面不确定自动机NFA转换为确定自动机DFA:3.8试写出下面确定自动机DFA的正则表达式：3.9设置一个名字表NameL和整数表ConstL，当遇到标识符时，将其字符串送入名字表NameL，并把其名字表地址作为标识符的Value值。
整常数情形也一样，不要求翻译成二进制数。
要求在NameL表和ConstL表中没有相同元素。
试用C语言写一个针对上述单词集的词法分析器。
单词class valuebegin BeginSymbend EndSymbvar VarSymbinteger IntSymbif IfSymbthen ThenSymbelse ElseSymb;SemiSymb:ColonSymb:=AssigSymb<LittleSymb<=LittEquiSymb标识符IdentSymb名字表地址整常数ConstSymb常数表地址3.10实数的语法定义如下面所述：<实数>::=<整数部分><小数部分><指数部分><整数部分>::=<数字>|<整数部分><数字><小数部分>::=ε|.<整数部分><指数部分>::=ε|e<指数符号><整数部分><指数符号>::=ε|+|-试写出实数的非确定自动机。
编译原理习题及答案(整理后)
第一章1、将编译程序分成若干个“遍”是为了。
b．使程序的结构更加清晰2、构造编译程序应掌握。
a．源程序b．目标语言c．编译方法3、变量应当。
c．既持有左值又持有右值4、编译程序绝大多数时间花在上。
d．管理表格5、不可能是目标代码。
d．中间代码6、使用可以定义一个程序的意义。
a．语义规则7、词法分析器的输入是。
b．源程序8、中间代码生成时所遵循的是- 。
c．语义规则9、编译程序是对。
d．高级语言的翻译10、语法分析应遵循。
c．构词规则二、多项选择题1、编译程序各阶段的工作都涉及到。
b．表格管理c．出错处理2、编译程序工作时，通常有阶段。
a．词法分析b．语法分析c．中间代码生成e．目标代码生成三、填空题1、解释程序和编译程序的区别在于是否生成目标程序。
2、编译过程通常可分为5个阶段，分别是词法分析、语法分析中间代码生成、代码优化和目标代码生成。
3、编译程序工作过程中，第一段输入是源程序，最后阶段的输出为标代码生成程序。
4、编译程序是指将源程序程序翻译成目标语言程序的程序。
一、单项选择题1、文法G：S→xSx|y所识别的语言是。
a. xyxb. (xyx)*c.x n yx n(n≥0) d. x*yx*2、文法G描述的语言L(G)是指。
a. L(G)={α|S+⇒α , α∈V T*}b. L(G)={α|S*⇒α, α∈V T*}c. L(G)={α|S*⇒α,α∈(V T∪V N*)} d. L(G)={α|S+⇒α, α∈(V T∪V N*)}3、有限状态自动机能识别。
a. 上下文无关文法b. 上下文有关文法c.正规文法d. 短语文法4、设G为算符优先文法，G 的任意终结符对a、b有以下关系成立。
a. 若f(a)>g(b)，则a>bb.若f(a)<g(b)，则a<bc. a~b都不一定成立d. a~b一定成立5、如果文法G是无二义的，则它的任何句子α。
a. 最左推导和最右推导对应的语法树必定相同b. 最左推导和最右推导对应的语法树可能不同c. 最左推导和最右推导必定相同d. 可能存在两个不同的最左推导，但它们对应的语法树相同6、由文法的开始符经0步或多步推导产生的文法符号序列是。
编译原理第三版 第三章 词法分析
超前搜索
例：FORTRAN语言中关键字的识别: DO99K=1,10 识别DO为关键字要搜 DO99K=1.10 索到“，” FORTRAN语言中常数的识别：
5.EQ.M, 5.E08
识别5为常数要搜索到Q
2、状态转换图
大多数程序设计语言中单词符号的词法规则可 以用正规文法描述。如： <标识符>→ 字母|<标识符>字母|<标识符>数字 <整数>→数字|<整数>数字 <运算符>→+|－|×|÷„ <界符>→; |, |( | )|„
#
3.3 正规表达式与有限自动机
目的： 形式化地描述词法规则和词法分析程序 词法分析程序的自动生成 主要内容 正规式与正规集 确定有限自动机 (DFA) 非确定有限自动机(NFA) 正规式与有限自动机的等价性 确定有限自动机的化简
正规文法
多数程序设计语言单词的语法都能用正规文法 (3型文法)描述 正规文法回顾 文法的任一产生式α→β的形式都为
单词符号的种类
(3) 常数 常数的类型一般有整型、实型、布 尔型、字符型等。
(4) 运算符 如 +，-，*，/等，对具体语言个 数是确定的。 (5) 界符 如 , ；（）等，对具体语言个数是 确定的。
单词符号的表示形式
词法分析器所输出的单词符号常常表示成如下的 二元式：<单词种别，单词符号的属性值> 单词种别:由语法分析阶段使用的抽象符号。如： 用整数编码。 最简单的编码方案为一类一码，种别编码可设为： 1,2,3,4,5。 另一种编码方案（如本教材中）： 标识符:列为一种，用一个整数编码表示； 常数:按类型分种编码； 关键字、运算符、界符:采用一字一种编码。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《编译原理》课后练习第03章词法分析
课后练习
第03章词法分析
1.写出正规式a(a|b)*(ε|((.|_)(a|b)(a|b)*))相应的正规文法。
2.给定正规式：0(0|1)*1
(1)写出相应的正规文法。
(2)画出相应的状态转移图。
3.给定文法G[Z]:
S→0U | 1V
U →1S | 1
V →0S | 0
(1)请构造该文法的状态转换图
(2)利用所得的状态转换图判别符号串100101和100111是否该文法的句子。
4.给出描述包含奇数个1或奇数个0的二进制数串的正规表达式。
5.请给出接受｛0,1｝上不含子串010的所有串的正规表达式和DFA。
6.一个人带着狼、山羊和白菜在一条河的左岸，有一条船，大小正好能装下这个人和其它3
件东西中的一件。
人和他的随行物都要过到河的右岸。
人每次只能将一件东西摆渡过河。
但若人将狼和羊留在同一岸而无人照顾的话，狼将把羊吃掉，类似的，羊也可能会吃掉白菜。
请问是否有可能摆渡过河，并使得羊和白菜都不会被吃掉？如果可能，请用有限自动机写出渡河的方法。
共1页，第1页。