正规式与有限自动机
正规式转化为有限自动机的算法综述
正规式转化为有限自动机的算法综述网络工程04379024 刘伟莉[摘要]本文从正规表达式的广阔应用开始，阐述引入有限自动机的必要性与可行性。
详细列举了几种将正规表达式转换为有限自动机的算法，并对它们的特点进行了比较。
[关键词]：正规表达式；有限自动机；Thompson算法0 引言在编译原理的词法分析理论中，从正规表达式到有限自动机的转换是词法分析器自动生成理论研究的重要内容。
其中，正规表达式（Regular Expressions）在编译程序中用来描述程序设计语言中某种单词的词法结构。
而有限自动机（Finite Automata，简称为FA）则用来识别某些字符串是否符合某种词法规则。
[1]二者在编译程序中的作用可由图1[2]所示图1 词法分析器的自动生成将正规表达式转化为有限自动机的算法中，Thompson算法最为经典。
这种算法的思想是根据正规表达式的递归定义，按照正规表达式的构成层次进行归纳构造。
其核心是2个FA进行连接、并和闭包运算。
一般方法是：先构造带ε动作的FA，再构造与其等价的非确定有限自动机（NFA），最后再由NFA构造与其等价的确定有限自动机（DFA）。
[3]显然，当正规表达式的层次较多时，上述方法就显得很繁琐，因此出现了一系列对Thompson算法的改进。
本文将后续介绍其中的两种改进，它们都利用对原算法的分析，改造Thompson结构，以达到减少有限自动机的状态数和ε边，提高编译程序工作效率的目的。
最后，介绍一种非Thompson算法的基于属性文法的正规式到NFA的转换。
本文分为5部分：第1部分将通过对正规表达式应用的讨论解释有限自动机引入的必要性；第2部分通过证明正规表达式与有限自动机的等价性来阐明两者转换的可行性；第3部分具体介绍5种转换算法；第4部分则对上一部分各种算法进行了比较；第5部分是文章小结。
1 正规表达式的应用与有限自动机的引入除了在编译程序构造与设计外，正规表达式还被应用于其他领域，比如字处理软件中的文本检索、数据库查询语言、文件处理语言以及遗传序列的研究等。
(12)第二章 第五讲 正则表达式与有限自动机
a q4 R3=a q5
b q6 R5=b
ε
q7
ε
q5
b
q6
ε
Hale Waihona Puke q8ε 对于R6=ab* ，有：
a q3 q4
R4=R5 *, 即R4=b*
ε
q7
ε
ε
q5
b
q6
ε
q8
最后对于R6+R2=ab*+b，有：
ε
b q1 R2=b q2 q3
a q4 R3=a q5
b q6 R5=b
ε
b q6
q7
ε
q5
ε
q8
RETURN
第二章有限自动机和右线性文法第五讲正则表达式与有限自动机一正则式正则语言有限自动机的关系1正则语言与有限自动机之间的关系所谓正则语言就是由正则式或者由右线性文法所能够描述的语言或者是由有限自动机所能够识别的语言
第二章 有限自动机和右线性文法
第五讲
正则表达式与有限自动机
一、正则式、正则语言、有限自动机的关系 1、正则语言与有限自动机之间的关系
设 M1=（Q1,T1,δ1,q1,{qf1}) , M2=（Q2,T2,δ2,q2,{qf2},) 且 Q1∩Q2=Ø 则构造M=(Q1∪Q2∪{q0,qf},T1∪T2,δ,q0,{qf}),其中δ定义如下： ① δ(q0,ε)={q1,q2}
第3章词法分析与有限自动机
常用单词种别编码方案 标识符：一种 关键字：全体视为一种或一字一种
单词种别编码
常 数：按类型分种，如整数、实数、布尔型 运算符：一符一种 界 符：一符一种
返回
（5）举例
1、词法分析器的任务和输出形式
假定单词类别用整数编码，标识符、常数、关键字、运算符和界符的 编码依次为1、2、3、4、5。C++语句 if(a>=90) b=c；在经过词法分析 器处理后输出的二元式及其单词表示如下： 二元式 单词 (3, ’if’) 关键字if (5, ’(’) 界符( (1,指向a的符号表项的指针) 标识符a (4, ’>=’) 运算符>= 2, 90) 常数90 (5, ’)’) 界符) (1,指向b的符号表项的指针) 标识符b (4, ’=’) 运算符= (1,指向c的符号表项的指针) 标识符c (5, ’；’) 界符；
（2）预处理程序作为独立子程序
预处理可作为一个子程序完成上述三个任务，并被词法分析器调用， 每调用一次，它就处理出一串确定长度（如120个字符）的输入字符，并 送进扫描缓冲区。
2、扫描器的工作原理
（1）扫描器
执行词法分析的程序称为词法
分析程序，或称词法分析器，
或称扫描器。
（2）扫描缓冲区
一个可以互补使用的一分为二的扫描缓冲区。扫描缓冲区总长度为
4、状态转换图的代码实现
（2）根据状态转换图编写代码的一般方法
终态结点表示识别出某种单词符号，因此一般对应一个形如 return(code,value)的语句，其中code为单词的种别编码，value为 单词符号的属性值，或无定义； 如下图中的结点 i 对应的程序段 为： state i：
2.4 正规表达式到有限自动机的构造
2.4.3 DFA M的化简 (DFA Minimization) NFA确定化所得的DFA可能含有多余 的状态, 需化简。所谓DFA M的化简，是 指寻找一个状态数比M少的DFA M'，使得 L(M) = L(M')。 化简后的DFA M' 满足下述条件： (1) 无多余状态 (死状态)； (2) 状态集中无相互等价（不可区别） 的状态。
2014-9-28 9
例2.7 对下图,取 I=e_CLOSURE{1}={1,2}, 求从状态I出发经一条有向边a所能 到达的状态集J和e_CLOSURE(J)。
a 5 e e a e 6
1
e
a
2 4
3 7
e
8
J={5, 3, 4} e_CLOSURE(J)={5, 6, 2, 3, 8, 4, 7}
S 0 1 a 1 1 b 1 1
2014-9-28
30
于是得到DFA 如下: a a 1 0 b b 化简: 因{0,1}a={1}, 故不划分。 因{0,1}b={1}, 故不划分。 因此, 最简DFA如下: a 0 b
2014-9-28 31
(2) (a*b*)*对应的NFA如图2-20所示, 用子集法将NFA确定化得下述转换表:
r1*
的转换规则可不可以改为？
e r1 e sj
si
例：(11+)*
2014-9-28
8
2.4.2 NFA M的确定化 －－子集构造法(Subset Construction) 首先 定义FA M的任一状态子集 I 的 e_CLOSURE(I)： (1)若si∈I, 则si∈e_CLOSURE(I)； (2)若si∈I, 则从 si 出发经过e所能到达的 状态 sj 属于e_CLOSURE(I)。 其次 定义Ia： 对FA M的任一状态子集 I , 若a是Σ中的 一个字符，则定义 Ia=e_CLOSURE(J)， 其中 J 是从 I 中某一状态出发经过a所能 到达的所有状态的集合。 J＝move(I,a)
编译原理2.2自动机理论
contents
目录
• 自动机概述 • 有限自动机 • 正则文法和正则表达式 • 确定有限自动机（DFA） • 非确定有限自动机（NFA）
01 自动机概述
定义与分类
定义
自动机是一个抽象的机器，用于模拟有限状态系统的行为。它由一组状态、一 组输入符号和一组转移函数组成，根据输入符号和当前状态来决定下一个状态。
正则文法与正则表达式的转换
正则文法转换为状态机
通过构造一个状态机来描述正则文法的语言，状态机中的每个状态对应一个产生式，状态之间的转移 对应于产生式的应用。
正则表达式转换为状态机
将正则表达式转换为状态机的方法包括确定化和非确定化两种。确定化是将一个不确定的状态机转换 为确定的状态机，非确定化是将一个确定的状态机转换为不确定的状态机。
工具辅助
使用自动机生成工具或编译器工具集中的工 具，如Lex或Yacc等，根据语言规范生成 DFA。
DFA的应用实例
词法分析
01
DFA可以用于实现词法分析器，将输入的字符串分割成一个个
单词或符号。
正则表达式匹配
02
DFA可以用于实现正则表达式匹配算法，判断一个字符串是否
符合正则表达式的模式。
语法分析
正则表达式的应用实例
1 2
文本匹配
正则表达式可以用来匹配文本中的特定模式，例 如查找字符串中的数字、邮箱地址等。
文本替换
正则表达式可以用来替换文本中的特定模式，例 如将字符串中的所有数字替换为特定字符。
3
文本解析
正则表达式可以用来解析文本中的结构化数据， 例如从CSV文件中提取数据。
04 确定有限自动机（DFA）
正则文法的性质
第6讲 词法分析3--正规式与有限自动机的等价性
视频区域
为正规式构造NFA
(a|b)*(aa|bb)(a|b)*
(a|b)*(aa|bb)(a|b)*
X
Y
a a5a
ε
ε
X
1
2
3ε
b6 b b
视频区域
a
4εY b
为正规式构造NFA
a
a
a
aa
Xε 1 ε 2
3ε 4 ε Y
b
bb
b
M’
为NFA构造正规式
假定NFA M=<S, Σ, δ, S0, F>，我们对M的状 态转换图进行以下改造：
在M的转换图上加进两个状态X和Y，从X用ε弧连接 到M的所有初态结点，从M的所有终态结点用视ε频弧区连域 接到Y，从而形成一个新的NFA，记为M’，它只有一 个初态X和一个终态Y，显然L(M)=L(M’)。
构造Σ上的NFA M’ 使得 L(r)=L(M’)
首先，把r表示成
视频区域
Xr Y
为正规式构造NFA
按下面的三条规则对r进行分裂
i r1r2 k 代之为 i r1 j r2 k
r1
视频区域
i r1|r2 j 代之为
i
j
i
r1*
r2 k 代之为 i ε j ε k
r1
为正规式构造NFA
正规式 -> FA
对任何正规式r，都存在一个FA M，使得L(M)=L(r)。
编译原理
正规式与有限自动机的等价性 ——为NFA构造正规式
为NFA构造正规式
对转换图概念拓广，令每条弧可用一个正规式 作标记。
编译原理第6讲 词法分析3--有限自动机等价性
{1,6,4,2,Y} {1,5,4,2,Y} {1,3,6,2,4,Y}
{1,5,4,2,Y} {1,3,5,2,4,Y} {1,6,4,2,Y}
DFA与NFA的等价性证明
把表看成状态转换矩阵，子 集视为状态
转换表唯一刻划了一个确定 的有限自动机M
初态是-closure({X})
M’ X
a
两个状态不等价，则称它们是可区别的
测试：状态的可区分性
两个状态s和t是可区分的，是指( )
A. 对于任意字，要么s读出停止于终态而t读出
停止于非终态，要么t读出停止于终态而s读
出停止于非终态
视频区域
B. 存在一个字，要么s读出停止于终态而t读出 停止于非终态，要么t读出停止于终态而s读 出停止于非终态
重复上述过程，直到所有第2， 3列子集全部出现在第一列为止
I
视I频a 区域 Ib
-Closure({X}) {...} {...}
{...}
{...} {...}
{...}
{...} {...}
DFA与NFA的等价性证明
M’
a
a5a
a
X 1 2
3 4 Y
b
b6 b
b
I -closure({X})={X,1,2}
DFA与NFA的等价性证明
确定化：不失一般性，设字母表只 包含两个 a 和b，我们构造一张计 算状态集的转换表:
首先，置第1行第1列为closure({X})求出这一列的Ia，Ib；
然后，检查这两个Ia，Ib，看它 们是否已在表中的第一列中出 现，把未曾出现的填入后面的 空行的第1列上，求出每行第2， 3列上的集合...
达的状态集合。
第3章-3-有限自动机.解析
种性质的FA称为非确定的FA（NFA:
Nondeterministic FA）
二、非确定有穷状态自动机
a A aa
S ab Z a
bB b a
例如：文法G3.1 Z → Za|Aa|Bb A → Ba|Za|a B → Ab|Ba|b
二、非确定有穷状态自动机
一个非确定的有穷自动机（NFA）M是一 个五元组：N=（K，Σ，f，S0，Z）其中
DFA f的定义
2.为定义DFA所接受(或识别)的符号串集合,我们
先将其转换函数f 的定义域拓广到 f^： K* : (1)f^ (s,)=s, sK; (2)f^ (s,aw)=f^ ( f(s,a),w), sK,a,w*;
对于x* ,f^(s,x)=t 的含义是,当自动机M从 状态s出发,依次扫描完x的各个符号后将进入状 态t.
第三章 词法分析
3.1 词法分析概述 3.2 正规文法和状态转换图 3.3 有限自动机 3.4 正规表达式和正规集 3.5 词法分析器的实现
3.3 有限自动机
一、确定有穷状态自动机（DFA） 二、非确定有穷状态自动机（NFA） 三、NFA和DFA的转换
四、具有ε-动作的NFA 五、ε-动作的NFA的确定化
实质：用自底向上方法识别句子 状态转换的下一状态不唯一，如何解决？
三、NFA和DFA的转换(NFA的确定化)
NFA状态转换的下一状态不唯一，如何解决？ 确定化的概念 1.确定化：对任给的NFA，都能对应地构造一
DFA，它们有相同的接受集 2.确定化原理：令构造出的“新”DFA的状态 与“旧”NFA的某一状态子集对应，并使 “新”DFA对“旧”NFA的状态转移保持跟 踪。
1.K’=2k.即，由M的全部状态子集构成，特别地, 令 S0’=[S0].
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
正规式与有限自动机正规式与有限自动机之间的转换1）有限自动机转换为正规式对于S上的NFAA/,可以构造一个S上的正规式/?,使得切⑷。
拓广状态转换图的概念，令每条弧可用一个正规式作标记。
为S上的NFA Af构造相应的正规式及，分为如下两步。
（1）在M的状态转换图中加两个节点，一个x节点，一个y节点。
从x节点到NFAM 的初始状态节点引一条弧并用e标记，从NFAM的所有终态节点到y节点引一条弧并用e 标记。
形成一个与A/等价的MS AT只有一个初态jc和一个终态少。
（2）按下面的方法逐步消去中除x和；；的所有节点。
在消除节点的过程中，用正规式来标记弧，最后节点jc和；；之间弧上的标记就是所求的正规式。
消除节点的规则如图2-12所示。
2）正规式转换为有限自动机同样地，对于S上的每个正规式/?,可以构造一个S上的NFAAf,使得L（A0=Z（及）。
（1）对于正规式i,可用图>13所示的拓广状态图表示。
R o（1）通过对正规式/?进行分裂并加入新的节点，逐步把图转变成每条弧上的标记是E上的一个字符或e,转换规则如图2-14所示。
最后所得的图即为一个NFAM,JC为初态节点，少为终态节点。
显然，L（A0=I（及）。
【试题2-24】2011年11月真题48下图所示为一个有限自动机（其中，A是初态、C是终态），该自动机识别的语言可用正规式（48）表示。
A. (0|1)*01B. 1*0*10*1C. 1*(0)*01D. 1*(0|10)*1*分析：在正规式中，符号*表示重复若干次（包括0次），符号|表示“或”。
在状态A，可以输入1或0，如果输入1还可以回到状态A，如果输入0直接到达状态B；在状态B，可以输入0或1，如果输入0则还回到状态B，而输入1，则进入到状态C；在状态C可以输入0或1，输入0到达状态B，输入1到达状态A，但由于C是终态，自动机可识别的语言是由0、1构成的字符串的集合，但该集合必须以01结果，因此选项A正确。
【答案：A】【试题2-25】2011年5月真题15包含8个成员的开发小组的沟通路径最多有（15）条。
（15）A．28 B．32 C．56 D．64分析：需要协作沟通的人员的数量影响着开发成本，因为成本的主要组成部分是相互的沟通和交流，以及更正沟通不当所引起的不良结果。
人与人之间必需通过沟通来解决各自承担任务之间的接口问题，如果项目有n个工作人员，则有n×（n -1）/ 2个相互沟通的路径。
很明显，包含8个成员的开发小组的沟通路径最多有28条。
这其实是一道简单的图论问题，相当于求包含8个顶点的无向图中最多有多少条边。
【答案：A】【试题2-26】2011年5月真题49下图所示为一个有限自动机（其中，A是初态、C是终态），该自动机可识别（49）。
（49）A．0000 B．1111 C．0101 D．1010分析：有限自动机可识别的字符串，是指从有限自动机的初态出发，存在一条到达终态的路径，其上的标记所构成的字符串。
对于“0000”，其识别路径是状态A→状态B→状态B→状态B→状态B，没有到达态。
对于“1111”，其识别路径是状态A→状态A→状态A→状态A→状态A，没有到达态。
对于“0101”，其识别路径是状态A→状态B→状态C→状态B→状态C，状态C为终态，可以识别。
对于“1010”，其识别路径是状态A→状态A→状态B→状态C→状态B，经过了终态，但没有以终态结束。
【答案：C】【试题2-27】2010年11月真题22下图所示的有限自动机中，0是初始状态，3是终止状态，该自动机可以识别（22）。
（22）A．abab B．aaaa C．bbbb D．abba分析：从初始状态到终止状态有多条路径。
在状态0输入a到达状态2，在状态2可输入a或b，输入a到达状态1，输入b到达状态3，状态3下输入a还回到状态3；在状态1可输入a或b，输入a到达状态3，输入b到达状态2。
【答案：B】【试题2-28】2010年11月真题48下图所示为两个有限自动机Ml和M2 (A是初态、C是终态），（48）。
C．M1是确定的有限自动机，M2是不确定的有限自动机D．M1是不确定的有限自动机，M2是确定的有限自动机分析：确定有限自动机对每一个可能的输入只有一个状态的转移。
非确定有限自动机对每一个可能的输入可以有多个状态转移，接受到输入时从这多个状态转移中非确定地选择一个。
有限自动机M1在状态A时，输入0可以回到状态A，也可以到达状态B，可见M1是不确定的。
有限自动机M2的每个状态下的输入都只有一个转移状态。
【答案：D】考点3 文法分析（4）【试题2-29】2010年5月真题21逻辑表达式“a∧b∨c∧(b∨x＞0)”的后缀式为（21）。
（其中∧、∨分别表示逻辑与、逻辑或，＞表示关系运算大于，对逻辑表达式进行短路求值）（21）A．abcbx0＞∨∧∧∨B．ab∧c∨b∧x0>∨C．ab∧cb∧x>0∨∨D．ab∧cbx0> ∨∧∨分析：后缀式把运算符写在运算对象后面。
“逻辑与运算”的优先级高于“逻辑或运算”。
对于逻辑表达式“a∧b∨c∧(b∨x>0)”，从运算符的优先级方面考虑，需先对“a∧b”求值，然后对“c∧(b∨x>0)”求值，最后进行“∨”运算，因此后缀式为“ab∧cbx0> ∨∧∨”。
【答案：D】【试题2-30】2010年5月真题50对于正规式0*(10*1)*0*，其正规集中字符串的特点是（50）。
（50）A．开头和结尾必须是0 B．1必须出现偶数次C．0不能连续出现D．1不能连续出现分析：闭包运算符“*”将其运算对象进行若干次连接，因此0*表示若干个0构成的串，而(10*1)*则表示偶数个1构成的串。
【答案：B】【试题2-31】2009年11月真题50由某上下文无关文法M[S]推导出某句子的分析树如图所示，则错误叙述的是（50）。
（50）A．该文法推导出的句子必须以“a”开头B．acabcbdcc是该文法推导出的一个句子C．“S →aAcB”是该文法的一个产生式D．a、b、c、d属于该文法的终结符号集分析：上图是某上下文无关文法M[S]推导出某句子的分析树，看图只要稍作推导就可推出“acabcbdcc”是该文法推导出的一个句子；看该分析树的第一层分枝即可知“S →aAcB”是该文法的一个产生式；而a、b、c、d因为在图中是分析树的叶子，都是该文法的终结符号；右边的B 分枝下有S →Bd，B →ε，所以该文法推导出的句子不一定是“a”开头，因此答案A是不正确的。
【答案：A】【试题2-32】2009年5月真题48下图所示有限自动机的特点是（48）。
（48）A．识别的0、1串是以0开头且以1结尾B．识别的0、1串中1的数目为偶数C．识别的0、1串中0后面必须是1 D．识别的0、1串中1不能连续出现分析：由图可知，从初始态q0输入0仍然到q0或者输入1到达终态q1，从q1还可以输入0重新到达初始态q0，所以这个有限自动机识别的0、1串不一定是以0开头的，1的数目的奇偶性也没办法确定，0后面也可以是0，所以A、B、C都是错误的。
从q0输入1到达终态q1后，或者串结束，或者输入0再到q0，所以这个串中的1不会连续出现，D是正确的。
【答案：D】【试题2-33】2009年5月真题49由a、b构造且仅包含偶数个a的串的集合用正规式表示为（49）。
（49）A．(aa)b* B．(b (aba))* C．(a (ba)b) D．(a|b) (aa)*分析：本题主要考察考生对闭包概念的理解。
【答案：B】Σ*：指包括空串ε在内的Σ上所有字符串的集合。
关键在于Σ*可取空串ε。
理解了这个概念就不难看出答案B是正确的。
【试题2-34】2009年5月真题50程序语言的大多数语法现象可用上下文无关文法描述。
对于一个上下文无关文法Ｇ=(N，T，P，S)，其中N是非终结符号的集合，T是终结符号的集合，P是产生式集合，S是开始符号。
令集合V= N∪T，那么G所描述的语言是（50）的集合。
A．从S出发推导出的包含V中所有符号的串B．从S出发推导出的仅包含T中符号的串C．N中所有符号组成的串D．T中所有符号组成的串分析：若V∈N∪V，根据上下文无关文法的特性，V总可以被字符串N∪V自由地替换。
但当V= N∪T时，由于非终结符的不唯一性，要构成等式成立，必须要N∪T中的符号串收缩为终结符，即都是T的集合。
所以上下文无关文法G描述的语言是从S出发推导出的仅包含T中符号的串的集合。
【答案：B】【试题2-35】2008年12月真题48给定文法G[S]及其非终结符A，FIRST(A)定义为：从A出发能推导出的终结符号的集合（S 是文法的起始符号，为非终结符）。
对于文法G[S]：S→[L] | aL→L, S| S其中，G[S]包含的四个终结符号分别为：a , [ ]则FIRST(S)的成员包括（48）。
（48）A．a B．a、[ C．a、[和] D．a、[、]和，分析：由S→[L] | a得S→[L]和S→a，所以FIRST(S)={[，a}。
【答案：B】【试题2-36】2008年12月真题50设某上下文无关文法如下：S→11 | 1001 | S0 |SS，则该文法所产生的所有二进制字符串都具有的特点是（50）。
（50）A．能被3整除B．0、1出现的次数相等C．0和1的出现次数都为偶数D．能被2整除分析：本题考查上下文无关文法产生的字符串集合。
【答案：A】B选项：由S→11，B显然不正确。
C选项：由S→11和S→0S有S→011，C不正确。
D选项：由S→11，二进制11为十进制3，不能被2整除，D不正确。
【试题2-37】2008年5月真题21已知某文法G[S]:S→0S0 S→1，从S推导出的符号串可用（21）(n≥0) 描述。
分析：推导树为：可以看出S →1就结束了，所以不可能产生1n（C、D被排除）。
也不可能产生010010010…这样的式子，还是因为S →1就结束了，不会有多个1这样的式子的。
【答案：B】【试题2-38】2008年5月真题48有限自动机（FA）可用于识别高级语言源程序中的记号（单词），FA可分为确定的有限自动机（DFA）和不确定的有限自动机（NFA）。
若某DFA D与某NFA M等价，则（48）。
（48）A．DFA D与NFA M的状态数一定相等B．DFA D与NFA M可识别的记号相同C．NFA M能识别的正规集是DFA D所识别正规集的真子集D．DFA D能识别的正规集是NFA M所识别正规集的真子集分析：本题考查DFA和NFA的相关知识。
【答案：B】有限自动机的确定化：对于任一个NFA M，都可以构造其对应的DFA M'，使这两个自动机接受相同的字符串集合：L(M ) ' =L(M) 。