三章词法分析
合集下载
词法分析及词法分析程序
语义加工过程：
– w,p,n初值为0，e初值为1；
– 处理整数部分时，对于每个di ,令w=w10+di ; – 处理小数部分时，对于每个di ,令w=w10+di ;及n++;
– 处理指数时，E后若有‘-’号，令e=-1；计算指数值 p=p10+d;
– 在出口处，令ICON=w或FCON=w10^(e(p-n)).
(2)设当前处在Ai状态,所扫描的字符为ai+1,在结点Ai所 射出的诸矢线中,寻找标记为ai+1的矢线(若不存在,则 表明w有语法错误),读入ai+1,并进入状态Ai+1;
(3)重复(2),直到w中所有字符被读完且恰好进入终态F 时,宣告整个识别结束,w可被接受.
28
例:G[Z]:
状态转换图:
Z→0U∣1V
{return ( ICON= w ); {n++; w=w*10+d;}
{return (FCON =w*pow(10,e*p-n) ) ;} {n++;w=w*10+d;} error {p=p*10+d;}
e=-1; error {p=p*10+d;} error {p=p*10+d;} {return (FCON=w*pow(10,e*p-n) );
(1)对于G中形如Aa 的产生式，引矢线RA，且标记
为a；
(2)对于G中形如ABa 的产生式，引矢线 BA，且标
记为a。
34
由左线性文法构造状态转换图
已给文法G=({S,U},{0,1},{SS1 |U1, UU0 | 0},S)
R0
0
1
U1 S
– w,p,n初值为0，e初值为1；
– 处理整数部分时，对于每个di ,令w=w10+di ; – 处理小数部分时，对于每个di ,令w=w10+di ;及n++;
– 处理指数时，E后若有‘-’号，令e=-1；计算指数值 p=p10+d;
– 在出口处，令ICON=w或FCON=w10^(e(p-n)).
(2)设当前处在Ai状态,所扫描的字符为ai+1,在结点Ai所 射出的诸矢线中,寻找标记为ai+1的矢线(若不存在,则 表明w有语法错误),读入ai+1,并进入状态Ai+1;
(3)重复(2),直到w中所有字符被读完且恰好进入终态F 时,宣告整个识别结束,w可被接受.
28
例:G[Z]:
状态转换图:
Z→0U∣1V
{return ( ICON= w ); {n++; w=w*10+d;}
{return (FCON =w*pow(10,e*p-n) ) ;} {n++;w=w*10+d;} error {p=p*10+d;}
e=-1; error {p=p*10+d;} error {p=p*10+d;} {return (FCON=w*pow(10,e*p-n) );
(1)对于G中形如Aa 的产生式，引矢线RA，且标记
为a；
(2)对于G中形如ABa 的产生式，引矢线 BA，且标
记为a。
34
由左线性文法构造状态转换图
已给文法G=({S,U},{0,1},{SS1 |U1, UU0 | 0},S)
R0
0
1
U1 S
第三章 词法分析和有穷自动机
ε
ε
2
ε
6 b
ε
f
3.4.5 DFA的最小化（化简）
• 最少状态DFA 对于一个DFA M，存在一个最少状态DFA M’， 使得L(M’)=L(M)。 (a)没有多余状态 (b)没有两个状态是互相等价的 结论： 一个NFA 对应的DFA不惟一 但它对应的最小化DFA不计同构是惟一的
• 多余状态的例子 a
例
正规式 φ
ε
a a|b ab (a|b)(a|b) a* ba* (a|b)*
正规集 φ {ε } {a} L(a|b)=L(a) ∪ L(b)={a,b} L(ab)=L(a)L(b)={ab} {aa,ab,ba,bb} { ε ,a,aa,aaa,…} {b,ba,baa,baaa,…} {所有由a和b组成的字}
• 例 DFA M=({0,1,2,3},{a,b}, f ,0,{3}) 其中 f 为： f (0,a)=1 f (0,b)=2 f (1,a)=3 f (1,b)=2 f (2,a)=1 f (2,b)=3 f (3,b)=3 f (3,a)=3
3.4.1 确定有穷自动机(DFA) • DFA的表示方法 两种：矩阵和图形的方式 矩阵称为状态转换矩阵 图形称为状态转换图
• NFA M所接受字符串的集合称为NFA M所能 识别的语言，记为L(M)。 • NFA的确定化 DFA是NFA的特例
NFA M存在与之等价的DFA M’,L(M)=L(M’) 与某一NFA等价的DFA不惟一 正规式 NFA 正规文法 DFA
3.4.4 NFA 确定化
• 状态集合I的空闭包：ε -closure(I) 它是一个状态集合，包含 ： ♠ I中任何状态q ♠ I中任何状态q经任意条空弧到达的任何状态 • 状态集合I的a弧转换：Ia 定义一个状态集J，J是I中所有状态经一条a 弧到达的状态的全体 Ia＝ε -closure(J)
编译原理词法分析及词法分析程序
∴M能识别出L(G)中的全部句子。
状态图=>右线性文法
文法G[0] 0->a1
d 0
S->aA A->dA A->b
a c
1 2
b
d
3
1->d1 1->b
0->c
0->c2 2->d
S->c
S->cB，2有出弧 B->d
左线性文法=>状态转换图
设G=(VN,VT,P,S)是一左线性文法,令|VN|=K， 1) 则所要构造的状态转换图共有K+1个状态. 2) VN中的每个符号分别表示K个状态 2.1) G的开始符S为终止状态 3) 起始状态,用R(VN)标记
识别符号串与归约
S
从初态R到下一状态A对应Ba，即终结 符a归约成非终结符B; U 从状态B转换到状态A对应ABa,即将 Ba归约为A; 状态A转换到状态S(终态)对应S Aa,即 U 将Aa归约为开始符S. 归约成功,恰好进入终态,即状态转换图识 U 别了(或接受)该符号串. 识别00011的例子的归约过程
f是转换函数，是在K×Σ →K上的映像，即：如果f（ki，a）=kj， （ki，kj∈K）意味着，当前状态为ki，输入字符为a时，将转换 为下一个状态kj，我们把kj称作ki的一个后继状态；
1.确定的有限自动机
通常把这五要素组成的五元式M=(K,∑,f, S0,Z)称为确定的 有限自动机(DFA)，它是相应的状态转化图的一种形式描 述，或者说，是状态转换矩阵的另一种表示。 在状态转换的每一步，据DFA当前所处状态及扫视的输入 字符，能唯一确定下一状态。
例：文法G=({S,U},{0,1},{SS1 |U1,
状态图=>右线性文法
文法G[0] 0->a1
d 0
S->aA A->dA A->b
a c
1 2
b
d
3
1->d1 1->b
0->c
0->c2 2->d
S->c
S->cB，2有出弧 B->d
左线性文法=>状态转换图
设G=(VN,VT,P,S)是一左线性文法,令|VN|=K， 1) 则所要构造的状态转换图共有K+1个状态. 2) VN中的每个符号分别表示K个状态 2.1) G的开始符S为终止状态 3) 起始状态,用R(VN)标记
识别符号串与归约
S
从初态R到下一状态A对应Ba，即终结 符a归约成非终结符B; U 从状态B转换到状态A对应ABa,即将 Ba归约为A; 状态A转换到状态S(终态)对应S Aa,即 U 将Aa归约为开始符S. 归约成功,恰好进入终态,即状态转换图识 U 别了(或接受)该符号串. 识别00011的例子的归约过程
f是转换函数，是在K×Σ →K上的映像，即：如果f（ki，a）=kj， （ki，kj∈K）意味着，当前状态为ki，输入字符为a时，将转换 为下一个状态kj，我们把kj称作ki的一个后继状态；
1.确定的有限自动机
通常把这五要素组成的五元式M=(K,∑,f, S0,Z)称为确定的 有限自动机(DFA)，它是相应的状态转化图的一种形式描 述，或者说，是状态转换矩阵的另一种表示。 在状态转换的每一步，据DFA当前所处状态及扫视的输入 字符，能唯一确定下一状态。
例：文法G=({S,U},{0,1},{SS1 |U1,
编译原理词法分析
❖ 数字：继续读，直到非数字字符出现或文件尾。输 出无符号整数的单词记号及数字串；
❖ =、＜、＞、！：读下一个字符，判断是否为双字 符分界符，若是，组成双字符分界符，输出类码； 若不是，输出单分界符记号；
编译原理
❖ 非=、＜、＞、/等与双分界符首字符不同的单分界 字符：输出相应单词记号及单分界符。
1.S是一个有穷集，它的每个元素称为一个状态；
2.Σ是一个有穷字母表，它的每个元素称为一个输入 符号，所以也称Σ为输入符号表；
3.δ是在S×Σ→S上的单值映射，即，如δ (s，a)=s’， (s∈S，s’∈S)就意味着，当前状态为s，输入符为 a时，将转换为下一个状态s’，我们把s’称作s的一 个后继状态；
编译原理 在 入 准初带备整•••始的读输读有个时开入始入头穷模，始，状带：控型读位状态：可制由头置态存以器如状的所三处，处放在：果态符识部于表于输输控读正号别分输示初入入制头好组组符带状移是成成号上态动终的：向发到结字后生最状能移变后态被头每有动化一，该转向读穷个则有移后入控符输限到移一 制号入自下动个器后带动一一符控面上机个个号制，状位，状态置读态，
编译原理
词法分析 读字符
结束 Y
结束
N Y 空字
N 字母 N 数字
Y 组合标识符 Y 组合整数
查保留字Βιβλιοθήκη N 纯单分符Y 输出单分符
N
>,<,!,= Y 读字符
=
N
N
/ Y 读字符
*
N
Y
错误处理
输出保留字
Y 保留字
N 输出标识符
组合整数
读字符
Y 输出双分符
输出单分符 N 输出单分符/
注释处理
读字符
❖ =、＜、＞、！：读下一个字符，判断是否为双字 符分界符，若是，组成双字符分界符，输出类码； 若不是，输出单分界符记号；
编译原理
❖ 非=、＜、＞、/等与双分界符首字符不同的单分界 字符：输出相应单词记号及单分界符。
1.S是一个有穷集，它的每个元素称为一个状态；
2.Σ是一个有穷字母表，它的每个元素称为一个输入 符号，所以也称Σ为输入符号表；
3.δ是在S×Σ→S上的单值映射，即，如δ (s，a)=s’， (s∈S，s’∈S)就意味着，当前状态为s，输入符为 a时，将转换为下一个状态s’，我们把s’称作s的一 个后继状态；
编译原理 在 入 准初带备整•••始的读输读有个时开入始入头穷模，始，状带：控型读位状态：可制由头置态存以器如状的所三处，处放在：果态符识部于表于输输控读正号别分输示初入入制头好组组符带状移是成成号上态动终的：向发到结字后生最状能移变后态被头每有动化一，该转向读穷个则有移后入控符输限到移一 制号入自下动个器后带动一一符控面上机个个号制，状位，状态置读态，
编译原理
词法分析 读字符
结束 Y
结束
N Y 空字
N 字母 N 数字
Y 组合标识符 Y 组合整数
查保留字Βιβλιοθήκη N 纯单分符Y 输出单分符
N
>,<,!,= Y 读字符
=
N
N
/ Y 读字符
*
N
Y
错误处理
输出保留字
Y 保留字
N 输出标识符
组合整数
读字符
Y 输出双分符
输出单分符 N 输出单分符/
注释处理
读字符
第3章 词法分析(3)
3.4 正规式与有穷自动机的等价性
1. NFA M正规式R
在消结过程中,逐步用正规式来标记弧, 规则如下:
1.对于
1
2.对于
R1
2
R2
代之为
3
1
R1 R2
3
代之为 R1 R1| R2 1 2 1 2 R2 R2 3.对于 代之为 R1R2﹡R3 R 1 R 3 1 3 1 2 3
例如：有NFA M如图3.14，求其等价的正规式R。
a,b a 3
x ε 0 b 1 a|b a|b x ε 0
aa
a
4
ε
b
y (a|b)*(aa|bb)(a|b)* x y ε 2 a,b a|b aa(a|b) * y bb(a|b) *
4
ε y x
bb
2
ε
a|b
ε
0
3.4 正规式与有穷自动机的等价性
课堂练习 求以下NFA的正规式 a a 3 a 1 2 b
第一步
a
5 6 b
b
4
b
a
a
3
a
a
s
1 2
b
5 b
4 b
6 b
z
3.4 正规式与有穷自动机的等价性
第二步
a|b s 1 2
aa bb aa|bb 5
a|b
6
z
第三步
s
第四步
（a|b）*
2
5
（a|b）*
z
s
(a|b)*(aa|bb)(a|b)*
z
课堂讲解
• 【例5.12】第72页 • 【例5.13】第73页
第三章 词法分析精选版演示课件.ppt
gjgj
11
串和语言（3）
• 串的运算
– 连接(concatenation)：x和y的连接时把y附加到x 的后面形成的串，记作xy。
• x=dog，y=house，xy=doghouse
– 指数运算（幂运算）：s0=ε，s1=s，si=si-1s；
• x=dog，x0=ε，x1=dog，x3=dogdogdog
第三章 词法分析
赵建华 南京大学计算机系
2009年2月
gjgj
1
内容
• 词法分析器的作用 • 词法单元的规约 • 词法单元的识别 • 词法分析器生成工具Lex • 有穷自动机 • 从正则表达式到自动机 • 词法分析器生成工具的设计方法
gjgj
2
词法分析器的作用
• 读入源程序字符流、组成词素，输出词法单元序列。 • 过滤空白、换行、制表符、注释等。 • 将词素添加到符号表中。 • 在逻辑上独立于语法分析，但是通常和语法分析器
器通过单元名即可确定词法单元序列的结构。
– 属性值通常用于语义分析之后的阶段
• 模式
– 描述了一类词法单元的词素可能具有的形式
• 词素
– 源程序中的字符序列 – 它和某个词法单元的模式匹配，被词法分析器识别
为该词法单
• printf(“Total = % d\n”, score)；
– printf, score和标识符（id）的模式匹配 – “Total = % d\n”和literal的模式匹配
gjgj
6
词法单元的属性
• 一个模式匹配多个词素时，必须通过属性 来传递附加的信息。属性值将被用于语义 分析、代码生成等阶段。
• 不同的目的需要不同的属性。因此，属性 值通常是一个结构化数据。
编译原理 第3章 词法分析与有穷自动机(第5-8讲)
它所对应的状态表如图：
状态 0 1 2 3 a 1 3 1 3 后继 状态 b 2 2 3 3
输入字符 接受 否 否 否 是
式的转化
22
第3章 词法分析与有穷自动机
■DFA所识别的语言
给定DFA M，对于字符c1,c2,…,cn,当以下条件成立时， 称M接受由c1,c2,…,cn组成的字符串c1c2…cn： 存在状态序列s0,s1,s2,…,sn,使得s1=f(S,c1), s2=f(s1,c2),…,sn=f(sn-1,cn)，且sn∈Z。 由DFA M接受的语言L(M)是所有M接受的字符串组成的集 合。
25
第3章 词法分析与有穷自动机
判断下图是DFA还是NFA的状态转换图，并 写出其他2种表示形式
26
第3章 词法分析与有穷自动机
■由正规表达式R构造NFA
1.基本正规表达式 (a)对于正规式φ,所构造NFA: (b)对于正规式ε,所构造NFA: (c)对于正规式a,a∈Σ,则 NFA:
x ε y
练习：若S=a|bb，则L((a|bb)*)=？
5
第3章 词法分析与有穷自动机
■正规式中运算的优先级
括号优先，* 次之，•（连接）再次之，| 最后 例：a|bc* ≌ a|(b(c*)) ab|c*d ≌ (ab)|((c*)d)
■ 正规式与正规集举例
L(a|bc*)=L(a)∪L(bc*) 思考：L(ab|c*d)=？ =L(a)∪L(b)L(c*) =L(a)∪L(b)(L(c))* ={a}∪{b}{ε,c,cc,ccc……} ={a,b,bc,bcc,bccc,……}
17
第3章 词法分析与有穷自动机
■有穷自动机的状态转移图表示方法
第三章 词语分析释义法
第三章 词语分析释义法
2011.9.27
词语分析释义法
• 词语分析释义法 根据造词法、构词法、义素构成法、 理据及构形法进行词义说明的方法。 • 词语分析释义法的必要性 词语分析释义法是中高级学习阶段学 生有效识记词汇的必备途径，也符合汉语 词汇的特点。 • 词语分析释义法的前提 词语的理据性、可分析性、规律性。
义素分析释义法的作用
一、说明词义聚合关系：
可以显示同义关系： 边疆：+[国土]+[靠近国界]+[范围大] 边境：+[国土]+[靠近国界]－[范围大] 可以显示反义关系： 朋友：+[人]+[友好] 敌人：+[人]－[友好] 浑浊：+[水]+[杂质] 清澈：+[水]－[杂质] 可以显示类义关系： 教授：+[高等学校职称]+[最高级别] 副教授：+[高等学校职称]－[最高级别]+[次高级别] 讲师：+[高等学校职称]－[最高级别]－[次高级别]+[次低级别] 助教：+[高等学校职称]－[最高级别]－[次高级别]－[次低级别]+[最低级别
作业
• 重叠词、叠音词二者及重叠构形、叠音构词、 重叠构词三者的区别？
半音译半意译： 席梦思 乌托邦 霓虹灯 马克思主义 绿 卡 新西兰 音译+语素： 摩托车 呼拉圈 艾滋病 迷你裙 吉普车 沙丁鱼 卡片 啤酒 音译兼意译： 可口可乐 奔驰 休克 维他命 香波 字母词： OK WTO UFO WIN98 VCD EMAIL FAX MBA SOS AA制 BP机 KTV包房 IC卡 X光
第二节 构词分析释义法
（三）音译外来词 克隆 咖啡 咖啡 沙发 布丁 拷贝 沙龙 吉他 白兰地 迪斯科 海洛因 华尔兹 荷尔蒙 比基尼 马拉松 高尔夫 三明治
2011.9.27
词语分析释义法
• 词语分析释义法 根据造词法、构词法、义素构成法、 理据及构形法进行词义说明的方法。 • 词语分析释义法的必要性 词语分析释义法是中高级学习阶段学 生有效识记词汇的必备途径，也符合汉语 词汇的特点。 • 词语分析释义法的前提 词语的理据性、可分析性、规律性。
义素分析释义法的作用
一、说明词义聚合关系：
可以显示同义关系： 边疆：+[国土]+[靠近国界]+[范围大] 边境：+[国土]+[靠近国界]－[范围大] 可以显示反义关系： 朋友：+[人]+[友好] 敌人：+[人]－[友好] 浑浊：+[水]+[杂质] 清澈：+[水]－[杂质] 可以显示类义关系： 教授：+[高等学校职称]+[最高级别] 副教授：+[高等学校职称]－[最高级别]+[次高级别] 讲师：+[高等学校职称]－[最高级别]－[次高级别]+[次低级别] 助教：+[高等学校职称]－[最高级别]－[次高级别]－[次低级别]+[最低级别
作业
• 重叠词、叠音词二者及重叠构形、叠音构词、 重叠构词三者的区别？
半音译半意译： 席梦思 乌托邦 霓虹灯 马克思主义 绿 卡 新西兰 音译+语素： 摩托车 呼拉圈 艾滋病 迷你裙 吉普车 沙丁鱼 卡片 啤酒 音译兼意译： 可口可乐 奔驰 休克 维他命 香波 字母词： OK WTO UFO WIN98 VCD EMAIL FAX MBA SOS AA制 BP机 KTV包房 IC卡 X光
第二节 构词分析释义法
（三）音译外来词 克隆 咖啡 咖啡 沙发 布丁 拷贝 沙龙 吉他 白兰地 迪斯科 海洛因 华尔兹 荷尔蒙 比基尼 马拉松 高尔夫 三明治
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 词法分析
一、词法分析程序的任务
➢ 从左至右逐个字符地扫描源程序，产生一 个个单词符号。把作为字符的源程序改造为 单词符号串组成的中间程序，执行词法分析 任务的程序称为词法分析器或称扫描器。
2020/7/1
中南大学软件学院 陈志刚
4
第三章 词法分析
3.1 词法分析概述
二、词法分析程序的功能
单词种别：表示单词种类，常用整数编码，它是语 法分析需要的
单词自身的值：是编译中其他阶段所需要的信息
如果一个种别只含一个单词符号，那么该单词符号的种 别编码就完全代表它自身的值。
如果一个种别含有多个单词符号，那么还应给出该单词 符号的自身值：标识符自身值是标识符自身的字符串； 常数自身值是常数的二进制数值。
第三章 词法分析
3.1 词法分析概述 3.2 词法分析程序的设计 3.3 正规式与有限自动机 3.4 词法分析程序的实现 3.5 词法分析器的自动生成
3.1 词法分析概述
第三章 词法分析
一、词法分析程序的任务 二、词法分析程序的功能 三、词法分析程序的安排 四、词法分析程序的实现方式 五、词法分析程序的输出形式
注意：一种语言的单词如何分类、怎样编码，主要取决于技 术上的方便。
2020/7/1
中南大学软件学院 陈志刚
13
3.1 词法分析概述
五、词法分析程序的输出形式
例：若分类表为：
第三章 词法分析
试分析输入串：IF a1>0
THEN b1:=c1*d1
ELSE b1:=5
经词法分析后的输出。
2020/7/1
单词--是程序语言的基本语法符号。 如：基本字、标识符、常数、运算符、界符等。 词法分析器中单词的输出形式：
（单词类别、单词内部码值）
2020/7/1
中南大学软件学院 陈志刚
11
第三章 词法分析
3.1 词法分析概述
五、词法分析程序的输出形式
词法分析程序输出的单词符号通常用二元式表示： （单词种别，单词自身的值）
2020/7/1
中南大学软件学院 陈志刚
8
3.1 词法分析概述
第三章 词法分析
四、词法分析程序的实现方式
相对独立方式
当采用递归下降分析等技术实现一趟编译程 序时常采用这种方式。
源程序
Token
词法分析程序
语法分析程序….
get token
2020/7/1
中南大学软件学院 陈志刚
9
3.1 词法分析概述
中南大学软件学院 陈志刚
7
3.1 词法分析概述
第三章 词法分析
四、词法分析程序的实现方式
相对独立方式：把词法分析程序作为语法分析 程序的一个独立子程序。语法分析程序需要新 符号时调用这个子程序。
完全独立方式：词法分析程序作为单独一趟来 实现。词法分析程序读入整个源程序，它的输 出作为语法分析程序的输入。
常常把词法分析程序作为独立的一遍或作 为被语法分析程序所调用的子程序。
1、作为独立的一遍：
语法分析前进行词法分析，把单词符号 串形成中间文件存贮。
2020/7/1
中南大学软件学院 陈志刚
6
3.1 词法分析概述
第三章 词法分析
三、词法分析程序的安排
2、作为被语法分析器词用的子程序：
2020/7/1
2020/7/1
中南大学软件学院 陈志刚
2
3.1 词法分析概述 词法分析程序
第三章 词法分析
词法分析是编译过程中的一个阶段，在语法分 析前进行 ，也可以和语法分析结合在一起作 为一遍。
输入：源程序字符串
输出：等价的属性字序列（内部表示形式）
2020/7/1
中南大学软件学院 陈志刚Βιβλιοθήκη 33.1 词法分析概述
例2：
0
1
U
数字
非数字
3
4
=
5
0
01
+
6
0
V
Z
1
*
7
非*
8
*
9
例3：
,
10
(
11
)
12
2020/7/1
中南大学软件学院 陈志刚
其它
13
17
二、状态转换图的实现
第三章 词法分析
方法：每个结点对应一段程序，前面状态结的程 序调用其后继结点的程序。
例1：
字母
1
0
数字
2
PROCEDURE Proc0; Getchar; case char of ‘A’…‘Z’ : proc1; ‘0’…‘9’: proc2; otherwise error; end of case;
第三章 词法分析
四、词法分析程序的实现方式
完全独立方式
采用词法分析工作完全独立的原因： 简化设计，降低语法分析的复杂性 提高编译效率 增加编译系统的可移植性
属性字序列
源程序
词法分析程序
语法分析程序….
2020/7/1
中南大学软件学院 陈志刚
10
3.1 词法分析概述
第三章 词法分析
五、词法分析程序的输出形式
中南大学软件学院 陈志刚
14
3.1 词法分析概述
五、词法分析程序的输出形式
解：输出的单词串为：
第三章 词法分析
2020/7/1
中南大学软件学院 陈志刚
15
第三章 词法分析
3.2 词法分析程序的设计
一、状态转换图
状态转换图是一张有限方向图。用结点代表状态， 状态之间用箭弧连接，箭弧上的标记（字符）代表 在射出结状态下可能出现的输入字符或字符类。
一个状态转换图只包含有限个状态，有一个初态，
终态用双圈表示。一个状态转换图可识别一定的字
符串。
状态都是非终结符号
例1：
字母或数字
S：开始状态 E：终止状态，用双圈表示 I：标识符状态
S
I
E
字母 数字
2020/7/1
中南大学软件学院 陈志刚
16
一、状态转换图
空白
0
字母
第三章 词法分析
字母或数字
1 非字母或数字 2
2020/7/1
中南大学软件学院 陈志刚
12
第三章 词法分析
3.1 词法分析概述
五、词法分析程序的输出形式
语言的单词符号
单词符号是程序语言的基本语法单位，一般分为下面5种： 关键字（基本字）：（个数确定，可全体编为一类，也 可一字一类) 标识符：（个数不确定，作为一类） 常数：各种类型的常数 。(个数不确定，按类型分类) 运算符：如+、-、*、/、<等。(个数确定，一符一类) 界符：如，、；、（、）、: 等。(个数确定,一符一类)
词法分析程序主要执行以下功能： 读入源程序字符串，识别开具有独立含义的最 小语法单位——单词（符号）； 把单词变换成长度统一的且为定长的属性字；
其他功能： 滤掉空格，跳过注释、换行符 某些预加工处理
2020/7/1
中南大学软件学院 陈志刚
5
3.1 词法分析概述
三、词法分析程序的安排
第三章 词法分析