词法分析

正规式和正规集的递归定义： 1) ε 和 Φ 都是 ∑ 上的正规式，它们所表示的正规集 分别为 {ε} 和 Φ； 2) 任何 a∈∑, a 是 ∑ 上的一个正规式，它所表示的 正规集为 {a}； 3) 假定 e1 和 e2 都是 ∑ 上的正规式，它们所表示的 正规集分别记为 L(e1)和 L(e2)，则： e1|e2、e1e2 和(e1)* 也都是正规式，它们所表示 的正规集分别为 L(e1)∪L(e2)（或）、L(e1)L(e2) （连接积）和(L(e1))*（闭包），优先级为闭包、连 接积、或。 仅由有限次使用上述三步骤而得到的表达式才是∑上的正 规式。仅由这些正规式所表示的字集才是∑上的正规集。 12
14
正规式的等价
若两个正规式所表示的正规集相同，则认为二者等价。 两个等价的正规式 R1 和 R2 记为 R1=R2。 【例如】 (a|b)* = (a*|b*)* b(ab)* = (ba)* b
15
正规式的性质：
令 A、B和C均为正规式，有下列关系成立： A|B = B|A A|(B|C)=(A|B)|C 交换律 结合律
20
【例 】将描述标识符的正规式R=l(l|d)*转 换成相应的正规文法
令 S 是文法开始符号，根据规则(2)变换为 Sl(l|d)* 根据规则(3)变换为 SlA A(l|d)* 根据规则(4)变换为 SlA A(l|d)A A->ε B(l|d)B B->ε 进一步变换为 SlA AlA|dA|ε
词法分析器所输出的单词符号常常表示成如下的二元式： （单词种别，单词符号的属性值） 1. 单词种别（它是语法分析需要的信息） 通常用整数编码。 一个语言的单词符号如何分种，分成几种，怎样编码， 是一个技术性的问题。它主要取决于处理上的方便。 标识符一般统归为一种。 常数则按类型分种。 关键字可将其全体视为一种，也可以一字一种。采用 一字一种的分法实际处理起来较为方便。运算符可采 用一符一种的分法，但也可以把具有一定共性的运算 符视为一种。 至于界符一般用一符一种的分法。
23
方法2：
(1)将正规文法中的每个非终结符表示成关于它的正规 式方程，获得一个联立方程组。 (2)依照求解规则：
A(BC)=(AB)C
A(B|C)=AB|AC (A|B) C = AC|BC εA = Aε= A (A*)
*
结合律
分配律
＝ A*
16
*****正规式的扩展*****《略》
1) 一个或多个重复 假若有一个正规式 r，r的一个或多个重复，写作 r+ 2) 任意字符 为字母表中的任意字符进行匹配需要一个通常状况， 无需特别运算，它只要求字母表中的每个字符都列在 一个解中。“.”表示任意字符匹配的典型元字符。 【例如】：.*b.* 3) 字符范围 用方括号和一个连字符表示字符的范围。 【例如】：[0-9]，[a-z]，[a-zA-Z] 这种表示法还可以用作表示单个的解。 【例如】:a|b|c 可写成[abc]
增强编译程序的可移植性。
同一个语言的不同实现中，或多或少地会涉及与设备有关的特征， 另外语言的字符集的特殊性的处理，可置于词法分析程序中解决 例如，一些专用符号，如 PASCAL中的“ ” 表示等。
10
§4.2 单词的描述工具
1、正规－－描述单词的语法 左线性文法为 <标识符>l | <标识符>l | <标识符>d 右线性文法为 <标识符>l | l<字母数字> <字母数字>l | d | l<字母数字> | d<字母数字> 其中 l 代表 a~z 中任一英文字母 其中 d 代表 0~9 中任一数字
1
§4.1 词法分析程序的设计
词法分析器的功能是输入源程序，输出单词符号。
4.1.1 词法分析程序与语法分析程序的接口方式
把词法分析器安排为独立的一遍，让它把整个源程序 翻译成一连串的单词符号（二元式）存放于文件中， 待语法分析程序进入工作时再对从文件输入的这些单 词符号进行分析。 把词法分析器安排为一个子程序，每当语法分析器需 要一个单词符号时就调用这个子程序。每一次调用， 词法分析器就从输入串中识别出一个单词符号。
(10,‘b’) (17,)
右括号 )
标识符 b 赋值号 =
(11,‘100’的二进制)
(26,)
常数 100
分号 ;
8
【例】考虑下述 C++ 代码段： while ( i >= j ) i--;
另一种 表示
假定基本字、运算符和界符都是一符一种，标识符自身 的值是符号表的入口地址，常数是二进制值。
在编译过程的分析工作中，为什么将其划分为词法分析与语法分 析两个阶段？ 这个问题可以从三个方面考虑： 使整个编译程序的结构更简单、清晰和条理化。
源程序结构上的差别，例如，源程序中的空白、解释、书写格式等。
编译程序的效率会改进。
扫描字符将单词符号分离花费时间太长； 采用专门的读字符和分离单词的技术可大大加快编译速度。 单词的结构可用有效的方法和工具进行描述和识别，进而可建立词法分析 程序的自动构造工具。
经词法分析器处理后，它将被转换为如下的单词符号序 列： ( ( ( ( ( ( ( ( ( while ( id >= id ) id -； ,- ) ,- ) ,指向i的符号表表项的指针 ) ,- ) ,指向j的符号表表项的指针 ) ,- ) ,指向i的符号表表项的指针 ) ,- ) ,- )
9
4.1.3 将词法分析工作分离的考虑
2、正规式－－描述单词符号
两种方式各自的特点： 【例】定义标识符的正规式 正规式定义简洁清晰， 字母(字母 | 数字)* 正规文法易于识别
或 l ( l | d )*
11
对于字母表∑，我们感兴趣的是它的一些特殊子集，即所谓正规集。 我们将使用正规式这个概念来表示正规集。 设字母表为∑，辅助字母表∑’＝{Φ, ε,|,.,*,(,)}
2
通常，把词法分析程序设计为语法分析程序的子程序。 每当语法分析程序需要一个单词符号时，就向词法分析 程序发出“取下一个单词符号”的调用命令。
词法分析程序就从输入字符串中，识别出一个具有独立 意义的单词符号，并传送给语法程序。 词 法 分 析 器
单词符号
字符串表示的 源程序
字符
取下一个 单词符号
语 法 分 析 器
7
【例】试给出程序段 if (a>1) b = 100;输出 的单词符号串。
假定基本字、运算符和界符都是一符一种，标识符自身 的值是字符串，常数是二进制值。
(2,) (29,) (10,‘a’) (23,) (11,‘1’的二进制) 基本字 if 左括号 ( 标识符 a 大于号 > 常数 1
(30，)
3
4.1.2 词法分析程序的输出
词法分析程序是以字符串形式的源程序作为输入，以单 词符号或单词符号表示的源程序作为输出。 单词符号是一个程序语言的基本语法符号。 称作 token(记号) 具有独立意义的最小语法单位。
将字符组合成记号与在一个英语句子中将字母构成单词 并确定单词的含义很相像，此时的任务很像拼写。
第四章 词法分析
人们理解一篇文章（或一个程序）起码是在 单词的级别上来思考的。同样，编译程序也是在 单词的级别上来分析和翻译源程序的。 词法分析的任务是：从左至右逐个字符地对 源程序进行扫描，产生一个个的单词符号，把作 为字符串的源程序改造成为单词符号串的中间程 序。因此，词法分析是编译的基础。 执行词法分析的程序称为词法分析器。 本章内容：词法分析程序的设计原则，单词的描 述技术及识别机制，词法分析程序的自动构造原 理。
2) 标识符：用来表示各种名字，如变量名、常量名、数 组名、函数名、子程序名等。
3) 常数：程序中出现的各种类型的常量。常量的类型一 般有整型、实型、布尔型、字符型等。如 125、 0.718、TRUE、“Hello” 等。 4) 运算符：表达式中连接运算对象的符号。如+、-、*、 /、< 等。 5) 界符：程序中的定界符。如逗号、分号、括号、/*、 5 */ 等。
18
4.2.3 正规文法与正规式
正规文法与正规式都是描述正规集的工具。 对任意一个正规文法，存在定义同一语言的正规式； 反之，对每个正规式存在一个生成同一语言的正规文法。
19
1、正规式到正规文法的转换
字母表∑上的正规式到正规文法 G＝(VN,VT,P,S)的 转换方法如下： (1)令 VT = ∑ (2)对任意正规式 R 选择一个非终结符 Z 生成规则 ZR，并令 S＝Z； (3)若 a 和 b 都是正规式，对形如 Aab的规则转 换成 AaB 和 Bb两规则，其中 B 是新增的非 终结符； (4)在已转换的文法中，将形如 Aa*b 的规则进一 步转换成 A aB | b， B aB | b; (5) 将形如A->a|b的产生式，重写为A->a,A->b; (6)不断利用上述规则进行转换，直到每条规则最多含 有一个终结符为止。
【例3.1】 令∑={a,b}，下面给出∑上的 正规式和相应的正规集：
a a|b ab L(a)={a} L(a|b) = L(a)∪L(b)={a,b} L(ab) = L(a)L(b)={ab}
(a|b)*
L((a|b)*) = (L(a|b))*={a,b}* ={ε,a,b,ab,ba,…} ba* L(ba*) = L(b)L(a*)={b,ba,baa,baaa,…} ∑上所有以b为首后跟任意多个a的字。 a(a|b)* ∑上所有以 a 为首的字。 (a|b)*(aa|b ∑上所有含有两个相继的 a 或两个相 继的 b 的字。 b)(a|b)* 13
17
*****正规式的扩展*****
4) 不在给定集合中的任意字符 用“非”运算或解集合的互补运算。用波浪符“~”。 【例如】正规式 ~a 表示字母表中非 a 字符 5) 可选的子表达式 r？表示由 r 匹配的串是可选的（0个或1个）。 例如： natural = [0-9]+ nsignedNatural = (+|-)? Natural