lex和yacc

2
手动生成的 编译程序(.C) 源程序(.C) 目标程序(.obj)
手动生成编译程序的缺点:工作量太大,维护 : , 困难 如:ANSI C的词法规则有近100条,相应的状态 NFA有600多,DFA有200多
3
利用LEX自动生成编译程序
LEX LEX源程序 源程序 (扩展名 扩展名.l) 扩展名 自动生成的 编译程序 lex.yy.c
19
条件模式
控制某些模式在一定状态下使用的功能,称 为条件模式 例：如希望对输入文件中出现的单词world 做如下处理，如所在行首字母为a，则换为 first，为b换为second，否则原样输出
20
不用条件模式的程序 int flag; %% ^a {flag='a';ECHO;} ^b {flag='b';ECHO;} \n {flag=0;ECHO} world {switch(flag) {case 'a': printf("first");break; case 'b': printf("second");break; default: ECHO;break;}} %%
缺省规则：无模式可匹配时，原样拷贝至 yyout． 最短的lex源程序 %%
17
12.5 动作部分
匹配后不做动作:吃掉此串 %% "hello world" 再如 %% [\t]+ putchar(' ');
18
| 的用法 %% world | water printf("Same action"); 一些重要函数、变量和宏 int yywrap(); yyin;yyout;yytext; REJECT;ECHO
39
12.8 YACC源文件的格式
YACC源文件由三个部分组成 定义部分 %% 规则部分 %% 用户附加C语言代码部分 YACC不象LEX对源文件格式有严格要求，任 何YACC指令均可以非顶行的形式来书写
40
12.8.1 单词和非终结符
YACC中的规则是BNF范式. YACC最欢迎的是左递归文法，这样的分 析器是归约优于移进.YACC栈的长度只有 600左右 YACC内BNF范式中出现的单词分有名单 词(有单独种别码的单词)和无名单词(字符 本身的ASCII码作种别码) 有名单词的种别码在定义部分以 %token的形式给出.例:%token NUM
23
例二：汉字GB码在文本文件中用两个最高 位是1的字节表示，试利用lex设计一程序， 统计一个文本文件中的汉字数。 例三：实验一的词法分析器如何用lex来实 现？
24
%{ "stdio. #include "stdio.h" "stdlib. #include "stdlib.h" int num_num=0,num_id=0; num_num=0,num_id=0 %} +]?[1 ][0 INTEGER [-+]?[1-9][0-9]* [a-zA-Z][a-zA-Z_0 ID [a-zA-Z][a-zA-Z_0-9]* [ \n\t] SPACE
15
12.4 yylex()的匹配原则
最长匹配原则 最前匹配原则 %% world printf("hello world"); water printf("I need water"); [a-z][a-z0-9] printf("Identifier"); %% 设输入子串为worldwar
16
29
上例运行步骤: 在dos提示符下运行 flex b.l,此时可生成 一lexyy~1.c的C程序. 在C集成环境下(Bc3.1 或Tb2.0)按F9编 译此程序,可得可执行文件lexyy~1.exe 运行lexyy~1.exe,可得结果 count=10
30
12.7 YACC 简介
YACC (Yet Another Compiler Compiler) 其它编译器的编译器 YACC源于UNIX计划，1972由Bell实验室的 S.C.Johnson编制完成 Berkeley大学开发了和YACC完全兼容的 BYACC GUN推出了和YACC完全兼容的Bison。 成功范例：GNU C 和 P2C
LEX 和 YACC
LEX (Lexical Anaபைடு நூலகம்yzar)
YACC (Yet Another Compiler Compiler) BISON FLEX(Fast Lexical Analyzer Generator) GNU(Gnu's Not Unix )
1
12.1 LEX简介
单词:字符串集上的一个分类称为单词(Token) 模式:单词的描述称为模式(Lexical Pattern). 例:[0-9][0-9]* 单词的成员称为词形(Lexeme) 例:1236573
4
例:一个LEX源程序(统计文本文件行数和字符数） TEST.L
int num_chars=0,num_lines=0; %% \n {++num_chars;++num_lines;}//一定要 一定要 顶行写 . ++num_chars; %% main() { yylex(); printf("the line is %d,the char is %d",num_lines,num_chars);} int yywrap() {return 1;} 5
31
YACC 工作原理
YACC YACC源程序 源程序 (扩展名 扩展名.y) 扩展名 Y.TAB.H Y.TAB.C (YTAB~1.H ,YTAB~1.C)
32
思考?
现要完成一计算器。计算器的BNF如下 <input>→ ε|<input><line> <line> →'\n' |<exp>'\n' <exp>→NUM | <exp>+<exp> |<exp><exp> |<exp>*<exp> |<exp>/<exp> |<exp>^<exp> |<exp>|(<exp>)
25
％％ {INTEGER} ｛num_num++;ECHO;｝ ｝ {ID} {num_id++;ECHO;} SPACE | . {} %% main() {yylex();printf("num_num=%d,num_i d=%d");} int yywrap() {return 1;}
26
由Ｃ语言代码、模式--动作对组成(顶行书 写) 例： \n { ++num_chars;++num_lines; }
13
12.2.4 用户代码部分
此处代码将被原样拷贝至文件lex.yy.c的尾 部 用户代码部分是可省的
14
12.3 LEX的工作原理
LEX通过扫描源文件(*.l)，将规则部分的正 规式转成DFA。 利用此DFA生成一个名为int yylex()的词法 分析函数,并将之拷贝至lex.yy.c中 lex.yy.c基本是不可读的
例二参考答案
设待分析的文件为zp.txt.要求判断zp.txt中 的汉字数,并打印汉字数.对非汉字不显示 zp.txt内容如下 这是一个abc试验程序 答案def
27
不妨设LEX源程序名为b.l,内容如下 %{ #include <stdio.h> #include <stdlib.h> int count=0; %} %% [\x80-\xff][\x80-\xff] count++;ECHO; .| \n
37
上例中词法分析器zpcal.l如下 %{ #include "zpcalt~1.h" extern YYSTYPE yylval; %} %%
38
[1-9][0-9]* {yylval=atoi(yytext);return NUM;} []| \t {} <<EOF>> return(0); \n | . {return yytext[0];} %% int yywrap() {return 1;}
10
12.2.2 定义部分
由Ｃ代码、模式的宏定义、条件模式的开始 说明等组成 Ｃ代码由顶行的%{和}%或不顶行的文字 定义 宏定义要顶行写
11
例： %{ int num_chars,num_lines; }% DIGIT [0-9] ID [a-z][a-z0-9]*
12
12.2.3 规则部分
例一：编制LEX源程序, 例一：编制LEX源程序,分别统计文本文件 LEX源程序 a.txt中出现的标识符和整数个数 并显示之。 中出现的标识符和整数个数, a.txt中出现的标识符和整数个数,并显示之。 标识符定义为字母开头，后跟若干个字母， 标识符定义为字母开头，后跟若干个字母， 数字或下划线。整数可以带+ 数字或下划线。整数可以带+或-号，也可不 且不以0开头。 带，且不以0开头。非单词和非整数则忽略 不记，将之滤掉不显示。 不记，将之滤掉不显示。
解 释 匹配x 匹配除换行符外的字符 其中之一 x-y之间的字符 除x-y之间的字符 闭包 正闭包 0或1次 2到5次 x或y 行首的x 行尾的x 文件结束标志 \x2a
例 子 a . [abcdefg] [a-g] [^a-g] a* a+ a? a{2,5} a|b ^a a$