基于LEX的C语言词法分析器

实验二C-语言的词法分析器（基于Lex）

1. 课程设计目标

自动构造C-语言的的词法分析器，要求能够掌握编译原理的基本理论,，理解编译程序的基本结构，掌握编译各阶段的基本理论和技术，掌握编译程序设计的基本理论和步骤.，增强编写和调试高级语言源程序的能力，掌握词法分析的基本概念和实现方法，熟悉C-语言的各种Token。

。

2. 分析与设计

基于Parser Genarator的词法分析器构造方法

Lex输入文件由3个部分组成：定义集（definition），规则集（rule）和辅助程序集（auxiliary routine）或用户程序集（user routine）。这三个部分由位于新一行第一列的双百分号分开，因此，Lex输入文件的格式如下

{definitions}

%%

{rules}

%%

{auxiliary routines}

而且第一部分用“%{”和“%}”括起来。

第一和第三个部分为C语言的代码和函数定义，第二个部分为一些规则。

定义正则表达式如下

ID = letter letter*

NUM = digit digit*

Letter = a|…|z|A|…|Z

Dig it = 0|…|9

Keyword = else|if|int|return|void|while

Special symbol = +|-|*|/|<|<=|>|>=|==|!=|=|;|，|（|）|[|]|{|}|/*|*/

White space = “ ”

Enter = \n

在lex中的构造

letter [A-Za-z]

digit [0-9]

id ({letter}|[_])({letter}|{digit}|[_])*

error_id ({digit})+({letter})+

num {digit}+

whitespace [ \t]+

enter [\n]+

在Lex中的规则定义构造

定义识别保留字规则"int"|"else"|"return"|"void"|"if"|"while"

{Upper(yytext,yyleng);

printf("%d 行",lineno);

printf("%s reserved word\n",yytext);}//保留字

定义识别数字规则

{num}

{printf("%d 行",lineno);

printf("%s NUM\n",yytext);}//数字

定义识别专用符号规则","|";"|"("|")"|"{"|"}"|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"="|"/*"|"*/" {printf("%d 行",lineno);

printf("%s special symbol\n",yytext);}//特殊符号

定义识别标识符规则

{id}

{printf("%d 行",lineno);

printf("%s ID\n",yytext);}//标识符

定义识别错误的字符串规则

当开头为数字的后面为字母的字符串时，是错误的标识符。

{error_id}

{printf("error:%s\n",yytext);}//以数字开头的字符自动报错

定义忽略空格规则

{whitespace}

{/* skip whitespace */}//忽略空格

定义忽略回车规则

{enter}

{lineno++;}//遇到回车自动加行号忽略

辅助程序集中包括

主函数main （）和辅助函数toupper（）。

3. 程序代码实现

Lex代码

//定义集，包括头文件和变量定义

%{

#include

#include

#include

#include

int lineno=1;//定义行号

%}

//定义正则表达式

letter [A-Za-z] //字母

digit [0-9] //数字

id ({letter}|[_])({letter}|{digit}|[_])* //开头为字母的标识符

error_id ({digit})+({letter})+ //开头为数字的错误标识符

num {digit}+ //数字集合

whitespace [ \t]+ //空格

enter [\n]+ //回车

//定义识别规则

%%

//识别保留字"int"|"else"|"return"|"void"|"if"|"while"

{Upper(yytext,yyleng);

printf("%d 行",lineno); //打印行号

printf("%s reserved word\n",yytext);}//输出保留字

//识别数字

{num}

{printf("%d 行",lineno); //打印行号

printf("%s NUM\n",yytext);}//输出数字

//识别专用符号","|";"|"("|")"|"{"|"}"|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"=="|"!="|"="|"/*"|"*/" {printf("%d 行",lineno); //打印行号

printf("%s special symbol\n",yytext);}//输出特殊符号

//识别标识符

{id}

{printf("%d 行",lineno);//打印行号

printf("%s ID\n",yytext);}//打印标识符

//识别错误的标识符

{error_id}

{ printf("%d 行",lineno);

printf("error: %s\n",yytext);}//以数字开头的字符自动报错

//识别空格

{whitespace}

{/* skip whitespace */}//忽略空格

//识别回车

{enter}

{lineno++;}//遇到回车自动加行号忽略

%%

//转换大小写

Upper(char *s,int l){

int i;

for(i=0;i

s[i]=toupper(s[i]);

}

}//将保留字变为大写

//主函数

main(void)

{

//定义输入文件名变量

char infilename[400];

printf("输入文件名:");

scanf("%s",&infilename);

yyin = fopen(infilename,"r");//读取文件

printf("开始词法分析：\n");

return yylex();

}

4. 测试结果

测试数据选择

测试的文件代码

测试结果分析

5. 总结

学会运用Lex自动构造词法分析器，学会了基于Parser Genarator的词法分析器构造方法。