词法分析器(含完整源码)

词法分析实验报告

一、实验目的与要求：

1、了解字符串编码组成的词的内涵,感觉一下字符串编码的方法和解读

2、了解和掌握自动机理论和正规式理论在词法分析程序和控制理论中的应用

二、实验内容：

构造一个自己设计的小语言的词法分析器：

1、这个小语言能说明一些简单的变量

识别诸如begin，end，if，while等保留字；识别非保留字的一般标识符（有下划线、字符、数字，且第一个字符不能是数字）。识别数字序列（整数和小数）；识别:=，<=，>=之类的特殊符号以及；，（，）等界符。

2、相关过程（函数）：

Scanner()词法扫描程序，提取标识符并填入display表中

3、这个小语言有顺序结构的语句

4、这个小语言能表达分支结构的语句

5、这个小语言能够输出结果

总之这个小语言词法分析器能提供以上所说明到的语法描述的功能……

三、实验步骤：

1、测试评价

（1）、测试1：能说明一些简单的变量，如关键字、一般标识符、界符等；

（2）、测试2：能输出结果：单词符号(内码形式)、各种信息表(如符号表、常量表等)；（3）、测试程序：

var x,y,z;

begin

x:=2;

y:=3;

if (x+5>=y*y) then

begin

z:=y*y-x;

z:=z+x*x;

end

else

z:=x+y;

prn z;

end.

（4）、结果：

①、从键盘读入；

部分结果如下：

（类型：该标识符所属的类型，如关键字，变量等；下标：该标识符所对应表（如变量标识符表，常量标识符表等）中其相应的位置，下同）

②、从文件读入，输出到文件；

部分结果如下：

其他测试及结果如下：

③、出错处理；

注：若有错误，则只指出错误，不输出各个表；

（5）、评价：

这个小语言程序基本上能完成词法分析阶段的工作，识别诸如begin，if等保留字；识别非保留字的一般标识符（有下划线、字符、数字，且第一个字符不能是数字）。识别数字序列（整数和小数）；识别:=，<=，>=之类的特殊符号以及；，（，）等界符。在扫描源程序串的同时，能进行一些简单的处理，如删除空格、tab、换行等无效字符，也进行了一些基本的错误处理，如变量长度的判别等。

遇到的问题：（a）、判别标识符超过规定长度（20）时，未输出处理结果；（b）、整数长度过长输出结果仍为整数类型3；（c）、对于小数如﹒045，被解释为界符和整数；（d）、对以数字开头的一般标识符的处理，如100nuts被解释为整数类型和标识符，未给出错误提示。

如上测试，出现前两个问题时已报错并输出所在行，而后两个问题待解决。

2、对小语言的词法规则（正规式）画出一个确定的有限自动机（见附录2、3）

四、实验的源代码：（见附录1）

五、实验中发现的问题和遇到的困难及解决方法：

由于以前未曾接触过编译原理，在该实验的设计中，的确遇到一定的困难。主要是display表结构的设计，由于语法分析和语义分析还未学习，无法站在全局的角度统筹兼顾，在表结构设计时，不知该往表结构体中添加哪些内容，可以为后续的工作做铺垫，这是刚开始就遇到的最大的困难，也是最难的。

经过分析，我们在现有局限性的基础上，设计出一种折中的表结构，即在表结构中只添加标识符在其相应表中的对应下表，标记符类型码等关键的几处，这样既能唯一确定一标识符，达到该实验的要求，同时又为表保留了很好的扩充性，以达到后续实验的要求。表结构设计好后，其余的工作就是提取字符串和写入display表，在提取单字符还是双字符组成的运算符时有些麻烦，不过利用数据结构的相关知识也是容易做到。

六、总结：

词法分析是构造编译器的起始阶段，也是相应比较简单的一个环节。词法分析的主要任务是：根据构造的状态转换图，从左到右逐个字符地対源程序进行扫描，识别开源程序中具有独立含义的最小语法单位——符号或单词，如变量标识符，关键字，常量，运算符，界符等。

然后将提取出的标识符以内码的形式表示，即用int类型的数字来表示其类型和在display表中的位置，而无须保留原来标识符本身的字符串，这不仅节省了内存空间，也有利于下一阶段的分析工作。

当然，在扫描源程序串的同时，进行一些简单的处理，如删除空格、tab、换行等无效字符，也进行了一些基本的错误处理，如变量长度的判别，有些不合词法规则的标识符判别等。总之，严格说来，词法分析程序只进行和词法分析相关的工作。

七、实验感想：

通过此次实验，让我了解到如何设计、编制并调试词法分析程序，加深对词法分析原理的理解；熟悉了构造词法分析程序的手工方式的相关原理，使用某种高级语言（例如C++语言）直接编写此法分析程序。另外，也让我重新熟悉了C++语言的相关内容，加深了对C++语言的用途的理解。

附录1（代码）

#include

#include

#include

#include <>

#include <>

#include

using namespace std;

#define Max 655 , '[' , ']' , ':' , '{' , '}' , '"'}; ymbol,str);

table[TableNum].type = 1; ine = nLine;

table[TableNum].Index = i;

TableNum ++;

break;

}

if(i >= MaxKeyWord) ndex = WordNum;

strcpy(Word[WordNum++],str);

table[TableNum].type = 2; ymbol,str);

table[TableNum].line = nLine;

TableNum ++;

}

}

}

/**********************************常数***********************/

ype = 3; ype = 4; ndex = DigNum;

strcpy(Digit[DigNum ++],str);

strcpy(table[TableNum].symbol,str);

table[TableNum].line = nLine;

TableNum ++;

}

/*******************************运算符************************************/

else

{

int errorFlag; ype = 6;

strcpy(table[TableNum].symbol,str);

table[TableNum].line = nLine;

table[TableNum].Index = i;

TableNum ++;

chIndex = chIndex + 2;

break;

}

if(i >= MaxOptBNum)

{

for( int k = 0;k < MaxOptANum; k++)

if(OptA[k] == ch[chIndex])

{

errorFlag = 0;

table[TableNum].type = 5;

table[TableNum].symbol[0] = ch[chIndex];

table[TableNum].symbol[1] = 0;

table[TableNum].line = nLine;

table[TableNum].Index = k;

TableNum ++;

chIndex ++;

break;

}

/*************************界符*****************************************/ for(int j = 0;j < MaxEndNum;j ++)

if(End[j] ==ch[chIndex])

{

errorFlag = 1;

table[TableNum].line = nLine;

table[TableNum].symbol[0] = ch[chIndex];

table[TableNum].symbol[1] = 0;

table[TableNum].Index = j;

table[TableNum].type = 7;

TableNum ++;

chIndex ++;

}

/********************其他无法识别字符*************************************/ if(errorFlag != 0 && errorFlag != 1) ype = 8;

strcpy(table[TableNum].symbol,str);

table[TableNum].line = nLine;

table[TableNum].Index = -2;

TableNum ++;

}

}

}

}

}

void Trans(double x,int p) n";

exit(1);

}

cout<<"Enter the output file name:\n";

cin>>out_file_name;

(out_file_name);

("变量表.txt");

("常量表.txt");

if()) n";

exit(1);

}

if()) n";

exit(1);

}

if()) n";

exit(1);

}

(ch,Max,'#');

Scanner(ch, strlen(ch),table,nLine); ype<< " , "<< "0x" << hex << table[i].Index<< ")" <

{

long num1;

num1 = atoi(table[i].symbol);

outCon<< "(0x" <

}

if(table[i].type == 4)

{

double num2;

num2 = atof(table[i].symbol);

outCon<< "(0x" <

}

}

outVar <<"类型"<<" "<< "变量名称" <

for( i = 0; i < WordNum;i ++)ype<< " , "<< "0x" << hex << table[i].Index<< ")" <

cout << "\n常量表：\n" << "下标" << " " << "常量值" << endl;

for(i = 0;i < TableNum;i++) ype == 3)

{

long num1;

num1 = atoi(table[i].symbol);

cout<< "(0x" <

num1 << ")" <

if(table[i].type == 4) {

char *num2; float num,num3;

num = atof(table[i].symbol);

num2 = gcvt(16,strlen(table[i].symbol),table[i].symbol); num3 = num - floor(num);

cout << "(0x" << hex << table[i].Index << " , " << num2; Trans(num3,5) ; cout << ")" <

cout <<"\n 变量表：\n 类型"<<" "<< "变量名称" <

< =、>

非= 且 非>

0 1 2 3 4 5 6 7 8

9 10小数点小数点

>

=

非= +、—、*、/、=、# : =

（、）、，、；、—、[、]、：、{、}、‘’

非‘ ’、{、}

11

12

13

141516

18

17