编译原理实验2词法分析器

编译原理实验2 词法分析器

一、实验目的

1. 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。

2. 掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

3. 编制一个读单词的程序，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符和分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示）

二、词法分析的基础知识

1. 词法分析器的功能和输出格式

词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。在本实验中，采用的是一类符号一种别码的方式。

标识符的BNF表示：

<标识符>-> <字母><字母数字串>

<字母数字串>-><字母><字母数字串>|<数字><字母数字串>|ε

无符号整数的BNF表示：

<无符号整数>-> <数字><数字串>

<数字串>-> <数字><数字串> |ε

运算符的BNF表示：

<加法运算符>-> +

<减法运算符>-> -

<大于关系运算符>-> >

<大于等于关系运算符>-> >=

2. 超前搜索

词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a > i”，当前字符为“>”，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？

显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符“+”，这时可知应将“>”解释为大于运算符。但此时，超前读了一个字符“i”，所以要回退一个字符，词法分析器才能正常运行。在分析标识符，无符号整数等时也有类似情况。

三、程序要求

1. 程序输入示例：

如源程序为C语言，输入如下一段：

main()

{

int a, b;

a = 10;

b = a+20;

}

2. 程序输出示例：

（2，“main”）

（5，“（”）

（5，“）”）

（5，“{”）

（1，“int”）

（2，“a”）

（5，“,”）

（2，“b”）

（5，“;”）

（2，“a”）

（4，“=”）

（3，“10”）

（5，“;”）

（2，“b”）

（4，“=”）

（2，“a”）

（4，“+”）

（3，“20”）

（5，“;”）

（5，“}“）

3. 具体要求如下：

（1）识别保留字：if、int、for、while、do、return、break、continue等。

（2）运算符包括：+、-、*、/、=、>、<、>=、<=、!=

（3）分隔符包括：,、;、{、}、(、)

（4）常数为无符号整形数；

（5）其它的都识别为标识符；

4. 程序思路：

（1）定义部分：定义常量、变量、数据结构。

（2）初始化：从文件将源程序全部输入到字符缓冲区中。

（3）取单词前：去掉多余空白。

（4）取单词：读出单词的每一个字符，组成单词，分析类型，其中，关键是如何判断取单词结束，取到的单词是什么类型的单词。

（5）显示结果。

四、实验结果

#include <>

#include ""

#include <>

#define N 100 //定义要分析的标识符或常数的最大个数

#define M 20 //标识符的长度

char *sourceFile="D:\\"; // 定义进行词法分析的源文件

char *key[8]={"if","else","for","while","do","return","break","continue"};

// 关键字

char *border[6]={",",";","{","}","(",")"}; // 界符定义

char *arithmetic[4]={"+","-","*","/"}; // 算术运算符定义

char *relation[6]={"<","<=","=",">",">=","<>"}; // 关系运算符定义

char *consts[N]; // 常数定义

char *label[N]; // 标识符

int constnum=0,labelnum=0; // constnum-常数个数;labelnum-标识符个数

// 判断一个字符是不是字母

int Isletter(char ch)

{

if(ch>='a' && ch<='z'||ch>='A' && ch<='Z')

return 1;

return 0;

}

// 判断一个字符是不是数字

int IsDigit(char ch)

{

if(ch>='0' && ch<='9')

return 1;

return 0;

}

// 判断单词符号类型

int search(char searchchar[],int wordtype)

{

int i=0;

switch (wordtype)

{

case 1:

for (i=0;i<=7;i++)

{

if(strcmp(key[i],searchchar)==0) // 返回具体的关键字return(i+1);

}

case 2:

{

for (i=0;i<=5;i++)

if(strcmp(border[i],searchchar)==0) // 返回具体的界符

return(i+1);

return(0);

}

case 3:

{

for(i=0;i<=3;i++)

if(strcmp(arithmetic[i],searchchar)==0) // 返回具体的算术运算符