词法分析器的设计

学生实验报告册2017 ——2018 学年第1学期

学院：信息与电气工程学院

专业：计算机科学与技术

姓名：李金

学号：195140046

班级：计算机2班

实验一词法分析器的设计

一、实验目的

1、通过设计编制一个调试一个具体的此法分析程序，理解词

法分析在编译程序中的作用。

2、加深对有穷自动机模型的理解。

3、掌握词法分析程序的实现方法和要求。

4、用C语言，对一个简单语言的子集编制一个一遍扫描的

程序，以加深对编译原理的理解，掌握编译程序的实现方

法和技术。

编制一个读单词过程，从输入的源程序中，识别出

各个具有独立意义的单词，即基本保留字、标识符、

常数、运算符、分隔符五大类，并依次输出各个单

词的内部编码及单词符号自身值（遇到错误时课显

示“Error”，然后跳过错误部分继续显示）

一、程序要求

程序输入/输出示例

如源程序为C语言，输入如下一段：

Main()

{

int a,b;

a = 10;

b = a + 20;

}

要求输出如下图

(2,main) (4,=)

(5,() (3,10)

(5,)) (5,;)

(5,{) (2,b)

(1,int) (4,=)

(2,a) (2,a)

(5,,) (4,+)

(2,b) (3,20)

(5,;) (5,;)

(2,a) (5,})

要求：

1、识别保留字：if,int,for,while,do,return,break,continue; 单

词识别码为1；

2、其他的都识别为标识符；单词识别码为2；

3、常数为无符号整数；单词识别码为3；

4、运算符包括：+,-,*,/,=,<,<=,!=；单词识别码为4；

5、分隔符包括：，、；、{、}、（、）；单词识别码为5；

二、实验步骤

1、定义部分：定义常亮、变量、数据结构。

2、初始化：从文件源程序全部输入到字符缓冲区中。

3、取单词前后去掉多余空格和回车空行。

4、取单词：读出单词的每一个字符，组成单词，分析类型。

（1）识别标识符（包括保留字）

关键字作为特殊标识符处理，把他们预先安排在

一张表格中（保留字表），当扫描程序识别标识符

时，查找关键字，否则一般标识符，

识别保留字：if,int,for,while,do,return,break,continue;

单词识别码为1；其他的都识别为标识符；单词识

别码为2。

(2)识别常数：

注意：常数的有效范围，如果产生溢出则设置syn

的值，与主函数的代码呼应。常数为无符号整数；

单词识别码为3。

(3)识别运算符

区分运算符<和<=,>和>=,+和++，--和--。

运算符包括：+，-，*，/，=，<,=,<=,!=;单词识别码

为4；

(4)识别分隔符

分隔符包括：，、；、{、}（、）单词识别码为5；

5、流程图

三、程序代码

#include

#include

char program[80],token[8];

char ch;

int syn,p,m,n,row;

long int sum;

char *key[8]={"if","int","for","while","do","return","break","continue"};

void scaner()

{

for(n=0;n<8;n++)

token[n]=NULL;

m=0;

ch=program[p++];

while((ch==' ')||(ch=='\n'))

ch=program[p++];

if(((ch<='z')&&(ch>='a'))||((ch<='Z')&&(ch>='A')))

{

//标识符判断

while(((ch<='z')&&(ch>='a'))||((ch<='Z')&&(ch>='A'))||((ch>='0')&&(ch<='9')))

{

token[m++]=ch;

ch=program[p++];

}

p--;

syn=2;

for(n=0;n<8;n++)

if(strcmp(token,key[n])==0)

{

syn=1;

break;

}

}

else if((ch>='0')&&(ch<='9'))

{

//无符号常数的判断

sum = 0;

while((ch>='0')&&(ch<='9'))

{

sum=sum*10+ch-'0';

ch=program[p++];

}

p--;

syn=3;

}

else

{

switch(ch)

{

case '<':

token[m++]=ch;

ch=program[p++];

if(ch=='=')

{

syn=4;

token[m++]=ch;

}

else

{

syn=4;

p--;

}

break;

case '>':

token[m++]=ch;

ch=program[p++];

if(ch=='=')

{

syn=4;

token[m++]=ch;

}

else

{

syn=4;

p--;

}

break;

case '+':

token[m++]=ch;

ch=program[p++];

if(ch=='+')

{

syn=4;

token[m++]=ch;

}

else

{

syn=4;

p--;

}

break;

case '-':

token[m++]=ch;

ch=program[p++];

if(ch=='-')

{

syn=4;

token[m++]=ch;

}

else

{

syn=4;

p--;

}

break;

case '!':

ch=program[p++];

if(ch=='=')

{

syn=4;

token[m++]=ch;

}

else

{

syn=4;

p--;

}

break;

case '=':

token[m++]=ch;

ch=program[p++];

if(ch=='=')

{

syn=4;

token[m++]=ch;

}

else

{

syn=4;

p--;

}

break;

case '*':

case '/':

syn=4;

token[m++]=ch;

case '(':

case ')':

case '{':

case '}':

case ';':

case ':':

case ',':

syn=5;

token[m++]=ch;

break;

case '#':

syn=-2;

token[m++]=ch;

break;

default:

syn=-1;

break;

}

}

token[m++]='\0';

}

main()

{

p=0;

row=1;

printf("\n please input string:\n");

do

{

ch=getchar();

program[p++]=ch;

}

while(ch!='#');

p=0;

do

{

scaner();

switch(syn)

{

case 3:printf("\n(%d,%d)",syn,sum);break;

case -1:printf("\nFOUND ERROR IN ROW %d",row);

return 0;

break;

case -2:row=row++;break;

default:printf("\n(%d,%s)",syn,token);break;

}

}

while(syn!=0);

//getch();

return 0;

}

四、运行结果