词法分析的实验报告

《词法分析》

实验报告

目录

目录 0

1 实验目的 (1)

2 实验内容 (1)

2、1 TINY计算机语言描述 (1)

2、2 实验要求 (1)

3 此法分析器的程序实现 (2)

3、1 状态转换图 (2)

3、2 程序源码 (3)

3、3 实验运行效果截图 (8)

4 实验体会 (8)

1实验目的

1、学会针对DFA转换图实现相应的高级语言源程序。

2、深刻领会状态转换图的含义,逐步理解有限自动机。

3、掌握手工生成词法分析器的方法,了解词法分析器的内部工作原理。

2实验内容

2.1TINY计算机语言描述

TINY计算机语言的编译程序的词法分析部分实现。

从左到右扫描每行该语言源程序的符号,拼成单词,换成统一的内部表示(token)送给语法分析程序。

为了简化程序的编写,有具体的要求如下:

1、数仅仅就是整数。

2、空白符仅仅就是空格、回车符、制表符。

3、代码就是自由格式。

4、注释应放在花括号之内,并且不允许嵌套

ＴＩＮＹ语言的单词

2.2实验要求

要求实现编译器的以下功能

1、按规则拼单词,并转换成二元式形式

2、删除注释行

3、删除空白符(空格、回车符、制表符)

4、列表打印源程序,按照源程序的行打印,在每行的前面加上行号,并且打印出每行包含的记号的二元形式

5、发现并定位错误

词法分析进行具体的要求

1、记号的二元式形式中种类采用枚举方法定义;其中保留字与特殊字符就是每个都一个种类,标示符自己就是一类,数字就是一类;单词的属性就就是表示的字符串值。

2、词法分析的具体功能实现就是一个函数GetToken(),每次调用都对剩余的字符串分析得到一个单词或记号识别其种类,收集该记号的符号串属性,当识别一个单词完毕,采用返回值的形式返回符号的种类,同时采用程序变量的形式提供当前识别出记号的属性值。这样配合语法分析程序的分析需要的记号及其属性,生成一个语法树。

3、标示符与保留字的词法构成相同,为了更好的实现,把语言的保留字建立一个表格存储,这样可以把保留字的识别放在标示符之后,用识别出的标示符对比该表格,如果存在该表格中则就是保留字,否则就是一般标示符。

3此法分析器的程序实现

3.1状态转换图

图1 TINY语言的确定有限自动机(DFA)

3.2程序源码

#include

using namespace std;

#include

#include

#include

class CA

{

public:

void getToken(); //识别标识符

void preDo(char ); //预处理源程序

void display(); //打印出

CA()

{

m=n=0;

}

private:

long count2;

char ID[10][10]; //符号表

int m; //设m为符号表中已有的标识符的个数

char Cons[10][10]; //常数表

int n; //设n为常数表中已有的常数的个数

char buffer1[99999];

bool isDigit(char);//检查就是否为数字

bool isLetter(char);//检查就是否为字符

int InsertID(char *strToken);//添加符号

int InsertConst(char *strToken);//添加符号

int Search(char a[][10],const char *,int ); //二分查找

};

//enum variety{标识符,数字,关键字1,关键字2,关键字3,关键字4,关键字5,关键字6,关键字7,关键字8,特殊符号1,

// 特殊符号2,特殊符号3,特殊符号4,特殊符号5,特殊符号6,特殊符号7,特殊符号8,特殊符号9,特殊符号10};

//关键字bi编码1 2 3 4 5 6 7 8

char K[18][10]={"else","end","if","read","repeat","then","until","write",

"%","*","+","-","/",":",";","<","=",">"};

bool CA::isDigit(char c)

{

if(c<='9'&&c>='0') return true;

else return false;

}

bool CA::isLetter(char c)

{

if(c>='a'&&c<='z'||c>='A'&&c<='Z') return true;

else return false;

}

int CA::Search(char a[18][10],const char *b,int n)

{

int left=0;int right=n-1;int mid=0;

while(left<=right)

{

mid=(left+right)/2;

if(strcmp(a[mid],b)==0) return mid;

else if(strcmp(a[mid],b)<0) left=mid+1;

else right=mid-1;

}

return -1;

}

int CA::InsertID(char *strToken)

{

int i=0;

while (i

if (!strcmp(ID[i], strToken))

return i;

i++;

}

strcpy(ID[i],strToken);

m++;

return i;

}

int CA::InsertConst(char *strToken)

{

int i=0;

while (i

{

if (!strcmp(Cons[i], strToken))

return i;

i++;

}

strcpy(Cons[i],strToken);

n++;

return i;

}