词法分析器实验报告

词法分析器实验报告

词法分析器设计

一、实验目的：

对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状

态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程

序字符串的词法分析。输出形式是源程序的单词符号二元式的代码，

并保存到文件中。

二、实验内容：

1. 设计原理

词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。

理论基础：有限自动机、正规文法、正规式

词法分析器(Lexical Analyzer) 又称扫描器(Scanner)：执行词法分析的程序

2. 词法分析器的功能和输出形式

功能:输入源程序、输出单词符号

程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符,界符

3. 输出的单词符号的表示形式:

单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。

4. 词法分析器的结构

单词符号

5. 状态转换图实现

三、程序设计

1．总体模块设计

/*用来存储目标文件名*/

string file_name;

/*提取文本文件中的信息。*/

string GetText();

/*获得一个单词符号,从位置i开始查找。并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/

string GetWord(string str,int i,int& j);

/*这个函数用来除去字符串中连续的空格和换行

int DeleteNull(string str,int i);

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i);

/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i);

/*此函数将一个pair数组输出到一个文件中*/

void OutFile(vector > v);

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/

vector > analyst(vector vec);

/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/ bool IsKey(string str);

2．各模块设计

（1）.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；

（2）.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：

char KEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；

用以存放单词符号二元式的数据结构可如下定义：

class Word_Analyzer

{

public:

char Content[MAXLENGTH] ;

int val ;

void print();

} ;

（3）.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；

（4）.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。

四、程序代码

#include

#include

#include

#include

using namespace std;

/*用来存储目标文件名*/

string file_name;

/*提取文本文件中的信息。*/

string GetText();

/*获得一个单词符号,从位置i开始查找。

//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/

string GetWord(string str,int i,int& j);

/*这个函数用来除去字符串中连续的空格和换行

//第一个参数为目标字符串，第二个参数为开始位置

//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/ int DeleteNull(string str,int i);

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i);

/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i);

/*此函数将一个pair数组输出到一个文件中*/

void OutFile(vector > v);

/*次函数将参数str,digit添加到temp中*/

void add(string str,int digit,vector > temp);

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组

*/

vector > analyst(vector vec);