词法分析器(含完整源码)

}//error
void Scanner(char ch[],int chLen,Table table[Max],int nLine) {
int chIndex = 0;
while(chIndex < chLen) //对输入的字符扫描 { /**************************处理空格和 tab ************************/
六、总结：
词法分析是构造编译器的起始阶段，也是相应比较简单的一个环节。词法分析的主要任 务是：根据构造的状态转换图，从左到右逐个字符地対源程序进行扫描，识别开源程序中具 有独立含义的最小语法单位——符号或单词，如变量标识符，关键字，常量，运算符，界符 等。
然后将提取出的标识符以内码的形式表示，即用 int 类型的数字来表示其类型和在 display 表中的位置，而无须保留原来标识符本身的字符串，这不仅节省了内存空间，也有 利于下一阶段的分析工作。
typedef struct DisplayTable {
int Index; //标识符所在表的下标 int type; //标识符的类型 int line; //标识符所在表的行数 char symbol[20]; //标识符所在表的名称 }Table;
int TableNum = 0; //display 表的下标 char Word[WordMaxNum][20]; //标识符表 char Digit[WordMaxNum][20]; //数字表 int WordNum = 0; //变量表的下标 int DigNum = 0; //常量表的下标 bool errorFlag = 0; //错误标志
当然，在扫描源程序串的同时，进行一些简单的处理，如删除空格、tab、换行等无效 字符，也进行了一些基本的错误处理，如变量长度的判别，有些不合词法规则的标识符判别 等。总之，严格说来，词法分析程序只进行和词法分析相关的工作。
七、实验感想：
通过此次实验，让我了解到如何设计、编制并调试词法分析程序，加深对词法分析原理 的理解；熟悉了构造词法分析程序的手工方式的相关原理，使用某种高级语言（例如 C++语 言）直接编写此法分析程序。另外，也让我重新熟悉了 C++语言的相关内容，加深了对 C++ 语言的用途的理解。
部分结果如下：
其他测试及结果如下：
③、出错处理； 注：若有错误，则只指出错误，不输出各个表；
（5）、评价： 这个小语言程序基本上能完成词法分析阶段的工作，识别诸如 begin，if 等保留字；识
别非保留字的一般标识符（有下划线、字符、数字，且第一个字符不能是数字）。识别数字 序列（整数和小数）；识别:=，<=，>=之类的特殊符号以及；，（，）等界符。在扫描源程序 串的同时，能进行一些简单的处理，如删除空格、tab、换行等无效字符，也进行了一些基 本的错误处理，如变量长度的判别等。
附录 1（代码）
#include <iostream>
#include <fstream> #include <string> #include <math.h> #include <ctype.h> #include <cstdlib>
using namespace std;
#define Max 655 //最大代码长度 #define WordMaxNum 256 //变量最大个数 #define DigitNum 256 //常量最大个数 #define MaxKeyWord 32 //关键字数量 #define MaxOptANum 8 //运算符最大个数 #define MaxOptBNum 4 //运算符最大个数 #define MaxEndNum 11 //界符最大个数
经过分析，我们在现有局限性的基础上，设计出一种折中的表结构，即在表结构中只添 加标识符在其相应表中的对应下表，标记符类型码等关键的几处，这样既能 唯一确定一标 识符，达到该实验的要求，同时又为表保留了很好的扩充性，以达到后续实验的要求。表结 构设计好后，其余的工作就是提取字符串和写入 display 表，在提取单字符还是双字符组成 的运算符时有些麻烦，不过利用数据结构的相关知识也是容易做到。
// 界符
void error(char str[20],int nLine, int errorType) {
cout <<" \nError : ";
switch(errorType) { case 1:
cout << "第" << nLine-1 <<"行" << str << " 变量的长度超过限制！\n"; errorFlag = 1; break; case 2: cout << "第" << nLine-1 <<"行" << str << " 小数点错误！\n"; errorFlag = 1; break; case 3: cout << "第" << nLine-1 <<"行" << str << " 常量的长度超过限制！\n"; errorFlag = 1; break; }
/***************************标识符***************************************/ if( isalpha(ch[chIndex])) //以字母、下划线开头 { char str[256]; int strLen = 0; while(isalpha(ch[chIndex]) || ch[chIndex] == '_' ) //是字母、下划线 { str[strLen ++] = ch[chIndex]; chIndex ++; while(isdigit(ch[chIndex]))//不是第一位，可以为数字 { str[strLen ++] = ch[chIndex]; chIndex ++;
总之这个小语言词法分析器能提供以上所说明到的语法描述的功能……源自三、实验步骤：1、测试评价
（1）、测试 1：能说明一些简单的变量，如关键字、一般标识符、界符等； （2）、测试 2：能输出结果：单词符号(内码形式)、各种信息表(如符号表、常量表等)； （3）、测试程序：
var x,y,z; begin
x:=2; y:=3; if (x+5>=y*y) then
"not", "of", "or", "output","packed","procedure", "program", "read",
"real","repeat", "set", "then", "to", "type", "until", "var","while",
"with","prn"}; //关键字
const char OptA[] = {'+','-','*','/','=','#','<','>'}; // 单目运算
const char *OptB[] = {"<=",">=",":=","<>"};
//双目运算符
const char End[] = {'(', ')' , ',' , ';' , '.' , '[' , ']' , ':' , '{' , '}' , '"'};
begin z:=y*y-x; z:=z+x*x;
end else
z:=x+y;
prn z; end. （4）、结果： ①、从键盘读入；
部分结果如下：
（类型：该标识符所属的类型，如关键字，变量等；下标：该标识符所对应表（如变量标 识符表，常量标识符表等）中其相应的位置，下同）
②、从文件读入，输出到文件；
} } }
table[TableNum].Index = WordNum; strcpy(Word[WordNum++],str); table[TableNum].type = 2; //变量标识符 strcpy(table[TableNum].symbol,str); table[TableNum].line = nLine; TableNum ++;
strcpy(table[TableNum].symbol,str); table[TableNum].type = 1; //关键字 table[TableNum].line = nLine; table[TableNum].Index = i; TableNum ++; break; } if(i >= MaxKeyWord) //不是关键字 {
while(ch[chIndex] == ' ' || ch[chIndex] == 9 ) //忽略空格和 tab { chIndex ++; } /***************************处理换行符*************************************/ while(ch[chIndex] == 10) //遇到换行符，行数加 1 { nLine++;chIndex ++;}