编译原理_词法分析 实验报告
编译原理词法分析实验报告
编译原理词法分析实验报告实验名称:词法分析器的设计与实现一、实验目的：1.熟悉编译原理中词法分析的基本概念和原理；2.掌握正则表达式的使用方法；3.实现一个简单的词法分析器。
二、实验内容：1.设计一个简单的编程语言，包含如下几种类型的词法单元：关键字、标识符、常量、运算符和界符。
2.使用正则表达式定义每种词法单元的模式。
3.设计一个词法分析器，将源代码中的每个词法单元识别出来并输出。
三、实验步骤：1. 确定编程语言的词法单元类型和正则表达式模式，定义相应的单词类型（如 TokenType）和模式（如 regex）。
2. 实现一个词法分析器的类 Lexer，包含以下方法：(1)一个构造方法，用于初始化词法分析器的输入源代码。
(2) 一个getNextToken方法，用于获取源代码中的下一个词法单元。
3. 在getNextToken方法中，使用正则表达式逐个识别源代码中的词法单元，并返回相应的Token对象。
4. 设计一个Token类，包含以下属性：词法单元类型、词法单元的值和位置信息等。
5.在主程序中使用词法分析器，将源代码中的每个词法单元识别出来并输出。
四、实验结果：1.设计一个简单的编程语言，包含如下词法单元类型（示例）：(1) 关键字：if、else、while、for等；(2)标识符：变量名等；(3)常量：整数、浮点数、字符串等；(4)运算符：+、-、*、/、=等；(5)界符：(、)、{、}、;等。
2. 实现一个词法分析器，识别出源代码中的每个词法单元，并输出相应的Token对象。
五、实验总结：通过本次实验，我熟悉了编译原理中词法分析的基本概念和原理，并掌握了正则表达式的使用方法。
我成功完成了一个简单的词法分析器的设计与实现，实现了源代码中每个词法单元的识别与输出。
这次实验对我深化了对编译原理中词法分析的理解，并提高了我的编程能力。
编译原理-词法语法分析实验报告
编译原理词法分析一、实验目的设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。
二、实验要求2.1 待分析的简单的词法（1）关键字：begin if then while do end所有的关键字都是小写。
（2）运算符和界符：= + - * / < <= <> > >= = ; ( ) #（3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义：ID = letter (letter | digit)*NUM = digit digit*（4）空格有空白、制表符和换行符组成。
空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。
2.2 各种单词符号对应的种别码：2.3 词法分析程序的功能：输入：所给文法的源程序字符串。
输出：二元组（syn,token或sum）构成的序列。
其中：syn为单词种别码；token为存放的单词自身字符串；sum为整型常数。
例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)……三、词法分析程序的C语言程序源代码：#include <stdio.h>#include <string.h>char prog[80],token[8],ch;int syn,p,m,n,sum;char *rwtab[6]={"begin","if","then","while","do","end"};scaner();void scanner_example (FILE *fp);main(){FILE *fp;fp=fopen("D:\\1.txt","r");//打开文件scanner_example (fp);scaner();}void scanner_example (FILE *fp){do{ch=fgetc (fp);prog[p++]=ch;}while (ch!='#');p=0;do{scaner();switch(syn){case 11:printf("( %-10d%5d )\n",sum,syn);break;case -1:printf("you have input a wrong string\n");default: printf("( %-10s%5d )\n",token,syn);break;}}while(syn!=0);}scaner(){ sum=0;for(m=0;m<8;m++)token[m++]=NULL;ch=prog[p++];m=0;while((ch==' ')||(ch=='\n'))ch=prog[p++];if(((ch<='z')&&(ch>='a'))||((ch<='Z')&&(ch>='A'))){ while(((ch<='z')&&(ch>='a'))||((ch<='Z')&&(ch>='A'))||((ch>='0')&&(ch<='9'))) {token[m++]=ch;ch=prog[p++];}p--;syn=10;for(n=0;n<6;n++)if(strcmp(token,rwtab[n])==0){ syn=n+1;break;}}else if((ch>='0')&&(ch<='9')){ while((ch>='0')&&(ch<='9')){ sum=sum*10+ch-'0';ch=prog[p++];}p--;syn=11;}else switch(ch){ case '<':token[m++]=ch;ch=prog[p++];if(ch=='='){ syn=22;token[m++]=ch;}else{ syn=20;p--;}break;case '>':token[m++]=ch;ch=prog[p++];if(ch=='='){ syn=24;token[m++]=ch;}else{ syn=23;p--;}break;case '+': token[m++]=ch;ch=prog[p++];if(ch=='+'){ syn=17;token[m++]=ch;}else{ syn=13;p--;}break;case '-':token[m++]=ch;ch=prog[p++];if(ch=='-'){ syn=29;token[m++]=ch;}else{ syn=14;p--;}break;case '!':ch=prog[p++];if(ch=='='){ syn=21;token[m++]=ch;}else{ syn=31;p--;}break;case '=':token[m++]=ch;ch=prog[p++];if(ch=='='){ syn=25;token[m++]=ch;}else{ syn=18;p--;}break;case '*': syn=15;token[m++]=ch;break;case '/': syn=16;token[m++]=ch;break;case '(': syn=27;token[m++]=ch;break;case ')': syn=28;token[m++]=ch;break;case '{': syn=5;token[m++]=ch;break;case '}': syn=6;token[m++]=ch;break;case ';': syn=26;token[m++]=ch;break;case '\"': syn=30;token[m++]=ch;break;case '#': syn=0;token[m++]=ch;break;case ':':syn=17;token[m++]=ch;break;default: syn=-1;break;}token[m++]='\0';}四、结果分析：输入begin x:=9: if x>9 then x:=2*x+1/3; end # 后经词法分析输出如下序列：(begin 1)(x 10)(：17)(= 18)(9 11)(；26)(if 2)……如图所示：五、总结：词法分析的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
编译原理词法分析实验报告
编译原理词法分析实验报告实验一词法分析一、实验目的通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
二、实验内容（1）功能描述：该程序是实现一个词法分析器，词法分析器的功能是输入源程序，输出单词符号。
词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。
本实验中，采用的是将单词分为五种的方法。
识别关键字：main、if、int、for、while、do、return、break、continue；单词种别码为1。
标识符：单词种别码为2。
常数：为无符号整形数；单词种别码为3。
运算符：包括：+、-、*、/、=、>、<、>=、<=、!= ；单词种别码为4。
分隔符：包括：,、;、{、}、(、)；单词种别码为5。
（2）程序结构描述：输入：从控制台输入一段源程序代码，对输入的代码进行词法分析,处理：分离出关键字、标识符、数值、运算符和界符。
输出：在词法分析结果表中输出每个单词所在行号、类型以及它所对应的编码。
其中，编码是自定义的,一种类型对应一个编码。
词法分析结果显示在控制台上。
（3）程序设计思路1、定义编码表，用ArrayList集合存放单词，如：关键字、运算符、分界符。
这三种单词是固定的，标示符和数字这两种单词不存放在集合中。
编码表是固定的，只需要初始化一次就够了，所以将集合定义为static类型，使其在类加载时，进行一次初始化。
2、static char allstr[] = new char[100000];该数组用于存储用户从控制台输入的所有字符。
3、//从键盘获取一个一个的字符public char Getchar() {try {ch = (char) System.in.read();} catch (Exception e) {e.printStackTrace();}return ch;}4、用while循环遍历allstr数组中存放的字符，判断分离出关键字、标示符、数字、运算符、标示符。
编译原理实验报告——词法分析器(内含源代码)
编译原理实验（一）——词法分析器一．实验描述运行环境：vc++2008对某特定语言A ，构造其词法规则。
该语言的单词符号包括：12状态转换图3程序流程：词法分析作成一个子程序，由另一个主程序调用，每次调用返回一个单词对应的二元组，输出标识符表、常数表由主程序来完成。
二．实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。
同时增强编写和调试程序的能力。
三．实验任务编制程序实现要求的功能，并能完成对测试样例程序的分析。
四．实验原理char set[1000],str[500],strtaken[20];//set[]存储代码,strtaken[]存储当前字符char sign[50][10],constant[50][10];//存储标识符和常量定义了一个Analyzer类class Analyzer{public:Analyzer(); //构造函数 ~Analyzer(); //析构函数int IsLetter(char ch); //判断是否是字母，是则返回 1，否则返回 0。
int IsDigit(char ch); //判断是否为数字，是则返回 1，否则返回 0。
void GetChar(char *ch); //将下一个输入字符读到ch中。
void GetBC(char *ch); //检查ch中的字符是否为空白，若是，则调用GetChar直至ch进入一个非空白字符。
void Concat(char *strTaken, char *ch); //将ch中的字符连接到strToken之后。
int Reserve(char *strTaken); //对strTaken中的字符串查找保留字表，若是一个保留字返回它的数码，否则返回0。
void Retract(char *ch) ; //将搜索指针器回调一个字符位置，将ch置为空白字符。
编译原理词法分析实验
编译原理词法分析实验一、实验目的本实验旨在通过编写一个简单的词法分析器，了解编译原理中词法分析的基本原理和实现方法。
二、实验材料1. 计算机编程环境2. 编程语言三、实验步骤1. 了解词法分析的概念和作用。
词法分析是编译器中的第一个阶段，它的主要任务是将源代码中的字符序列转化为有意义的标识符，如关键字、操作符、常量和标识符等。
2. 设计词法分析器的流程和算法。
词法分析器的主要原理是通过有限状态自动机来识别和提取标识符。
在设计过程中，需考虑各种可能出现的字符序列，并定义相应的状态转移规则。
3. 根据设计的流程和算法，使用编程语言编写词法分析器的代码。
4. 编译并运行词法分析器程序，输入待分析的源代码文件，观察程序的输出结果。
5. 分析输出结果，检查程序是否正确地提取了源代码中的标识符。
四、实验结果经过词法分析器的处理，源代码将被成功地转化为有意义的标识符。
结果可以通过以下几个方面来验证：1. 关键字和操作符是否被正确识别和提取。
2. 常量和标识符是否被正确识别和提取。
3. 检查程序的错误处理能力，如能否发现非法字符或非法标识符。
4. 输出结果是否符合预期，可与自己编写的语法规则进行对比。
5. 对于特殊情况，如转义字符等是否正确处理。
五、实验总结通过本次实验，我深入了解了编译原理中词法分析的重要性和基本原理。
编写词法分析器的过程中，我学会了使用有限状态自动机来识别和提取标识符，并通过实践巩固了相关知识。
此外，我还对源代码的结构有了更深入的了解，并且掌握了如何运用编程语言来实现词法分析器。
通过本次实验，我不仅提升了自己的编程技术，也对编译原理有了更深入的认识和理解。
六、实验心得通过实验，我深刻体会到了词法分析在编译过程中的重要性。
合理设计和实现词法分析器，可以大大提高编译器的效率和准确性。
同时，通过编写词法分析器的代码，我不仅锻炼了自己的编程能力，还提升了对编译原理的理解和掌握。
这次实验让我更加深入地了解了编译原理中的词法分析，也为我今后在编程领域的发展打下了坚实的基础。
(完整word版)编译原理词法分析程序实现实验报告
(完整word版)编译原理词法分析程序实现实验报告实验一词法分析程序实现一、实验内容选取无符号数的算术四则运算中的各类单词为识别对象，要求将其中的各个单词识别出来。
输入：由无符号数和+，－，*，/, ( , ) 构成的算术表达式，如1.5E+2－100。
输出：对识别出的每一单词均单行输出其类别码（无符号数的值暂不要求计算）。
二、设计部分因为需要选取无符号数的算术四则运算中的各类单词为识别对象，要求将其中的各个单词识别出来，而其中的关键则为无符号数的识别，它不仅包括了一般情况下的整数和小数，还有以E为底数的指数运算，其中关于词法分析的无符号数的识别过程流程图如下：GOTO 1:(完整word版)编译原理词法分析程序实现实验报告GOTO 2:三、源程序代码部分#include <stdio.h>#include<stdlib.h>#include <math.h>#define MAX 100#define UNSIGNEDNUMBER 1#define PLUS 2#define SUBTRACT 3#define MULTIPLY 4#define DIVIDE 5#define LEFTBRACKET 6#define RIGHTBRACKET 7#define INEFFICACIOUSLABEL 8#define FINISH 111int count=0;int Class;void StoreType();int Type[100];char Store[20]={'\0'};void ShowStrFile();//已经将要识别的字符串存在文件a中void Output(int a,char *p1,char *p2);//字符的输出过程int Sign(char *p);//'+''-''*''/'整体识别过程int UnsignedNum(char *p);//是否适合合法的正整数0~9int LegalCharacter(char *p);//是否是合法的字符：Sign(p)||UnsignedNum(p)||'E'||'.' void DistinguishSign(char *p);//'+''-''*''/'具体识别过程void TypyDistinguish();//字符的识别过程void ShowType();//将类别码存储在Type[100]中，为语法分析做准备void ShowStrFile()//已经将要识别的字符串存在文件a中{FILE *fp_s;char ch;if((fp_s=fopen("a.txt","r"))==NULL){printf("The FILE cannot open!");exit(0);}elsech=fgetc(fp_s);while(ch!=EOF){putchar(ch);ch=fgetc(fp_s);}printf("\n");}void StoreStr()//将文件中的字符串存储到数组Store[i] {FILE *fp=fopen("a.txt","r");char str;int i=0;while(!feof(fp)){fscanf(fp,"%c",&str);if(str=='?'){Store[i]='\0';break;}Store[i]=str;i++;}Store[i]='\0';}void ShowStore(){int i;for (i=0;Store[i]!='\0';i++)printf("%c",Store[i]);printf("\n");}void Output(int a,char *p1,char *p2){printf("%3s\t%d\t%s\t","CLASS",a,"VALUE");while(p1<=p2){printf("%c",*p1);p1++;}printf("\n");}int Sign(char *p){char ch=*p;if(ch=='+'||ch=='-'||ch=='*'||ch=='/'||ch=='('||ch==')') return 1;elsereturn 0;}int UnsignedNum(char *p){char ch=*p;if('0'<=ch&&ch<='9')return 1;elsereturn 0;}int LegalCharacter(char *p){char ch=*p;if(Sign(p)||UnsignedNum(p)||ch=='E'||ch=='.')。
编译原理词法分析报告
实验一：词法分析一、实验目的：1、通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
2、编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本关键字、标识符、常数、运算符、分隔符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
（遇到错误时可显示“Error”，然后跳过错误部分继续显示）二、实验预习提示1、词法分析器的功能和输出格式词法分析器的功能是输入源程序，输出单词符号。
词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。
本实验中，采用的是一类符号一种别码的方式。
2、单词的BNF表示<标识符>-> <字母><字母数字串><字母数字串>-><字母><字母数字串>|<数字><字母数字串>|<下划线><字母数字串>|ε<无符号整数>-> <数字><数字串><数字串>-> <数字><数字串> |ε<加法运算符>-> +<减法运算符>->-<大于关系运算符>->><大于等于关系运算符>-> >=3、“超前搜索”方法词法分析时，常常会用到超前搜索方法。
如当前待分析字符串为“a>+”,当前字符为’>’，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。
于是分析器读入下一个字符’+’，这时可知应将’>’解释为大于运算符。
但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。
在分析标识符，无符号整数等时也有类似情况。
编译原理实验词法分析实验报告
编译技术实验报告实验题目：词法分析学院：信息学院专业：计算机科学与技术学号：姓名：一、实验目的(1)理解词法分析的功能；(2)理解词法分析的实现方法；二、实验内容PL0的文法如下‘< >’为非终结符。
‘::=’ 该符号的左部由右部定义，可读作“定义为”。
‘|’ 表示‘或’，为左部可由多个右部定义。
‘{ }’ 表示花括号内的语法成分可以重复。
在不加上下界时可重复0到任意次数，有上下界时可重复次数的限制。
‘[ ]’ 表示方括号内的成分为任选项。
‘( )’ 表示圆括号内的成分优先。
上述符号为“元符号”，文法用上述符号作为文法符号时需要用引号‘’括起。
〈程序〉∷=〈分程序〉．〈分程序〉∷= [〈变量说明部分〉][〈过程说明部分〉]〈语句〉〈变量说明部分〉∷=VAR〈标识符〉{，〈标识符〉}：INTEGER；〈无符号整数〉∷=〈数字〉{〈数字〉}〈标识符〉∷=〈字母〉{〈字母〉|〈数字〉}〈过程说明部分〉∷=〈过程首部〉〈分程序〉{；〈过程说明部分〉}；〈过程首部〉∷=PROCEDURE〈标识符〉；〈语句〉∷=〈赋值语句〉|〈条件语句〉|〈过程调用语句〉|〈读语句〉|〈写语句〉|〈复合语句〉|〈空〉〈赋值语句〉∷=〈标识符〉∶=〈表达式〉〈复合语句〉∷=BEGIN〈语句〉{；〈语句〉}END〈条件〉∷=〈表达式〉〈关系运算符〉〈表达式〉〈表达式〉∷=〈项〉{〈加法运算符〉〈项〉}〈项〉∷=〈因子〉{〈乘法运算符〉〈因子〉}〈因子〉∷=〈标识符〉|〈无符号整数〉|'('〈表达式〉')'〈加法运算符〉∷=+|-〈乘法运算符〉∷=*〈关系运算符〉∷=<>|=|<|<=|>|>=〈条件语句〉∷=IF〈条件〉THEN〈语句〉〈字母〉∷=a|b|…|X|Y|Z〈数字〉∷=0|1|2|…|8|9实现PL0的词法分析三、实验分析与设计PL0词法分析程序是一个独立的过程，其功能是为语法语义分析提供单词，把输入的字符串形式的源程序分割成一个个单词符号传递给语法语义分析。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
编译原理实验报告09010422 何博伟东南大学计算机科学与工程学院School of Computer Science & EngineeringSoutheast University二〇一三年 1月实验一词法分析器设计实现实验目的与要求通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
实验内容编制一个程序读入程序文件，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符等。
并依次分解输出各行包含的内容。
输入：aaa.txt输入格式：每行一个待检测的字串，如“typedef”，“/*test*/”输出：ccc.txt输出格式：输出文件以“Start scanning...”作为第一行，之后的每一行input :后面是输入的字串实现约定我们用下面正则表达式来描述程序语言的词法规则：标识符ID = (_ | letter)(letter | digit | _)*数字NUM =digit*(ε|.) digit*字母letter = a|..|z|A|..|Z|数字digit = 0|..|9专用符号sym = + |-| * |/ |< |<=| >| >= |==| !=| =| ;| ,| .| '| "| (| ) |[ |] |{ |} |/*| */| //关键字(所有的关键字都是保留字，并且必须是小写):res=auto const dynamic_cast for mutable register static_cast try virtual bool const_cast else friend namespace reinterpret_cast struct typedef void break continue enum goto new return switch typeid volatile case default explicit if operator short template typename while catch delete extern inline private signed this union char do false int protected sizeof throw unsigned class double float long public static true using规定所有字母都是大小写区分的。
空格由空白、换行符和制表符组成。
空格通常被忽略，除了它必须分开ID、NUM 关键字。
注释允许使用/* */以及//形式。
实验实现具体见手写附录 总状态图如下：实验源程序及实验结果分析实验源程序 ://MyLex.h #pragma once/////////////////////////////////////////////// //// A little lexical analyzer //// powered by Bowei He /////////////////////////////////////////////// #define MAXRESERVED 60 #define MAXWORDSIZE 100#include <iostream> #include <fstream> #include <sstream> using namespace std;K4K0K5K6K7K8K2K3K1K9K10K11//任意字符*除*外任意字符除/外任意字符//digitdigit .Letter 或_letter _digit< > = !=其他特殊字符typedef enum{////Type of tokens//Reserved wordsAUTO,BOOL,BREAK,CASE,CA TCH,CHAR,CLASS,CONST,CONST_CAST,CONTINUE,DEFAULT,DELETE,DO,DOUBLE,DYNAMIC_CAST,ELSE,ENUM,EXPLICIT,EXTERN,FALSE1,FLOAT,FOR,FRIEND,GOTO,IF,INLINE,INT,LONG,MUTABLE,NAMESPACE,NEW,OPERA TOR,PRIV ATE,PROTECTED,PUBLIC,REGISTER,REINTERPRET_CAST,RETURN,SHORT,SIGNED,SIZEOF,STATIC,STATIC_CAST,STRUCT,SWITCH,TEMPLA TE,THIS,THROW,TRUE1,TYPEDEF,TYPEID,TYPENAME,UNION,UNSIGNED,USING,VIRTUAL,VOID,VOLATILE,WHILE,_TRY,//SymbolsPLUS,MINUS,MTPLUS,DEVIDE,EQ,ASSIGN,LT,MT,TIMES,DOT,SQ,DQ,LXKH,RXKH,LZKH,RZKH,LDKH,RDKH,SEMI,LE,ME,NOTEQ,FH,LZS, RZS,ZS,//StatesUNKNOWN,COMMENT,SPECIALSYM,NUM,ID,ERROR//Here ID maybe a reserved word which will be identified in later process.}TypeOfToken;typedef enum{_ERR,_COMM,_SPCSYM,_NUM,_ID,_RESWORD,_UNKNOWN}FinalType;//define the reservedWords' map table between Tokenstr and TokenTypestruct{char* str;TypeOfToken tt;}reservedWords[MAXRESERVED] = {{"auto",AUTO},{"bool",BOOL},{"break",BREAK},{"case",CASE},{"catch",CA TCH},{"char",CHAR},{"class",CLASS},{"const",CONST},{"const_cast",CONST_CAST},{"continue",CONTINUE},{"default",DEFAULT},{"delete",DELETE},{"do",DO},{"double",DOUBLE} ,{"dynamic_cast",DYNAMIC_CAST},{"else",ELSE},{"enum",ENUM},{"explicit",EXPLICIT},{"extern",EXTERN},{"false",FALSE1},{"float",FLOAT}, {"for",FOR},{"friend",FRIEND},{"goto",GOTO},{"if",IF},{"inline",INLINE},{"int",INT},{"long",LONG},{"mutable",MUTABLE},{"namespace",NAMESPACE},{"new",NEW},{"operator",OPERA TOR},{"private",PRIV ATE},{"protected",PROTECTED},{"pu blic",PUBLIC},{"register",REGISTER},{"reinterpret_cast",REINTERPRET_CAST},{"return",RETURN},{"short",SHORT},{"signed",SIGNED},{"sizeof",SIZEOF},{"st atic",STA TIC},{"static_cast",STA TIC_CAST},{"struct",STRUCT},{"switch",SWITCH},{"template",TEMPLATE},{"this",THIS},{"throw",THROW},{"true",TRUE1}, {"try",_TRY},{"typedef",TYPEDEF},{"typeid",TYPEID},{"typename",TYPENAME},{"union",UNION},{"unsigned",UNSIGNED},{"using",USING}, {"virtual",VIRTUAL},{"void",VOID},{"volatile",VOLATILE},{"while",WHILE}typedef enum{//States of tokenDFAK0,K1,K2,K3,K4,K5,K6,K7,K8,K9,K10,K11,ERR}DFAState;class MyLex{private:ifstream inputFile; //input fileofstream outputFile; //output filepublic:MyLex(string inputFileName, string outputFileName){inputFile.open(inputFileName.c_str(),ios::in);outputFile.open(outputFileName.c_str(),ios::out);}~MyLex(){inputFile.close();outputFile.close();}inline bool isDigit(char a){if(int(a) < 0x3A && int(a) > 0x2F)return true;return false;}inline bool isLetter(char a){int m = (int)a;if(m > 0x40 && m < 0x5b)return true;else if(m > 0x60 && m < 0x7b)return true;return false;}inline bool isSpecialSym(char a){switch (a){case '+': case '-': case '*': case '/': case '<': case '=': case '>': case '!': case ';': case ',': case '.': case 0x27:// 'case 0x22:// "case '(': case ')': case '[': case ']': case '{': case '}':return true;default:return false;}}inline bool isReservedWord(string word){//Judge if the input word is a reserved word.for(int i=0; i<MAXRESERVED; i++){string temp(reservedWords[i].str);if(temp == word)return true;}return false;}TypeOfToken dealWithToken(string tokenIn){//This is a function to deal with token//input: string of token (eg. 'iorange')//output: TypeOfToken (eg. ID)string::iterator it;DFAState state = K0;for(it=tokenIn.begin(); it<tokenIn.end(); it++){char chrNow = (char)(*it);if(state == ERR)// If it went to ERR before, we can immediately stop looping..break;if(state == K0){//From initial stateif(chrNow == '/')else if(isLetter(chrNow) || chrNow == '_')state = K1;else if(isDigit(chrNow))state = K2;else if(chrNow == '<' || chrNow == '>' || chrNow == '=' || chrNow == '!') state = K9;else if(isSpecialSym(chrNow))state = K11;elsestate = ERR;}else if(state == K1){if('_' == chrNow)state = K1;else if(isDigit(chrNow))state = K1;else if(isLetter(chrNow))state = K1;elsestate = ERR;}else if(state == K2){if(isDigit(chrNow))state = K2;else if('.' == chrNow)state = K3;elsestate = ERR;}else if(state == K3){if (isDigit(chrNow))state = K3;elsestate = ERR;}else if(state == K4){if('/' == chrNow)state = K5;else if('*' == chrNow)state = K6;else}else if(state == K5){//this is a commentstate = K5;}else if(state == K6){if('*' == chrNow)state = K7;elsestate = K6;}else if(state == K7){if ('/' == chrNow)state = K8;elsestate = K6;}else if(state == K8){if('/' == chrNow)state = K4;elsestate = ERR;}else if(state == K9){if ('=' == chrNow)state = K10;elsestate = ERR;}else if(state == K10)state = ERR;else if(state == K11)state = ERR;elsestate = ERR;}switch(state){return ERROR;case K8: case K5:return COMMENT;case K4: case K9: case K11:return SPECIALSYM;case K10:return SPECIALSYM;case K1:return ID;case K2: case K3:return NUM;default:cerr << "Shouldn't be here!" << endl;return ERROR;}}void scanFile()//Scan the whole input file and export to another file specified {outputFile << "Start scanning..." << endl;char* chr = new char[MAXWORDSIZE];while(!inputFile.eof()){inputFile >> chr;string s(chr);cout << "input: " << s << endl;outputFile << "input : " << s << endl;if(isReservedWord(s)){cout << " >> Reserved word." << endl;outputFile << " >> Reserved word." << endl;}else{TypeOfToken tot = dealWithToken(s);switch (tot){case UNKNOWN:cout << " >> Unknown." << endl;outputFile << " >> Unknown." << endl;break;case ERROR:cout << " >> Error." << endl;outputFile << " >> Error." << endl;case COMMENT:cout << " >> Comment." << endl;outputFile << " >> Comment." << endl;break;case SPECIALSYM:cout << " >> Special symbol." << endl;outputFile << " >> Special symbol." << endl;break;case NUM:cout << " >> Number." << endl;outputFile << " >> Number." << endl;break;case ID:cout << " >> ID." << endl;outputFile << " >> ID." << endl;break;default:cout << " >> SHOULD NOT BE HERE!." << endl;outputFile << " >> SHOULD NOT BE HERE!." << endl;break;}}}}};//main.cpp#include "myLex.h"#include <iostream>using namespace std;void main(){MyLex ml("aaa.txt","ccc.txt");ml.scanFile();system("pause");}测试输入:typedef auto.;/ /*abcde*//*dadwq*/wqd /**///dwqd//andkwqhdowqd *.- 10 -.测试输出 :Start scanning... input : typedef >> Reserved word. input : auto >> Reserved word. input : .>> Special symbol. input : ;>> Special symbol. input : />> Special symbol. input : /= >> Error. input : /*abcde*/ >> Comment. input : /*dadwq*/wqd >> Error. input : /**///dwqd >> Comment. input : //andkwqhdowqd >> Comment. input : *>> Special symbol. input : !>> Special symbol. input : !=>> Special symbol. input : ==>> Special symbol. input : <=>> Special symbol. input : '>> Special symbol. input : ">> Special symbol. input : 1234>> Number. input : 12.445 >> Number. input : 0.877 >> Number. input : iorange >> ID. input : _iorange >> ID. input : _dqw99 >> ID. input : 9912ed >> Error. input : ddd989 >> ID.。