词法分析报告设计实验报告材料(附代码)
编译原理实验报告——词法分析器(内含源代码)
编译原理实验（一）——词法分析器一．实验描述运行环境：vc++2020对某特定语言A ，构造其词法规那么。
该语言的单词符号包括：1该程序能识别的单词符号及类别说明表2状态转换图3程序流程：词法分析作成一个子程序，由另一个主程序挪用，每次挪用返回一个单词对应的二元组，输出标识符表、常数表由主程序来完成。
二．实验目的通过动手实践，使学生对构造编译系统的大体理论、编译程序的大体结构有更为深切的明白得和把握；使学生把握编译程序设计的大体方式和步骤；能够设计实现编译系统的重要环节。
同时增强编写和调试程序的能力。
三．实验任务编制程序实现要求的功能，并能完成对测试样例程序的分析。
四．实验原理char set[1000],str[500],strtaken[20];//set[]存储代码,strtaken[]存储当前字符char sign[50][10],constant[50][10];//存储标识符和常量概念了一个Analyzer类class Analyzer{public:Analyzer(); //构造函数 ~Analyzer(); //析构函数int IsLetter(char ch); //判定是不是是字母，是那么返回 1，不然返回 0。
int IsDigit(char ch); //判定是不是为数字，是那么返回 1，不然返回 0。
void GetChar(char *ch); //将下一个输入字符读到ch中。
void GetBC(char *ch); //检查ch中的字符是不是为空白，假设是，那么挪用GetChar直至ch进入一个非空白字符。
void Concat(char *strTaken, char *ch); //将ch中的字符连接到strToken以后。
int Reserve(char *strTaken); //对strTaken中的字符串查找保留字表，假设是一个保留字返回它的数码，不然返回0。
(完整版)编译原理词法分析和语法分析报告+代码(C语言版)[1]
![(完整版)编译原理词法分析和语法分析报告+代码(C语言版)[1]](https://img.taocdn.com/s3/m/cbda17cbed630b1c58eeb512.png)
词法分析一、实验目的设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。
二、实验要求2.1待分析的简单的词法（ 1）关键字：begin if then while do end所有的关键字都是小写。
（ 2）运算符和界符：=+-*/<<=<>>>==;()#（ 3）其他单词是标识符（ID ）和整型常数（ SUM ），通过以下正规式定义：ID = letter (letter | digit)*NUM = digit digit*（ 4）空格有空白、制表符和换行符组成。
空格一般用来分隔ID 、SUM 、运算符、界符和关键字，词法分析阶段通常被忽略。
2.2各种单词符号对应的种别码：表 2.1各种单词符号对应的种别码单词符号种别码单词符号种别码bgin1：17If2： =18Then3<20wile4<>21do5<=22end6>23lettet（ letter|digit ） *10>=24 dight dight*11=25 +13；26—14(27*15)28/16#02.3词法分析程序的功能：输入：所给文法的源程序字符串。
输出：二元组（ syn,token 或 sum）构成的序列。
其中： syn 为单词种别码；token 为存放的单词自身字符串；sum 为整型常数。
例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end # 的源文件，经过词法分析后输出如下序列：(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)三、词法分析程序的算法思想：算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
3.1主程序示意图：主程序示意图如图3-1 所示。
其中初始包括以下两个方面：⑴ 关键字表的初值。
实验一、词法分析器(含源代码)
词法分析器实验报告一、实验目的及要求本次实验通过用C语言设计、编制、调试一个词法分析子程序，识别单词，实现一个C语言词法分析器，经过此过程可以加深对编译器解析单词流的过程的了解。
运行环境：硬件：windows xp软件：visual c++6.0二、实验步骤1.查询资料，了解词法分析器的工作过程与原理。
2.分析题目，整理出基本设计思路。
3.实践编码，将设计思想转换用c语言编码实现，编译运行。
4.测试功能，多次设置包含不同字符，关键字的待解析文件，仔细察看运行结果，检测该分析器的分析结果是否正确。
通过最终的测试发现问题，逐渐完善代码中设置的分析对象与关键字表，拓宽分析范围提高分析能力。
三、实验内容本实验中将c语言单词符号分成了四类：关键字key（特别的将main说明为主函数）、普通标示符、常数和界符。
将关键字初始化在一个字符型指针数组*key[]中，将界符分别由程序中的case列出。
在词法分析过程中，关键字表和case列出的界符的内容是固定不变的（由程序中的初始化确定），因此，从源文件字符串中识别出现的关键字，界符只能从其中选取。
标识符、常数是在分析过程中不断形成的。
对于一个具体源程序而言，在扫描字符串时识别出一个单词，若这个单词的类型是关键字、普通标示符、常数或界符中之一，那么就将此单词以文字说明的形式输出．每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直到整个源程序全部扫描完毕，从而形成相应的单词串。
输出形式例如：void $关键字流程图 、程序流程图：开始 输入源文件路径路径是否有效是初始化文件指针否将字符加入字符数组Word[]是空格，空白或换行吗是字母吗是数字吗否否是界符吗否打开源文件跳过该字符是是文件结束？否将字符加入字符数组Word[]否将字符加入字符数组Word[]是指向下一字符识别指针内容指向下一字符是字母惑数字吗是将word 与关键字表key 进行匹配否匹配？是输出word 为关键字输出word 为普通标示符否将字符加入字符数组Word[]指向下一字符输出word 为常数识别指针内容回退是数字吗是否输出word 为界符指向下一字符结束是输出Word 内容为不可识别将字符加入字符数组Word[]程序：#include<string.h>#include<stdio.h>#include<stdlib.h>#include<ctype.h>//定义关键字char*Key[10]={"main","void","int","char","printf","scanf","else","if","return"}; char Word[20],ch; // 存储识别出的单词流int IsAlpha(char c) { //判断是否为字母if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))) return 1;else return 0;}int IsNum(char c){ //判断是否为数字if(c>='0'&&c<='9') return 1;else return 0;}int IsKey(char *Word){ //识别关键字函数int m,i;for(i=0;i<9;i++){if((m=strcmp(Word,Key[i]))==0){if(i==0)return 2;return 1;}}return 0;}void scanner(FILE *fp){ //扫描函数char Word[20]={'\0'};char ch;int i,c;ch=fgetc(fp); //获取字符，指针fp并自动指向下一个字符if(IsAlpha(ch)){ //判断该字符是否是字母Word[0]=ch;ch=fgetc(fp);i=1;while(IsNum(ch)||IsAlpha(ch)){ //判断该字符是否是字母或数字Word[i]=ch;i++;ch=fgetc(fp);}Word[i]='\0'; //'\0' 代表字符结束(空格)fseek(fp,-1,1); //回退一个字符c=IsKey(Word); //判断是否是关键字if(c==0) printf("%s\t$普通标识符\n\n",Word);//不是关键字else if(c==2) printf("%s\t$主函数\n\n",Word);else printf("%s\t$关键字\n\n",Word); //输出关键字 }else //开始判断的字符不是字母if(IsNum(ch)){ //判断是否是数字Word[0]=ch;ch=fgetc(fp);i=1;while(IsNum(ch)){Word[i]=ch;i++;ch=fgetc(fp);}Word[i]='\0';fseek(fp,-1,1); //回退printf("%s\t$无符号实数\n\n",Word);}else //开始判断的字符不是字母也不是数字{Word[0]=ch;switch(ch){case'[':case']':case'(':case')':case'{':case'}':case',':case'"':case';':printf("%s\t$界符\n\n",Word); break;case'+':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word);//运算符“+=”}else if(ch=='+'){printf("%s\t$运算符\n\n",Word); //判断结果为“++”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“+”}break;case'-':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word); }else if(ch=='-'){printf("%s\t$运算符\n\n",Word); //判断结果为“--”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“-”}break;case'*':case'/':case'!':case'=':ch=fgetc(fp);if(ch=='='){printf("%s\t$运算符\n\n",Word);}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word);}break;case'<':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word); //判断结果为运算符“<=”}else if(ch=='<'){printf("%s\t$运算符\n\n",Word); //判断结果为“<<”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“<”}break;case'>':ch=fgetc(fp);Word[1]=ch;if(ch=='=') printf("%s\t$运算符\n\n",Word);else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word);}break;case'%':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word);}if(IsAlpha(ch)) printf("%s\t$类型标识符\n\n",Word);else {fseek(fp,-1,1);printf("%s\t$取余运算符\n\n",Word);}break;default:printf("无法识别字符!\n\n"); break;}}}main(){char in_fn[30]; //文件路径FILE *fp;printf("\n请输入源文件名（包括路径和后缀名）:");while(1){gets(in_fn);//scanf("%s",in_fn);if((fp=fopen(in_fn,"r"))!=NULL) break; //读取文件内容，并返回文件指针，该指针指向文件的第一个字符else printf("文件路径错误!请重新输入:");}printf("\n******************* 词法分析结果如下 *******************\n");do{ch=fgetc(fp);if(ch=='#') break; //文件以#结尾，作为扫描结束条件else if(ch==' '||ch=='\t'||ch=='\n'){} //忽略空格，空白，和换行else{fseek(fp,-1,1); //回退一个字节开始识别单词流scanner(fp);}}while(ch!='#');return(0);}4.实验结果解析源文件：void main(){int a=3;a+=b;printf("%d",a);return;}#解析结果：5.实验总结分析通过本次实验，让再次浏览了有关c语言的一些基本知识，特别是对文件，字符串进行基本操作的方法。
词法分析实验报告代码
一、实验目的1. 理解词法分析的概念和作用。
2. 掌握词法分析器的设计和实现方法。
3. 通过实验加深对编译原理中词法分析阶段的理解。
二、实验环境1. 操作系统：Windows 102. 编程语言：Python3.83. 开发工具：PyCharm三、实验内容1. 设计一个简单的词法分析器，能够识别并输出源代码中的单词。
2. 实现词法分析器的关键功能，包括：- 字符串预处理- 单词识别- 生成词法分析表四、实验步骤1. 字符串预处理- 读取源代码字符串。
- 移除字符串中的空白字符（空格、制表符、换行符等）。
- 转义字符串中的特殊字符。
2. 单词识别- 使用正则表达式匹配单词。
- 根据正则表达式匹配结果，将单词分类为关键字、标识符、常量等。
3. 生成词法分析表- 创建一个列表，用于存储词法分析表中的每个单词及其对应的类别。
- 遍历源代码字符串，将识别出的单词添加到词法分析表中。
五、实验代码```pythonimport re# 定义词法分析表结构class Token:def __init__(self, type, value):self.type = typeself.value = value# 单词识别函数def tokenize(source_code):# 移除空白字符source_code = re.sub(r'\s+', '', source_code)# 转义特殊字符source_code = re.sub(r'\\', '\\\\', source_code)# 使用正则表达式匹配单词tokens = re.findall(r'\b\w+\b', source_code)# 生成词法分析表token_table = []for token in tokens:if re.match(r'\bint\b', token):token_table.append(Token('KEYWORD', token))elif re.match(r'\bfloat\b', token):token_table.append(Token('KEYWORD', token))elif re.match(r'\bchar\b', token):token_table.append(Token('KEYWORD', token))elif re.match(r'\bif\b', token):token_table.append(Token('KEYWORD', token))elif re.match(r'\belse\b', token):token_table.append(Token('KEYWORD', token))elif re.match(r'\breturn\b', token):token_table.append(Token('KEYWORD', token))elif re.match(r'\b\w+\b', token):token_table.append(Token('IDENTIFIER', token)) else:token_table.append(Token('CONSTANT', token)) return token_table# 主函数def main():# 读取源代码source_code = '''int main() {int a = 10;float b = 3.14;char c = 'A';if (a > b) {return a;} else {return b;}}'''# 进行词法分析token_table = tokenize(source_code)# 输出词法分析结果for token in token_table:print(f'Type: {token.type}, Value: {token.value}') if __name__ == '__main__':main()```六、实验结果运行实验代码后，输出如下：```Type: KEYWORD, Value: intType: IDENTIFIER, Value: mainType: KEYWORD, Value: (Type: KEYWORD, Value: )Type: KEYWORD, Value: intType: IDENTIFIER, Value: a Type: KEYWORD, Value: = Type: CONSTANT, Value: 10 Type: KEYWORD, Value: ; Type: KEYWORD, Value: float Type: IDENTIFIER, Value: b Type: KEYWORD, Value: = Type: CONSTANT, Value: 3.14 Type: KEYWORD, Value: ; Type: KEYWORD, Value: char Type: IDENTIFIER, Value: c Type: KEYWORD, Value: = Type: CONSTANT, Value: A Type: KEYWORD, Value: ; Type: KEYWORD, Value: if Type: IDENTIFIER, Value: ( Type: IDENTIFIER, Value: a Type: KEYWORD, Value: > Type: IDENTIFIER, Value: b Type: KEYWORD, Value: ) Type: KEYWORD, Value: { Type: KEYWORD, Value: return Type: IDENTIFIER, Value: aType: KEYWORD, Value: ;Type: KEYWORD, Value: }Type: KEYWORD, Value: elseType: KEYWORD, Value: {Type: KEYWORD, Value: returnType: IDENTIFIER, Value: bType: KEYWORD, Value: ;Type: KEYWORD, Value: }```七、实验总结通过本次实验，我们成功地设计并实现了一个简单的词法分析器，能够识别并输出源代码中的单词。
实验一、词法分析器(含源代码)
词法分析器实验报告一、实验目的及要求本次实验通过用C语言设计、编制、调试一个词法分析子程序，识别单词，实现一个C语言词法分析器，经过此过程可以加深对编译器解析单词流的过程的了解。
运行环境：硬件：windows xp软件：visual c++6.0二、实验步骤1.查询资料，了解词法分析器的工作过程与原理。
2.分析题目，整理出基本设计思路。
3.实践编码，将设计思想转换用c语言编码实现，编译运行。
4.测试功能，多次设置包含不同字符，关键字的待解析文件，仔细察看运行结果，检测该分析器的分析结果是否正确。
通过最终的测试发现问题，逐渐完善代码中设置的分析对象与关键字表，拓宽分析范围提高分析能力。
三、实验内容本实验中将c语言单词符号分成了四类：关键字key（特别的将main说明为主函数）、普通标示符、常数和界符。
将关键字初始化在一个字符型指针数组*key[]中，将界符分别由程序中的case列出。
在词法分析过程中，关键字表和case列出的界符的内容是固定不变的（由程序中的初始化确定），因此，从源文件字符串中识别出现的关键字，界符只能从其中选取。
标识符、常数是在分析过程中不断形成的。
对于一个具体源程序而言，在扫描字符串时识别出一个单词，若这个单词的类型是关键字、普通标示符、常数或界符中之一，那么就将此单词以文字说明的形式输出．每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直到整个源程序全部扫描完毕，从而形成相应的单词串。
输出形式例如：void $关键字流程图、程序流程图：程序：#include<string.h>#include<stdio.h>#include<stdlib.h>#include<ctype.h>//定义关键字char*Key[10]={"main","void","int","char","printf","scanf","else","if","return"}; char Word[20],ch; // 存储识别出的单词流int IsAlpha(char c) { //判断是否为字母if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))) return 1;else return 0;}int IsNum(char c){ //判断是否为数字if(c>='0'&&c<='9') return 1;else return 0;}int IsKey(char *Word){ //识别关键字函数int m,i;for(i=0;i<9;i++){if((m=strcmp(Word,Key[i]))==0){if(i==0)return 2;return 1;}}return 0;}void scanner(FILE *fp){ //扫描函数char Word[20]={'\0'};char ch;int i,c;ch=fgetc(fp); //获取字符，指针fp并自动指向下一个字符if(IsAlpha(ch)){ //判断该字符是否是字母Word[0]=ch;ch=fgetc(fp);i=1;while(IsNum(ch)||IsAlpha(ch)){ //判断该字符是否是字母或数字Word[i]=ch;i++;ch=fgetc(fp);}Word[i]='\0'; //'\0' 代表字符结束(空格)fseek(fp,-1,1); //回退一个字符c=IsKey(Word); //判断是否是关键字if(c==0) printf("%s\t$普通标识符\n\n",Word);//不是关键字else if(c==2) printf("%s\t$主函数\n\n",Word);else printf("%s\t$关键字\n\n",Word); //输出关键字 }else //开始判断的字符不是字母if(IsNum(ch)){ //判断是否是数字Word[0]=ch;ch=fgetc(fp);i=1;while(IsNum(ch)){Word[i]=ch;i++;ch=fgetc(fp);}Word[i]='\0';fseek(fp,-1,1); //回退printf("%s\t$无符号实数\n\n",Word);}else //开始判断的字符不是字母也不是数字{Word[0]=ch;switch(ch){case'[':case']':case'(':case')':case'{':case'}':case',':case'"':case';':printf("%s\t$界符\n\n",Word); break;case'+':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word);//运算符“+=”}else if(ch=='+'){printf("%s\t$运算符\n\n",Word); //判断结果为“++”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“+”}break;case'-':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word); }else if(ch=='-'){printf("%s\t$运算符\n\n",Word); //判断结果为“--”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“-”}break;case'*':case'/':case'!':case'=':ch=fgetc(fp);if(ch=='='){printf("%s\t$运算符\n\n",Word);}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word);}break;case'<':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word); //判断结果为运算符“<=”}else if(ch=='<'){printf("%s\t$运算符\n\n",Word); //判断结果为“<<”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“<”}break;case'>':ch=fgetc(fp);Word[1]=ch;if(ch=='=') printf("%s\t$运算符\n\n",Word);else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word);}break;case'%':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word);}if(IsAlpha(ch)) printf("%s\t$类型标识符\n\n",Word);else {fseek(fp,-1,1);printf("%s\t$取余运算符\n\n",Word);}break;default:printf("无法识别字符!\n\n"); break;}}}main(){char in_fn[30]; //文件路径FILE *fp;printf("\n请输入源文件名（包括路径和后缀名）:");while(1){gets(in_fn);//scanf("%s",in_fn);if((fp=fopen(in_fn,"r"))!=NULL) break; //读取文件内容，并返回文件指针，该指针指向文件的第一个字符else printf("文件路径错误!请重新输入:");}printf("\n******************* 词法分析结果如下 *******************\n");do{ch=fgetc(fp);if(ch=='#') break; //文件以#结尾，作为扫描结束条件else if(ch==' '||ch=='\t'||ch=='\n'){} //忽略空格，空白，和换行else{fseek(fp,-1,1); //回退一个字节开始识别单词流scanner(fp);}}while(ch!='#');return(0);}4.实验结果解析源文件：void main(){int a=3;a+=b;printf("%d",a);return;}#解析结果：5.实验总结分析通过本次实验，让再次浏览了有关c语言的一些基本知识，特别是对文件，字符串进行基本操作的方法。
编译原理实验报告——词法分析器(内含源代码)
编译原理实验（一）——词法分析器一．实验描述运行环境：vc++2008对某特定语言A ，构造其词法规则。
该语言的单词符号包括：12状态转换图3程序流程：词法分析作成一个子程序，由另一个主程序调用，每次调用返回一个单词对应的二元组，输出标识符表、常数表由主程序来完成。
二．实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。
同时增强编写和调试程序的能力。
三．实验任务编制程序实现要求的功能，并能完成对测试样例程序的分析。
四．实验原理char set[1000],str[500],strtaken[20];//set[]存储代码,strtaken[]存储当前字符char sign[50][10],constant[50][10];//存储标识符和常量定义了一个Analyzer类class Analyzer{public:Analyzer(); //构造函数 ~Analyzer(); //析构函数int IsLetter(char ch); //判断是否是字母，是则返回 1，否则返回 0。
int IsDigit(char ch); //判断是否为数字，是则返回 1，否则返回 0。
void GetChar(char *ch); //将下一个输入字符读到ch中。
void GetBC(char *ch); //检查ch中的字符是否为空白，若是，则调用GetChar直至ch进入一个非空白字符。
void Concat(char *strTaken, char *ch); //将ch中的字符连接到strToken之后。
int Reserve(char *strTaken); //对strTaken中的字符串查找保留字表，若是一个保留字返回它的数码，否则返回0。
void Retract(char *ch) ; //将搜索指针器回调一个字符位置，将ch置为空白字符。
编译原理词法分析和语法分析报告+代码(C语言版)
编译原理词法分析和语法分析报告+代码(C语言版)-CAL-FENGHAI.-(YICAI)-Company One1信息工程学院实验报告（2010 ~2011 学年度第一学期）姓名：柳冠天学号：2081908318班级：083词法分析一、实验目的设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。
二、实验要求2.1 待分析的简单的词法（1）关键字：begin if then while do end所有的关键字都是小写。
（2）运算符和界符： = + - * / < <= <> > >= = ; ( ) #（3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义：ID = letter (letter | digit)*NUM = digit digit*（4）空格有空白、制表符和换行符组成。
空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。
2.2 各种单词符号对应的种别码：表2.1 各种单词符号对应的种别码2.3 词法分析程序的功能：输入：所给文法的源程序字符串。
输出：二元组（syn,token或sum）构成的序列。
其中：syn为单词种别码；token为存放的单词自身字符串；sum为整型常数。
例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)……三、词法分析程序的算法思想：算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
3.1 主程序示意图：主程序示意图如图3-1所示。
其中初始包括以下两个方面：⑴关键字表的初值。
关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。
词法分析报告
编译原理实验报告实验一词法分析程序的设计与实现指导教师：姓名：学号：班级：一、实验目的基本掌握计算机语言的词法分析程序的开发方法。
二、实验内容编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。
三、实验要求1．根据以下的正规式，编制正规文法，画出状态图；标识符<字母>(<字母>|<数字字符>)*十进制整数0 | (1|2|3|4|5|6|7|8|9) (0|1|2|3|4|5|6|7|8|9)*八进制整数0 (0|1|2|3|4|5|6|7) (0|1|2|3|4|5|6|7)*十六进制整数0 (x|X) (0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f) (0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f)*运算符和分隔符+ - * / > < = ( ) ;关键字if then else while do2．根据状态图，设计词法分析函数int scan( )，完成以下功能：（1）从输入流（键盘或文件）读入数据，分析出一个单词。
（2）返回单词种别（用整数表示），（3）返回单词属性（不同的属性可以放在不同的全局变量中）。
3．编写测试程序，循环调用函数scan( )，每次调用，获得一个单词的信息。
在测试程序中，打印输出单词种别、属性（注意：不要在词法分析函数scan 中打印输出！）。
四、实验环境微型计算机。
Windows 操作系统/Linux 操作系统。
编程语言：C/C++/Java/C#。
建议使用Visual C++/Netbeans/Eclipse 集成开发环境。
五、实验步骤1. 根据状态图，设计词法分析算法2. 设计函数scan( )，实现该算法3. 编制测试程序（在本试验中，可以是主函数main( ) ）。
4. 调试程序：输入一组单词，检查输出结果。
六、状态图七. 测试数据：0 92+data> 0x3f00 while八．测试结果九,思考题1.词法分析能否采用空格来区分单词？答：不能，因为比如abc+bcd中没有空格，但这是三个单词。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验一词法分析设计实验学时：4实验类型：综合实验要求：必修一、实验目的通过本实验的编程实践，使学生了解词法分析的任务，掌握词法分析程序设计的原理和构造方法，使学生对编译的基本概念、原理和方法有完整的和清楚的理解，并能正确地、熟练地运用。
二、实验容用VC++/VB/JAVA语言实现对C语言子集的源程序进行词法分析。
通过输入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的部编码及单词符号自身值；若遇到错误则显示“Error”，然后跳过错误部分继续显示；同时进行标识符登记符号表的管理。
以下是实现词法分析设计的主要工作：（1）从源程序文件中读入字符。
（2）统计行数和列数用于错误单词的定位。
（3）删除空格类字符，包括回车、制表符空格。
（4）按拼写单词，并用（码，属性）二元式表示。
(属性值——token的机表示) （5）如果发现错误则报告出错（6）根据需要是否填写标识符表供以后各阶段使用。
单词的基本分类：◆关键字：由程序语言定义的具有固定意义的标识符。
也称为保留字例如if、for、while、printf ；单词种别码为1。
◆标识符：用以表示各种名字，如变量名、数组名、函数名；◆常数：任何数值常数。
如125, 1,0.5,3.1416；◆运算符：+、-、*、/；◆关系运算符：<、<=、= 、>、>=、<>；◆分界符：；、，、（、）、[、]；三、实验要求1、编程时注意编程风格：空行的使用、注释的使用、缩进的使用等。
2、将标识符填写的相应符号表须提供给编译程序的以后各阶段使用。
3、根据测试数据进行测试。
测试实例应包括以下三个部分:◆全部合法的输入。
◆各种组合的非法输入。
◆由记号组成的句子。
4、词法分析程序设计要求输出形式:例：输入VC++语言的实例程序：If i=0 then n++;a﹤= 3b %);输出形式为：单词二元序列类型位置（行，列）（单词种别，单词属性）for (1,for ) 关键字（1，1）i ( 6,i ) 标识符（1，2）= ( 4，= ) 关系运算符（1，3）0 ( 5，0 ) 常数（1，4）then ( 1，then) 关键字（1，5）n (6,n ) 标识符（1，6）++ Error Error （1，7）；( 2, ; ) 分界符（1，8）a (6,a ) 标识符（2，1）﹤= (4,<= ) 关系运算符（2，2）3b Error Error （2，4）% Error Error （2，4）) ( 2, ) ) 分界符（2，5）；( 2, ; ) 分界符（2，6）实验报告正文：◆功能描述：该程序具有词法分析功能，即面对一段程序源代码，通过该程序，能检查出源代码是否由词法错误。
◆三、词法分析实验设计思想及算法：◆首先构造六个表，key[]={"auto","break","case","catch","char","class","const","continue","default","delete","do","double","else","enum","float","for","if","int","lo ng","new","private","protected","public","register","return","short","st atic","struct","switch","this","void","while","then"};关键字表, 单词种别码1;Delimiter[]={";","(",")","[","]",",",".","{","}"};分界符表单词种别码2 Operator[]={"+","-","*","/"};算术运算符表单词种别码3R_operators[]={"<","<=","==",">",">="},关键字表, 单词种别码1;string Number[100];常数表单词种别码5;string Identifier[100];标示符表单词种别码6;构造关键字判断函数Iskey(),字母判断函数Isletter(),数字判断函数Isnumber(); 构造标示符判别函数InsertId()，若输入的标示符在标示符数组Identifier []中，返回其下标，若不在，将该标示符插到数组末尾。
构造标示符判别函数InsertNumber()，若输入的数字在数字数组Number[]中，返回其下标，若不在，将该数字插到数组末尾。
具体分析函数analyse()具体实现输入源代码的识别。
anaiyse()构造思路，程序设计图：综合以上分析，画出整个程序的运行分析程序图，如下：整个程序的运行分析程序图◆软件的测试方法和测试结果：首先，将要分析的源代码写入一个文本，存于磁盘中，然后运行程序，输入源代码文件存放的路径，若输入路径正确，程序将自动分析源代码，若输入路径不正确，程序将显示，路径错误，请重新输入的提示。
下面为具体的运行实例：源代码为：If i=0 then n++;a﹤= 3b %)输出满足要求。
◆实验总结（设计的特点、不足、收获与体会）：通过此次实验，让我了解到如何设计、编制并调试词法分析程序，熟悉了构造词法分析程序的手工方式的相关原理，加深了对编译原理词法分析的理解，本次使用C++语言直接编写此法分析程序，也让我重新熟悉了C++语言的相关容，加深了对C++语言的用途的理解。
本程序的数据输入采取直接从文件中读取，而不是由键盘输入，因此在测试过程中，输入得到大大简化，但是本程序的关键字表只初始化了一部分关键字，还可继续扩充（只需扩大数组，向其中补充要添加的关键字），而且程序的测试数据存在不足，程序可能存在未发现的漏洞，以上两点有待改善。
附录该程序的源代码：#include <iostream>#include<string>using namespace std;//数据定义#define MAX 33char ch =' ';static int line=1,row=0;int NumberCount=0,IdCount=0; stringkey[]={"auto","break","case","catch","cha r","class","const","continue","default","de lete","do","double", "else","enum","float","for","if","int","long" ,"new","private","protected","public","reg ister","return","short","static", "struct","switch","this","void","while","the n"};//关键字表单词种别码1stringDelimiter[]={";","(",")","[","]",",",".","{","}"};/ /分界符表单词种别码2string Operator[]={"+","-","*","/"};//算术运算符表单词种别码3stringR_operators[]={"<","<=","==",">",">="};/ /关系运算符表单词种别码4string Number[100];//常数表单词种别码5 string Identifier[100];//标示符表单词种别码6//数据分析int Iskey(string c){ //关键字判断int i;for(i=0;i<MAX;i++) {if(key[i].compare(c)==0) return 1;}return 0;}//判断是否为字母int IsLetter(char c) {if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>=' A'))) {if((ch<='Z')&&(ch>='A'))ch=ch+32; //转换成小写return 1;}else return 0;}int IsNumber(char c){ //判断是否为数字if(c>='0'&&c<='9') return 1;else return 0;}//将arr中的标示符插入符号表并且返回符号表的指针int InsertId(string s){for(int i=0;i<IdCount;i++){if(Identifier[i]==s){return i;break;}else if(IdCount==i+1){Identifier[IdCount]=s;return IdCount;IdCount++;}}}//将arr中的常实数插入常数表并且返回常数表的指针int InsertNumber(string s){for(int i=0;i<NumberCount;i++){if(Number[i]==s){return i;break;}else if(NumberCount==i+1){Number[NumberCount]=s;return NumberCount;NumberCount++;}}}void analyse(FILE *fpin){//arr相当于课本中的strTokenstring arr="";while((ch=fgetc(fpin))!=EOF) //判断是否读取到文件末尾或者读取出错{arr="";if(ch==' '||ch=='\t'||ch=='\n')//删除空格类字符，包括回车、制表符空格{if(ch=='\n'){line++;row=0;}}else if(IsLetter(ch)){while(IsLetter(ch)||IsNumber(ch)){arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);//文件指针回移一个位置if (Iskey(arr)){row++; //识别出一个字符，列增加一cout<<arr<<"\t\t( 1,"<<arr<<")"<<"\t\t关键字"<<"\t\t("<<line<<","<<row<<")"<<endl;}else{row++; //识别出一个字符，列增加一InsertId(arr);cout<<arr<<"\t\t( 6,"<<arr<<")"<< "\t\t标识符"<<"\t\t("<<line<<","<<row<<")"<<en dl;}}//处理常数else if(IsNumber(ch)){while(IsNumber(ch))//||ch=='.'&&IsNum ber(fgetc(fpin)){arr=arr+ch;ch=fgetc(fpin);}if(IsLetter(ch)){while(IsLetter(ch)||IsNumber(ch)){arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);row++;cout<<arr<<"\t\tError"<<"\t\tError"<<" \t\t("<<line<<","<<row<<")"<<endl;}else{InsertNumber(arr);row++; //识别出一个字符，列增加一cout<<arr<<"\t\t( 5,"<<arr<<")"<<"\t\t 常数"<<"\t\t("<<line<<","<<row<<")"<<en dl;}}//处理算符else{row++;arr=ch;switch(ch){case'+':{ch=fgetc(fpin);if(ch=='('||IsNumber(ch)||IsLetter(ch) ){fseek(fpin,-1L,SEEK_CUR);cout<<"+"<<"\t\t( 3,+ )"<<"\t\t算术运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl; }elsecout<<arr+ch<<"\t\tError"<<"\t\tError" <<"\t\t("<<line<<","<<row<<")"<<endl ;}break;case'-' :{ch=fgetc(fpin);if(ch=='('||IsNumber(ch)||IsLetter(ch)) {fseek(fpin,-1L,SEEK_CUR);cout<<"-" <<"\t\t( 3,- )"<<"\t\t算术运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;}else{cout<<arr+ch<<"\t\tError"<<"\t\tEr ror"<<"\t\t("<<line<<","<<row<<")"<< endl;}}break;case'*' :cout<<"-"<<"\t\t( 3,*)"<<"\t\t算术运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;case'=' :{ch=fgetc(fpin);if(ch=='='){cout<<"=="<<"\t\t( 4,== )"<<"\t\t关系运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;}else{fseek(fpin,-1L,SEEK_CUR);cout< <"="<<"\t\t( 4,=)"<<"\t\t关系运算符"<<"\t("<<line<<","<<row<<")"<<endl; }}break;case'/' :cout<<ch<<"\t\t( 3,"<<ch<<" )" <<"\t\t算术运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;;break;case'(' :case')' :case'[' :case']' :case';' :case'.' :case',' :case'{' :case'}' :cout<<ch<<"\t\t( 2,"<<ch<<")"< <"\t\t分界符"<<"\t\t("<<line<<","<<row<<")"<<en dl;break;case'>' :{ch=fgetc(fpin);if(ch=='=')cout<<">="<<"\t\t( 4,>=)"< <"\t\t关系运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;else {cout<<">"<<"\t\t( 4,> )"<<"\t\t关系运算符"<<"\t\t("<<line<<","<<row<<")"<<en dl;fseek(fpin,-1L,SEEK_CUR);}}break;case'<' :{ch=fgetc(fpin);if(ch=='=')cout<<"<="<<"\t\t( 4,<=)"< <"\t\t关系运算符"<<"\t("<<line<<","<<row<<")"<<endl;elseif(ch=='>')cout<<"<>"<<"\t\t( 4,<>)"< <"\t\t关系运算符"<<"\t("<<line<<","<<row<<")"<<endl; else{cout<<"<"<<"\t\t( 4,< )"<<"\t\t关系运算符实用文档标准"<<"\t("<<line<<","<<row<<")"<<endl; fseek(fpin,-1L,SEEK_CUR);} }break;default :cout<<ch<<"\t\tError"<<"\t\tError"<<"\t\t("<<line<<","<<row<<")"<<endl;brea k; } }}}int main(){char in_fn[30]; FILE * fpin;cout<<"请输入源文件名（包括路径和后缀名）:"; for(;;){ cin>>in_fn;if((fpin=fopen(in_fn,"r"))!=NULL) break;else cout<<"文件路径错误！请输入源文件名（包括路径和后缀名）:"; }cout<<"\n********************分析如下*********************"<<endl; cout<<"单词 二元序列 类型 位置（行，列） "<<endl;analyse(fpin); fclose(fpin); return 0; }。