c词法分析器实验报告
编译原理词法分析实验报告
编译原理词法分析实验报告实验名称:词法分析器的设计与实现一、实验目的：1.熟悉编译原理中词法分析的基本概念和原理；2.掌握正则表达式的使用方法；3.实现一个简单的词法分析器。
二、实验内容：1.设计一个简单的编程语言，包含如下几种类型的词法单元：关键字、标识符、常量、运算符和界符。
2.使用正则表达式定义每种词法单元的模式。
3.设计一个词法分析器，将源代码中的每个词法单元识别出来并输出。
三、实验步骤：1. 确定编程语言的词法单元类型和正则表达式模式，定义相应的单词类型（如 TokenType）和模式（如 regex）。
2. 实现一个词法分析器的类 Lexer，包含以下方法：(1)一个构造方法，用于初始化词法分析器的输入源代码。
(2) 一个getNextToken方法，用于获取源代码中的下一个词法单元。
3. 在getNextToken方法中，使用正则表达式逐个识别源代码中的词法单元，并返回相应的Token对象。
4. 设计一个Token类，包含以下属性：词法单元类型、词法单元的值和位置信息等。
5.在主程序中使用词法分析器，将源代码中的每个词法单元识别出来并输出。
四、实验结果：1.设计一个简单的编程语言，包含如下词法单元类型（示例）：(1) 关键字：if、else、while、for等；(2)标识符：变量名等；(3)常量：整数、浮点数、字符串等；(4)运算符：+、-、*、/、=等；(5)界符：(、)、{、}、;等。
2. 实现一个词法分析器，识别出源代码中的每个词法单元，并输出相应的Token对象。
五、实验总结：通过本次实验，我熟悉了编译原理中词法分析的基本概念和原理，并掌握了正则表达式的使用方法。
我成功完成了一个简单的词法分析器的设计与实现，实现了源代码中每个词法单元的识别与输出。
这次实验对我深化了对编译原理中词法分析的理解，并提高了我的编程能力。
实验一词法分析器实验报告示例
词法分析器实验报告一.需求分析1.C语言关键字的子集，以文件形式保存，待判断的C语言语句以文件形式保存。
2.关键字文件包括标识符、基本字、常数、运算符和界符以及相应的种别码。
3.在计算机终端顺次输出各词法单位的种别码和值。
若为标识符，其值为该标识符在标识符表中的位置；若为常数，其值为该常数在常数表中的位置；其余值为-1。
非法输入单词的种别码为-1，值为-2。
4.“单词”定义：C语言中最小的语法单位。
“标识符”定义：用户自定义的标志符。
5.测试数据：文本文件为unknowedword.text二.概要设计1.单词种别码设计如表一所示：A标识符及关键字如图一所示：图一.标识符状态转换图B实数如图二所示：图二.实数状态转换图C图三.运算符状态转换图D其它与运算符雷同，此处略3. 数据结构know[N] 用来存放构成单词符号的字符串；unknow[N]用来存放待辨别的字符串；chartab[T][N] 用来存放识别出的标识符；keytab[M][N] 用来存放从文件中读入的基本字；consttab[T] 用来存放识别出的实数。
以上均设为全局变量。
4.基本操作Getchar()初始条件：unknow中读入了一串待辨别的字符串。
操作结果：从unknow读入一个字符到ch中，指向unknow的指针加1。
Getbc()初始条件：unknow中读入了一串待辨别的字符串。
操作结果：从unknow中读入不是空格的下一个字符。
Concat()初始条件：know中为字母且ch中为字母，或know中为数字（包括小数点）ch中也为数字。
操作结果：将ch中的字符连接到know中。
Isletter()初始条件：ch中已经读入了一个新的字符。
操作结果：判断ch中的字符是否字母。
Isdigit()初始条件：ch中已经读入了一个新的字符。
操作结果：判断ch中的字符是否数字。
Keyword()初始条件：已判断出know中的字符串为标识符。
词法分析器实验报告
词法分析器实验报告词法分析器实验报告一、引言词法分析器是编译器中的重要组成部分，它负责将源代码分解成一个个的词法单元，为之后的语法分析提供基础。
本实验旨在设计和实现一个简单的词法分析器，以深入理解其工作原理和实现过程。
二、实验目标本实验的目标是设计和实现一个能够对C语言代码进行词法分析的程序。
该程序能够将源代码分解成关键字、标识符、常量、运算符等各种词法单元，并输出其对应的词法类别。
三、实验方法1. 设计词法规则：根据C语言的词法规则，设计相应的正则表达式来描述各种词法单元的模式。
2. 实现词法分析器：利用编程语言（如Python）实现词法分析器，将源代码作为输入，根据词法规则将其分解成各种词法单元，并输出其类别。
3. 测试和调试：编写测试用例，对词法分析器进行测试和调试，确保其能够正确地识别和输出各种词法单元。
四、实验过程1. 设计词法规则：根据C语言的词法规则，我们需要设计正则表达式来描述各种词法单元的模式。
例如，关键字可以使用'|'操作符将所有关键字列举出来，标识符可以使用[a-zA-Z_][a-zA-Z0-9_]*的模式来匹配，常量可以使用[0-9]+的模式来匹配等等。
2. 实现词法分析器：我们选择使用Python来实现词法分析器。
首先，我们需要读取源代码文件，并将其按行分解。
然后，针对每一行的代码，我们使用正则表达式进行匹配，以识别各种词法单元。
最后，我们将识别出的词法单元输出到一个结果文件中。
3. 测试和调试：我们编写了一系列的测试用例，包括各种不同的C语言代码片段，以测试词法分析器的正确性和鲁棒性。
通过逐个测试用例的运行结果，我们可以发现和解决词法分析器中的问题，并进行相应的调试。
五、实验结果经过多次测试和调试，我们的词法分析器能够正确地将C语言代码分解成各种词法单元，并输出其对应的类别。
例如，对于输入的代码片段：```cint main() {int a = 10;printf("Hello, world!\n");return 0;}```我们的词法分析器将输出以下结果：```关键字：int标识符：main运算符：(运算符：)运算符：{关键字：int标识符：a运算符：=常量：10运算符：;标识符：printf运算符：(常量："Hello, world!\n"运算符：)运算符：;关键字：return常量：0运算符：;```可以看到，词法分析器能够正确地将代码分解成各种词法单元，并输出其对应的类别。
实验一、词法分析器(含源代码)
词法分析器实验报告一、实验目的及要求本次实验通过用C语言设计、编制、调试一个词法分析子程序，识别单词，实现一个C语言词法分析器，经过此过程可以加深对编译器解析单词流的过程的了解。
运行环境：硬件：windows xp软件：visual c++6.0二、实验步骤1.查询资料，了解词法分析器的工作过程与原理。
2.分析题目，整理出基本设计思路。
3.实践编码，将设计思想转换用c语言编码实现，编译运行。
4.测试功能，多次设置包含不同字符，关键字的待解析文件，仔细察看运行结果，检测该分析器的分析结果是否正确。
通过最终的测试发现问题，逐渐完善代码中设置的分析对象与关键字表，拓宽分析范围提高分析能力。
三、实验内容本实验中将c语言单词符号分成了四类：关键字key（特别的将main说明为主函数）、普通标示符、常数和界符。
将关键字初始化在一个字符型指针数组*key[]中，将界符分别由程序中的case列出。
在词法分析过程中，关键字表和case列出的界符的内容是固定不变的（由程序中的初始化确定），因此，从源文件字符串中识别出现的关键字，界符只能从其中选取。
标识符、常数是在分析过程中不断形成的。
对于一个具体源程序而言，在扫描字符串时识别出一个单词，若这个单词的类型是关键字、普通标示符、常数或界符中之一，那么就将此单词以文字说明的形式输出．每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直到整个源程序全部扫描完毕，从而形成相应的单词串。
输出形式例如：void $关键字流程图、程序流程图：程序：#include<string.h>#include<stdio.h>#include<stdlib.h>#include<ctype.h>//定义关键字char*Key[10]={"main","void","int","char","printf","scanf","else","if","return"}; char Word[20],ch; // 存储识别出的单词流int IsAlpha(char c) { //判断是否为字母if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))) return 1;else return 0;}int IsNum(char c){ //判断是否为数字if(c>='0'&&c<='9') return 1;else return 0;}int IsKey(char *Word){ //识别关键字函数int m,i;for(i=0;i<9;i++){if((m=strcmp(Word,Key[i]))==0){if(i==0)return 2;return 1;}}return 0;}void scanner(FILE *fp){ //扫描函数char Word[20]={'\0'};char ch;int i,c;ch=fgetc(fp); //获取字符，指针fp并自动指向下一个字符if(IsAlpha(ch)){ //判断该字符是否是字母Word[0]=ch;ch=fgetc(fp);i=1;while(IsNum(ch)||IsAlpha(ch)){ //判断该字符是否是字母或数字Word[i]=ch;i++;ch=fgetc(fp);}Word[i]='\0'; //'\0' 代表字符结束(空格)fseek(fp,-1,1); //回退一个字符c=IsKey(Word); //判断是否是关键字if(c==0) printf("%s\t$普通标识符\n\n",Word);//不是关键字else if(c==2) printf("%s\t$主函数\n\n",Word);else printf("%s\t$关键字\n\n",Word); //输出关键字 }else //开始判断的字符不是字母if(IsNum(ch)){ //判断是否是数字Word[0]=ch;ch=fgetc(fp);i=1;while(IsNum(ch)){Word[i]=ch;i++;ch=fgetc(fp);}Word[i]='\0';fseek(fp,-1,1); //回退printf("%s\t$无符号实数\n\n",Word);}else //开始判断的字符不是字母也不是数字{Word[0]=ch;switch(ch){case'[':case']':case'(':case')':case'{':case'}':case',':case'"':case';':printf("%s\t$界符\n\n",Word); break;case'+':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word);//运算符“+=”}else if(ch=='+'){printf("%s\t$运算符\n\n",Word); //判断结果为“++”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“+”}break;case'-':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word); }else if(ch=='-'){printf("%s\t$运算符\n\n",Word); //判断结果为“--”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“-”}break;case'*':case'/':case'!':case'=':ch=fgetc(fp);if(ch=='='){printf("%s\t$运算符\n\n",Word);}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word);}break;case'<':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word); //判断结果为运算符“<=”}else if(ch=='<'){printf("%s\t$运算符\n\n",Word); //判断结果为“<<”}else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word); //判断结果为“<”}break;case'>':ch=fgetc(fp);Word[1]=ch;if(ch=='=') printf("%s\t$运算符\n\n",Word);else {fseek(fp,-1,1);printf("%s\t$运算符\n\n",Word);}break;case'%':ch=fgetc(fp);Word[1]=ch;if(ch=='='){printf("%s\t$运算符\n\n",Word);}if(IsAlpha(ch)) printf("%s\t$类型标识符\n\n",Word);else {fseek(fp,-1,1);printf("%s\t$取余运算符\n\n",Word);}break;default:printf("无法识别字符!\n\n"); break;}}}main(){char in_fn[30]; //文件路径FILE *fp;printf("\n请输入源文件名（包括路径和后缀名）:");while(1){gets(in_fn);//scanf("%s",in_fn);if((fp=fopen(in_fn,"r"))!=NULL) break; //读取文件内容，并返回文件指针，该指针指向文件的第一个字符else printf("文件路径错误!请重新输入:");}printf("\n******************* 词法分析结果如下 *******************\n");do{ch=fgetc(fp);if(ch=='#') break; //文件以#结尾，作为扫描结束条件else if(ch==' '||ch=='\t'||ch=='\n'){} //忽略空格，空白，和换行else{fseek(fp,-1,1); //回退一个字节开始识别单词流scanner(fp);}}while(ch!='#');return(0);}4.实验结果解析源文件：void main(){int a=3;a+=b;printf("%d",a);return;}#解析结果：5.实验总结分析通过本次实验，让再次浏览了有关c语言的一些基本知识，特别是对文件，字符串进行基本操作的方法。
词法分析器的实验报告
词法分析器的实验报告词法分析器的实验报告引言：词法分析器是编译原理中的重要组成部分，它负责将源代码中的字符序列转换为有意义的词法单元，为后续的语法分析提供基础。
本实验旨在设计和实现一个简单的词法分析器，并对其进行测试和评估。
实验设计：1. 词法规则设计：在开始实验之前，我们首先需要设计词法规则，即定义源代码中的合法词法单元。
例如，对于一门类C的语言，我们可以定义关键字（如if、while、int等）、标识符、运算符（如+、-、*等）、分隔符（如()、{}等）等。
2. 有限自动机（DFA）的设计：基于词法规则，我们可以设计一个有限自动机，用于识别和分析源代码中的词法单元。
有限自动机是一个状态转换图，其中每个状态代表一种词法单元，而边表示输入字符的转换关系。
3. 实现代码：根据有限自动机的设计，我们可以使用编程语言（如Python、C++等）实现词法分析器的代码。
代码的主要功能包括读取源代码文件、逐个字符进行词法分析、识别和输出词法单元。
实验过程：1. 词法规则设计：我们以一门简单的算术表达式语言为例，设计了以下词法规则：- 数字：由0-9组成的整数或浮点数。
- 运算符：包括+、-、*、/等。
- 分隔符：包括括号()和逗号,。
- 标识符：以字母开头，由字母和数字组成的字符串。
2. 有限自动机（DFA）的设计：我们基于词法规则，设计了一个简单的有限自动机。
该自动机包含以下状态：- 初始状态：用于读取和识别源代码中的字符。
- 数字状态：用于识别和输出数字。
- 运算符状态：用于识别和输出运算符。
- 分隔符状态：用于识别和输出分隔符。
- 标识符状态：用于识别和输出标识符。
3. 实现代码：我们使用Python编程语言实现了词法分析器的代码。
代码主要包括以下功能：- 读取源代码文件。
- 逐个字符进行词法分析，根据有限自动机的设计进行状态转换。
- 识别和输出词法单元。
实验结果：我们对几个测试样例进行了词法分析，并对结果进行了评估。
词法分析器实验报告
词法分析器实验报告班级：12 姓名：郭金龙学号：45一、问题描述设计并实现C语言的词法分析程序，要求如下。
（1）、可以识别出用C语言编写的源程序中的每个单词符号，并以记号的形式输出每个单词符号。
（2）、可以识别并读取源程序中的注释。
（3）、可以统计源程序汇总的语句行数、单词个数和字符个数，其中标点和空格不计算为单词，并输出统计结果（4）、检查源程序中存在的错误，并可以报告错误所在的行列位置。
（5）、发现源程序中存在的错误后，进行适当的恢复，使词法分析可以继续进行，通过一次词法分析处理，可以检查并报告源程序中存在的所有错误。
实验要求：方法1：采用C/C++作为实现语言，手工编写词法分析程序。
—方法2：通过编写LEX源程序，利用LEX软件工具自动生成词法分析程序二、算法思想及实现首先从主题上来看是一个大概的字符/字符串匹配过程，然后在这其中细化到分类包括标识符，关键字，标点符号，数字等等。
这其中在计算一下几个方面的时候比较简单：（1）行数：每次读到回车的时候行数加一（2）单词数：在读标识符和关键字的时候每读到一个计数器加一（3）字符数：除了标点符号和空格以外，每读到一个字符都计数器加一剩下的在判断各种符号的时候以及是否是关键字和标识符的时候，在程序中严格遵守书上给的流程图如下并且输出形式也严格按照书上给的表格如下：三、\四、设计描述主要说说这其中几个比较关键的地方（1）首先要判断是否读到文件末尾，如果是的话要跳出并关闭文件，否则会导致内存泄露（2）考虑需要超前判断的几个字符包括<>,<=,>=等等，这下如果读到第一个字符而下一个字符不是预想中的字符时候要指针回退一个字符，但是要考虑到如果这个字符是在文件末尾的话会出现循环的情况，这也是其中的一个问题（3）关键字的判断上，首先要定义一个关键字数组或者容器，然后通过token里面临时存储的字符串来进行匹配，最后如果匹配成功或者失败要有相应的措施并且每次匹配后一定要清空token。
实验二 C语言的词法分析器
实验二C语言的词法分析器
实验目的：
1.理解词法分析器的工作原理
2.能够使用程序设计语言实现一个C语言词法分析器
实验内容：
编制一个简单的C语言词法分析器，该词法分析器从输入的C语言源程序中，识别出各个具有独立意义地单词(C语言的单词可分为：关键字、标识符、常数、运算符和分割符五大类)。
对于一个C语言的源程序，依次输出该源程序的单词及该单词的内部编码。
(若遇到源程序中存在的错误时，词法分析器显示”Error”，然后跳过错误之处继续显示)
假如C语言源程序为：
void main()
{
int i, j, k;
i=10;
j=20;
k=i*j;
}
输出结果为：(输出形式为：语言符号所在行,语言符号,语言符号类别)
实验环境：
Turbo C
或Visual C++ 6.0或Visual
或JDK或NetBeans
实验步骤：
注：实验报告的书写要求
1.在实验步骤中：写出编程思路及源程序的结构(主要函数或主要的类及方法)；
2.写出上机调试时发现的问题，以及解决的过程；
3.写出你所使用的测试数据及输出结果；
4.写出你的心得体会。
词法分析实验报告
词法分析实验报告词法分析是编译原理中的一个重要概念，它是编译器中的第一个阶段，也是最基础的一个阶段。
词法分析器将输入的源代码转化为一系列的标记（Token），这些标记是语法分析器后续分析的基本单元。
在本次实验中，我们使用C语言编写了一个简单的词法分析器。
该词法分析器可以识别常见的C语言关键字（如if、while、for等）、运算符（如+、-、*、/等）、标识符、常量等，并将它们转化为相应的标记。
实验过程中，我们使用了C++编程语言来实现词法分析器。
在主函数中，我们首先读取输入的源代码文件，并将其逐个字符地进行扫描。
扫描过程中，我们利用一些常见的正则表达式来匹配每个标记，并将其转化为相应的Token。
在匹配完成后，我们将Token存储在一个Token序列中，以便后续的语法分析器使用。
实验过程中，我们遇到了一些困难。
一是字符匹配的问题，在处理运算符等特殊字符时，需要对转义字符进行特殊处理。
二是标识符的识别问题，我们需要判断一个字符是否属于标识符中的某一部分，而不能将其单独当作一个标记。
为了解决这个问题，我们采用了状态机的方法，维护一个标识符的状态，根据状态的变化来判断是否识别到了一个完整的标识符。
在实验结果中，我们成功地将源代码转化为了一系列的标记。
这些标记可以用于后序的语法分析和语义分析等过程中。
同时，我们也发现了一些问题，如在处理注释时可能会出现误判等。
针对这些问题，我们可以进一步改进词法分析器，提高其准确性和鲁棒性。
总的来说，通过本次实验，我们深入理解了词法分析的原理和过程，并成功地实现了一个简单的词法分析器。
通过这个实验，我们对编译原理有了更深入的了解，并提高了自己的编程能力。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
c词法分析器实验报告
篇一：词法分析器设计实验报告
计算机与信息学院（信息工程系）
编译原理实验报告
专业班级
课程教学班任课教实验指导教师
实验地点
XX ~XX学年第一学期
实验一词法分析器设计
一、实验目的
通过本实验的编程实践，使学生了解词法分析的任务，掌握词法分析程序设计的原理和构造方法，使学生对编译的基本概念、原理和方法有完整的和清楚的理解，并能正确地、熟练地运用。
二、实验内容
用 VC++/VB/JAVA 语言实现对 C 语言子集的源程序进行词法分析。
通过输入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的内部编码及单词符号自身值；若遇到错误则显示“Error”，然后跳过错误部分继续显示；同时进行标识符登记符号表的管理。
以下是实现词法分析设计的主要工作：
（1）从源程序文件中读入字符。
（2 （3 （4(属性值——token 的机内表示)
（5）如果发现错误则报告出错 7
（6
三、实验流程图
四、实验步骤
1
2、编制好源程序后，设计若干用例对系统进行全面的上机测试，并通过所设计的词法分析程序；直至能够得到完全满意的结果。
3、书写实验报告；实验报告正文的内容：
五、实验结果
篇二：C语言词法分析器实验报告
计算机科学与工程系编译原理课程设计实验报告姓名：__ ******__ 学号_ *******__ 年级专业及班级___08计算机科学与技术成绩
- 1 -
- 2 -
- 3 -
- 4 -
- 5 -
篇三：词法分析器实验报告
实验报告
实验题目：词法分析器
院系班级：计科系0901班
姓名学号： XX210603
实验时间：XX-10-21
设计。
编制并调试一个词法分析程序，加深对词法分析原理的理解。
实验要求
设计出一个简单的词法分析程序，能够识别关键字（包含begin、if、end、 while、else、 then）、标识符、数字及数种符号（+、-、*、/、（、）、：、=、：=、#、>、、=、；）。
返回并打印各类字符所对应的种类编码及该字符所组成的二元组。
算法设计流程图
# include
# include
# include
# include
typedef struct
{
int num;
char *word;
}WORD;
char token[255]="";
char input[255];
int t=0;
int i=0;
char gjz[6][10]={"begin","if","then","while","do","end"} ;char ch;
WORD* start()
{
WORD*myword=new WORD;
myword->num=1;
myword->word="";
t=0;
ch=input[i];
i++;
while(ch==' '||ch==10)
{ ch=input[i];
i++;
}
if (isalpha(ch))
{
while(isalpha(ch)||isdigit(ch))
token[t]=ch;
t++;
token[t]='\0';
ch=input[i];
i++;
}
i--;
int n=0;
while(n {
if(!strcmp(token,gjz[n])) {
myword->num=n+1;myword->word=token;return myword; }
n++;
}//关键字
myword->num=10;
myword->word=token;
return(myword);
}//标识符
else if(isdigit(ch))
{
while (isdigit(ch))
token[t]=ch;
t++;
token[t]='\0';
ch=input[i];
i++;
}
i--;
myword->num=11;
myword->word=token;
return(myword)(本文来自：小草范文网:c词法分析器实验报告);
}//数字
else
switch(ch)
{
case'+':myword->num=13;myword->word="+";return(mywo rd);break; case'-':myword->num=14;myword->word="-";
return(myword);break; case'*':myword->num=15;myword->word="*";return(mywo rd);break;
case'/':myword->num=16;myword->word="/";return(mywo rd);break; case' i++;
if(ch=='>')
{
myword->num=21; myword->word=""; return(myword);} else if (ch=='='){
myword->num=22; myword->word=" i--;
myword->num=20;myword->word="':ch=input[i];
i++;
if(ch=='=')
{
myword->num=24; myword->word=">="; return(myword);}
i--;
myword->num=23;myword->word=">";return(myword);brea k; case':':ch=input[i];
i++;
if (ch=='=')
{
myword->num=18; myword->word=":="; return(myword);。