编译原理实验词法分析器
编译原理-实验二-FLEX词法分析器
编译原理-实验⼆-FLEX词法分析器FLEX词法分析器⼀、Lex和Yacc介绍Lex 是⼀种⽣成扫描器的⼯具。
扫描器是⼀种识别⽂本中的词汇模式的程序。
⼀种匹配的常规表达式可能会包含相关的动作。
这⼀动作可能还包括返回⼀个标记。
当 Lex 接收到⽂件或⽂本形式的输⼊时，它试图将⽂本与常规表达式进⾏匹配。
它⼀次读⼊⼀个输⼊字符，直到找到⼀个匹配的模式。
如果能够找到⼀个匹配的模式，Lex 就执⾏相关的动作（可能包括返回⼀个标记）。
另⼀⽅⾯，如果没有可以匹配的常规表达式，将会停⽌进⼀步的处理，Lex 将显⽰⼀个错误消息。
Yacc代表 Yet Another Compiler Compiler 。
Yacc 的 GNU 版叫做 Bison。
它是⼀种⼯具，将任何⼀种编程语⾔的所有语法翻译成针对此种语⾔的 Yacc 语法解析器。
（下载下载flex和bison。
⽹址分别是/packages/flex.htm和/packages/bison.htm。
）⼆、配置环境（win7）①下载flex和bison并安装到D:\GnuWin32（尽量是根⽬录）②由于我们使⽤的flex和bison都是GNU的⼯具，所以为了⽅便，采⽤的C/C++编译器也采⽤GNU的编译器GCC，当然我们需要的也是Windows版本的GCC了。
所以提前准备好VC 6.0③检验是否可以进⾏lex⽂件编译1.新建⽂本⽂件，更改名称为lex.l，敲⼊下⾯代码%{int yywrap(void);%}%%%%int yywrap(void){return 1;}2.新建⽂本⽂件，更改名称为yacc.y,敲⼊下⾯代码%{void yyerror(const char *s);%}%%program:;%%void yyerror(const char *s){}int main(){yyparse();}我们暂且不讨论上⾯代码的意思。
打开控制台，进⼊到刚才所建⽴⽂件（lex.l,yacc.y）所在的⽂件夹。
编译原理词法分析实验报告
编译原理词法分析实验报告实验名称:词法分析器的设计与实现一、实验目的：1.熟悉编译原理中词法分析的基本概念和原理；2.掌握正则表达式的使用方法；3.实现一个简单的词法分析器。
二、实验内容：1.设计一个简单的编程语言，包含如下几种类型的词法单元：关键字、标识符、常量、运算符和界符。
2.使用正则表达式定义每种词法单元的模式。
3.设计一个词法分析器，将源代码中的每个词法单元识别出来并输出。
三、实验步骤：1. 确定编程语言的词法单元类型和正则表达式模式，定义相应的单词类型（如 TokenType）和模式（如 regex）。
2. 实现一个词法分析器的类 Lexer，包含以下方法：(1)一个构造方法，用于初始化词法分析器的输入源代码。
(2) 一个getNextToken方法，用于获取源代码中的下一个词法单元。
3. 在getNextToken方法中，使用正则表达式逐个识别源代码中的词法单元，并返回相应的Token对象。
4. 设计一个Token类，包含以下属性：词法单元类型、词法单元的值和位置信息等。
5.在主程序中使用词法分析器，将源代码中的每个词法单元识别出来并输出。
四、实验结果：1.设计一个简单的编程语言，包含如下词法单元类型（示例）：(1) 关键字：if、else、while、for等；(2)标识符：变量名等；(3)常量：整数、浮点数、字符串等；(4)运算符：+、-、*、/、=等；(5)界符：(、)、{、}、;等。
2. 实现一个词法分析器，识别出源代码中的每个词法单元，并输出相应的Token对象。
五、实验总结：通过本次实验，我熟悉了编译原理中词法分析的基本概念和原理，并掌握了正则表达式的使用方法。
我成功完成了一个简单的词法分析器的设计与实现，实现了源代码中每个词法单元的识别与输出。
这次实验对我深化了对编译原理中词法分析的理解，并提高了我的编程能力。
编译原理 词法分析器
一、实验目的和要求：设计并实现一个PL/0语言(或其它语言,如C语言)的词法分析程序，加深对词法分析原理的理解。
二、实验原理：词法分析是从左向右扫描每行源程序的符号，拼成单词，换成统一的机内表示形式——TOKEN字，送给语法分析程序。
TOKEN字是一个二元式：（单词种别码，自身值）。
PL/0语言单词的种别码参见教材（或自行设定），单词自身值按如下规则给出：1 标识符的自身值是它在符号表的入口地址。
2常数的自身值是常数本身（或它的二进制数值）。
3关键字和界限符的自身值为本身。
三、实验步骤与要求1、设计的词法分析器符合软件工程的要求。
2、编制程序,此程序应具有如下功能:1）输入:字符串(待进行词法分析的源程序),输出:由(种别码,自身值)所组成的二元组序列。
2）功能:a.滤空格b.识别保留字c.识别标识符d.拼数e.拼复合单词: 例如：>=、 <=、 :=3）检查如下错误：a.程序语言的字符集以外的非法字符b.单词拼错,如9A88,而对于将begin拼写成begon的错误,只须把begon当成标识符即可3、请指导教师检查程序和运行结果，评定成绩。
4、撰写并上交实验报告。
四、试验设计和算法分析：实验原理：程序流程：置初值→调用扫描子程序→输出串结束→输出单词二元组→是→否→结束词法分析主程序示意图待分析的简单语言的词法(1) 关键字：begin if then while do end所有关键字都是小写。
（2）运算符和界符：：= + - * / < > <= <> >= ; ( ) #(3)：其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义：ID=letter(letter | digit)*NUM=digit digit*(4)空格由空白、制表符和换行符组成。
空格一般用来分隔ID、NUM、运算符、界符和关键字，词法分析阶段通常被忽略。
、设计的词法分析器符合软件工程的要求。
编译原理实验--词法分析器
实验一词法分析器设计【实验目的】1．熟悉词法分析的基本原理，词法分析的过程以及词法分析中要注意的问题。
2．复习高级语言，进一步加强用高级语言来解决实际问题的能力。
3．通过完成词法分析程序，了解词法分析的过程。
【实验内容】用C语言编写一个PL/0词法分析器，为语法语义分析提供单词，使之能把输入的字符串形式的源程序分割成一个个单词符号传递给语法语义分析，并把分析结果（基本字，运算符，标识符，常数以及界符）输出。
【实验流程图】【实验步骤】1．提取pl/0文件中基本字的源代码while((ch=fgetc(stream))!='.'){int k=-1;char a[SIZE];int s=0;while(ch>='a' && ch<='z'||ch>='A' && ch<='Z'){if(ch>='A' && ch<='Z') ch+=32;a[++k]=(char)ch;ch=fgetc(stream);}for(int m=0;m<=12&&k!=-1;m++)for(int n=0;n<=k;n++){if(a[n]==wsym[m][n]) ++s;else s=0;if(s==(strlen(wsym[m]))) {printf("%s\t",wsym[m]);m=14;n=k+1;} }2．提取pl/0文件中标识符的源代码while((ch=fgetc(stream))!='.'){int k=-1;char a[SIZE]=" ";int s=0;while(ch>='a' && ch<='z'||ch>='A' && ch<='Z'){if(ch>='A' && ch<='Z') ch+=32;a[++k]=(char)ch;ch=fgetc(stream);}for(int m=0;m<=12&&k!=-1;m++)for(int n=0;n<=k;n++){if(a[n]==wsym[m][n]) ++s;else s=0;if(s==(strlen(wsym[m]))) {m=14;n=k+1;}}if(m==13) for(m=0;a[m]!=NULL;m++) printf("%c ",a[m]);3．提取pl/0文件中常数的源代码while((ch=fgetc(stream))!='.'){while(ch>='0' && ch<='9'){num=10*num+ch-'0';ch=fgetc(stream);}if(num!=0) printf("%d ",num);num=0;}4．提取pl/0文件中运算符的源代码int ch=fgetc(stream);while(ch!='.'){switch(ch){case'+': printf("+ ");break;case'-': printf("- ");break;case'*': printf("* ");break;case'/': printf("/ ");break;case'>': if(fgetc(stream)=='=')printf(">= "); else printf("> ");break;case'<': if(fgetc(stream)=='=')printf("<= "); else printf("< ");break;case':': printf(":= ");break;case'#': printf("# ");break;case'=': printf("= ");break;default: break;}ch=fgetc(stream);5．提取pl/0文件中界符的源代码int ch=fgetc(stream);while(ch!='.'){switch(ch){case',': printf(", ");break;case';': printf("; ");break;case'(': printf("( ");break;case')': printf(") ");break;default: break;}ch=fgetc(stream);}【实验结果】1．pl/0文件（222.txt）内容const a=10;var b,c;procedure p;beginc:=b+a;end;beginread(b);while b#0 dobegincall p;write(2*c);read(b)endend .2．实验运行结果【实验小结】1.了解程序在运行过程中对词法分析，识别一个个字符并组合成相应的单词，是机器能过明白程序，定义各种关键字，界符。
编译原理词法分析器语法分析器实验报告
printf("请输入各终结符（#号表示结束）Vt[i]:\n");
for(i=0;i<100;i++)
{
scanf("%c",&Vt[i]);
if(Vt[i]=='#')
{
r=i;
break;
}
}
printf("请输入非终结符个数:\n");
scanf("%d",&n);
getchar();
p=s->next;
while(p!=NULL)
{
st[i++]=p->data;
p=p->next;
}
for(j=i-1;j>=0;j--)
printf("%c",st[j]);
for(j=0;j<16-i;j++) //打印对齐格式
printf("%c",' ');
}
char gettop(stackk *s) //返回栈顶元素值
{
stackk *p;
p=(stackk *)malloc(sizeof(stackk));
p->data=x;
p->next=s->next;
s->next=p;
}
void display(stackk *s) //打印现实显示栈内元素
{
stackk *p;
int i=0,j;
char st[100];
#include<string.h>
#include<malloc.h>
编译原理报告—词法分析器
词法分析器的作用词法分析是编译的第一阶段。
词法分析器的主要任务是读入源程序的输入字符，将它们组成词素，生成并输出一个词法单元序列，这个词法单元序列被输出到语法分析器进行语法分析。
另外，由于词法分析器在编译器中负责读取源程序，因此除了识别词素之外，它还会完成一些其他任务，比如过滤掉源程序中的注释和空白，将编译器生成的错误消息与源程序的位置关联起来等。
总而言之，词法分析器的作用如下：1.读入源程序的输入字符，将它们组成词素，生成并输出一个词法单元序列；2.过滤掉源程序中的注释和空白；3.将编译器生成的错误消息与源程序的位置关联起来；4.其它。
词法分析过程首先，对某个正则语言L，构造能够描述其的正则表达式r；然后，需要将r 转换成一个有穷自动机。
这里有三种方法，一是直接转换成NFA，而是直接转换成DFA，三是先转换成NFA，再把NFA 转换成DFA；最后，如果将r 转换成了一个DFA，需要将此DFA 的状态数最小化。
正则表达式正则表达式可以用来描述词素的模式，一个正则表达式可以由较小的正则表达式递归的构建。
对于符号集合∑={a，b}，有：-正则表达式a 表示语言{a}；-正则表达式a|b 表示语言{a，b}；-正则表达式(a|b)(a|b)表示语言{aa，ab，ba，bb}；-正则表达式a*表示语言{ε，a，aa，aaa，…}；-正则表达式(a|b)*表示语言{ε，a，b，aa，ab，ba，bb，aaa，…}；-正则表达式a|a*b 表示语言{a，b，ab，aab，aaab，…}。
上面通过基本的并、连接和闭包运算递归定义了正则表达式有穷自动机一个有穷自动机可以把一个描述词素的模式变成一个词法分析器，从本质上来讲，有穷自动机是与状态转换图相类似的图，它有以下特点：有穷自动机是一个识别器，它只能对每个输入符号串简单的输出“yes”或“no”，表示是否能够识别此符号串；有穷自动机和状态转换图类似，它具有有限个数的结点，每个结点表示一个状态，并且这些状态中有一个初始状态和若干个终止状态。
编译原理实验报告——词法分析器(内含源代码)
编译原理实验（一）——词法分析器一．实验描述运行环境：vc++2008对某特定语言A ，构造其词法规则。
该语言的单词符号包括：12状态转换图3程序流程：词法分析作成一个子程序，由另一个主程序调用，每次调用返回一个单词对应的二元组，输出标识符表、常数表由主程序来完成。
二．实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。
同时增强编写和调试程序的能力。
三．实验任务编制程序实现要求的功能，并能完成对测试样例程序的分析。
四．实验原理char set[1000],str[500],strtaken[20];//set[]存储代码,strtaken[]存储当前字符char sign[50][10],constant[50][10];//存储标识符和常量定义了一个Analyzer类class Analyzer{public:Analyzer(); //构造函数 ~Analyzer(); //析构函数int IsLetter(char ch); //判断是否是字母，是则返回 1，否则返回 0。
int IsDigit(char ch); //判断是否为数字，是则返回 1，否则返回 0。
void GetChar(char *ch); //将下一个输入字符读到ch中。
void GetBC(char *ch); //检查ch中的字符是否为空白，若是，则调用GetChar直至ch进入一个非空白字符。
void Concat(char *strTaken, char *ch); //将ch中的字符连接到strToken之后。
int Reserve(char *strTaken); //对strTaken中的字符串查找保留字表，若是一个保留字返回它的数码，否则返回0。
void Retract(char *ch) ; //将搜索指针器回调一个字符位置，将ch置为空白字符。
编译原理词法分析实验
编译原理词法分析实验一、实验目的本实验旨在通过编写一个简单的词法分析器，了解编译原理中词法分析的基本原理和实现方法。
二、实验材料1. 计算机编程环境2. 编程语言三、实验步骤1. 了解词法分析的概念和作用。
词法分析是编译器中的第一个阶段，它的主要任务是将源代码中的字符序列转化为有意义的标识符，如关键字、操作符、常量和标识符等。
2. 设计词法分析器的流程和算法。
词法分析器的主要原理是通过有限状态自动机来识别和提取标识符。
在设计过程中，需考虑各种可能出现的字符序列，并定义相应的状态转移规则。
3. 根据设计的流程和算法，使用编程语言编写词法分析器的代码。
4. 编译并运行词法分析器程序，输入待分析的源代码文件，观察程序的输出结果。
5. 分析输出结果，检查程序是否正确地提取了源代码中的标识符。
四、实验结果经过词法分析器的处理，源代码将被成功地转化为有意义的标识符。
结果可以通过以下几个方面来验证：1. 关键字和操作符是否被正确识别和提取。
2. 常量和标识符是否被正确识别和提取。
3. 检查程序的错误处理能力，如能否发现非法字符或非法标识符。
4. 输出结果是否符合预期，可与自己编写的语法规则进行对比。
5. 对于特殊情况，如转义字符等是否正确处理。
五、实验总结通过本次实验，我深入了解了编译原理中词法分析的重要性和基本原理。
编写词法分析器的过程中，我学会了使用有限状态自动机来识别和提取标识符，并通过实践巩固了相关知识。
此外，我还对源代码的结构有了更深入的了解，并且掌握了如何运用编程语言来实现词法分析器。
通过本次实验，我不仅提升了自己的编程技术，也对编译原理有了更深入的认识和理解。
六、实验心得通过实验，我深刻体会到了词法分析在编译过程中的重要性。
合理设计和实现词法分析器，可以大大提高编译器的效率和准确性。
同时，通过编写词法分析器的代码，我不仅锻炼了自己的编程能力，还提升了对编译原理的理解和掌握。
这次实验让我更加深入地了解了编译原理中的词法分析，也为我今后在编程领域的发展打下了坚实的基础。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
装有Ｗiｎｄoｗs操作系统，Micｒosｏft Visual C++ 6.0。
实验内容：
自定义一种程序设计语言，或选择已有的一种高级语言（C语言)，编制它的词法分析程序。
实验要求：
1．对单词的构成规则有明确的定义
２.编写的程序能够正确识别源程序中的单词符号
3.识别出的单词以<种别码,值>的形式保存在符号表中
1．2、实现词法分析功能
输入:所给文法的源程序字符串。
输出：将每个单词或数字以及他对应的种别码和类型输出到文件中。
具体实现时,可以将单词的二元组用结构进行处理。
1.3、待分析的Ｃ语言子集的词法
1）关键字"cｈａr","int＂,"if","elｓe","ｖar＂ ,＂rｅｔurｎ","bｒeak＂，＂do","while＂,"ｆｏｒ＂,"douｂlｅ"，＂fｌｏａt","short"
2.流程图：
2．1主程序流程图
主函数流程图
2．2分析函数流程图
分析函数流程图
3．源代码：
#inｃludｅ<stdiｏ.h>
#ｉnclude<ｃonｉo.h＞
#iｎclude<math.ｈ>
#ｉnclude＜sｔrinｇ.h＞
#iｎｃludｅ<ｓtｄlib．h>
iｎt i, row＝０,ｌｉｎe = 0;
{
ｃhar wｏrd[10];
cｈar keyＷｏrd［１00][100] = {＂chaｒ＂,"int","if＂，＂eｌse＂,＂var","retｕrｎ",＂break"，＂do"，＂wｈile＂,"fｏr","double"，＂fｌoaｔ",＂short"｝; //关键字表
iｎt n=０;
ｗord［n＋+]=a［ｉ+＋]；
for(n＝0;ｎ< 100;n++)
{
if（ｓtｒcmｐ(woｒd,keｙWoｒｄ[n]) == 0)
{
fprintf(fout,"%s\t（%d)\t关键字\ｎ＂,ｋeyWord［n], n +１)；
return３；
}
}
//判断该标识符是否存在标识符表中
inｔm＝０;
iｆ（ｌｉne！=０）
{
inｔq=0;
4.词法分析中源程序和分析后的符号表均保存在.txｔ文件中
5.有一定的检查错误的能力。遇到错误时可显示“Ｅrror”,然后跳过错误部分继续显示。
6．实验报告包括以下内容
（1)编程思路、流程图、源代码
(2)上机调试时发现的问题,以及解决的过程
(３)所使用的测试数据及结果
(4）心得体会
实验步骤
１．给出目标语言的所有单词符号及种别编码、单词符号的状态转换图。
ｃhａr a[10０0]；／/程序
ｉnt numbeｒ[1０00]［10０]；／／常数表
cｈarｍａrｋ[100][5]；／／标识符表
FＩLE＊fｉｎ,*ｆｏut;
/／词法分析
int wordａnalysis()
｛
iｆ((a［ｉ］>= 'Ａ＇&&a[i］ ＜= 'Ｚ')||（ａ［ｉ]＞='a'＆&ａ[i]<='ｚ')）/／分析标识符和关键字
2.依次读入源程序，对源程序进行单词切分和识别,直到源程序结束。
3．对正确的单词，按照它的种别以＜种别码,值>的形式保存在符号表中。
4.对不正确的单词，做出错误处理。
实验内容:
1.编程思路:
1.1、实现预处理功能
源程序中可能包含有对程序执行无意义的符号，要求将其剔除。
首先编制一个源程序的输入过程,从键盘、文件或文本框输入若干行语句,依次存入输入缓冲区（字符型数据)；然后编制一个预处理子程序，去掉输入串中的回车符、换行符和跳格符等编辑性文字；把多个空白符合并为一个;去掉注释。
编译原理实验-词法分析器
———————————————————————————————— 作者:
———————————————————————————————— 日期:
洛阳理工学院实验报告
院部
计算机系
班级
B1５0402
学号
姓名
课程名称
编译原理
实验日期
2０18.6.４
实验名称
词法分析器
成绩
实验目的：
加深对词法分析过程的理解；加强对词法分析方法的掌握;能够采用一种编程语言实现简单的词法分析;能够使自己编写的程序对简单的程序片段进行词法分析。
wｈiｌe(q<ｌine)
{
if (strcｍp(wｏrｄ, mａrｋ[ｑ＋+］) =＝0)
{
fpｒｉntf(foｕt,＂%ｓ\t(１4，%ｄ)＼ｔ标识符\ｎ＂, word，q);
rｅturn 3;
}
}
｝
//将该标识符保存到标识符表中
strｃpy(mａｒｋ［ｌine], word)；
fｐrintf(foｕt，＂％s\t(１4,%d)＼t标识符\n＂, worｄ，lｉnｅ ＋1）；
//若字符为A~Z或0~9,则继续读取
while ((a[i] >＝'A'&&a[i］<＝'Z')||（ａ[i］>= '0' &&a[i] <＝＇9')|｜（a[i]＞=＇ａ'&&ａ[i]<=＇z＇））
{
ｗｏrd[n＋+] = a［ｉ++];
}
word［n] ='\0';
ｉ--;
/／判断该标识符是否为关键字
}
x［ｎ］＝'\0'；
i－－;
ｉｎtnum＝atoｉ（ｘ）; //将字符串转换成inｔ型
//判断该常数是否存在于常数表中
2）运算符和界符
+ － ＊ /<<><=＞＞==;()[ ] \ | & { ｝ ＼\ #
３）空格由空白、制表符和换行符组成
空格一般用来分隔ID、NＵM、专用符号和关键字,词法分析阶段通常被忽略。
1.４、各种单词符号对应的种别码
表１各种单词符号的种别码
单词符号
种别码
char
1
int
2
if
3
else
4
var
5
return
6
break
7
do
8
while
9
for
10
double
11
float
12
short
13
标识符
14
数字
15
符号
16-40
1.5、 词法分析程序的主要算法思想
算法的基本任务是从文件中读出字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到的单词符号的第一个字符的种类,拼出相应的单词符号,并输出到文件中。
line++；
returｎ3;
}
eｌseif (a[i］>= '0' &&a[i]＜=＇9')／/分析常数
{
ｃｈaｒx[１00];
int n =0，ｓｕm;
x[ｎ++] =a[ｉ++];
//判断字符是否是0~9
ｗhile(a[ｉ］>='０' && a[i] <='9')
{
x[ｎ+＋] = a[i＋＋];