编译原理实验2词法分析器
编译原理实验2 词法分析器
一、实验目的
1. 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
2. 掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
3. 编制一个读单词的程序，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符和分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示）
二、词法分析的基础知识
1. 词法分析器的功能和输出格式
词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。在本实验中，采用的是一类符号一种别码的方式。
标识符的BNF表示：
<标识符>-> <字母><字母数字串>
<字母数字串>-><字母><字母数字串>|<数字><字母数字串>|ε
无符号整数的BNF表示：
<无符号整数>-> <数字><数字串>
<数字串>-> <数字><数字串> |ε
运算符的BNF表示：
<加法运算符>-> +
<减法运算符>-> -
<大于关系运算符>-> >
<大于等于关系运算符>-> >=
2. 超前搜索
词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a > i”，当前字符为“>”，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？
显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符“+”，这时可知应将“>”解释为大于运算符。但此时，超前读了一个字符“i”，所以要回退一个字符，词法分析器才能正常运行。在分析标识符，无符号整数等时也有类似情况。
三、程序要求
1. 程序输入示例：
如源程序为C语言，输入如下一段：
main()
{
int a, b;
a = 10;
b = a+20;
}
2. 程序输出示例：
（2，“main”）
（5，“（”）
（5，“）”）
（5，“{”）
（1，“int”）
（2，“a”）
（5，“,”）
（2，“b”）
（5，“;”）
（2，“a”）
（4，“=”）
（3，“10”）
（5，“;”）
（2，“b”）
（4，“=”）
（2，“a”）
（4，“+”）
（3，“20”）
（5，“;”）
（5，“}“）
3. 具体要求如下：
（1）识别保留字：if、int、for、while、do、return、break、continue等。
（2）运算符包括：+、-、*、/、=、>、<、>=、<=、!=
（3）分隔符包括：,、;、{、}、(、)
（4）常数为无符号整形数；
（5）其它的都识别为标识符；
4. 程序思路：
（1）定义部分：定义常量、变量、数据结构。
（2）初始化：从文件将源程序全部输入到字符缓冲区中。
（3）取单词前：去掉多余空白。
（4）取单词：读出单词的每一个字符，组成单词，分析类型，其中，关键是如何判断取单词结束，取到的单词是什么类型的单词。
（5）显示结果。
四、实验结果
#include <>
#include ""
#include <>
#define N 100 //定义要分析的标识符或常数的最大个数
#define M 20 //标识符的长度
char *sourceFile="D:\\"; // 定义进行词法分析的源文件
char *key[8]={"if","else","for","while","do","return","break","continue"};
// 关键字
char *border[6]={",",";","{","}","(",")"}; // 界符定义
char *arithmetic[4]={"+","-","*","/"}; // 算术运算符定义
char *relation[6]={"<","<=","=",">",">=","<>"}; // 关系运算符定义
char *consts[N]; // 常数定义
char *label[N]; // 标识符
int constnum=0,labelnum=0; // constnum-常数个数;labelnum-标识符个数
// 判断一个字符是不是字母
int Isletter(char ch)
{
if(ch>='a' && ch<='z'||ch>='A' && ch<='Z')
return 1;
return 0;
}
// 判断一个字符是不是数字
int IsDigit(char ch)
{
if(ch>='0' && ch<='9')
return 1;
return 0;
}
// 判断单词符号类型
int search(char searchchar[],int wordtype)
{
int i=0;
switch (wordtype)
{
case 1:
for (i=0;i<=7;i++)
{
if(strcmp(key[i],searchchar)==0) // 返回具体的关键字return(i+1);
}
case 2:
{
for (i=0;i<=5;i++)
if(strcmp(border[i],searchchar)==0) // 返回具体的界符
return(i+1);
return(0);
}
case 3:
{
for(i=0;i<=3;i++)
if(strcmp(arithmetic[i],searchchar)==0) // 返回具体的算术运算符
return(i+1);
return(0);
}
case 4:
{
for(i=0;i<=5;i++)
if(strcmp(relation[i],searchchar)==0) // 返回具体的关系运算符
return(i+1);
return(0);
}
case 5:
{
for(i=0;i if(strcmp(consts[i],searchchar)==0) // 返回具体的整型常数 return(i+1); consts[i]=(char *)malloc(sizeof(searchchar)); strcpy(consts[i],searchchar); constnum++; return(i); } case 6: { for(i=0;i if(label[i]!=NULL) if(strcmp(label[i],searchchar)==0) // 返回标识符 return(i+1); label[i-1]=(char *)malloc(sizeof(searchchar)); strcpy(label[i-1],searchchar); labelnum++; return(i); } } return -1; } // 常数处理 char digitprocess(char buffer,FILE* fp) { int i=-1; char digittp[M]; int dtype; while ((IsDigit(buffer))) { digittp[++i]=buffer; buffer=fgetc(fp); } digittp[i+1]='\0'; dtype=search(digittp,5); // 输出整型常数printf("%s (5,%d)\n",digittp,dtype-1); return(buffer); } // 标识符或关键字 char alphaprocess(char buffer,FILE* fp) { int atype; int i=-1; char alphatp[M]; while ((Isletter(buffer))||(IsDigit(buffer))) { alphatp[++i]=buffer; buffer=fgetc(fp); } alphatp[i+1]='\0'; if (atype=search(alphatp,1)) // 输出关键字printf("%s (1,%d)\n",alphatp,atype-1); else { atype=search(alphatp,6); // 输出标识符 printf("%s (6,%d)\n",alphatp,atype-1); } return(buffer); } // 其它处理(运算符,界符等) char otherprocess(char buffer,FILE* fp) { int i=-1; char othertp[M]; int otype,otypetp; othertp[0]=buffer; othertp[1]='\0'; if(otype=search(othertp,3)) { printf("%s (3,%d)\n",othertp,otype-1); buffer=fgetc(fp); goto out; } if(otype=search(othertp,4)) { buffer=fgetc(fp); othertp[1]=buffer; othertp[2]='\0'; if(otypetp=search(othertp,4)) { printf("%s (4,%d)\n",othertp,otypetp-1); goto out; } else othertp[1]='\0'; printf("%s (4,%d)\n",othertp,otype-1); goto out; } if(buffer==':') { buffer=fgetc(fp); if (buffer=='=') printf(":= (2,2)\n"); buffer=fgetc(fp); goto out; } else { if(otype=search(othertp,2)) { printf("%s (2,%d)\n",othertp,otype-1); buffer=fgetc(fp); goto out; } } if((buffer!='\n')&&(buffer!=' ')) printf("%c error,not a word\n",buffer); buffer=fgetc(fp); out: return(buffer); } int main(int argc, char* argv[]) { int i; FILE *fp; // 文件指针,指向要分析的源程序 char cbuffer; // 保存最新读入的字符 for (i=0; i<=N; i++) { label[i]=NULL; // 初始化标识符 consts[i]=NULL; // 初始化常数 } if((fp=fopen(sourceFile,"rb"))==NULL) // 判断源文件是否存在printf("文件%s不存在",sourceFile); else { cbuffer = fgetc(fp); // 读入字符 while (cbuffer!=EOF) // 如果文件没有结束,就一直循环 { if (Isletter(cbuffer)) // 若为字母 cbuffer=alphaprocess(cbuffer,fp); else if (IsDigit(cbuffer)) // 若为数字 cbuffer=digitprocess(cbuffer,fp); else cbuffer=otherprocess(cbuffer,fp); } printf("over\n"); getchar(); } return 0; } 编译原理实验--词法分析器 实验一词法分析器设计 【实验目的】 1(熟悉词法分析的基本原理，词法分析的过程以及词法分析中要注意的问题。 2(复习高级语言，进一步加强用高级语言来解决实际问题的能力。 3(通过完成词法分析程序，了解词法分析的过程。 【实验内容】 用C语言编写一个PL/0词法分析器，为语法语义分析提供单词，使之能把输入的字符 串形式的源程序分割成一个个单词符号传递给语法语义分析，并把分析结果(基本字， 运算符，标识符，常数以及界符)输出。 【实验流程图】 【实验步骤】 1(提取pl/0文件中基本字的源代码 while((ch=fgetc(stream))!='.') { int k=-1; char a[SIZE]; int s=0; while(ch>='a' && ch<='z'||ch>='A' && ch<='Z') { if(ch>='A' && ch<='Z') ch+=32; a[++k]=(char)ch; ch=fgetc(stream); } for(int m=0;m<=12&&k!=-1;m++) for(int n=0;n<=k;n++) { if(a[n]==wsym[m][n]) ++s; else s=0; if(s==(strlen(wsym[m]))) {printf("%s\t",wsym[m]);m=14;n=k+1;} } 2(提取pl/0文件中标识符的源代码 while((ch=fgetc(stream))!='.') { int k=-1; char a[SIZE]=" "; int s=0; while(ch>='a' && ch<='z'||ch>='A' && ch<='Z') { if(ch>='A' && ch<='Z') ch+=32; a[++k]=(char)ch; ch=fgetc(stream); } for(int m=0;m<=12&&k!=-1;m++) for(int n=0;n<=k;n++) { if(a[n]==wsym[m][n]) ++s; else s=0; if(s==(strlen(wsym[m]))) {m=14;n=k+1;} } if(m==13) for(m=0;a[m]!=NULL;m++) printf("%c ",a[m]); 编译技术 班级网络0802 学号3080610052姓名叶晨舟 指导老师朱玉全2011年 7 月 4 日 一、目的 编译技术是理论与实践并重的课程，而其实验课要综合运用一、二年级所学的多门课程的内容，用来完成一个小型编译程序。从而巩固和加强对词法分析、语法分析、语义分析、代码生成和报错处理等理论的认识和理解；培养学生对完整系统的独立分析和设计的能力，进一步培养学生的独立编程能力。 二、任务及要求 基本要求： 1．词法分析器产生下述小语言的单词序列 这个小语言的所有的单词符号，以及它们的种别编码和内部值如下表： 单词符号种别编码助记符内码值 DIM IF DO STOP END 标识符 常数（整）= + * ** ， （ ）1 2 3 4 5 6 7 8 9 10 11 12 13 14 $DIM $IF $DO $STOP $END $ID $INT $ASSIGN $PLUS $STAR $POWER $COMMA $LPAR $RPAR - - - - - - 内部字符串 标准二进形式 - - - - - - 对于这个小语言，有几点重要的限制： 首先，所有的关键字（如IF﹑WHILE等）都是“保留字”。所谓的保留字的意思是，用户不得使用它们作为自己定义的标示符。例如，下面的写法是绝对禁止的： IF（5）=x 其次，由于把关键字作为保留字，故可以把关键字作为一类特殊标示符来处理。也就是说，对于关键字不专设对应的转换图。但把它们（及其种别编码）预先安排在一张表格中（此表叫作保留字表）。当转换图识别出一个标识符时，就去查对这张表，确定它是否为一个关键字。 再次，如果关键字、标识符和常数之间没有确定的运算符或界符作间隔，则必须至少用一个空白符作间隔（此时，空白符不再是完全没有意义的了）。例如，一个条件语句应写为 实验二词法分析器的构造 一、实验目的 掌握词法分析器的构造原理，掌握手工编程或LEX编程方法之一。 二、实验内容 编写一个词法分析器，能够将输入的源程序转换为单词序列输出。 三、实验指南 1．源语言定义见教材附录A.1，其中的终结符即词法分析需要得到的tokens。 （1）该语言的关键字：if while do break real true false int char bool float (其中，int、char、bool、float在产生式中为basic) 所有的关键字都是保留字，并且必须是小写。 （2）id和num的正则表达式定义； （3）专用符号：+ - * / < <= > >= == != = ; , ( ) [ ] { } /* */ （4）空格由空白、换行符和制表符组成。空格通常被忽略，除了它必须分开I D、N U M关键字。 （5）考虑注释。注释由/*和*/包含。注释可以放在任何空白出现的位置，且可以超过一行。注释不能嵌套。 2．实现词法分析器的注意要点： （1）关键字和标识符名的区别； （2）数字的转换处理； （3）“>=”和“>”这类单词的处理； 3．源程序测试示例 要求应自行准备多个源程序片段，运行并测试输出是否合符要求。 示例1： 源程序输入： { int i; if ( i >= 0) i = i + 1; } 输出token序列如下： {, int, (id, i) ;, if, (, (id, i) >=, (num, 0) (id, i) =, (id, i) +, (num, 1) 示例2： 源程序片段： { int i; int j; float v; float x; float[100] a; while ( true) { do i = i + 1; while ( a[i] < v); do j = j - 1; while ( a[j] > v); if ( i >= j ) break; x = a[i]; a[i] = a[j]; a[j] = x; } } 四、实验结果 实验一词法分析器的设计 (2) 1.1 词法分析器的结构和主要任务 (2) 1.1.1 输入输出接口 (2) 1.1.2 条件限制 (2) 1.2 词法分析程序的总体设计 (3) 1.3 词法分析程序的详细设计 (4) 1.4实验步骤 (5) 1.5输入数据 (15) 1.6结果输出 (15) 实验一词法分析器的设计 实验目的：掌握词法分析的概念，设计方法，熟悉高级语言中词法的定义，词法分析程序的编写。 实验要求：在8学时内实现SAMPLE语言的词法分析器，要求用VC窗口界面实现。 实验内容：分为4次实验完成。 1.1 词法分析器的结构和主要任务 1.1.1 输入输出接口 图1-1词法分析器的输入输出界面 词法分析程序的主要任务是从左到右扫描每行源程序，拼成单词，换成统一的内部表示(token)输出，送给语法分析器。具体包括： 1.组织源程序的输入； 2.按规则拼单词，并转换成二元形式； 3.滤掉空白符，跳过注释、换行符及一些无用的符号(如字符常数的引号) 4.进行行列计数，用于指出出错的行列号，并复制出错部分； 5.列表打印源程序； 6.发现并定位词法错误； 7.生成符号表。 token文件和符号表用作语法分析的输入部分。 1.1.2 条件限制 本实验可以作如下假定： (1) 假定SAMPLE语言采用自由格式书写； (2) 可以使用注解，用/*……*/或者{……}标识，但注解不能插在单词内部，注解要在一行内结束，若一行结束，没有遇到注释后面的结束标记，自动认为注释也结束； (3) 一行可以有多个语句，一个语句也可以分布在多行中，单词之间和语句之间可以插入任意空格，单词中间不能有空白符号，单词中间也不能有回车换行符，即单词不能跨行书写； (4) 关键字都是保留字。 编译技术实验报告 实验题目：词法分析 学院：信息学院 专业：计算机科学与技术学号： 姓名： 一、实验目的 (1)理解词法分析的功能； (2)理解词法分析的实现方法； 二、实验内容 PL0的文法如下 …< >?为非终结符。 …::=? 该符号的左部由右部定义，可读作“定义为”。 …|? 表示…或?，为左部可由多个右部定义。 …{ }? 表示花括号内的语法成分可以重复。在不加上下界时可重复0到任意次 数，有上下界时可重复次数的限制。 …[ ]? 表示方括号内的成分为任选项。 …( )? 表示圆括号内的成分优先。 上述符号为“元符号”，文法用上述符号作为文法符号时需要用引号…?括起。 〈程序〉∷=〈分程序〉． 〈分程序〉∷= [〈变量说明部分〉][〈过程说明部分〉]〈语句〉 〈变量说明部分〉∷=V AR〈标识符〉{，〈标识符〉}：INTEGER； 〈无符号整数〉∷=〈数字〉{〈数字〉} 〈标识符〉∷=〈字母〉{〈字母〉|〈数字〉} 〈过程说明部分〉∷=〈过程首部〉〈分程序〉{；〈过程说明部分〉}； 〈过程首部〉∷=PROCEDURE〈标识符〉； 〈语句〉∷=〈赋值语句〉|〈条件语句〉|〈过程调用语句〉|〈读语句〉|〈写语句〉|〈复合语句〉|〈空〉 〈赋值语句〉∷=〈标识符〉∶=〈表达式〉 〈复合语句〉∷=BEGIN〈语句〉{；〈语句〉}END 〈条件〉∷=〈表达式〉〈关系运算符〉〈表达式〉 〈表达式〉∷=〈项〉{〈加法运算符〉〈项〉} 〈项〉∷=〈因子〉{〈乘法运算符〉〈因子〉} 〈因子〉∷=〈标识符〉|〈无符号整数〉|'('〈表达式〉')' 〈加法运算符〉∷=+|- 〈乘法运算符〉∷=* 〈关系运算符〉∷=<>|=|<|<=|>|>= 〈条件语句〉∷=IF〈条件〉THEN〈语句〉 〈字母〉∷=a|b|…|X|Y|Z 〈数字〉∷=0|1|2|…|8|9 实现PL0的词法分析 词法分析器实验报告 词法分析器实验报告实验目的: 设计、编制、调试一个词法分析子程序,识别单词，加深对词法分析原理的理 解。 实验要求: 该程序要实现的是一个读单词过程，从输入的源程序中，识别出各个具有独立 意义的单词，即基本保留字、标识符、常数、运算符、分界符五大类。并依次输出 各个单词的内部编码及单词符号自身值。 (一)实验内容 (1)功能描述:对给定的程序通过词法分析器弄够识别一个个单词符号，并以二 元式(单词种别码，单词符号的属性值)显示。而本程序则是通过对给定路径的文件 的分析后以单词符号和文字提示显示。 (2)程序结构描述: 函数调用格式: 函数调用格式函数名(实在参数表 ) Switch(m)、 isKey(String string)、isLetter(char c)、实参 isDigit(char c)、isOperator(char c) isKey(String string)、isLetter(char c)、调作为表达式 isDigit(char c)、isOperator(char c) 用 方 作为语句 getChar()、judgement()、 法 函数的递归调用 isOperator(char c) 、isLetter(char c)、isDigit(char c) 参数含义: 1 String string;存放读入的字符串 String str; 存放暂时读入的字符串 char ch; 存放读入的字符 int rs 判断读入的文件是否为空 char []data 存放文件中的数据 int m;通过switch用来判断字符类型， 函数之间的调用关系图: main Complier..judgement isOperate() M=0 getChar( ) isDigit() M=4 For(ch ) isLet ter() M=2 Switch(m) isKey() M=3 函数功能: Judgement()判断输入的字符并输出单词符号，返回值为空; getChar() 读取文件的，返回值为空; isLetter(char c) 判断读入的字符是否为字母的，返回值为Boolean类型; switch (m) 判断跳转输出返回值为空; isOperator(char c)判断是否为运算符的，返回值为Boolean类型; isKey(String string)判断是否为关键字的，返回值为Boolean类型; isDigit(char c) 判断读入的字符是否为数字的，返回值为Boolean类型。测试结果: 词法分析 三、词法分析程序的算法思想： 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 3.1 主程序示意图： 扫描子程序主要部分流程图 其他 词法分析程序的C语言程序源代码： // 词法分析函数: void scan() // 数据传递: 形参fp接收指向文本文件头的文件指针； // 全局变量buffer与line对应保存源文件字符及其行号，char_num保存字符总数。 void scan() { char ch; int flag,j=0,i=-1; while(!feof(fp1)) { ch=fgetc(fp1); flag=judge(ch); printf("%c",ch);//显示打开的文件 if(flag==1||flag==2||flag==3) {i++;buffer[i]=ch;line[i]=row;} else if(flag==4) {i++;buffer[i]='?';line[i]=row;} else if(flag==5) {i++;buffer[i]='~';row++;} else if(flag==7) continue; else cout<<"\n请注意，第"< 词法分析设计 1. 实验目的 通过本实验的编程实践，了解词法分析的任务，掌握词法分析程序设计的原理和构造方法，对编译的基本概念、原理和方法有完整的和清楚的理解，并能正确地、熟练地运用。 2. 实验内容 用C++语言实现对C++语言子集的源程序进行词法分析。通过输入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的内部编码及单词符号自身值；若遇到错误则显示“Error”，然后跳过错误部分继续显示；同时进行标识符登记符号表的管理。 3. 实验原理 本次实验采用NFA->DFA->DFA0的过程: 对待分析的简单的词法（关键词/id/num/运算符/空白符等）先分别建立自己的FA，然后将他们用产生式连接起来并设置一个唯一的开始符，终结符不合并。 待分析的简单的词法 （1）关键字： "asm","auto","bool","break","case","catch","char","class"," const","const_cast"等 （2）界符（查表） ";",",","(",")","[","]","{","}" （3）运算符 "*","/","%","+","-","<<","=",">>","&","^","|","++","--"," +=","-=","*=","/=","%=","&=","^=","|=" relop： （4）其他单词是标识符（ID）和整型常数（SUM），通过正规式定义。 id/keywords: digit: （5）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。 编译原理实验2 词法分析器 一、实验目的 1. 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。 2. 掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 3. 编制一个读单词的程序，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符和分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） 二、词法分析的基础知识 1. 词法分析器的功能和输出格式 词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。在本实验中，采用的是一类符号一种别码的方式。 标识符的BNF表示： <标识符>-> <字母><字母数字串> ） <字母数字串>-><字母><字母数字串>|<数字><字母数字串>|ε 无符号整数的BNF表示： <无符号整数>-> <数字><数字串> <数字串>-> <数字><数字串> |ε 运算符的BNF表示： <加法运算符>-> + <减法运算符>-> - <大于关系运算符>-> > <大于等于关系运算符>-> >= 2. 超前搜索 ; 词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a > i”，当前字符为“>”，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符“+”，这时可知应将“>”解释为大于运算符。但此时，超前读了一个字符“i”，所以要回退一个字符，词法分析器才能正常运行。在分析标识符，无符号整数等时也有类似情况。 三、程序要求 1. 程序输入示例： 如源程序为C语言，输入如下一段： main() { int a, b; a = 10; b = a+20; } ； 2. 程序输出示例： 本代码只供学习参考： 词法分析源代码： #include 词法分析器实验报告 词法分析器设计 一、实验目的： 对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状 态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程 序字符串的词法分析。输出形式是源程序的单词符号二元式的代码， 并保存到文件中。 二、实验内容： 1. 设计原理 词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。 理论基础：有限自动机、正规文法、正规式 词法分析器(Lexical Analyzer) 又称扫描器(Scanner)：执行词法分析的程序 2. 词法分析器的功能和输出形式 功能:输入源程序、输出单词符号 程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符,界符 3. 输出的单词符号的表示形式: 单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。 4. 词法分析器的结构 单词符号 5. 状态转换图实现 三、程序设计 1．总体模块设计 /*用来存储目标文件名*/ string file_name; /*提取文本文件中的信息。*/ string GetText(); /*获得一个单词符号,从位置i开始查找。并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/ string GetWord(string str,int i,int& j); /*这个函数用来除去字符串中连续的空格和换行 int DeleteNull(string str,int i); /*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i); /*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i); 《编译原理》(实验部分) 实验2_PL0 词法分析 一、实验目的 加深和巩固对于词法分析的了解和掌握；初步认识PL/0 语言的基础和简单的程序编写；通过本实验能够初步的了解和掌握程序词法分析的整个过程；提高自己上机和编程过程中处理具体问题的能力。 二、实验设备 1、P C兼容机一台；操作系统为WindowsWindowsX P 2、Visual C++ 6.0 或以上版本，Windows 2000 或以上版本，汇编工具 (在Software 子目录下)。 三、实验原理 PL/O语言的编译程序，是用高级语言PASCAL语言书写的。整个编译过程是由一些嵌套及并列的过程或函数完成。词法分析程序是独立的过程GETSY完成，供语法分析读单词时使用。 四、实验步骤 阅读所给出的词法分析程序( pl0_lexical.c )，搞懂程序中每一个变量的含义，以及每一个过程的作用，并在该过程中进行中文注释；阅读完程序后，画出各过程的流程图；给出的程序包含两处输入错误，利用所给的pl/0 源程序(test.pl0) 对程序进行调试，使其能正确对所给文件进行分析并能够解释运行；在阅读懂所给出的词法分析程序后，将你对词法分析的理解写在实验报告上。 实验代码 #include #include 实验2 词法分析程序的设计 一、实验目的 掌握计算机语言的词法分析程序的开发方法。 二、实验内容 编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。 三、实验要求 1、根据以下的正规式，编制正规文法，画出状态图； 标识符<字母>(<字母>|<数字字符>)* 十进制整数0 | (（1|2|3|4|5|6|7|8|9）（0|1|2|3|4|5|6|7|8|9）*) 八进制整数0（1|2|3|4|5|6|7）（0|1|2|3|4|5|6|7）* 十六进制整数0x（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）* 运算符和界符+ - * / > < = ( ) ； 关键字if then else while do 2、根据状态图，设计词法分析函数int scan( )，完成以下功能： 1）从文本文件中读入测试源代码，根据状态转换图，分析出一个单词， 2）以二元式形式输出单词<单词种类，单词属性> 其中单词种类用整数表示： 0：标识符 1：十进制整数 2：八进制整数 3：十六进制整数 运算符和界符，关键字采用一字一符，不编码 其中单词属性表示如下： 标识符，整数由于采用一类一符，属性用单词表示 运算符和界符，关键字采用一字一符，属性为空 3、编写测试程序，反复调用函数scan( )，输出单词种别和属性。 四、实验环境 PC微机 DOS操作系统或Windows 操作系统 Turbo C 程序集成环境或Visual C++ 程序集成环境 五、实验步骤 1、根据正规式，画出状态转换图； (此文档为word格式，下载后您可任意编辑修改！) 编译技术 班级网络0802 学号 姓名叶晨舟 指导老师朱玉全 2011年 7 月 4 日 一、目的 编译技术是理论与实践并重的课程，而其实验课要综合运用一、二年级所学的多门课程的内容，用来完成一个小型编译程序。从而巩固和加强对词法分析、语法分析、语义分析、代码生成和报错处理等理论的认识和理解；培养学生对完整系统的独立分析和设计的能力，进一步培养学生的独立编程能力。 二、任务及要求 基本要求： 1．词法分析器产生下述小语言的单词序列 这个小语言的所有的单词符号，以及它们的种别编码和内部值如下表： 单词符号种别编码助记符内码值 DIM IF DO STOP END 标识符 常数（整）= + * ** ， （ ）1 2 3 4 5 6 7 8 9 10 11 12 13 14 $DIM $IF $DO $STOP $END $ID $INT $ASSIGN $PLUS $STAR $POWER $COMMA $LPAR $RPAR - - - - - - 内部字符串 标准二进形式 - - - - - - 对于这个小语言，有几点重要的限制： 首先，所有的关键字（如IF﹑WHILE等）都是“保留字”。所谓的保留字的意思是，用户不得使用它们作为自己定义的标示符。例如，下面的写法是绝对禁止的： IF（5）=x 其次，由于把关键字作为保留字，故可以把关键字作为一类特殊标示符来处理。也就是说，对于关键字不专设对应的转换图。但把它们（及其种别编码）预先安排在一张表格中（此表叫作保留字表）。当转换图识别出一个标识符时，就去查对这张表，确定它是否为一个关键字。 再次，如果关键字、标识符和常数之间没有确定的运算符或界符作间隔，则必须至少用一个空白符作间隔（此时，空白符不再是完全没有意义的了）。例如，一个条件语句应写为 IF i>0 i= 1; 编译原理实验报告 实验一 一、实验名称：词法分析器的设计 二、实验目的：1，词法分析器能够识别简单语言的单词符号 2，识别出并输出简单语言的基本字.标示符.无符号整数.运算符.和界符。 三、实验要求：给出一个简单语言单词符号的种别编码词法分析器 四、实验原理： 1、词法分析程序的算法思想 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 2、程序流程图 （1 （2）扫描子程序 3 五、实验内容： 1、实验分析 编写程序时，先定义几个全局变量a[]、token[]（均为字符串数组),c,s( char型)，i,j,k（int型），a[]用来存放输入的字符串，token[]另一个则用来帮助识别单词符号，s用来表示正在分析的字符。字符串输入之后，逐个分析输入字符，判断其是否‘#’，若是表示字符串输入分析完毕，结束分析程序，若否则通过int digit(char c)、int letter(char c)判断其是数字，字符还是算术符,分别为用以判断数字或字符的情况，算术符的判断可以在switch语句中进行，还要通过函数int lookup(char token[])来判断标识符和保留字。 2 实验词法分析器源程序： #include 学生实验报告 实验项目名称：词法分析实验学时： 同组学生姓名：实验地点： 实验日期：实验成绩： 批改教师：批改时间： 一、实验目的和要求 通过编写并上机调试一个词法分析程序，掌握在对程序设计语言的源程序进行扫描的过程中，将其分解后各类单词的词法分析方法。 二、实验仪器和设备 硬件：PC机软件：Visual Studio 2005工具 三、实验过程 输入：从具有代表性的高级程序设计语言中，选取一个适当大小的子集，例如可以选取一类典型单词，也可以尽可能使各种类型的单词都能兼顾到。 输出：单词串的输出形式，所输出的每一单词均按形如（字符类型单词和其它字符<行，列>）的三元式编码。字符类型包括关键字、标识符、浮点数、指数形式、常数、引入文件、分隔符。<行，列>标识单词及各个字符在文本框中出现的位置。 词法规则 ?关键字: 本程序识别的关键字为int real if then else while ，仅当单独出现以上标识符时识别为关键字，对于inta,ifb等识别为标识符。 ?标识符: 一个标识符必须以字母开头，后面接上字母和数字，否则产生报错信息，程序停止词法分析，输出相关错误信息 如: 正确：abc, abc123, 等，错误：123abc ?操作符: 本程序识别的操作符为: + - / * = == < <= > >= != & ^ | && || ? &= |= ^= ++ -- += -= /= *= <<= << >>= >> % %= 当！后跟 其它字符时产生出错信息。 ?分隔符: 本程序识别的分隔符为: ( ) { } ; : , [ ] “ ?数字: 识别的数字遵循以下文法规则: digit ←0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 intnumber ← digit+ exponent ←(E|e) ( + | - | ε ) digit+ fraction ← . digit+realnumber ← digit+ exponent | digit+ fraction ( exponent | ε ) 例如：正确: 123, 123E2, 123.3123.3E4 错误: 123A，123E, 123.A . 123.3A, 123.3E 编译原理实验 词 法 分 析 程 序 实验一：词法分析程序 1、实验目的 从左至右逐个字符的对源程序进行扫描，产生一个个单词符号，把字符串形式的源程序改造成单词符号形式的中间程序。 2、实验内容 表C语言子集的单词符号及内码值 单词符号种别编码助记符内码值 while 1 while -- if 2 if -- else 3 else -- switch 4 switch -- case 5 case -- 标识符 6 id id在符号表中的位置 常数7 num num在常数表中的位置 + 8 + -- - 9 - -- * 10 * -- <= 11 relop LE < 11 relop LT == 11 relop LQ = 12 = -- ; 13 ; -- 输入源程序如下 if a==1 a=a+1; else a=a+2; 输出对应的单词符号形式的中间程序 3、实验过程 实验上机程序如下： #include "stdio.h" #include "string.h" int i,j,k; char s ,a[20],token[20]; int letter() { if((s>=97)&&(s<=122))return 1; else return 0; } int Digit() {if((s>=48)&&(s<=57))return 1; else return 0; } void get() { s=a[i]; i=i+1; } void retract() {i=i-1;} int lookup() { if(strcmp(token, "while")==0) return 1; else if(strcmp(token, "if")==0) return 2; else if(strcmp(token,"else")==0) return 3; else if(strcmp(token,"switch")==0) return 4; else if(strcmp(token,"case")==0) return 5; else return 0; } void main() { printf("please input you source program,end('#'):\n"); i=0; do { i=i+1; scanf("%c",&a[i]); }while(a[i]!='#'); i=1; memset(token,0,sizeof(char)*10); j=0; get(); while(s!='#') { if(s==' '||s==10||s==13) get(); else { switch(s) 编译系统课程实验报告实验1：词法分析 常数： digits -> digit digit* optionalFraction -> .digits|ε optionalExponent -> E(+|-|ε)digits|ε number -> digits optionalFraction optionalExponent 运算符： （除/，/=外的）op -> + | - | * | += | -= | *= | % | ++ | -- | != | == | > | < | >= | <= | >> | << | ^ | | | & | && | || | ! | != （以/开头的）op->/|/= 界符：Boundary -> { | } | [ | ] | ( | ) | , | ; | : | ? |~ 行//注释：Comment->//(除\n外的字符)*\n 块/**/注释：Comment->/*(除*/外的字符)*/ 8进制：OCT -> 0(1|2|3|4|5|6|7)(0|1|2|3|4|5|6|7)* 16进制：HEX -> 0x(1|…|9|a|…|f) (0|…|9|a|…|f)* 字符常数：char -> ' (a|b|c|...|z|A|B|C|...|Z|_) ' 字符串常数：string-> "((((除\和”外的字符)*|\(所有字符)+)(除\和”外的字符|\”))*)"（2）各类单词的转换图 标识符： 8进制，16进制，10进制常数： 运算符： 界符： 行//注释： 块/**/注释：字符常数：字符串常数： 南华大学 计算机科学与技术学院实验报告 （2018~2019学年度第二学期） 课程名称编译原理 实验名称词法分析器的设计与 实现 姓名学号 专业班级 地点教师 1.实验目的及要求 实验目的 加深对词法分析器的工作过程的理解；加强对词法分析方法的掌握；能够采用一种编程语言实现简单的词法分析程序；能够使用自己编写的分析程序对简单的程序段进行词法分析。 实验要求 1.对单词的构词规则有明确的定义； 2.编写的分析程序能够正确识别源程序中的单词符号； 3.识别出的单词以<种别码，值>的形式保存在符号表中，正确设计和维护 符号表； 4.对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误 提示，保证顺利完成整个源程序的词法分析； 2.实验步骤 1.词法分析规则 <标识符>::=<字母>|<标识符><字母>|<标识符><数字> <常数>::=<数字>|<数字序列><数字> <数字序列>::＝<数字序列><数字>|<数字>|<.> <字母>::=a|b|c|……|x|y|z <数字>::=0|1|2|3|4|5|6|7|8|9 <运算符>::=<关系运算符>|<算术运算符>|<逻辑运算符>|<位运算符>|<赋值运算符> <算数运算符>::＝+|-|*|／|...|-- <关系运算符>::＝<|>|!=|>=|<=|== <逻辑运算符>::=&&| || |！ <位运算符>::=&| | |！ <赋值运算符>::==|+=|-=|/=|*= <分界符>::＝,|;|(|)|{|}|：| // |/**/ <保留字>::＝main|if|else|while|do|for|...|void 竭诚为您提供优质文档/双击可除编译原理词法分析器实验报告 篇一：编译原理词法分析器实验报告 曲阜师范大学实验报告 计算机系20XX年级软件工程一班组日期20XX年10月17日星期日 姓名 陈金金同组者姓名 课程编译原理成绩 实验名称：教师签章词法分析器 一、实验目的： 1·掌握词法分析的原理。 2·熟悉保留字表等相关的数据结构与单词的分类方法。 3·掌握词法分析器的设计与调试。 二、实验内容： 根据编译中的分词原理，编写一个词法分析程序： 1.输入：任意一个c语言程序的源代码。 2.处理：对输入进行分析，分离出保留字、标识符、常 量、算符和界符。 3.输出：对应的二元式（种别编码自定，可暂编为一类对应一个编码）。 三、实验要求： 1.任选c/c++/Java中的一种高级程序语言编程完成词法分析器。 2.词法分析器应以教材所述分词原理为依据，使用恰当的数据结构和方法，结构清晰、高效。 四、实验环境： windowsxp操作系统，J2se，eclipse集成开发环境 五、实验分析： 将源代码作为长字符串进行读入，之后通过switch语句，及状态转换图进行词素识别，并对识别的词素进行分类整理以二元式的形式输出。 六、实验过程： 1、建立词法分析器界面，很简单：输入框，输出框，执行分析按钮，清空按钮，退出程序按钮。主要的地方是，考虑mvc开发模式，为model及controller提供接口。实现界面如下所示： 2、核心代码的编写，考虑到需要进行词素的匹配，创建符号表类symTable。提供两个变量，分别存放如下内容：并提供方法insert()，lookup()，分别负责标志符的插 青岛理工大学 实 验 报 告 实验课程： 编译原理 实验日期： 2014 年 5月28 日 交报告日期：2014 年6月4日 成绩： 实验地点：现代教育技术中心101（计算机实验室） 计算机工程 学院，计算机科学与技术 专业， 班级：计算113 实验指导教师： 批阅教师： 一、实验目的 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、实验要求 1. 待分析的简单语言的词法 1) 关键字： begin if then while do end 所有关键字都是小写。 2) 运算符和界符： : = + – * / < <= <> > >= = ; ( ) # 3) 其他单词是标识符（ID ）和整型常数（NUM ），通过以下正规式定义： ID=letter （letter| digit ）* NUM=digit digit * 4) 空格由空白、制表符和换行符组成。空格一般用来分隔ID 、NUM,运算符、界符和关 键字，词法分析阶段通常被忽略。 2.各种单词符号对应的种别码 3.词法分析程序的功能 输入：所给文法的源程序字符串。 输出：二元组（syn，token或sum）构成的序列。 其中：syn为单词种别码；token为存放的单词自身字符串；sum为常数。 例如：对源程序 begin x:=9; if x>0 then x:=2*x+1/3; end# 经词法分析后输出如下序列：(1,beigin) (10,x) (18,:=) (11,9) (26,;) (2,if)...... 三、算法思想 1.主程序示意图 主程序示意图如下所示： 其中初值包括如下两个方面。 1)关键字表的初值。 关键字作为特殊标识符处理，把它们预先安排在关键字表，当扫描程序识别出标识符时，查关键字表。若查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表作为一个字符串数组，其描述如下： char *rwtab[22] = {"begin","if","else","then","while","do","for","switch","case", "until","break","goto","constant","return", "int","float","double","string","char","short","long","end"}; 2)程序中的主要变量为syn，token和sum。 2.扫描子程序的算法思想 首先设置3个变量： ①token用于存放构成单词符号的字符串； ②sum用于存放整型单词； ③syn用于存放单词符号的种别码。编译原理实验--词法分析器
编译原理词法分析器语法分析器实验报告
实验二 编译 词法分析器的构造
实验一 词法分析器的设计
编译原理实验词法分析实验报告
词法分析器实验报告
编译原理词法分析和语法分析报告 代码(C语言版)
东南大学编译原理词法分析器实验报告
编译原理 实验2 词法分析器
编译原理实验词法分析语法分析
词法分析器实验报告
《编译原理(实验部分)》实验2_PL0词法分析
编译原理实验报告2词法分析程序的设计
编译原理词法分析器语法分析器实验报告
编译原理实验报告(词法分析器语法分析器)
编译原理-词法分析
编译原理实验 词法分析&语法分析程序
词法分析器实验报告代码
编译原理实验-词法分析器的设计与实现.docx
编译原理词法分析器实验报告
实验1词法分析器