北邮编译原理-词法分析文档和程序
北航编译原理课件 03.词法分析
3. 词法分析程序算法
北京航空航天大学计算机学院
17
1.单词及内部表示 单词及内部表示: 单词及内部表示
单词名称
BEGIN END FOR DO IF THEN ELSE 标识符 常数(整 常数 整) : + * , ( ) :=
保留字和分界符采用一符一类
记忆符
BEGINSY ENDSY FORSY DOSY IFSY THENSY ELSESY IDSY INTSY COLONSY PLUSSY STARSY COMSY LPARSY RPARSY ASSIGNSY
字母、数字
标识符 无符号整数
单字符分界符
S S S
字母
标 数字
非字母数字
出口
数字
数
非数字
出口
+ * ， 单界 （ ） ：
其他字符 非=
出口
双字符分界符
北京航空航天大学计算机学院
S
冒号
=
双界
其他字符
出口 15
查保留字表 读字符
字母、数字
S
字母
标 数字
非字母数字
标识符
非数字
数字
数
无符号整数 单字符分界符
如：b{ab} = {ba}b {a|b} = {{a} {b}} = (a*b*)*
北京航空航天大学计算机学院 23
例：设 ∑ = { a,b },下面是定义在∑上的正则表达式和正则集合 正则表达式 ba* a(a|b)* (a|b)*(aa|bb)(a|b)* 正则集合
北京航空航天大学计算机学院
北京航空航天大学计算机学院 20
‘*’ : ‘,’ : ‘(’ : ‘)’ : ‘:’ :
北邮编译原理
北邮编译原理北邮的编译原理课程主要介绍了编译器的构造和工作原理，包括词法分析、语法分析、语义分析、中间代码生成、目标代码生成和代码优化等各个阶段的任务和技术。
此外，还介绍了编译器构造过程中采用的近似于形式化的语法制导翻译技术，以及目标程序在运行时刻的环境，包括存储空间的分配、作用域的实现、参数的传递等。
具体来说，编译原理课程的核心内容包括以下几个方面：词法分析：这是编译过程的第一阶段，主要任务是从左到右逐个字符地扫描源程序，将构成源程序的字符串分解成一个个具有独立意义的单词（也称为记号或token），如标识符、常数、运算符等，并以记号流的形式输出。
语法分析：在词法分析的基础上，语法分析的任务是将记号流按照语言的语法规则层次地分组，形成语法短语，并构造出一棵分析树或抽象语法树（AST），以表示程序的语法结构。
语义分析：语义分析是对语法分析得到的语法结构进行语义检查，包括类型检查、控制流检查、名字的作用域和绑定等。
这一阶段的目的是确保源程序在语义上是正确的。
中间代码生成：在语义分析的基础上，中间代码生成阶段的任务是将语法结构转换为中间代码，这是一种更接近于目标代码的中间表示形式，便于进行后续的优化和代码生成。
代码优化：代码优化是对中间代码进行一系列等价变换，以改进目标程序的性能，如减少运行时间、减少存储空间等。
优化可以在编译的各个阶段进行，但主要在中间代码生成和目标代码生成之间进行。
目标代码生成：目标代码生成是编译过程的最后阶段，将优化后的中间代码转换为特定机器上的目标代码，通常是汇编语言或机器语言。
通过学习北邮的编译原理课程，学生可以掌握编译器的构造原理和实现技术，了解编译技术在软件开发中的重要作用，并为后续的软件开发和系统设计打下坚实的基础。
编译原理词法分析及词法分析程序
状态图=>右线性文法
文法G[0] 0->a1
d 0
S->aA A->dA A->b
a c
1 2
b
d
3
1->d1 1->b
0->c
0->c2 2->d
S->c
S->cB，2有出弧 B->d
左线性文法=>状态转换图
设G=(VN,VT,P,S)是一左线性文法,令|VN|=K， 1) 则所要构造的状态转换图共有K+1个状态. 2) VN中的每个符号分别表示K个状态 2.1) G的开始符S为终止状态 3) 起始状态,用R(VN)标记
识别符号串与归约
S
从初态R到下一状态A对应Ba，即终结 符a归约成非终结符B; U 从状态B转换到状态A对应ABa,即将 Ba归约为A; 状态A转换到状态S(终态)对应S Aa,即 U 将Aa归约为开始符S. 归约成功,恰好进入终态,即状态转换图识 U 别了(或接受)该符号串. 识别00011的例子的归约过程
f是转换函数，是在K×Σ →K上的映像，即：如果f（ki，a）=kj， （ki，kj∈K）意味着，当前状态为ki，输入字符为a时，将转换 为下一个状态kj，我们把kj称作ki的一个后继状态；
1.确定的有限自动机
通常把这五要素组成的五元式M=(K,∑,f, S0,Z)称为确定的 有限自动机(DFA)，它是相应的状态转化图的一种形式描 述，或者说，是状态转换矩阵的另一种表示。 在状态转换的每一步，据DFA当前所处状态及扫视的输入 字符，能唯一确定下一状态。
例：文法G=({S,U},{0,1},{SS1 |U1,
北邮-编译原理-词法分析
实验报告编译原理与技术ytinrete程序设计1题目：词法分析程序的设计与实现。
实验内容：设计并实现C语言的词法分析程序，要求如下。
（1）、可以识别出用C语言编写的源程序中的每个单词符号，并以记号的形式输出每个单词符号。
（2）、可以识别并读取源程序中的注释。
（3）、可以统计源程序汇总的语句行数、单词个数和字符个数，其中标点和空格不计算为单词，并输出统计结果（4）、检查源程序中存在的错误，并可以报告错误所在的行列位置。
（5）、发现源程序中存在的错误后，进行适当的恢复，使词法分析可以继续进行，通过一次词法分析处理，可以检查并报告源程序中存在的所有错误。
|实验要求：方法1：采用C/C++作为实现语言，手工编写词法分析程序。
方法2：通过编写LEX源程序，利用LEX软件工具自动生成词法分析程序。
算法思路：首先通过遍历，统计行号和字符数，并记录所有的注释。
其次，再次读取，利用一个字符数组作为buffer保存一行的数据，在对其中的数据进行处理，完成之后再读下一行，跳过注释。
对于整行数据的处理，依靠空格将其分成单个单词再具体处理。
对于查错问题实在是一个难题，只能根据一些规则判定有错并记录。
&程序源代码：==*p || 'E'==*p || 'e'==*p)//小数和指数形式{(1,*p);p++;while(isdigit(*p)){(1,*p);p++;}}{sum_word++;(temp_word);cout<<endl<<"第"<<sum_word<<"个单词："<<" 无符号数：" <<temp_word<<endl;}}elseif('#'==*p)//预处理文件特殊处理{while('\0'!=*p){(1,*p);》p++;}//p指向换行，完成直接退出(temp_word);}elseif('"'==*p)//字符串{();p++;while('"'!=*p)<{(1,*p);p++;}p++;sum_word++;cout<<endl<<"第"<<sum_word<<"个单词："<<" 字符串：" <<temp_word<<endl;}elseif('+'==*p)//处理符号{。
编译原理笔记6 词法分析程序
1.正规式与有限自动机之间的关系。
——有限自动机M向正规式阿尔法的转换。
1）把状态转换图的概念拓展，令每条弧上都可以用一个正规式作标记。
2）在M 的转换图上加两个结点：x，y。
从x用一颗塞隆弧连接到M的所有初态结点；从M的终态结点用一颗塞隆弧连接到y。
这个新的NFA为M’，且L（M）=L （M'）3）通过引入的3条有限自动机替换规则逐步消去M’中的所有结点，直到只剩下x和y为止。
这样，在x至y的弧线上的标记就是一颗塞隆上的正规式，也就是M接受的正规式。
2.正规式阿尔法向确定有限自动机M的转换。
1）由正规式阿尔法构造一个如下仅有两个结点x，y的状态图。
2）按所引入的3条正规式分裂规则分裂阿尔法。
3）重复步骤2直到每个弧上的标记是一颗塞隆上的一个字符或空串为止。
4）将所得到的NFA M进行确定化就可得到DFA M。
3.词法分析程序：4.任务：从左至右扫描源程序的字符串，按照词法规则识别出一个个正确的单词，并转换为相应的二元式形式，交给语法分析适用。
5.预处理原因：1）源程序中包含注解部分，还有无用的空格、跳格、回车换行等编辑字符，它们与词法分析无关。
2）一行语句结束应配上一个特殊字符说明。
3）有些语言要识别标号区，区分标号语句，找出续行符连接成完整语句等。
4）输出源程序清单以便复核。
6.超前搜索：注：一般高级语言不必超前搜索，但有些对关键词不加保护的语言，单词间没有明确界符，要在上下文环境中识别单词，这时需要超前搜索。
7.单词分类（以c语言为例）：基本字（关键字、保留字），标识符（变量名、数组名、函数名、过程名......)，常量，运算符，界符。
8.扫描器的输出格式：使用二元式（类号，内码），每个单词对应一个二元式。
其中类号用整数表示，类号既可区分单词种类，又可便于程序处理。
类号考虑原则是：1）每个基本字占有一个类号，内码缺省；2）各种标识符统一为一类，由内码来区分不同的标识符名。
通常将各标识符的符号表入口地址作为其内码。
北邮编译原理词法分析程序报告
token_table.open("token.txt",ios_base::out);//
记号
token_table<<"
单词 \t\t 记号 "<<endl;
保存错误 保存语句数单
保存注释 输出的
while(C!=EOF){ get_char(); token="";
if((C>64
&&C<91) || (C>96 &&C<123) || C=='_'){
lready=rready=0;
lnum=1;
cnum=0;
wordnum=charnum=0;
buffer[lb_end]=buffer[rb_end]=EOF;
fillbuf(0);
errornum=0;
cout<<"-------------------------------------------------------------" <<endl;
,"unsigned","break","continue","else","for","long","s
igned"
,"switch","void","case","default","enum","goto","regi
ster"
,"static","typedef","volatile","char","do","extern","
北邮编译原理LL(1)语法分析程序
{
printf("\n 分析结果：%s\n\n",Analyse(source));
}
while(1);
return 0;
}
将其改写 LL（1）文法：
手动生成的 FOLLOW 集合为： 生成的预测分析表为：
输入表达式：（通过文件输入）
对表达式（(a+b)*3/5）#首先转换为 token 序列，以 i 代表标识符，以 n 代表常 量，然后进行预测分析：
如果匹配成功则接受，如果匹配不成功则返回错误信息。
给定文法的产生式：
E->E+T | E-T | T
T->T*F | T/F | F
F-> id | (E) | num
源代码：
#include <iostream> #include <cstdio> #include <cstdlib> #include <cstring> #include <stack> using namespace std; struct Node1 {
{
l=strlen(FOLLO)
{
MAP[k].vn=G[i][0];
MAP[k].vt=FOLLOW[i][j];
strcpy(MAP[k].s,Right[i]);
k++;
}
}
printf("\n 表达式文法的预测分析表如下：\n\n");
printf("
printf(" %s\n",G[i]);
printf("_______________________________________________________________ _________________\n");
编译原理实验 词法分析&语法分析程序
编译原理实验词法分析程序实验一：词法分析程序1、实验目的从左至右逐个字符的对源程序进行扫描，产生一个个单词符号，把字符串形式的源程序改造成单词符号形式的中间程序。
2、实验内容表C语言子集的单词符号及内码值单词符号种别编码助记符内码值while 1 while --if 2 if --else 3 else --switch 4 switch --case 5 case --标识符 6 id id在符号表中的位置常数7 num num在常数表中的位置+ 8 + --- 9 - --* 10 * --<= 11 relop LE< 11 relop LT== 11 relop LQ= 12 = --; 13 ; --输入源程序如下if a==1 a=a+1;else a=a+2;输出对应的单词符号形式的中间程序3、实验过程实验上机程序如下：#include "stdio.h"#include "string.h"int i,j,k;char s ,a[20],token[20];int letter(){if((s>=97)&&(s<=122))return 1;else return 0;}int Digit(){if((s>=48)&&(s<=57))return 1;else return 0;}void get(){s=a[i];i=i+1;}void retract(){i=i-1;}int lookup(){if(strcmp(token, "while")==0)return 1;else if(strcmp(token, "if")==0)return 2;else if(strcmp(token,"else")==0)return 3;else if(strcmp(token,"switch")==0)return 4;else if(strcmp(token,"case")==0)return 5;else return 0;}void main(){printf("please input you source program,end('#'):\n");i=0;do{i=i+1;scanf("%c",&a[i]);}while(a[i]!='#');i=1;memset(token,0,sizeof(char)*10);j=0;get();while(s!='#'){if(s==' '||s==10||s==13)get();else{switch(s){case'a':case'b':case'c':case'd':case'e':case'f':case'g':case'h':case'i':case'j':case'k':case'l':case'm':case'n':case'o':case'p':case'q':case'r':case's':case't':case'u':case'v':case'w':case'x':case'y':case'z':while(Digit()||letter()){token[j]=s;j=j+1;get();}retract();k=lookup();if(k==0)printf("(6,%s)\n",token); elseprintf("(%d,null)\n",k); break;case'0':case'1':case'2':case'3':case'4':case'5':case'6':case'7':case'8':case'9':while(Digit()){token[j]=s;j=j+1;get();}retract();printf("(%d,%s)\n",7,token); break;case'+':printf("(+,null)\n"); break;case'-':printf("(-,null)\n"); break;case'*':printf("(*,null)\n"); break;case'<':get();if(s=='=')printf("(relop,LE)\n"); else{retract();printf("(relop,LT)\n");}break;case'=':get();if(s=='=')printf("(relop,EQ)\n"); else{retract();printf("(=,null)\n");}break;case';':printf("(;,null)\n"); break;default:printf("(%c,error)\n",s);break;}memset(token,0,sizeof(char)*10);j=0;get();}}}4、实验结果实验结果分析：if是关键字，对应种别编码为2，输出（2，null）a是标识符，对应种别编码为6，值为a，输出（6，a）==的助记符是relop，内码值为LE，输出（relop，LE）1是常数，对应种别编码为7，值为1，输出（7，1）a是标识符，对应种别编码为6，值为a，输出（6，a）=是赋值符号，直接输出，（=，null）a是标识符，对应种别编码为6，值为a，输出（6，a）+是运算符，直接输出（=，null）1是常数，对应种别编码为7，值为1，输出（7，1）；是语句结束符号，直接输出（；，null）else是关键字，对应种别编码为3，输出（3，null）a是标识符，对应种别编码为6，值为a，输出（6，a）=是赋值符号，直接输出，（=，null）a是标识符，对应种别编码为6，值为a，输出（6，a）+是运算符，直接输出（=，null）2是常数，对应种别编码为7，值为2，输出（7，2）；是语句结束符号，直接输出（；，null）#是输入结束标志编译原理实验语法分析程序实验二：语法分析程序1、实验目的：将单词组成各类语法单位，讨论给类语法的形成规则，判断源程序是否符合语法规则3、实验内容：给定文法：G[E]:E→E+E|E-E|E*E|E/E|(E)E→0|1|2|3|4|5|6|7|8|9首先把G[E]构造为算符优先文法，即：G’[E]:E→E+T|TT→T-F|FF→F*G|GG→G/H|HH→(E)|i得到优先关系表如下：+ - * / i ( ) # + ·><·<·<·<·<··>·> - ·>·><·<·<·<··>·> * ·>·>·><·<·<··>·> / ·>·>·>·><·<··>·>i ·>·>·>·>·>·>( <·<·<·<·<·<·=) ·>·>·>·>·>·> # <·<·<·<·<·<·=构造出优先函数+ - * / i ( ) #f 6 8 10 12 12 2 12 2g 5 7 9 11 13 13 2 2要求输入算术表达式：（1+2）*3+2*（1+2）-4/2输出其对应的语法分析结果4、实验过程：上机程序如下：#include "stdio.h"#include "string.h"char a[20],optr[10],s,op;int i,j,k,opnd[10],x1,x2,x3;int operand(char s){if((s>=48)&&(s<=57))return 1;else return 0;}int f(char s){switch(s){case'+':return 6;case'-':return 8;case'*':return 10;case'/':return 12;case'(':return 2;case')':return 12;case'#':return 2;default:printf("error");}}int g(char s){switch(s){case'+':return 5;case'-':return 7;case'*':return 9;case'/':return 11;case'(':return 13;case')':return 2;case'#':return 2;default:printf("error");}}void get(){s=a[i];i=i+1;}void main(){printf("请输入算数表达式，并以‘#’结束:\n");i=0;do{scanf("%c",&a[i]);i++;}while(a[i-1]!='#');i=0;j=0;k=0;optr[j]='#';get();while((optr[j]!='#')||(s!='#')){if(operand(s)){opnd[k]=s-48;k=k+1;get();}else if(f(optr[j])<g(s)){j=j+1;optr[j]=s;get();}else if(f(optr[j])==g(s)){if(optr[j]=='('&&s==')'){j=j-1;get();}else if(optr[j]=='('&&s=='#'){printf("error\n");break;}else if(optr[j]=='#'&&s==')'){printf("error\n");break;}}else if(f(optr[j])>g(s)){op=optr[j];j=j-1;x2=opnd[k-1];x1=opnd[k-2];k=k-2;switch(op){case'+':x3=x1+x2;break;case'-':x3=x1-x2;break;case'*':x3=x1*x2;break;case'/':x3=x1/x2;break;}opnd[k]=x3;k=k+1;printf("(%c,%d,%d,%d)\n",op,x1,x2,x3);}else{printf("error\n");break;}}if(j!=0||k!=1)printf("error\n");}5、实验结果：实验结果分析：（1+2）*3+2*（1+2）-4/2#因为‘）’优先级大于‘*’，先计算1+2=3，并输出（+，1，2，3）原式变为：3*3+2*（1+2）-4/2#因为‘*’优先级大于‘+’，先计算3*3=9，并输出（*，3，3，9）原式变为：9+2*（1+2）-4/2#因为‘）’优先级大于‘-’，先计算1+2=3，并输出（+，1，2，3）原式变为：9+2*3-4/2#因为‘*’优先级大于‘-’，先计算2*3=6，并输出（*，2，3，6）原式变为：9+6-4/2#因为‘/’优先级大于‘#’，先计算4/2=2，并输出（/，4，2，2）原式变为：9+6-2#因为‘-’优先级大于‘#’，先计算6-2=4，并输出（-，6，2，4）原式变为：9+4#因为‘+’优先级大于‘#’，计算9+4=13，并输出（+，9，4，13）原式变为13#优先级等于#，跳出while循环，运算结束！。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验报告班级：14姓名： oneseven学号：一．题目：词法分析程序设计与实现*二．实验内容：设计并实现 C 语言的词法分析程序，要求如下。
(1) 可以识别出用C语言编写的源程序中的每个单词符号，并以记号的形式输出每个单词符号。
(2) 可以识别并读取源程序中的注释。
(3) 可以统计源程序中的语句行数、单词个数和字符个数，其中标点和空格不计算为单词，并输出统计结果。
(4) 检查源程序中存在的非法字符错误，并可以报告错误所在的行列位置。
三．实现要求：采用C/C++作为实现语言，手工编写词法分析程序。
；四．实现功能：基本完成了实验内容中要求的所有功能。
(1)识别出源程序中的每个单词符号，并以记号的形式输出每个单词符号(2)识别并读取源程序中的注释(3) 统计源程序中的语句行数、单词个数和字符个数(4) 检查源程序中存在的非法字符错误，并可以报告错误所在的行列位置。
注：本程序未把注释中的单词符号，“”中的单词符号统计在单词个数中。
单词个数只包括了标示符，关键字，无符号数。
五．实验原理：1.词法分析程序的功能：输入源程序，输出单词符号的记号形式，如图所示：>源程序词法分析器单词符号的记号形式词法分析器2.处理过程：每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直至整个源程序全部扫描完毕，并形成相应的单词串形式的源程序。
六．代码#include<iostream>#include<fstream>—#include<string>#include <iomanip>using namespace std;string keyword[32]={"auto","break","case","char","const", .'z':case 'A'...'Z':case '_':word++;—while(isalpha(c)||isdigit(c)||c=='_'){str+=c;get();}if(c=='@'||c==''||c=='$'||c=='#'){int tag=column;】while(isalpha(c)||isdigit(c)||c=='_'||c=='@'||c==''||c=='$'||c=='#') {str+=c;get();}outf<<setw(10)<<str<<setw(30)<<"ERROR"<<setw(30)<<"错误在第"<<row<<"行第"<<tag<<"列"<<endl;str="";break;*}if(find_key(str)){outf<<setw(10)<<str<<setw(30)<<str<<setw(30)<<"关键字"<<endl;str="";}else{}outf<<setw(10)<<str<<setw(30)<<"id"<<setw(30)<<"标示符"<<endl;str="";}break;case '0'...'9':word++;while(isdigit(c)||c=='.'||c=='e'||c=='E'){:str+=c;if(c=='e'||c=='E'){get();str+=c;}get();}/if(isalpha(c)){int tag=column;while(isalpha(c)||c=='_'||isdigit(c)||c=='@'||c==''||c=='$'||c=='#') {str+=c;get();};outf<<setw(10)<<str<<setw(30)<<"ERROR"<<setw(30)<<"错误在第"<<row<<"行第"<<tag<<"列"<<endl;str="";break;}outf<<setw(10)<<str<<setw(30)<<"num"<<setw(30)<<"无符号数"<<endl;str="";break;case'>':）get();if(c=='=')outf<<setw(10)<<">="<<setw(30)<<"relop"<<setw(30)<<"关系运算符"<<endl;else if(c=='>')outf<<setw(10)<<">>"<<setw(30)<<"bit_op"<<setw(30)<<"位运算符"<<endl;else{outf<<setw(10)<<">"<<setw(30)<<"relop"<<setw(30)<<"关系运算符"<<endl; ;break;}get();break;case'<':get();if(c=='=')outf<<setw(10)<<"<="<<setw(30)<<"relop"<<setw(30)<<"关系运算符"<<endl;》else if(c=='<')outf<<setw(10)<<"<<"<<setw(30)<<"bit_op"<<setw(30)<<"位运算符"<<endl;else{outf<<setw(10)<<"<"<<setw(30)<<"relop"<<setw(30)<<"关系运算符"<<endl; break;}get();~break;case'=':get();if(c=='=')outf<<setw(10)<<"=="<<setw(30)<<"relop"<<setw(30)<<"关系运算符"<<endl;else{outf<<setw(10)<<"="<<setw(30)<<"assign_op"<<setw(30)<<"赋值符"<<endl; <break;get();break;case'!':get();if(c=='=')outf<<setw(10)<<"!="<<setw(30)<<"relop"<<setw(30)<<"关系运算符"<<endl;>else{outf<<setw(10)<<"!"<<setw(30)<<"logic_op"<<setw(30)<<"逻辑运算符"<<endl; break;}get();break;case'|':—get();if(c=='|')outf<<setw(10)<<"||"<<setw(30)<<"relop"<<setw(30)<<"逻辑运算符"<<endl;else{outf<<setw(10)<<"|"<<setw(30)<<"logic_op"<<setw(30)<<"位运算符"<<endl; break;}/get();break;case'&':get();if(c=='&')outf<<setw(10)<<"&&"<<setw(30)<<"relop"<<setw(30)<<"逻辑运算符"<<endl;else{"outf<<setw(10)<<"&"<<setw(30)<<"logic_op"<<setw(30)<<"位运算符"<<endl; break;}break;case'+':get();if(c=='+')%outf<<setw(10)<<"++"<<setw(30)<<"alg_op"<<setw(30)<<"运算符"<<endl;else if(c=='=')outf<<setw(10)<<"+="<<setw(30)<<"alg_op"<<setw(30)<<"运算符"<<endl;else{outf<<setw(10)<<"+"<<setw(30)<<"alg_op"<<setw(30)<<"运算符"<<endl; break;}<get();break;case'-':get();if(c=='-')outf<<setw(10)<<"--"<<setw(30)<<"alg_op"<<setw(30)<<"运算符"<<endl;else if(c=='=')outf<<setw(10)<<"-="<<setw(30)<<"alg_op"<<setw(30)<<"运算符"<<endl;。