编译原理实验：词法分析
编译原理中的词法分析与语法分析原理解析
编译原理中的词法分析与语法分析原理解析编译原理中的词法分析和语法分析是编译器中两个基本阶段的解析过程。
词法分析（Lexical Analysis）是将源代码按照语法规则拆解成一个个的词法单元（Token）的过程。
词法单元是代码中的最小语义单位，如标识符、关键字、运算符、常数等。
词法分析器会从源代码中读取字符流，将字符流转换为具有词法单元类型和属性值的Token序列输出。
词法分析过程中可能会遇到不合法的字符序列，此时会产生词法错误。
语法分析（Syntax Analysis）是对词法单元序列进行语法分析的过程。
语法分析器会根据语法规则，将词法单元序列转换为对应的抽象语法树（Abstract Syntax Tree，AST）。
语法规则用于描述代码的结构和组织方式，如变量声明、函数定义、控制流结构等。
语法分析的过程中，语法分析器会检查代码中的语法错误，例如语法不匹配、缺失分号等。
词法分析和语法分析是编译器的前端部分，也是编译器的基础。
词法分析和语法分析的正确性对于后续的优化和代码生成阶段至关重要。
拓展部分：除了词法分析和语法分析，编译原理中还有其他重要的解析过程，例如语义分析、语法制导翻译、中间代码生成等。
语义分析（Semantic Analysis）是对代码进行语义检查的过程。
语义分析器会根据语言的语义规则检查代码中的语义错误，例如类型不匹配、变量声明未使用等。
语义分析还会进行符号表的构建，维护变量和函数的属性信息。
语法制导翻译（Syntax-Directed Translation）是在语法分析的过程中进行语义处理的一种技术。
通过在语法规则中嵌入语义动作（Semantic Action），语法制导翻译可在语法分析的同时进行语义处理，例如求解表达式的值、生成目标代码等。
中间代码生成（Intermediate Code Generation）是将高级语言源代码转换为中间表示形式的过程。
中间代码是一种抽象的表示形式，可以是三地址码、四元式等形式。
编译原理实验一词法分析
编译原理实验⼀词法分析实验⼀词法分析【实验⽬的】 （1）熟悉词法分析器的基本功能和设计⽅法； （2）掌握状态转换图及其实现； （3）掌握编写简单的词法分析器⽅法。
【实验内容】 对⼀个简单语⾔的⼦集编制⼀个⼀遍扫描的词法分析程序。
【实验要求】 （1）待分析的简单语⾔的词法 1) 关键字 begin if then while do end 2) 运算符和界符 := + - * / < <= <> > >= = ; ( ) # 3) 其他单词是标识符(ID)和整形常数(NUM)，通过以下正规式定义： ID=letter(letter|digit)* NUM=digitdigit* 4) 空格由空⽩、制表符和换⾏符组成。
空格⼀般⽤来分隔 ID、NUM、运算符、界符和关键字，词法分析阶段通常被忽略。
（2）各种单词符号对应的种别编码 （3）词法分析程序的功能 输⼊：所给⽂法的源程序字符串 输出：⼆元组（syn,token 或 sum）构成的序列。
syn 为单词种别码； token 为存放的单词⾃⾝字符串； sum 为整形常数。
【实验代码】1 #include<iostream>2 #include<string.h>3 #include<conio.h>4 #include<ctype.h>5using namespace std;6int sum,syn,p,m,n;7char ch,chs[8],s[100];8char *tab[6]={"begin","if","then","while","do","end"};910int scanner(){11for(n=0;n<8;n++) chs[n]='\0';12 m=0;13 n=0;14 ch=s[p++];15while(ch=='') ch=s[p++];16if(isalpha(ch)){17while(isalpha(ch)||isdigit(ch)){18//isalpha(ch)函数：判断字符ch是否为英⽂字母，⼩写字母为2，⼤写字母为1，若不是字母019//isdigit(ch)函数：判断字符ch是否为数字，是返回1，不是返回020 chs[m++]=ch;21 ch=s[p++];22 }23 syn=10;24for(n=0;n<6;n++)25if(strcmp(chs,tab[n])==0) syn=n+1;26 p--;27 }else if(isdigit(ch)){28 sum=0;29while(isdigit(ch)){30 sum=sum*10+(ch-'0');31 ch=s[p++];32 }33 syn=11;34 p--;35 }else if(ch==':'){36 syn=17;37 chs[m++]=ch;38 ch=s[p++];39if(ch=='='){ syn=18;chs[m]=ch;p++;}40 p--;41 }else if(ch=='<'){42 syn=20;43 chs[m++]=ch;44 ch=s[p++];45if(ch=='>') { syn=21;chs[m]=ch;p++;}46if(ch=='=') { syn=22;chs[m]=ch;p++;}47 p--;48 }else if(ch=='>'){49 syn=23;50 chs[m++]=ch;51 ch=s[p++];52if(ch=='=') { syn=24;chs[m]=ch;p++;}53 p--;54 }else switch(ch){55case'+':syn=13;chs[m]=ch;break;56case'-':syn=14;chs[m]=ch;break;57case'*':syn=15;chs[m]=ch;break;58case'/':syn=16;chs[m]=ch;break;59case'=':syn=25;chs[m]=ch;break;60case';':syn=26;chs[m]=ch;break;61case'(':syn=27;chs[m]=ch;break;62case')':syn=28;chs[m]=ch;break;63case'#':syn=0;chs[m]=ch;break;64default:syn=-1;65 }66return0;67 }68int main(){69 p=0;70 cout<<"Please input code and end with character '#':"<<endl;71do{72//cin>>ch;不识别空格73 ch=getchar();74 s[p++]=ch;75 }while(ch!='#');76 p=0;77do{78 scanner();79switch(syn){80case11:cout<<'('<<syn<<','<<sum<<')'<<endl;break;81case -1:cout<<'('<<syn<<','<<"error"<<')'<<endl;break;82default:cout<<'('<<syn<<','<<chs<<')'<<endl;83 }84 }while(syn!=0);85//getch():是⼀个不回显函数，当⽤户按下某个字符时，函数⾃动读取，⽆需按回车，所在头⽂件是conio.h。
编译原理词法分析及词法分析程序
状态图=>右线性文法
文法G[0] 0->a1
d 0
S->aA A->dA A->b
a c
1 2
b
d
3
1->d1 1->b
0->c
0->c2 2->d
S->c
S->cB，2有出弧 B->d
左线性文法=>状态转换图
设G=(VN,VT,P,S)是一左线性文法,令|VN|=K， 1) 则所要构造的状态转换图共有K+1个状态. 2) VN中的每个符号分别表示K个状态 2.1) G的开始符S为终止状态 3) 起始状态,用R(VN)标记
识别符号串与归约
S
从初态R到下一状态A对应Ba，即终结 符a归约成非终结符B; U 从状态B转换到状态A对应ABa,即将 Ba归约为A; 状态A转换到状态S(终态)对应S Aa,即 U 将Aa归约为开始符S. 归约成功,恰好进入终态,即状态转换图识 U 别了(或接受)该符号串. 识别00011的例子的归约过程
f是转换函数，是在K×Σ →K上的映像，即：如果f（ki，a）=kj， （ki，kj∈K）意味着，当前状态为ki，输入字符为a时，将转换 为下一个状态kj，我们把kj称作ki的一个后继状态；
1.确定的有限自动机
通常把这五要素组成的五元式M=(K,∑,f, S0,Z)称为确定的 有限自动机(DFA)，它是相应的状态转化图的一种形式描 述，或者说，是状态转换矩阵的另一种表示。 在状态转换的每一步，据DFA当前所处状态及扫视的输入 字符，能唯一确定下一状态。
例：文法G=({S,U},{0,1},{SS1 |U1,
编译原理实验报告
编译原理实验报告班级姓名：学号：自我评定：实验一词法分析程序实现一、实验目的与要求通过编写和调试一个词法分析程序，掌握在对程序设计语言的源程序进行扫描的过程中，将字符形式的源程序流转化为一个由各类单词符号组成的流的词法分析方法。
二、实验内容根据教学要求并结合学生自己的兴趣和具体情况，从具有代表性的高级程序设计语言的各类典型单词中，选取一个适当大小的子集。
例如，可以完成无符号常数这一类典型单词的识别后，再完成一个尽可能兼顾到各种常数、关键字、标识符和各种运算符的扫描器的设计和实现。
输入：由符合或不符合所规定的单词类别结构的各类单词组成的源程序。
输出：把单词的字符形式的表示翻译成编译器的内部表示，即确定单词串的输出形式。
例如，所输出的每一单词均按形如（CLASS，VALUE）的二元式编码。
对于变量和常数，CLASS字段为相应的类别码；VALUE字段则是该标识符、常数的具体值或在其符号表中登记项的序号（要求在变量名表登记项中存放该标识符的字符串；常数表登记项中则存放该常数的二进制形式）。
对于关键字和运算符，采用一词一类的编码形式；由于采用一词一类的编码方式，所以仅需在二元式的CLASS字段上放置相应的单词的类别码，VALUE字段则为“空”。
另外，为便于查看由词法分析程序所输出的单词串，要求在CLASS字段上放置单词类别的助记符。
三、实现方法与环境词法分析是编译程序的第一个处理阶段，可以通过两种途径来构造词法分析程序。
其一是根据对语言中各类单词的某种描述或定义（如BNF），用手工的方式（例如可用C语言）构造词法分析程序。
一般地，可以根据文法或状态转换图构造相应的状态矩阵，该状态矩阵同控制程序便组成了编译器的词法分析程序；也可以根据文法或状态转换图直接编写词法分析程序。
构造词法分析程序的另外一种途径是所谓的词法分析程序的自动生成，即首先用正规式对语言中的各类单词符号进行词型描述，并分别指出在识别单词时，词法分析程序所应进行的语义处理工作，然后由一个所谓词法分析程序的构造程序对上述信息进行加工。
编译原理词法分析
❖ =、＜、＞、！：读下一个字符，判断是否为双字 符分界符，若是，组成双字符分界符，输出类码； 若不是，输出单分界符记号；
编译原理
❖ 非=、＜、＞、/等与双分界符首字符不同的单分界 字符：输出相应单词记号及单分界符。
1.S是一个有穷集，它的每个元素称为一个状态；
2.Σ是一个有穷字母表，它的每个元素称为一个输入 符号，所以也称Σ为输入符号表；
3.δ是在S×Σ→S上的单值映射，即，如δ (s，a)=s’， (s∈S，s’∈S)就意味着，当前状态为s，输入符为 a时，将转换为下一个状态s’，我们把s’称作s的一 个后继状态；
编译原理 在 入 准初带备整•••始的读输读有个时开入始入头穷模，始，状带：控型读位状态：可制由头置态存以器如状的所三处，处放在：果态符识部于表于输输控读正号别分输示初入入制头好组组符带状移是成成号上态动终的：向发到结字后生最状能移变后态被头每有动化一，该转向读穷个则有移后入控符输限到移一 制号入自下动个器后带动一一符控面上机个个号制，状位，状态置读态，
编译原理
词法分析 读字符
结束 Y
结束
N Y 空字
N 字母 N 数字
Y 组合标识符 Y 组合整数
查保留字Βιβλιοθήκη N 纯单分符Y 输出单分符
N
>,<,!,= Y 读字符
=
N
N
/ Y 读字符
*
N
Y
错误处理
输出保留字
Y 保留字
N 输出标识符
组合整数
读字符
Y 输出双分符
输出单分符 N 输出单分符/
注释处理
读字符
编译原理词法分析实验报告
编译原理词法分析实验报告实验一词法分析一、实验目的通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
二、实验内容（1）功能描述：该程序是实现一个词法分析器，词法分析器的功能是输入源程序，输出单词符号。
词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。
本实验中，采用的是将单词分为五种的方法。
识别关键字：main、if、int、for、while、do、return、break、continue；单词种别码为1。
标识符：单词种别码为2。
常数：为无符号整形数；单词种别码为3。
运算符：包括：+、-、*、/、=、>、<、>=、<=、!= ；单词种别码为4。
分隔符：包括：,、;、{、}、(、)；单词种别码为5。
（2）程序结构描述：输入：从控制台输入一段源程序代码，对输入的代码进行词法分析,处理：分离出关键字、标识符、数值、运算符和界符。
输出：在词法分析结果表中输出每个单词所在行号、类型以及它所对应的编码。
其中，编码是自定义的,一种类型对应一个编码。
词法分析结果显示在控制台上。
（3）程序设计思路1、定义编码表，用ArrayList集合存放单词，如：关键字、运算符、分界符。
这三种单词是固定的，标示符和数字这两种单词不存放在集合中。
编码表是固定的，只需要初始化一次就够了，所以将集合定义为static类型，使其在类加载时，进行一次初始化。
2、static char allstr[] = new char[100000];该数组用于存储用户从控制台输入的所有字符。
3、//从键盘获取一个一个的字符public char Getchar() {try {ch = (char) System.in.read();} catch (Exception e) {e.printStackTrace();}return ch;}4、用while循环遍历allstr数组中存放的字符，判断分离出关键字、标示符、数字、运算符、标示符。
编译原理-词法分析
词法分析是编译原理中的重要阶段，负责将源代码分解为词法单元，为后续 的语法分析准备输入。
词法分析的定义和作用
词法分析是编译器的第一阶段，其主要目的是将源代码转换为有意义的词法 单元，如标识符、关键字、操作符等，以便后续的语法分析和语义分析使用。
词法分析的流程
1
扫描
将源代码分割为符号序列。
2
识别
将符号序列映射到相应的词法单元。
归类
将词法单元分为不同的类别，如标识符、关键字、操作符等。
常见的词法分析技术
正则表达式
用于描述词法单元的模式。
有限自动机
用于识别符号序列并生成词法 单元。
词法分析器生成器
自动生成词法分析器的工具。
词法分析的应用场景
词法分析广泛应用于编译器、解释器和语言处理工具等领域，确保源代码的正确解析和语义分析。
词法分析的挑战和解决方案
错误处理
如何处理错误输入和不合法的词法 单元。
性能优化
如何提高词法分析的速度和效率。
跨平台兼容
如何处理不同编程语言和操作系统 的词法规则。
结论和总结
词法分析是编译原理中不可或缺的一部分，对于编译器的正确性和性能有着 重要影响。了解词法分析的流程和技术，可帮助开发者构建更高效的编译器 和语言处理工具。
编译原理实验--词法分析器
实验一词法分析器设计【实验目的】1．熟悉词法分析的基本原理，词法分析的过程以及词法分析中要注意的问题。
2．复习高级语言，进一步加强用高级语言来解决实际问题的能力。
3．通过完成词法分析程序，了解词法分析的过程。
【实验内容】用C语言编写一个PL/0词法分析器，为语法语义分析提供单词，使之能把输入的字符串形式的源程序分割成一个个单词符号传递给语法语义分析，并把分析结果（基本字，运算符，标识符，常数以及界符）输出。
【实验流程图】【实验步骤】1．提取pl/0文件中基本字的源代码while((ch=fgetc(stream))!='.'){int k=-1;char a[SIZE];int s=0;while(ch>='a' && ch<='z'||ch>='A' && ch<='Z'){if(ch>='A' && ch<='Z') ch+=32;a[++k]=(char)ch;ch=fgetc(stream);}for(int m=0;m<=12&&k!=-1;m++)for(int n=0;n<=k;n++){if(a[n]==wsym[m][n]) ++s;else s=0;if(s==(strlen(wsym[m]))) {printf("%s\t",wsym[m]);m=14;n=k+1;} }2．提取pl/0文件中标识符的源代码while((ch=fgetc(stream))!='.'){int k=-1;char a[SIZE]=" ";int s=0;while(ch>='a' && ch<='z'||ch>='A' && ch<='Z'){if(ch>='A' && ch<='Z') ch+=32;a[++k]=(char)ch;ch=fgetc(stream);}for(int m=0;m<=12&&k!=-1;m++)for(int n=0;n<=k;n++){if(a[n]==wsym[m][n]) ++s;else s=0;if(s==(strlen(wsym[m]))) {m=14;n=k+1;}}if(m==13) for(m=0;a[m]!=NULL;m++) printf("%c ",a[m]);3．提取pl/0文件中常数的源代码while((ch=fgetc(stream))!='.'){while(ch>='0' && ch<='9'){num=10*num+ch-'0';ch=fgetc(stream);}if(num!=0) printf("%d ",num);num=0;}4．提取pl/0文件中运算符的源代码int ch=fgetc(stream);while(ch!='.'){switch(ch){case'+': printf("+ ");break;case'-': printf("- ");break;case'*': printf("* ");break;case'/': printf("/ ");break;case'>': if(fgetc(stream)=='=')printf(">= "); else printf("> ");break;case'<': if(fgetc(stream)=='=')printf("<= "); else printf("< ");break;case':': printf(":= ");break;case'#': printf("# ");break;case'=': printf("= ");break;default: break;}ch=fgetc(stream);5．提取pl/0文件中界符的源代码int ch=fgetc(stream);while(ch!='.'){switch(ch){case',': printf(", ");break;case';': printf("; ");break;case'(': printf("( ");break;case')': printf(") ");break;default: break;}ch=fgetc(stream);}【实验结果】1．pl/0文件（222.txt）内容const a=10;var b,c;procedure p;beginc:=b+a;end;beginread(b);while b#0 dobegincall p;write(2*c);read(b)endend .2．实验运行结果【实验小结】1.了解程序在运行过程中对词法分析，识别一个个字符并组合成相应的单词，是机器能过明白程序，定义各种关键字，界符。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
} void main() {
p=0; printf("\n please input string :\n"); do{
ch=getchar(); prog[p++]=ch; }while(ch!='#'); p=0; do { scaner(); switch(syn) {
case 11 : printf("(%d,%d)",syn,sum); break;
case -1 : printf(" error \n"); break;
default: printf("(%d,%s)",syn,token); } }while (syn!=0); } （备注：代码可以运行） 5.实验感想 通过此次实验，学习到了扫描程序的算法思想和具体的源代码的编 写，成功设计，编写，并调试了一个词法分析程序，使我加深了对词法 分析原理的理解，编写程序的过程中也是对学过的c语言的相关知识的 复习，加强了使用c语言编程的熟练程度，一定程度上也提高了自己的 动手能力。
ch=prog[p++]; if(ch == '>') {
syn=21; token[m++] = ch; } else if(ch == '=') { syn=22; token[m++] = ch;
} else{
syn = 20; p--; } break; case '>': m=0;token[m++] = ch; ch=prog[p++]; if(ch == '=') { syn=24; token[m++] = ch; } else{ syn=24; p--; } break; case ':': m=0;token[m++] = ch; ch=prog[p++]; if(ch == '=') {
2.2 各单词符号所对应的种别码
单词符号
种别 单词 种别 码 符号 码
begin
1
:
17
if
2
:= 18
then
3
<
20
while
4
<> 21
do
5
<= 22
end
6
>
23
letter(letter | digit)*
10
>=பைடு நூலகம்
24
digit dihit* 11 =
25
+
12 ;
26
-
14 (
27
*
(2)扫描之程序的算法思想： 首先要设置3个变量：token用来存放构成单词符号的字符串； sum用来存放整型单词； syn用来存放单词符号的种别码。 扫描子程序主要流程图如下：
4.词法分析程序源代码： #include<stdio.h> #include<string.h> #include<ctype.h> char prog[80],token[80]; char ch; int syn,p,m,n,sum;
ch=prog[p++]; if(isalpha(ch)) {
while(isalnum(ch)){ token[m++]= ch ; ch=prog[p++];
} token[m++]='\0'; p--; syn = 10; for(n=0;n<6;n++)
if(strcmp(token,rwtab[n]) == 0) {
char * rwtab[6]={"begin","if","then","while","do","end"}; int scaner(void); int scaner() {
m=0; sum=0; for( n=0;n<8;n++)
token[n]='\0'; ch=prog[p++]; while(isspace(ch))
syn=n+1; break; } } else if(isdigit(ch)){ while(isdigit(ch)) { sum=sum*10+ch-'0'; ch=prog[p++]; } p--; syn=11; }
else switch(ch) { case '<': m=0; token[m++] = ch;
syn=18; token[m++] = ch;
} else{
syn=18; p--; } break; case '+': syn=13; token[0]=ch;break; case '-': syn=14; token[0]=ch;break; case '*': syn=15; token[0]=ch;break; case '/': syn=16; token[0]=ch;break; case '=': syn=25; token[0]=ch;break; case ';': syn=26; token[0]=ch;break; case '(': syn=27; token[0]=ch;break; case ')': syn=28; token[0]=ch;break; case '#': syn=0; token[0]=ch;break; default : syn=-1;
15 )
28
/
16 #
0
2.3 词法分析程序的功能 输入：所给文法的源程序字符串。 输出：二元组（syn，token或sum）构成的序列。 其中：syn 为单词种别码；
token 为存放单词自身的字符； sum 为整型常数。 例如：对源程序 begin x :=9；if x>0 then x := 2*x+1/3; end # 的源文件，经词法分析后 输出如下序列： （ 1，begin）（10，’x’） (18,:=) ( 11,9) (26, ;) (2,if)……
3.词法分析程序的算法思想 该算法的基本任务是从字符串表示的源程序中只别处具有独立意义的单 词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出 相应的单词符号。
（1）主程序示意图
置初值 调用扫描子程序 输出单词二元组 输出串结束？ 结束 是 否
关键字表为一个字符串数组， 其初值如下： char *rwtab[6] = { “begin”,” if”, “then” ,”while”, “do” ,“end”}; 程序中需要用到的变量为syn ,token, sum
编译原理实验报告
课题名称：词法分析
院系：计算机科学系
实验一：词法分析
1. 实验目的 设计，编制并调试一个词法分析程序，加深对词法分析原理的理解。 2. 实验要求
2.1 待分析的简单语言的词法 （1）关键字：
begin if then while do end 所有的关键字都是小写。 （2）运算符和界符： ：= + - * / < <= > >= = ; ( ) # (3) 其他单词标识符（ID）和整型常数（NUM），通过以下正规是 定义： ID= letter(letter | digit)* NUM = digit digit* (4)空白由空白，制表符和换行符组成。空格一般用来分隔ID， NUM，运算符，界符和关键字，词法分析阶段通常被忽略。