Removed_实验一：词法分析器编制实验37
实验一：词法分析器编制实验
一教学重点与实现的关键技术
1.1词法分析概述
人们理解一篇文章(或解析一个程序)起码是在单词级别上来思考的。同样，编译程序也是
在单词的级别上来分析和翻译源程序的。词法分析的任务是：从左至右逐个字符地对源程序进行扫描，产生一个个的单词符号（token），把作为字符串的源程序改造成单词符号串的中间程序。因此，词法分析是编译的基础。
执行词法分析的程序称为词法分析器。构造词法分析器的方法分为手工编制和自动生成（如用著名的词法分析器的自动生成工具Lex自动为某种语言的编译构造词法分析器）两种，本实验要求学生利用所学习掌握的知识手工编制一个小型的词法分析器。
1.2词法分析器的设计要求
1.2.1词法分析器的功能和输出形式
词法分析器的功能是输入源程序，输出单词符号。单词符号是一个程序语言的基本语法符号。程序语言的单词符号一般可分为下列五种。
（1）关键字
是由程序语言定义的具有固定意义的标志符。有时称这些标志符为保留字或基本字。例如，Pascal中的begin，end，if，while都是保留字。这些字通常不用作一般标
志符。
（2）标识符
用来表示各种名字，如变量名、数组名、过程名等等。
（3）常数
常数的类型一般有整型、实型、布尔型、文字型等等。例如，
100，3.14159，TRUE，‘Sample’。
（4）运算符
如+、-、*、/等等
（5）界符
如逗号、分号、括号、/*，*/等等。
一个程序语言的关键字、运算符和界符都是确定的，一般只有几十个或上百个。而对于标识符或常数的使用通常都不加什么限制。
词法分析器所输出的单词符号常常表示成如下的二元式：
（单词种别，单词符号的属性值）
单词种别通常用整数编码。一个语言的单词符号如何分种，分成几种，怎么编码，是一个技术性的问题。它主要取决于处理上的方便。标识符一般统归
为一种。常数则宜按类型（整、实、布尔等）分种。关键字可将其全体视为一种，
也可以一字一种。采用一字一种的分法实际处理起来较为方便。运算符可采用一
符一种的分法，但也可以把具有一定共性的运算符视为一种。至于界符一般用一
符一种的分法。
如果一个种别只含一个单词符号，那么，对于这个单词符号，种别编码就完全代表它自身了。若一个种别含有多个单词符号，那么，对于它的每个单词
符号，除了给出种别编码之外，还应给出有关单词符号的属性信息。
单词符号的属性是指单词符号的特性或特征。属性值则是反映特性或特征的值。例如，对于某个标识符，常将存放它的有关信息的符号表项的指针作为其属
性值；对于某个常数，则将存放它的常数表项的指针作为其属性值。
在这里，我们给出一种编码方法（以FORTRAN语言为例）：
单词符号编码举例
单词符号种别
编码
内部
值
助记符
DIM1$DIM
IF2$IF DO3$DO STO
P
4$STOP END5$END
标识符6内部
符号
串
$IDN
整数7标准
二进
制
$INT
=8$ASG
+9$PLUS
*10$STAR
**11$POWER
，12$COMMA
（13$SLP
）14$SRP
1.2.2词法分析器作为一个独立子程序
为何将词法分析作为一个独立阶段呢？是否还应该将它安排为独立的一遍呢？
把词法分析安排为一个独立阶段的好处是，它可使整个编译程序的结构更简洁、清晰和条理化。词法分析比语法分析要简单得多，可用更有效的特殊方法和
工具进行处理。
但是，这并不意味着我们也必须把词法分析作为独立的一遍。当然，也可以把词法分析安排成独立的一遍。让它把整个源程序翻译成一连串的单词符号
存放于文件中。待语法分析器进入工作是在对从文件输进的这些单词符号进行分
析。这种做法意味着必须在文件中保存整个源程序的内码形式，这似乎是没有必
要的。我们可以把词法分析器安排成一个子程序，每当语法分析器需要一个单词
符号时就调用这个子程序。每一次调用，词法分析器就从输入串中识别出一个单
词符号，把它交给语法分析器。这样，把词法分析器安排成一个子程序就比较自
然。
1.3 词法分析器的实现技术
在以下的讨论中，我们将按照词法分析的任务和作为一个独立子程序的要求来考虑词法分析器的设计。
1.3.1 输入、预处理
词法分析器工作的第一步是输入源程序文本。输入串一般是放在一个缓冲区中，这个缓冲区称输入缓冲区。词法分析的工作可以直接在这个缓冲区中进行。但在很多情况下，把输入串预处理一下，对单词符号的识别工作将是比较方便的。
对于许多程序语言来说，空白符、跳格符、回车符和换行符等编辑性字符除了出现在文字常数中之外，在别处的任何出现都没有意义。对于它们，预处理时可以将其剔掉。
我们可以设想构造一个预处理子程序来完成预处理功能。每当词法分析器调用它时，它就处理出一串确定长度的输入字符，并将其装进词法分析器所指定的缓冲区中（称为扫描缓冲区）。这样，分析器就可以在此缓冲区中直接进行单词符号的识别，而不必照管其它繁琐事务。
分析器对扫描缓冲区进行扫描时一般用两个指示器，一个指向当前正在识别的单词的开始位置（指向新单词的首字符），另一个用于向前搜索以寻找单词的终点。
不论扫描缓冲区设的多大都不能保证单词符号不会被他的边界所打断。因此，扫描缓冲区最好使用一个如下所示的一分为二的区域，即著名的双缓冲区设计。具体的操作步骤如下图所示：
1.3.2 单词符号的识别：状态转换图
使用状态转换图是设计词法分析器的一种好途径。转换图是一张有限方向图（有向图）。在状态转换图中，结点代表状态，用圆圈表示。状态之间用箭弧连接。箭弧上的标记（字符）代表在射出结点（即箭弧始结点）状态下可能出现的输入字符或字符类。
举例：对于正规式IDN→letter(letter|digit)*描述的标识符，其状态图如下所示：
letter,digit
，_）
INC→++
ADD→+
1.3.3 利用状态转换图识别单词（Token）的步骤
1. 从初态出发
2. 读入一字符
3. 按当前字符转入下一状态
4. 重复2,3 直到无法继续转移
注：在遇到读入的字符是Token的分割符时，若当前状态是终止状态，说明读入的字符组成一单词；否则，说明输入不符合词法规则。
1.3.4算法描述
★子程序scan( )
?输入：字符流
?输出：
?Symbol(Code) :单词种别
?Attr(value):属性（全局变量）
★数据结构与子例程
?数据结构
?ch 当前输入字符
?token 输入缓冲区(字符数组)
?symbol 单词种别（子程序的返回值）
?attr 属性（全局变量）
?子例程
?Lookup(token):将token 存入符号表，返回入口指针
?isKeyword(token):判别token是关键字？返回关键字种别或-1
?getchar():从输入缓冲区中读入一个字符放入ch
?isdigit() isalpha()
★该例的实现算法
1. getchar()
2. WHILE ch 是空格//跳过空格
2.1 DO getchar();
3. CASE ch OF
4. isdigit(ch) :
4.1 ch→token; getchar();
4.2 WHILE isdigit(ch) DO
ch→token; getchar();
4.3 输入指针回退一个字符；
4.4 将token中的字符串变成数值→attr
4.5 返回NUM
5. isalpha(ch) :
5.1 ch→token; getchar();
5.2 WHILE isalpha(ch) OR isdigit(ch)
DO ch→token; getchar();
5.3输入指针回退一个字符;
5.4 key = isKeyword(token);
5.5 IF key≥0 THEN 返回key
5.6 Lookup(token)→attr;
5.7 返回IDN
6 ':' : getchar();
6.1 IF ch等于'=' THEN 返回ASG
6.2 出错处理
7 '+' : 返回ADD
8 '-' : 返回SUB
9 '*' : 返回MUL
10 '/' : 返回DIV
11 '=' : 返回EQ
12 '>' : 返回GT
13 '<' : 返回LT
14 '(' : 返回LP
15 ')' : 返回RP
16 ';' : 返回SEMI
17 其它: 出错处理
18 END OF CASE
1.4实现的关键技术提示
除了前述的双缓冲区设计、识别单词的状态转换图等，符号表的组织与实现也是不
容忽视的一项关键技术。但由于学生初次接触编译系统的设计，往往忽略符号表的设计，即使想到了也无从下手。有的学生甚至认为标识符表既是符号表的全部——编译的运行环境只需要（也只能有）一张标识符表。这种理解上的偏差正是由于对符号表的作用（特别是对标识符表的特定用途）理解不够，而多数教科书在这个问题上往往只是给出一些宏观上的引导所至。下面将分别对符号表的作用与具体实现进行阐述。
1.4.1 符号表的作用
为了检查语义的正确性和生成代码，编译程序需要知道用户源程序中所使用的各种标识符的属性，这些属性信息常常由编译程序集中起来并存放于一张标识符表或符号表中。
符号表用于存放程序中出现的有关各种名字的属性信息，以反应名字的语义特征，编译的各阶段均涉及符号表的操作。
符号表的作用主要有以下几个方面：
1)收集符号的各种属性。如名字、类型、定义的层次等。
2)作为语义的合法性检查的依据。如引用时类型是否一致、层次是否得当等。
3)作为目标代码生成阶段地址分配的依据。如根据符号表中该变量的特性可为其在适当
的存储区域分配大小合适的存储空间。
1.4.2 符号表的建立
符号表一般在编译程序的开始阶段（词法分析或语法分析阶段）就建立了，其内容的填写一般在词法分析、语法分析、语义分析阶段陆续填入，而它的使用与管理则贯穿于整个编译程序工作的各个阶段。
1.4.3 符号表的内容
符号表的每一项（也称入口）由若干域构成，存放一个符号的所有属性信息。
程序设计语言中的符号一般分为两大部分：固定部分和非固定部分。
（1）固定部分
符号表固定部分包括符号的名字域和种属域。
（2）非固定部分
符号表的非固定部分包括符号的各种信息域。
不同种属的符号有不同的信息域，如简单变量有类型、地址、存储类别、作用域等信
息域，数组名可有类型、内情向量地址等信息域，过程名、函数名可有参数个数、参数表地址、入口地址等信息域。
1.4.4 符号表的组织
符号表的组织直接关系到语义功能的实现和语义处理的时空效率。
★符号表的总体组织
所谓符号表的总体组织就是构造多少张符号表，以及哪些符号放在同一张表中，一般可选以下三种方式之一：
1）将属性完全相同的符号（即同一种属的符号）组织在一起构成一张符号表，从而编译
程序将使用多张符号表。优点是每张符号表的属性个数和结构完全相同，每个表项等长、表项中每个栏目均有效，对其中的每个符号的管理方便一致。缺点是编译程序要同时管理多个符号表，管理工作量和复杂度较大。
2）所有符号都组织在一张符号表中。优点是管理集中，缺点是符号表的结构及相应的表处理较为复杂。
3）前两种方式的折中，即按符号所具有的属性的相似程度分类组织成若干张表，其优缺点自然也是前两种方式的折中。
以上是关于符号表的一般描述。由于符号表是指存放与管理源程序中出现的各种名字的相
关信息的表的总称，对于多趟扫描的编译系统，在具体实现时应包含名字表和标识表（如
N.Wirth在其为著名的Tiny Pascal构造的范例编译程序就是这样设计的），名字表，顾名思义，只是用来存放源程序中出现的不同的各种名字（即标识符）的拼法（字符串），而标识符表则
是在语义分析阶段随着分析的进程为每个过程体中说明的标识符动态地建立起来，并为语义分析与中间代码生成服务的；显然，同名的出现在不同过程体中的标识符（由于其作用域不同）将分别出现在与该过程体相关的标识符表中，这一点与名字表中的情形是不同的。这也是由于名字表与标识符表中存入的信息是在编译的不同阶段获取的。事实上，在词法分析阶段，并不会涉及到标识符的作用域分析与类型检查等工作,而只需收集源程序中出现的名字信息以及这
些名字是否为关键字即可。因此只需要查填名字表。所以，名字表的实现较为简单，可用一字符串型的一维数组来实现。不同的名字在表（数组）中有不同的下标，我们就以名字在表中的下标代表不同的标识符。
当词法分析器析出一个名字时，还不能肯定其就是一个用户定义的标识符，因为它还可能是语言本身的保留字又称关键字，而关键字是不能被用作标识符的。为了在析出一个名字时能高效地判断其是否为关键字，在词法分析阶段要建立一张保留字（关键字）表。可设置一个结构型数组ResWords，其第一个域sp按保留字的长度从短到长的顺序存放保留字的拼法(spelling)，第二个域sy存放相应的内部符号。数组frw是为了加速比较而引入的，它的第i个元素是在保留字表ResWords中长度为i的第一个保留字的下标。
下图以Pascal语言的一个子集的保留字集合来说明设计思想。
二词法分析器的具体要求
2.1实验目的
基本掌握计算机语言的词法分析器的开发方法。
2.2实验内容
编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析器。
2.3实验要求
1根据以下的正规式，编制正规文法，画出状态图
标识符<字母>(<字母>|<数字字符>)*
十进制整数0 | (1|2|3|4|5|6|7|8|9)(0|1|2|3|4|5|6|7|8|9)*
八进制整数0(1|2|3|4|5|6|7)(0|1|2|3|4|5|6|7)*
十六进制整数0x(0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f)
(0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f)*
运算符和分隔符+ - * / > < = ( ) ；
关键字if then else while do
2根据状态图，设计词法分析函数int scan( )，完成以下功能：
1) 从键盘读入数据，分析出一个单词。
2) 返回单词种别（用整数表示），
3) 返回单词属性（不同的属性可以放在不同的全局变量中）。
3编写测试程序，反复调用函数scan( )，输出单词种别和属性。
2.4实验环境
★PC微机
★DOS操作系统或Windows操作系统
★Turbo C程序集成环境或Visual C++ 程序集成环境
2.5 实验步骤
1根据状态图，设计词法分析算法
2采用C语言，设计函数scan( )，实现该算法
3编制测试程序（主函数main）。
4调试程序：输入一组单词，检查输出结果。
2.6 基本测试数据
输入数据例：0 92+data> 0x3f 00 while
正确结果：这些单词的单词种别及其属性
INT100
INT1092
+_
IDN data
>_
INT1663
INT80
WHILE_
2.7 实验报告要求
实验报告应包括以下几个部分：
1词法的正规式描述
2变换后的正规文法
3状态图
4词法分析器的数据结构与算法
2.8 思考题
1词法分析能否采用空格来区分单词？
2程序设计中哪些环节影响词法分析的效率？如何提高效率？
实验一 词法分析器的设计
实验一词法分析器的设计 (2) 1.1 词法分析器的结构和主要任务 (2) 1.1.1 输入输出接口 (2) 1.1.2 条件限制 (2) 1.2 词法分析程序的总体设计 (3) 1.3 词法分析程序的详细设计 (4) 1.4实验步骤 (5) 1.5输入数据 (15) 1.6结果输出 (15)
实验一词法分析器的设计 实验目的：掌握词法分析的概念，设计方法，熟悉高级语言中词法的定义，词法分析程序的编写。 实验要求：在8学时内实现SAMPLE语言的词法分析器，要求用VC窗口界面实现。 实验内容：分为4次实验完成。 1.1 词法分析器的结构和主要任务 1.1.1 输入输出接口 图1-1词法分析器的输入输出界面 词法分析程序的主要任务是从左到右扫描每行源程序，拼成单词，换成统一的内部表示(token)输出，送给语法分析器。具体包括： 1.组织源程序的输入； 2.按规则拼单词，并转换成二元形式； 3.滤掉空白符，跳过注释、换行符及一些无用的符号(如字符常数的引号) 4.进行行列计数，用于指出出错的行列号，并复制出错部分； 5.列表打印源程序； 6.发现并定位词法错误； 7.生成符号表。 token文件和符号表用作语法分析的输入部分。 1.1.2 条件限制 本实验可以作如下假定： (1) 假定SAMPLE语言采用自由格式书写； (2) 可以使用注解，用/*……*/或者{……}标识，但注解不能插在单词内部，注解要在一行内结束，若一行结束，没有遇到注释后面的结束标记，自动认为注释也结束； (3) 一行可以有多个语句，一个语句也可以分布在多行中，单词之间和语句之间可以插入任意空格，单词中间不能有空白符号，单词中间也不能有回车换行符，即单词不能跨行书写； (4) 关键字都是保留字。
实验一词法分析实验报告
实验一词法分析 一、实验目的 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） 二、实验要求 使用一符一种的分法 关键字、运算符和分界符可以每一个均为一种 标识符和常数仍然一类一种 三、实验内容 功能描述： 1、待分析的简单语言的词法 （1）关键字： begin if then while do end （2）运算符和界符： := + –* / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义： ID=letter（letter| digit）* NUM=digit digit * （4）空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM,运算符、界符和关键字，词法分析阶段通常被忽略。 2、各种单词符号对应的种别码 图 1
程序结构描述： 图 2 四、实验结果 输入begin x:=9: if x>9 then x:=2*x+1/3; end # 后经词法分析输出如下序列：(begin 1)(x 10)(：17)(= 18)(9 11)(；26)(if 2)……如图3所示：
图3 输入private x:=9;if x>0 then x:=2*x+1/3; end#后经词法分析输出如下序列：(private 10)(x 10)(：17)(= 18)(9 11)(；26)(if 2)……如图4所示： 图4 显然，private是关键字，却被识别成了标示符，这是因为图1中没有定义private关键字的种别码，所以把private当成了标示符。 输入private x:=9;if x>0 then x:=2*x+1/3; @ end#后经词法分析输出如下序列：(private 10)(x 10)(：17)(= 18)(9 11)(；26)(if 2)……如图5所示
编译原理词法分析器语法分析器实验报告
编译技术 班级网络0802 学号3080610052姓名叶晨舟 指导老师朱玉全2011年 7 月 4 日
一、目的 编译技术是理论与实践并重的课程，而其实验课要综合运用一、二年级所学的多门课程的内容，用来完成一个小型编译程序。从而巩固和加强对词法分析、语法分析、语义分析、代码生成和报错处理等理论的认识和理解；培养学生对完整系统的独立分析和设计的能力，进一步培养学生的独立编程能力。 二、任务及要求 基本要求： 1．词法分析器产生下述小语言的单词序列 这个小语言的所有的单词符号，以及它们的种别编码和内部值如下表： 单词符号种别编码助记符内码值 DIM IF DO STOP END 标识符 常数（整）= + * ** ， （ ）1 2 3 4 5 6 7 8 9 10 11 12 13 14 $DIM $IF $DO $STOP $END $ID $INT $ASSIGN $PLUS $STAR $POWER $COMMA $LPAR $RPAR - - - - - - 内部字符串 标准二进形式 - - - - - - 对于这个小语言，有几点重要的限制： 首先，所有的关键字（如IF﹑WHILE等）都是“保留字”。所谓的保留字的意思是，用户不得使用它们作为自己定义的标示符。例如，下面的写法是绝对禁止的： IF（5）=x 其次，由于把关键字作为保留字，故可以把关键字作为一类特殊标示符来处理。也就是说，对于关键字不专设对应的转换图。但把它们（及其种别编码）预先安排在一张表格中（此表叫作保留字表）。当转换图识别出一个标识符时，就去查对这张表，确定它是否为一个关键字。 再次，如果关键字、标识符和常数之间没有确定的运算符或界符作间隔，则必须至少用一个空白符作间隔（此时，空白符不再是完全没有意义的了）。例如，一个条件语句应写为
编译原理实验--词法分析器
编译原理实验--词法分析器 实验一词法分析器设计 【实验目的】 1(熟悉词法分析的基本原理，词法分析的过程以及词法分析中要注意的问题。 2(复习高级语言，进一步加强用高级语言来解决实际问题的能力。 3(通过完成词法分析程序，了解词法分析的过程。 【实验内容】 用C语言编写一个PL/0词法分析器，为语法语义分析提供单词，使之能把输入的字符 串形式的源程序分割成一个个单词符号传递给语法语义分析，并把分析结果(基本字， 运算符，标识符，常数以及界符)输出。 【实验流程图】
【实验步骤】 1(提取pl/0文件中基本字的源代码 while((ch=fgetc(stream))!='.') { int k=-1; char a[SIZE]; int s=0; while(ch>='a' && ch<='z'||ch>='A' && ch<='Z') { if(ch>='A' && ch<='Z') ch+=32; a[++k]=(char)ch; ch=fgetc(stream); } for(int m=0;m<=12&&k!=-1;m++) for(int n=0;n<=k;n++) {
if(a[n]==wsym[m][n]) ++s; else s=0; if(s==(strlen(wsym[m]))) {printf("%s\t",wsym[m]);m=14;n=k+1;} } 2(提取pl/0文件中标识符的源代码 while((ch=fgetc(stream))!='.') { int k=-1; char a[SIZE]=" "; int s=0; while(ch>='a' && ch<='z'||ch>='A' && ch<='Z') { if(ch>='A' && ch<='Z') ch+=32; a[++k]=(char)ch; ch=fgetc(stream); } for(int m=0;m<=12&&k!=-1;m++) for(int n=0;n<=k;n++) { if(a[n]==wsym[m][n]) ++s; else s=0; if(s==(strlen(wsym[m]))) {m=14;n=k+1;} } if(m==13) for(m=0;a[m]!=NULL;m++) printf("%c ",a[m]);
实验一词法分析实验报告
实验一词法分析实验报告
实验一词法分析 一、实验目的 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） 二、实验要求 使用一符一种的分法 关键字、运算符和分界符可以每一个均为一种标识符和常数仍然一类一种 三、实验内容 功能描述： 1、待分析的简单语言的词法 （1）关键字：
begin if then while do end （2）运算符和界符： := + –* / < <= <> > > = = ; ( ) # （3）其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义： ID=letter（letter| digit）* NUM=digit digit * （4）空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM,运算符、界符和关键字，词法分析阶段通常被忽略。 2、各种单词符号对应的种别码 图 1
程序结构描述： 是 否 是 调用scanner() 字母 数 其他 运算符、 符号 界符等符号 否 是 图 2 四、实验结果 输入begin x:=9: if x>9 then x:=2*x+1/3; end # 后经词法分析输出如 变量忽略 是否输入返 拼数 syn=11返 对不同报拼字是否关syn 为对syn=10
实验1 词法分析器
青岛理工大学 实 验 报 告 实验课程： 编译原理 实验日期： 2014 年 5月28 日 交报告日期：2014 年6月4日 成绩： 实验地点：现代教育技术中心101（计算机实验室） 计算机工程 学院，计算机科学与技术 专业， 班级：计算113 实验指导教师： 批阅教师： 一、实验目的 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、实验要求 1. 待分析的简单语言的词法 1) 关键字： begin if then while do end 所有关键字都是小写。 2) 运算符和界符： : = + – * / < <= <> > >= = ; ( ) # 3) 其他单词是标识符（ID ）和整型常数（NUM ），通过以下正规式定义： ID=letter （letter| digit ）* NUM=digit digit * 4) 空格由空白、制表符和换行符组成。空格一般用来分隔ID 、NUM,运算符、界符和关 键字，词法分析阶段通常被忽略。
2.各种单词符号对应的种别码 3.词法分析程序的功能 输入：所给文法的源程序字符串。 输出：二元组（syn，token或sum）构成的序列。 其中：syn为单词种别码；token为存放的单词自身字符串；sum为常数。 例如：对源程序 begin x:=9; if x>0 then x:=2*x+1/3; end# 经词法分析后输出如下序列：(1,beigin) (10,x) (18,:=) (11,9) (26,;) (2,if)......
三、算法思想 1.主程序示意图 主程序示意图如下所示： 其中初值包括如下两个方面。 1)关键字表的初值。 关键字作为特殊标识符处理，把它们预先安排在关键字表，当扫描程序识别出标识符时，查关键字表。若查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表作为一个字符串数组，其描述如下： char *rwtab[22] = {"begin","if","else","then","while","do","for","switch","case", "until","break","goto","constant","return", "int","float","double","string","char","short","long","end"}; 2)程序中的主要变量为syn，token和sum。 2.扫描子程序的算法思想 首先设置3个变量： ①token用于存放构成单词符号的字符串； ②sum用于存放整型单词； ③syn用于存放单词符号的种别码。
TEST语言 -语法分析,词法分析实验报告
编译原理实验报告 实验名称：分析调试语义分析程序 TEST抽象机模拟器完整程序 保证能用！！！！！ 一、实验目的 通过分析调试TEST语言的语义分析和中间代码生成程序，加深对语法制导翻译思想的理解，掌握将语法分析所识别的语法范畴变换为中间代码的语义翻译方法。 二、实验设计 程序流程图
extern int TESTScan(FILE *fin,FILE *fout); FILE *fin,*fout; //用于指定输入输出文件的指针 int main() { char szFinName[300]; char szFoutName[300]; printf("请输入源程序文件名（包括路径）:"); scanf("%s",szFinName); printf("请输入词法分析输出文件名（包括路径）："); scanf("%s",szFoutName); if( (fin = fopen(szFinName,"r")) == NULL) { printf("\n打开词法分析输入文件出错！\n"); return 0; } if( (fout = fopen(szFoutName,"w")) == NULL) { printf("\n创建词法分析输出文件出错！\n"); return 0; } int es = TESTScan(fin,fout); fclose(fin); fclose(fout); if(es > 0) printf("词法分析有错，编译停止！共有%d个错误！\n",es); else if(es == 0) { printf("词法分析成功！\n"); int es = 0;
东南大学编译原理词法分析器实验报告
词法分析设计 1. 实验目的 通过本实验的编程实践，了解词法分析的任务，掌握词法分析程序设计的原理和构造方法，对编译的基本概念、原理和方法有完整的和清楚的理解，并能正确地、熟练地运用。 2. 实验内容 用C++语言实现对C++语言子集的源程序进行词法分析。通过输入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的内部编码及单词符号自身值；若遇到错误则显示“Error”，然后跳过错误部分继续显示；同时进行标识符登记符号表的管理。 3. 实验原理 本次实验采用NFA->DFA->DFA0的过程: 对待分析的简单的词法（关键词/id/num/运算符/空白符等）先分别建立自己的FA，然后将他们用产生式连接起来并设置一个唯一的开始符，终结符不合并。 待分析的简单的词法 （1）关键字： "asm","auto","bool","break","case","catch","char","class","
const","const_cast"等 （2）界符（查表） ";",",","(",")","[","]","{","}" （3）运算符 "*","/","%","+","-","<<","=",">>","&","^","|","++","--"," +=","-=","*=","/=","%=","&=","^=","|=" relop： （4）其他单词是标识符（ID）和整型常数（SUM），通过正规式定义。 id/keywords: digit: （5）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。
词法分析器实验报告
词法分析器实验报告 词法分析器实验报告实验目的: 设计、编制、调试一个词法分析子程序,识别单词，加深对词法分析原理的理 解。 实验要求: 该程序要实现的是一个读单词过程，从输入的源程序中，识别出各个具有独立 意义的单词，即基本保留字、标识符、常数、运算符、分界符五大类。并依次输出 各个单词的内部编码及单词符号自身值。 (一)实验内容 (1)功能描述:对给定的程序通过词法分析器弄够识别一个个单词符号，并以二 元式(单词种别码，单词符号的属性值)显示。而本程序则是通过对给定路径的文件 的分析后以单词符号和文字提示显示。 (2)程序结构描述: 函数调用格式: 函数调用格式函数名(实在参数表 ) Switch(m)、 isKey(String string)、isLetter(char c)、实参 isDigit(char c)、isOperator(char c) isKey(String string)、isLetter(char c)、调作为表达式 isDigit(char c)、isOperator(char c) 用 方 作为语句 getChar()、judgement()、 法 函数的递归调用 isOperator(char c) 、isLetter(char c)、isDigit(char c)
参数含义: 1 String string;存放读入的字符串 String str; 存放暂时读入的字符串 char ch; 存放读入的字符 int rs 判断读入的文件是否为空 char []data 存放文件中的数据 int m;通过switch用来判断字符类型， 函数之间的调用关系图: main Complier..judgement isOperate() M=0 getChar( ) isDigit() M=4 For(ch ) isLet ter() M=2 Switch(m) isKey() M=3 函数功能: Judgement()判断输入的字符并输出单词符号，返回值为空; getChar() 读取文件的，返回值为空; isLetter(char c) 判断读入的字符是否为字母的，返回值为Boolean类型; switch (m) 判断跳转输出返回值为空; isOperator(char c)判断是否为运算符的，返回值为Boolean类型; isKey(String string)判断是否为关键字的，返回值为Boolean类型; isDigit(char c) 判断读入的字符是否为数字的，返回值为Boolean类型。测试结果:
词法分析器实验报告
词法分析器实验报告 词法分析器设计 一、实验目的： 对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状 态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程 序字符串的词法分析。输出形式是源程序的单词符号二元式的代码， 并保存到文件中。 二、实验内容： 1. 设计原理 词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。 理论基础：有限自动机、正规文法、正规式 词法分析器(Lexical Analyzer) 又称扫描器(Scanner)：执行词法分析的程序 2. 词法分析器的功能和输出形式 功能:输入源程序、输出单词符号 程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符,界符 3. 输出的单词符号的表示形式: 单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。 4. 词法分析器的结构 单词符号 5. 状态转换图实现
三、程序设计 1．总体模块设计 /*用来存储目标文件名*/ string file_name; /*提取文本文件中的信息。*/ string GetText(); /*获得一个单词符号,从位置i开始查找。并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/ string GetWord(string str,int i,int& j); /*这个函数用来除去字符串中连续的空格和换行 int DeleteNull(string str,int i); /*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i); /*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i);
编译原理实验_词法分析器的设计与实现
南华大学 计算机科学与技术学院实验报告 （ 2018~2019学年度第二学期） 课程名称编译原理 实验名称词法分析器的设计与 实现 学号 专业班级 地点教师
1.实验目的及要求 实验目的 加深对词法分析器的工作过程的理解；加强对词法分析方法的掌握；能够采用一种编程语言实现简单的词法分析程序；能够使用自己编写的分析程序对简单的程序段进行词法分析。 实验要求 1.对单词的构词规则有明确的定义； 2.编写的分析程序能够正确识别源程序中的单词符号； 3.识别出的单词以<种别码，值>的形式保存在符号表中，正确设计和维护 符号表； 4.对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误 提示，保证顺利完成整个源程序的词法分析； 2.实验步骤 1.词法分析规则 <标识符>::=<字母>|<标识符><字母>|<标识符><数字> <常数>::=<数字>|<数字序列><数字> <数字序列>::＝<数字序列><数字>|<数字>|<.> <字母>::=a|b|c|……|x|y|z <数字>::=0|1|2|3|4|5|6|7|8|9 <运算符>::=<关系运算符>|<算术运算符>|<逻辑运算符>|<位运算符>|<赋值运算符> <算数运算符>::＝+|-|*|／|...|-- <关系运算符>::＝<|>|!=|>=|<=|== <逻辑运算符>::=&&| || |！ <位运算符>::=&| | |！ <赋值运算符>::==|+=|-=|/=|*= <分界符>::＝,|;|(|)|{|}|：| // |/**/ <保留字>::＝main|if|else|while|do|for|...|void
词法分析的实验报告
《词法分析》实验报告
目录 目录错误!未定义书签。 1 实验目的错误!未定义书签。 2 实验内容错误!未定义书签。 TINY计算机语言描述错误!未定义书签。 实验要求错误!未定义书签。 3 此法分析器的程序实现错误!未定义书签。状态转换图错误!未定义书签。 程序源码错误!未定义书签。 实验运行效果截图错误!未定义书签。 4 实验体会错误!未定义书签。
实验目的 1、学会针对DFA转换图实现相应的高级语言源程序。 2、深刻领会状态转换图的含义，逐步理解有限自动机。 3、掌握手工生成词法分析器的方法，了解词法分析器的内部工作原理。 实验内容 TINY计算机语言描述 TINY计算机语言的编译程序的词法分析部分实现。 从左到右扫描每行该语言源程序的符号，拼成单词，换成统一的内部表示（token）送给语法分析程序。 为了简化程序的编写，有具体的要求如下： 1、数仅仅是整数。 2、空白符仅仅是空格、回车符、制表符。 3、代码是自由格式。 4、注释应放在花括号之内，并且不允许嵌套 ＴＩＮＹ语言的单词 要求实现编译器的以下功能 1、按规则拼单词,并转换成二元式形式 2、删除注释行 3、删除空白符(空格、回车符、制表符) 4、列表打印源程序，按照源程序的行打印，在每行的前面加上行号，并且打印出每行包含的记号的二元形式 5、发现并定位错误 词法分析进行具体的要求 1、记号的二元式形式中种类采用枚举方法定义；其中保留字和特殊字符是每个都一个种类，标示符自己是一类，数字是一类；单词的属性就是表示的字符串值。 2、词法分析的具体功能实现是一个函数GetToken()，每次调用都对剩余的字符串分析得到一个单词或记号识别其种类，收集该记号的符号串属性，当识别一个单词完毕，采用返回值的形式返回符号的种类，同时采用程序变量的形式提供当前识别出记号的属性值。这样配合语法分析程序的分析需要的记号及其属性，生成一个语法树。
实验一： 词法分析器
实验一：词法分析器 实验要求： 输入一段源程序或者是字符序列，判断它属于关键字或者是标志符等类型，通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。 掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 实验说明： 本实验里面设计了两个程序，第一个非常简单，只有最简单的判断功能，即输入一个字符，判断它是属于关键字，或者标志符，或者数字，或者特殊字符，然后输出到屏幕它的类型，实现方法和编写的代码都很简单. 第二个程序是一个比较完整的词法即分析器，此处分析的是一段PASCL语言的代码，通过词法分析器的分析作用，在进行词法分析中，先自文件头开始以行为单位扫描程序，将该行的字符读入预先设定的一个数组缓冲区中，然后对该数组的字符逐词分割，进行词法分析，将每个词分割成关键字、标识符、常量和运算符四种词种，最终产生四个相对应的表，关键字表、标识符表、常量表和运算符表。此程序代码的编写和思路部分参考网上的程序。 实验过程： 本实验中用到c中自带的几个判断字母和数字的函数，他们包含在ctype.h 主要用到其中的几个函数如下： o isalnum - 是否為英文字母或數字字元(A~Z, a~z, 0~9) o isalpha - 是否為英文字母(A~Z, a~z) o isdigit - 是否為數字字元(0~9) 当其为真时，则返回非零值，由此可以由其返回的布尔值判断字符，为字符的类型判断提供了很大的方便。 主要的几个函数是： bool Is_keyword(char str1[]) 判断是否为关键字 bool Is_signword(char str1[]) 判断是否为标志符 bool Is_digit(char str1[]) 判断是否为数字 bool Is_special(char str1[] ) 判断是否为特殊符号 Main()主函数部分用最简单的if else 结构，形成多个If …. Else if 的嵌套，顺次判断字符是否为某个函数中的真值，是则输出对应的显示，否则继续向下运行，如果最后还得不到匹配的话就输出提示错误的信息，整个实现的方法和思路都很简单。
编译原理词法分析器语法分析器实验报告
(此文档为word格式，下载后您可任意编辑修改！) 编译技术 班级网络0802 学号 姓名叶晨舟 指导老师朱玉全 2011年 7 月 4 日
一、目的 编译技术是理论与实践并重的课程，而其实验课要综合运用一、二年级所学的多门课程的内容，用来完成一个小型编译程序。从而巩固和加强对词法分析、语法分析、语义分析、代码生成和报错处理等理论的认识和理解；培养学生对完整系统的独立分析和设计的能力，进一步培养学生的独立编程能力。 二、任务及要求 基本要求： 1．词法分析器产生下述小语言的单词序列 这个小语言的所有的单词符号，以及它们的种别编码和内部值如下表： 单词符号种别编码助记符内码值 DIM IF DO STOP END 标识符 常数（整）= + * ** ， （ ）1 2 3 4 5 6 7 8 9 10 11 12 13 14 $DIM $IF $DO $STOP $END $ID $INT $ASSIGN $PLUS $STAR $POWER $COMMA $LPAR $RPAR - - - - - - 内部字符串 标准二进形式 - - - - - - 对于这个小语言，有几点重要的限制： 首先，所有的关键字（如IF﹑WHILE等）都是“保留字”。所谓的保留字的意思是，用户不得使用它们作为自己定义的标示符。例如，下面的写法是绝对禁止的： IF（5）=x 其次，由于把关键字作为保留字，故可以把关键字作为一类特殊标示符来处理。也就是说，对于关键字不专设对应的转换图。但把它们（及其种别编码）预先安排在一张表格中（此表叫作保留字表）。当转换图识别出一个标识符时，就去查对这张表，确定它是否为一个关键字。 再次，如果关键字、标识符和常数之间没有确定的运算符或界符作间隔，则必须至少用一个空白符作间隔（此时，空白符不再是完全没有意义的了）。例如，一个条件语句应写为 IF i>0 i= 1;
词法分析实验报告
编译原理实验一 姓名：朱彦荣 学号： 专业：软件工程2 实验题目：词法分析 完成语言：C/C++ 上级系统：VC++6.0 日期：2015/11/7 词法分析 设计题目：手工设计c语言的词法分析器 （可以是c语言的子集） 设计内容： 处理c语言源程序，过滤掉无用符号，判断源程序中单词的合法性，并分解出正确的单词，以二元组形式存放在文件中。 设计目的： 了解高级语言单词的分类，了解状态图以及如何表示并识别单词规则，掌握状态图到识别程序的编程。 结果要求：课程设计报告。 完成日期：第十五周提交报告 一．分析 要想手工设计词法分析器，实现C语言子集的识别，就要明白什么是词法
主要是对源程序进行编译预处理（去除注释、无用的回车换行找到包含的文件等）之后，对整个源程序进行分解，分解成一个个单词，这些单词有且只有五类，分别是标识符、保留字、常数、运算符、界符。以便为下面的语法分析和语义分析做准备。可以说词法分析面向的对象是单个的字符，目的是把它们组成有效的单词（字符串）；而语法的分析则是利用词法分析的结果作为输入来分析是否符合语法规则并且进行语法制导下的语义分析，最后产生四元组(中间代码)，进行优化（可有可无）之后最终生成目标代码。可见词法分析是所有后续工作的基础，如果这一步出错，比如明明是‘<=’却被拆分成‘<’和‘=’就会对下文造成不可挽回的影响。因此，在进行词法分析的时候一定要定义好这五种符号的集合。下面是我构造的一个C语言子集。 第一类：标识符letter(letter | digit)* 无穷集 第二类：常数(digit)+ 无穷集 第三类：保留字(32) auto break case char const continue default do double else enum extern float for goto if int long register return short signed sizeof static struct switch typedef union unsigned void volatile while 第四类：界符‘/*’、‘//’、() { } [ ] " " ' 等 第五类：运算符<、<=、>、>=、=、+、-、*、/、^、等 对所有可数符号进行编码： <$,0>
实验一、词法分析器(含源代码)
词法分析器实验报告 一、实验目的及要求 本次实验通过用C语言设计、编制、调试一个词法分析子程序，识别单词，实现一个C语言词法分析器，经过此过程可以加深对编译器解析单词流的过程的了解。 运行环境： 硬件：windows xp 软件：visual c++6.0 二、实验步骤 1.查询资料，了解词法分析器的工作过程与原理。 2.分析题目，整理出基本设计思路。 3.实践编码，将设计思想转换用c语言编码实现，编译运行。 4.测试功能，多次设置包含不同字符，关键字的待解析文件，仔细察看运行结果，检测该分析器的分析结果是否正确。通过最终的测试发现问题，逐渐完善代码中设置的分析对象与关键字表，拓宽分析范围提高分析能力。 三、实验内容 本实验中将c语言单词符号分成了四类：关键字key（特别的将main说明为主函数）、普通标示符、常数和界符。将关键字初始化在一个字符型指针数组*key[]中，将界符分别由程序中的case列出。在词法分析过程中，关键字表和case列出的界符的内容是固定不变的（由程序中的初始化确定），因此，从源文件字符串中识别出现的关键字，界符只能从其中选取。标识符、常数是在分析过程中不断形成的。 对于一个具体源程序而言，在扫描字符串时识别出一个单词，若这个单词的类型是关键字、普通标示符、常数或界符中之一，那么就将此单词以文字说明的形式输出．每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直到整个源程序全部扫描完毕，从而形成相应的单词串。 输出形式例如：void $关键字
流程图 、程序 流程图： 开始 输入源文件路径 路径是否有 效 是初始化文件指针 否 将字符加入字符数 组Word[] 是空格，空白或换 行吗 是字母吗是数字吗否否是界符吗否打开源文件 跳过该字符 是是 文件结束？ 否 将字符加入字符数 组Word[] 否 将字符加入字符数组Word[] 是 指向下一字符识别指针内容 指向下一字符 是字母惑数字 吗 是 将word 与关键字表key 进行匹 配 否匹配？是输出word 为关键字 输出word 为普通标示符 否将字符加入字符数组Word[] 指向下一字符输出word 为常数 识别指针内容 回退 是数字吗 是 否输出word 为界符 指向下一字符 结束 是输出Word 内容为不可识别 将字符加入字符数组Word[]
词法分析器实验报告代码
编译系统课程实验报告实验1：词法分析
常数： digits -> digit digit* optionalFraction -> .digits|ε optionalExponent -> E(+|-|ε)digits|ε number -> digits optionalFraction optionalExponent 运算符： （除/，/=外的）op -> + | - | * | += | -= | *= | % | ++ | -- | != | == | > | < | >= | <= | >> | << | ^ | | | & | && | || | ! | != （以/开头的）op->/|/= 界符：Boundary -> { | } | [ | ] | ( | ) | , | ; | : | ? |~ 行//注释：Comment->//(除\n外的字符)*\n 块/**/注释：Comment->/*(除*/外的字符)*/ 8进制：OCT -> 0(1|2|3|4|5|6|7)(0|1|2|3|4|5|6|7)* 16进制：HEX -> 0x(1|…|9|a|…|f) (0|…|9|a|…|f)* 字符常数：char -> ' (a|b|c|...|z|A|B|C|...|Z|_) ' 字符串常数：string-> "((((除\和”外的字符)*|\(所有字符)+)(除\和”外的字符|\”))*)"（2）各类单词的转换图 标识符： 8进制，16进制，10进制常数： 运算符：
界符： 行//注释： 块/**/注释：字符常数：字符串常数：
词法分析的实验报告
《词法分析》 实验报告 目录 目录 0 1 实验目的 (1) 2 实验内容 (1) 2、1 TINY计算机语言描述 (1) 2、2 实验要求 (1) 3 此法分析器的程序实现 (2) 3、1 状态转换图 (2) 3、2 程序源码 (3) 3、3 实验运行效果截图 (8) 4 实验体会 (8)
1实验目的 1、学会针对DFA转换图实现相应的高级语言源程序。 2、深刻领会状态转换图的含义,逐步理解有限自动机。 3、掌握手工生成词法分析器的方法,了解词法分析器的内部工作原理。 2实验内容 2.1TINY计算机语言描述 TINY计算机语言的编译程序的词法分析部分实现。 从左到右扫描每行该语言源程序的符号,拼成单词,换成统一的内部表示(token)送给语法分析程序。 为了简化程序的编写,有具体的要求如下: 1、数仅仅就是整数。 2、空白符仅仅就是空格、回车符、制表符。 3、代码就是自由格式。 4、注释应放在花括号之内,并且不允许嵌套 ＴＩＮＹ语言的单词 2.2实验要求 要求实现编译器的以下功能 1、按规则拼单词,并转换成二元式形式 2、删除注释行 3、删除空白符(空格、回车符、制表符)
4、列表打印源程序,按照源程序的行打印,在每行的前面加上行号,并且打印出每行包含的记号的二元形式 5、发现并定位错误 词法分析进行具体的要求 1、记号的二元式形式中种类采用枚举方法定义;其中保留字与特殊字符就是每个都一个种类,标示符自己就是一类,数字就是一类;单词的属性就就是表示的字符串值。 2、词法分析的具体功能实现就是一个函数GetToken(),每次调用都对剩余的字符串分析得到一个单词或记号识别其种类,收集该记号的符号串属性,当识别一个单词完毕,采用返回值的形式返回符号的种类,同时采用程序变量的形式提供当前识别出记号的属性值。这样配合语法分析程序的分析需要的记号及其属性,生成一个语法树。 3、标示符与保留字的词法构成相同,为了更好的实现,把语言的保留字建立一个表格存储,这样可以把保留字的识别放在标示符之后,用识别出的标示符对比该表格,如果存在该表格中则就是保留字,否则就是一般标示符。 3此法分析器的程序实现 3.1状态转换图 图1 TINY语言的确定有限自动机(DFA)
编译原理实验报告2-词法分析程序的设计
实验2 词法分析程序的设计 一、实验目的 掌握计算机语言的词法分析程序的开发方法。 二、实验内容 编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。 三、实验要求 1、根据以下的正规式，编制正规文法，画出状态图； 标识符<字母>(<字母>|<数字字符>)* 十进制整数0 | (（1|2|3|4|5|6|7|8|9）（0|1|2|3|4|5|6|7|8|9）*) 八进制整数0（1|2|3|4|5|6|7）（0|1|2|3|4|5|6|7）* 十六进制整数0x（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）* 运算符和界符+ - * / > < = ( ) ； 关键字if then else while do 2、根据状态图，设计词法分析函数int scan( )，完成以下功能： 1）从文本文件中读入测试源代码，根据状态转换图，分析出一个单词， 2）以二元式形式输出单词<单词种类，单词属性> 其中单词种类用整数表示： 0：标识符 1：十进制整数 2：八进制整数 3：十六进制整数 运算符和界符，关键字采用一字一符，不编码 其中单词属性表示如下： 标识符，整数由于采用一类一符，属性用单词表示 运算符和界符，关键字采用一字一符，属性为空 3、编写测试程序，反复调用函数scan( )，输出单词种别和属性。 四、实验环境 PC微机 DOS操作系统或Windows 操作系统 Turbo C 程序集成环境或Visual C++ 程序集成环境 五、实验步骤 1、根据正规式，画出状态转换图；
编译原理词法分析器实验报告
竭诚为您提供优质文档/双击可除编译原理词法分析器实验报告 篇一：编译原理词法分析器实验报告 曲阜师范大学实验报告 计算机系20XX年级软件工程一班组日期20XX年10月17日星期日 姓名 陈金金同组者姓名 课程编译原理成绩 实验名称：教师签章词法分析器 一、实验目的： 1·掌握词法分析的原理。 2·熟悉保留字表等相关的数据结构与单词的分类方法。 3·掌握词法分析器的设计与调试。 二、实验内容： 根据编译中的分词原理，编写一个词法分析程序： 1.输入：任意一个c语言程序的源代码。 2.处理：对输入进行分析，分离出保留字、标识符、常
量、算符和界符。 3.输出：对应的二元式（种别编码自定，可暂编为一类对应一个编码）。 三、实验要求： 1.任选c/c++/Java中的一种高级程序语言编程完成词法分析器。 2.词法分析器应以教材所述分词原理为依据，使用恰当的数据结构和方法，结构清晰、高效。 四、实验环境： windowsxp操作系统，J2se，eclipse集成开发环境 五、实验分析： 将源代码作为长字符串进行读入，之后通过switch语句，及状态转换图进行词素识别，并对识别的词素进行分类整理以二元式的形式输出。 六、实验过程： 1、建立词法分析器界面，很简单：输入框，输出框，执行分析按钮，清空按钮，退出程序按钮。主要的地方是，考虑mvc开发模式，为model及controller提供接口。实现界面如下所示： 2、核心代码的编写，考虑到需要进行词素的匹配，创建符号表类symTable。提供两个变量，分别存放如下内容：并提供方法insert()，lookup()，分别负责标志符的插
南昌大学编译原理实验报告-词法分析器
南昌大学实验报告一 学生姓名：学号：专业班级：网络工程091 实验类型：□验证█综合□设计□创新实验日期：2012-4-12 实验成绩： 实验1 词法分析程序的设计 一、实验目的 掌握计算机语言的词法分析程序的开发方法。 二、实验内容 编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。 三、实验要求 1、根据以下的正规式，编制正规文法，画出状态图； 标识符<字母>(<字母>|<数字字符>)* 十进制整数（0 | （1|2|3|4|5|6|7|8|9））（0|1|2|3|4|5|6|7|8|9）* 如有余力，则进一步分析八进制和十六进制整数，其正规式如下： 八进制整数0（1|2|3|4|5|6|7）（0|1|2|3|4|5|6|7）* 十六进制整数0x（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）* 运算符和界符+ - * / > < = <= >= ( ) ；{ } 关键字main if then else while do int (可根据需要添加) 2、根据状态图，设计词法分析函数int scan( )，完成以下功能： 1）从文本文件中读入测试源代码，根据状态转换图，分析出一个单词， 2）以二元式形式输出单词<单词种类，单词属性> 其中单词种类用整数表示： 0：标识符 1：十进制整数 2：八进制整数 3：十六进制整数 运算符和界符，关键字采用一字一符，不编码 其中单词属性表示如下： 标识符，整数由于采用一类一符，属性用单词表示 运算符和界符，关键字采用一字一符，属性为空 3、编写测试程序，反复调用函数scan( )，输出单词种别和属性。 四、实验环境 PC微机 DOS操作系统或Windows 操作系统 Turbo C 程序集成环境或Visual C++ 程序集成环境 五、实验步骤
语法分析器实验报告
语法分析器的设计实验报告 一、实验内容 语法分析程序用LL(1)语法分析方法。首先输入定义好的文法书写文件(所用的文法可以用LL(1)分析)，先求出所输入的文法的每个非终结符是否能推出空，再分别计算非终结符号的FIRST集合，每个非终结符号的FOLLOW集合，以及每个规则的SELECT集合，并判断任意一个非终结符号的任意两个规则的SELECT 集的交集是不是都为空，如果是，则输入文法符合LL(1)文法，可以进行分析。对于文法： G[E]: E->E+T|T T->T*F|F F->i|(E) 分析句子i+i*i是否符合文法。 二、基本思想 1、语法分析器实现 语法分析是编译过程的核心部分，它的主要任务是按照程序的语法规则，从由词法分析输出的源程序符号串中识别出各类语法成分，同时进行词法检查，为语义分析和代码生成作准备。这里采用自顶向下的LL(1)分析方法。 语法分析程序的流程图如图5-4所示。 语法分析程序流程图 该程序可分为如下几步： （1）读入文法 （2）判断正误 （3）若无误，判断是否为LL(1)文法 （4）若是，构造分析表； （5）由句型判别算法判断输入符号串是为该文法的句型。 三、核心思想 该分析程序有15部分组成： （1）首先定义各种需要用到的常量和变量；
（2）判断一个字符是否在指定字符串中； （3）读入一个文法； （4）将单个符号或符号串并入另一符号串； （5）求所有能直接推出&的符号； （6）求某一符号能否推出‘& ’； （7）判断读入的文法是否正确； （8）求单个符号的FIRST； （9）求各产生式右部的FIRST； （10）求各产生式左部的FOLLOW； （11）判断读入文法是否为一个LL(1)文法； （12）构造分析表M； （13）句型判别算法； （14）一个用户调用函数； （15）主函数； 下面是其中几部分程序段的算法思想： 1、求能推出空的非终结符集 Ⅰ、实例中求直接推出空的empty集的算法描述如下： void emp(char c){ 参数c为空符号 char temp[10];定义临时数组 int i; for(i=0;i<=count-1;i++)从文法的第一个产生式开始查找 { if 产生式右部第一个符号是空符号并且右部长度为1, then将该条产生式左部符号保存在临时数组temp中 将临时数组中的元素合并到记录可推出&符号的数组empty中。 } Ⅱ、求某一符号能否推出'&' int _emp(char c) { //若能推出&，返回1；否则，返回0 int i,j,k,result=1,mark=0; char temp[20]; temp[0]=c; temp[1]='\0'; 存放到一个临时数组empt里,标识此字符已查找其是否可推出空字 如果c在可直接推出空字的empty[]中,返回1 for(i=0;;i++) { if(i==count) return(0); 找一个左部为c的产生式 j=strlen(right[i]); //j为c所在产生式右部的长度 if 右部长度为1且右部第一个字符在empty[]中. then返回1(A->B,B可推出空) if 右部长度为1但第一个字符为终结符,then 返回0(A->a,a为终结符) else