第一次上机作业-词法分析
[实验1] 词法分析
![[实验1] 词法分析](https://img.taocdn.com/s3/m/c1b767a327284b73f3425079.png)
[实验1] 词法分析 《编译原理》课程实验 实验1
实验1 词法分析
1．实验说明 实验题目：词法分析器的设计与实现 实验目的：加深对词法分析基本理论的理解，锻炼实现词法分析器程序的实践能力。 实验过程：
（1）按照给定的表达式的词法要求，构造分DFA； （2）整合各分DFA，构造总DFA； （3）设计词法分析器算法； （4）根据DFA实现单词识别程序； （5）保存词法分析结果到文件。 输入：
（1） 输入为数学表达式，其中可能含有空格； （2） 运算符包括+，-，*，/，（，）。 （3） 运算数包括自然数和变量；
（4） 变量以下划线或字母开头，其后可以跟字母、下划线或数字。 输出： 输出到文本文件。每个单词输出为二元组（单词类别，单词值）。单词类别编码见下表： 编码 0 1 2
例1：表达式xy-(x-100)/2的输出 2,xy 0,- 0,( 2,x 0,- 1,100 0,) 0,/ 1,2
第-1-页 类别说明 算符 常量（自然数） 变量 《编译原理》课程实验 实验1
例2：表达式2x * (_x2 �C y)的输出 1,2 2,x 0,* 0,( 2,_x2 0,- 2,y 0,) 注意： 2x识别为两个单词2和x，虽然2x在语法上不合法（中间需要一个运算符），但在词法分析时不
能发现这个错误。
例3：表达式x y * 012 注意： 该表达式x和y之间有一个空格，该词法分析程序的预处理程序简单的将空格全部去掉，因此与
表达式xy*012的输出相同。 2,xy 0,* 1,012
2．分DFA 2.1 自然数 2.2 标识符 2.3 算符
3．合DFA 说明： （1） 状态0为初态。 （2） 状态4为程序正常出口，说明识别出一个单词，单词类别由前一个状态决定。 （3） 状态5为出错状态。
（4） 为进一步确定下一步要做什么，需要向前“假读”一个单词。状态2、3的假读是必须的，状态1是为
编译原理实验词法分析实验报告
编译原理实验词法分析实验报告一、实验目的词法分析是编译过程的第一个阶段，其主要任务是从左到右逐个字符地对源程序进行扫描，产生一个个单词符号。
本次实验的目的在于通过实践，深入理解词法分析的原理和方法，掌握如何使用程序设计语言实现词法分析器，提高对编译原理的综合应用能力。
二、实验环境本次实验使用的编程语言为_____，开发工具为_____。
三、实验原理词法分析的基本原理是根据编程语言的词法规则，将输入的字符流转换为单词符号序列。
单词符号通常包括关键字、标识符、常量、运算符和界符等。
词法分析器的实现方法有多种，常见的有状态转换图法和正则表达式法。
在本次实验中，我们采用了状态转换图法。
状态转换图是一种有向图，其中节点表示状态，有向边表示在当前状态下输入字符的可能转移。
通过定义不同的状态和转移规则，可以实现对各种单词符号的识别。
四、实验步骤1、定义单词符号的类别和编码首先，确定实验中要识别的单词符号种类，如关键字（if、else、while 等）、标识符、整数常量、浮点数常量、运算符（＋、、、／等）和界符（括号、逗号等）。
为每个单词符号类别分配一个唯一的编码，以便后续处理。
2、设计状态转换图根据单词符号的词法规则，绘制状态转换图。
例如，对于标识符的识别，起始状态为“起始状态”，当输入为字母时进入“标识符中间状态”，在“标识符中间状态”中，若输入为字母或数字则继续保持该状态，直到遇到非字母数字字符时结束识别，确定为一个标识符。
3、编写词法分析程序根据状态转换图，使用所选编程语言实现词法分析器。
在程序中，通过不断读取输入字符，根据当前状态进行转移，并在适当的时候输出识别到的单词符号。
4、测试词法分析程序准备一组包含各种单词符号的测试用例。
将测试用例输入到词法分析程序中，检查输出的单词符号是否正确。
五、实验代码以下是本次实验中实现词法分析器的核心代码部分：｀｀｀include ＜stdioh>include ＜ctypeh>／／单词符号类别定义typedef enum ｛KEYWORD,IDENTIFIER,INTEGER_CONSTANT,FLOAT_CONSTANT,OPERATOR,DELIMITER｝ TokenType;／／关键字列表char keywords ＝｛＂if"，＂else"，＂while"，＂for"，＂int"，＂float"，＂void"｝；／／状态定义typedef enum ｛START,IN_IDENTIFIER,IN_INTEGER,IN_FLOAT,IN_OPERATOR｝ State;／／词法分析函数TokenType getToken(char token, int tokenLength) ｛State state ＝ START;int i ＝ 0;while （1) ｛char c ＝ getchar(）；switch （state) ｛case START:if （isalpha(c)）｛state ＝ IN_IDENTIFIER;tokeni+＋＝ c;｝ else if （isdigit(c)）｛state ＝ IN_INTEGER;tokeni+＋＝ c;｝ else if （c ＝＝＇＋＇｜｜ c ＝＝＇＇｜｜ c ＝＝＇＇｜｜ c ＝＝＇／＇｜｜ c ＝＝＇（＇｜｜ c ＝＝＇）＇｜｜ c ＝＝＇；＇｜｜ c ＝＝＇，＇）｛state ＝ IN_OPERATOR;tokeni+＋＝ c;｝ else if （c ＝＝＇＇）｛state ＝ IN_FLOAT;tokeni+＋＝ c;｝ else if （c ＝＝ EOF) ｛tokeni ＝＇＼0'；tokenLength ＝ i;return －1;｝ else ｛tokeni ＝＇＼0'；tokenLength ＝ i;return －2;｝break;case IN_IDENTIFIER:if （isalpha(c) ｜｜ isdigit(c)）｛tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;／／检查是否为关键字for （int j ＝ 0; j ＜ sizeof(keywords) ／ sizeof(keywords0)； j+＋）｛if （strcmp(token, keywordsj) ＝＝ 0) ｛return KEYWORD;｝｝return IDENTIFIER;｝break;case IN_INTEGER:if （isdigit(c)）｛tokeni+＋＝ c;｝ else if （c ＝＝＇＇）｛state ＝ IN_FLOAT;tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;return INTEGER_CONSTANT;｝break;case IN_FLOAT:if （isdigit(c)）｛tokeni+＋＝ c;｝ else ｛ungetc(c, stdin)；tokeni ＝＇＼0'；tokenLength ＝ i;return FLOAT_CONSTANT;｝break;case IN_OPERATOR: tokeni ＝＇＼0'；tokenLength ＝ i;return OPERATOR; break;｝｝｝int main(）｛char token100;int tokenLength;TokenType tokenType;while （（tokenType ＝ getToken(token, ＆tokenLength)）！＝－1) ｛switch （tokenType) ｛case KEYWORD:printf(＂Keyword: ％s\n"， token)；break;case IDENTIFIER:printf(＂Identifier: ％s\n"， token)；break;case INTEGER_CONSTANT:printf(＂Integer Constant: ％s\n"， token)；break;case FLOAT_CONSTANT:printf(＂Float Constant: ％s\n"， token)；break;case OPERATOR:printf(＂Operator: ％s\n"， token)；break;case DELIMITER:printf(＂Delimiter: ％s\n"， token)；break;｝｝return 0;｝｀｀｀六、实验结果对准备的测试用例进行输入，得到的词法分析结果如下：测试用例 1：｀｀｀int main(）｛int num ＝ 10;float pi ＝ 314;if （num ＞ 5) ｛printf(＂Hello, World!＼n"）；｝｝｀｀｀词法分析结果：｀｀｀Keyword: int Identifier: main Delimiter: （Delimiter: ）｛Identifier: num Operator: ＝Integer Constant: 10；Identifier: float Identifier: pi Operator: ＝Float Constant: 314；Keyword: ifDelimiter: （Identifier: numOperator: ＞Integer Constant: 5）｛Identifier: printfDelimiter: （String: ＂Hello, World!＼n" Delimiter: ）；｝｀｀｀测试用例 2：｀｀｀for （int i ＝ 0; i ＜ 10; i+＋）｛double result ＝ i 25;｀｀｀词法分析结果：｀｀｀Keyword: for Delimiter: （Keyword: int Identifier: i Operator: ＝Integer Constant: 0；Identifier: i Operator: ＜Integer Constant: 10；Identifier: i Operator: ＋＋）Identifier: doubleIdentifier: resultOperator: ＝Identifier: iOperator:Float Constant: 25；｝｀｀｀通过对多个测试用例的分析，词法分析器能够正确识别出各种单词符号，实验结果符合预期。
编译原理词法分析与语法分析的过程与方法
编译原理词法分析与语法分析的过程与方法编译原理是计算机科学领域中的重要内容之一，它研究如何将高级语言程序转化为机器语言的过程。
其中，词法分析和语法分析是编译原理中的两个重要阶段。
本文将详细介绍词法分析与语法分析的过程与方法。
一、词法分析的过程与方法词法分析是编译器的第一个阶段，其主要任务是将源程序的字符序列划分成有意义的语言单元，也就是词法单元。
以下是词法分析的过程与方法：1. 扫描：词法分析器从源程序中读取字符序列，并按照事先定义的规则进行扫描。
2. 划分词法单元：根据事先定义的规则，词法分析器将字符序列划分为不同的词法单元，如关键字、标识符、常量、运算符等。
3. 生成词法单元流：将划分好的词法单元按照顺序生成词法单元流，方便后续的语法分析阶段使用。
4. 错误处理：在词法分析过程中，如果发现了不符合规则的字符序列，词法分析器会进行错误处理，并向用户报告错误信息。
二、语法分析的过程与方法语法分析是编译器的第二个阶段，其主要任务是分析词法单元流，并判断是否符合语法规则。
以下是语法分析的过程与方法：1. 构建语法树：语法分析器根据语法规则构建抽象语法树（AST），用于表示源程序的语法结构。
2. 自顶向下分析：自顶向下分析是一种常用的语法分析方法，它从根节点开始，按照语法规则向下递归分析，直到生成叶子节点对应的词法单元。
3. 底部向上分析：底部向上分析是另一种常用的语法分析方法，它从词法单元开始，逐步合并为更高级的语法结构，直到生成抽象语法树的根节点。
4. 错误处理：在语法分析过程中，如果发现了不符合语法规则的词法单元流，语法分析器会进行错误处理，并向用户报告错误信息。
三、词法分析与语法分析的关系与区别词法分析和语法分析在编译原理中起着不同的作用：1. 关系：词法分析是语法分析的前置阶段，它为语法分析提供了有意义的词法单元流。
语法分析基于词法单元流构建语法树，判断源程序是否满足语法规则。
2. 区别：词法分析主要关注词法单元的划分和分类，它是基于字符序列的处理；而语法分析主要关注词法单元之间的组合和语法结构的判断，它是基于语法规则的处理。
词法分析实验报告
词法分析器一、实验目的：通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。
并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。
并依次输出各个单词的内部编码及单词符号自身值。
二、实验要求如源程序为C语言。
输入如下一段：Array main(){int a,b;a = 10;b = a + 20;}#要求输出如右图。
要求：1、将单词分为五种识别关键字：main、if、int、for、while、do、return、break、continue；单词种别码为1。
标识符；单词种别码为2。
常数为无符号整形数；单词种别码为3。
运算符包括：+、-、*、/、=、>、<、>=、<=、!= ；单词种别码为4。
分隔符包括：,、;、{、}、(、)；单词种别码为5。
2、使用一符一种的分法关键字、运算符和分界符可以每一个均为一种标识符和常数仍然一类一种三、实验内容1、功能描述改程序是一个实现词法分析的功能，能识别5种单词，其他单词报错。
2、程序结构描述int IsKey(char *Word)关键字匹配函数,查询是否为关键字，若是，返回值为1，否则为0。
int IsAlpha(char c) 查看是否为字母，若是，返回值为1，否则为0。
int IsNum(char c) 查看是否为数字，若是，返回值为1，否则为0。
void scanner(FILE *fp) 扫描函数，扫描程序中的字符串并调用上述三种函数检查是否是字母、数字，是否是关键字，并输出。
fseek（fp，-1，1）回退一个字符。
fgetc（fp）从数据流中区下一个字符。
fopen 文件打开函数，返回指向文件第一个字符的指针四、实验结果测试内容为main(){int a,b;a = 10;b = a + 20; }#结果测试代码为void main() {int a,b; if(a = 10;)b += 20; c=%;}#结果为测试代码main(){int a,b;if(a <= "10")b += 20;c=%@;return 0;}#结果五、实验过程记录1、因为用到回退函数fseek（），而以前没有用过这个函数，所以开始时很苦恼，不知道如何回退一个字符，后来问了同学，才明白原来有这么一个函数，顿时豁然开朗。
第4章词法分析作业参考答案
第4章词法分析作业参考答案4.7练习（P72）1．构造下列正规式相应的DFA：(4) b((ab)*|bb)*ab解：先将正规式转换为NFA，转换过程如下：以下为最终所得的NFA图：然后，将此NFA转换为DFA：转换关系矩阵如下表：所得DFA图如下：最后，将此DFA化简后如下：4、把图4.21（a）和（b）分别确定化和最小化：(a)图【解】子集法：重命名：确定化的DFA为：(b)图【解】【解】初始划分得Π0：终态组{0}，非终态组{1,2,3,4,5}对非终态组进行分割：{1,2,3,4,5}a ={0,1,3,5}而{0,1,3,5}既不属于{0}，也不属于{1,2,3,4,5}∵{4} a {0}，所以得新划分Π1：{0}，{4}，{1,2,3,5}对{1,2,3,5}进行分割：∵{1,5} b {4}{2,3} b {1,2,3,5}，故得新划分Π2：{0}，{4}，{1, 5}，{2,3}{1, 5} a {1, 5}{2,3} a {1,3}，故状态2和状态3不等价，得新划分：Π3：{0}，{2}，{3}，{4}，{1, 5}这是最后划分最小DFA：7．给文法G[S]：S→aA|bQA→aA|bB|bB→bD|aQQ→aQ|bD|bD→bB|aAE→aB|bFF→bD|aE|b构造相应的最小的DFA。
【解】首先，将正规式转换成NFA如下：然后，将此NFA转换为DFA：转换关系矩阵如下表：所得DFA图如下：化简后的最后划分为：T0={T0},T1={T1,T2},T3={T3,T4},T5={T5,T6},其中T3为终态。
最后，将此DFA化简后如下：8．给出下述文法所对应的正规式：S→0A|1BA→1S|1B→0S|0【解】由题意得：A=>1S|1，B=>0S|0 ，S→0A|1B，将A，B右端代入S的产生式得：S→0(1S|1)|1(0S|0)=01S|01|10S|10=(01|10)| (01|10)S∴S→(01|10)| (01|10)S∴S=(01|10)| (01|10)*∴该文法所对应的正规式为：(01|10)| (01|10)*9将图4.22的DFA最小化，并用正则式描述所识别的语言。
词法分析的名词解释
词法分析的名词解释词法分析是编译器设计中的重要环节之一，也是理解和分析程序语言的起点。
本文将对词法分析这一概念进行深入解释，从定义、作用、步骤等角度进行论述。
一、定义词法分析，又被称为扫描器或词法扫描器，是编译器中的一个阶段，其目的是将程序代码转化为一个个有意义的单词或记号（Token），并为之分配相应的词法单元。
换言之，词法分析就是将输入的字符序列分割成一个个有独立含义的单元。
二、作用词法分析的作用是为编译器对程序进行后续处理提供基础。
在编译器的工作流程中，词法分析是首个执行的步骤，它负责将源代码按照语法规则进行单词划分，方便后续步骤对程序结构和语义的分析。
词法分析的作用主要有以下几个方面：1. 标记化：将程序代码划分为有限个词法单元，为后续处理提供便利；2. 错误检测与恢复：识别出非法的单词或字符序列，并提供错误处理机制，如给出错误提示或忽略错误部分，保证程序的正常处理；3. 符号表生成：收集并存储程序中出现的标识符、常量等信息，为语义分析和中间代码生成提供数据支持。
三、步骤词法分析的步骤主要包括以下几个阶段：1. 去除空白符和注释：将程序代码中的空格、制表符、换行符等无实际意义的字符过滤掉，并将注释部分剔除；2. 词素划分（Lexical Analysis）：将程序代码划分为一个个词法单元，将其按照事先定义好的语法规则进行拆分和识别；3. 执行模式匹配（Pattern Recognition）：根据已定义的正则表达式或有穷自动机，将词法单元与模式进行匹配；4. 记号生成（Token Generation）：为每个词法单元生成记号，并为之分配相应的词法单元；5. 错误处理（Error Handling）：对于识别出的非法单词或字符序列，触发错误处理机制，如错误提示或忽略错误部分。
四、常见的词法单元类型词法单元是指词法分析的最小单位，也即程序代码中有独立含义的最小单元。
在编程语言中，常见的词法单元类型包括以下几种：1. 标识符（Identifier）：代表程序中的变量名、函数名等标识符；2. 关键字（Keyword）：具有特殊含义的固定标识符，用于表示特定语法结构或功能；3. 常量（Constant）：固定值的表示，包括整数、浮点数、字符串等；4. 运算符（Operator）：用于进行各种运算操作的符号，如加号、减号、乘号等；5. 界符（Delimiter）：用于界定语法结构的符号，如括号、分号、逗号等。
计算机词法分析与总结
3.5 正规文法与有穷自动机的等价性
例:求与文法G[S]等价的NFA G[S]:S→aA|bB|ε A→aB|bA B→aS|bA|ε 求得： a
S
ε
b
A
a
b
b
B
a
Z
ε
3.5 正规文法与有穷自动机的等价性
课堂练习
求G[S]:S→aS|bS|aA|bB A→aC|a, B→bC|b C→aC|bC的等价的NFA
aa S bb
A aa C
B
bb
课堂练习
(词法分析)阶段总结与复习
• 1.词法：构词（字符串）规则—定义字符串的文法。 • 右文法： A→aB • 左文法： A→Ba
• 2. 正规式（正则式）： • 三个运算符： | . * • 正规式的全部字符是字母表 • 连接符： a.b 或 ab
练习—构造正规式 • 字母表（0，1）上含偶数个0的串
(1|(01*0)*
• 3.有限自动机 • 确定的DFA和非确定的NFA • DFA NFA • 4. DFA的化简 • 5. 自动机 正规式 • 6. 正规文法 自动机
转换方法
6 5
1 2
正规式
做一做
• 正规式 =>NFA • (a|b)* • (a*bc)*
3.5 正规文法与有穷自动机的等价性
2. 正规文法NFA
（1）文法的终结符号集为NFA的字母表； （2）文法的非终结符号集为NFA的状态集； （3）文法的开始符号作为NFA的初态； （4）对文法中形如A→tB的产生式，其中t为终结符或，
A和B为非终结符，构造NFA的一个转换函数f(A,t)=B； （5）对文法中形如A→t的产生式，构造NFA的一个转换函数
编译原理词法分析与语法分析
编译原理词法分析与语法分析在计算机科学领域，编译器是一个非常重要的工具，它将高级程序语言转换为能够被计算机处理的低级机器语言。
编译器的设计与开发离不开以下两个主要部分：词法分析和语法分析。
本文将着重介绍编译原理中的词法分析和语法分析的定义、原理、方法以及它们之间的关系。
一、词法分析词法分析是编译器的第一个阶段，负责将源代码转化为一个个“词法单元”，也称为“记号”。
词法单元是计算机程序中的最小语义单位，例如变量名、关键字、操作符等。
词法分析器会从源代码中连续读取字符，并将其组成具有独立意义的词法单元。
词法分析的主要任务是识别代码中的词法单元，并将其分类。
它采用正则表达式来定义词法单元的模式，并通过有限状态自动机（FSM）进行匹配。
以下是词法分析的一般步骤：1. 输入源代码，逐字符读取。
2. 将字符组合成词法单元。
3. 跳过空格、换行符等不相关的字符。
4. 使用正则表达式判断词法单元的类型。
5. 将识别出的词法单元传递给语法分析阶段。
二、语法分析语法分析是编译器的第二个阶段，它将从词法分析器获得的词法单元串转换为语法树。
语法树是一种树状结构，用于表示程序的语法结构。
它通过分析词法单元之间的关系来检查程序是否符合语法规则。
在语法分析过程中，会根据源代码中的语法规则使用上下文无关文法（Context-Free Grammar）进行分析。
常用的语法分析算法有自顶向下分析（Top-Down Parsing）和自底向上分析（Bottom-Up Parsing）。
自顶向下分析是从语法的起始符号开始，逐步展开已识别的符号，直到生成源代码。
这种分析方法常用的算法有LL(k)和递归下降（Recursive Descent）。
自顶向下分析器按照语法规则从上到下预测并展开符号。
自底向上分析是从词法单元串的底部开始，逐步归约已识别的符号，直到生成源代码。
这种分析方法常用的算法有LR(k)和LALR(k)。
自底向上分析器按照语法规则从下往上扫描，并进行归约操作。
编译原理实验词法分析实验报告
编译原理实验词法分析实验报告一、实验目的词法分析是编译过程中的第一个阶段，其主要任务是从输入的源程序中识别出具有独立意义的单词符号，并将其转换为内部编码形式。
本次实验的目的是通过设计和实现一个简单的词法分析程序，深入理解词法分析的基本原理和方法，提高对编程语言语法结构的认识和编程能力。
二、实验原理词法分析的基本原理是根据编程语言的词法规则，使用有限自动机或正则表达式等技术来识别单词符号。
在本次实验中，我们采用了状态转换图的方法来设计词法分析器。
状态转换图是一种用于描述有限自动机的图形表示方法，它由状态节点和有向边组成。
每个状态节点表示自动机的一个状态，有向边表示状态之间的转换条件。
当输入字符与当前状态的转换条件匹配时，自动机将从当前状态转换到下一个状态。
当到达一个终态时，表示识别出了一个单词符号。
三、实验环境本次实验使用了 Python 编程语言，并在 PyCharm 集成开发环境中进行开发和调试。
四、实验内容1、定义单词符号的种类和编码关键字：如｀if`、｀else`、｀while` 等标识符：由字母、数字和下划线组成，且以字母或下划线开头常数：包括整数和浮点数运算符：如｀＋｀、｀｀、｀｀、｀／｀等分隔符：如｀（）｛｝，；｀等2、设计状态转换图根据单词符号的定义，设计了相应的状态转换图，用于识别不同类型的单词符号。
例如，对于标识符的识别，从起始状态开始，当输入字符为字母或下划线时，进入标识符状态，继续输入字母、数字或下划线，直到遇到非标识符字符为止，此时到达终态，识别出一个标识符。
3、实现词法分析程序使用 Python 语言实现了基于状态转换图的词法分析程序。
程序首先读取输入的源程序文本，然后逐个字符进行处理，根据当前状态和输入字符进行状态转换，当到达终态时，输出识别出的单词符号及其编码。
4、进行测试编写了一些测试用例，包括包含各种单词符号的源程序代码。
运行词法分析程序对测试用例进行分析，检查输出结果是否正确。
词法分析报告
编译原理实验报告实验一词法分析程序的设计与实现指导教师：姓名：学号：班级：一、实验目的基本掌握计算机语言的词法分析程序的开发方法。
二、实验内容编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。
三、实验要求1．根据以下的正规式，编制正规文法，画出状态图；标识符<字母>(<字母>|<数字字符>)*十进制整数0 | (1|2|3|4|5|6|7|8|9) (0|1|2|3|4|5|6|7|8|9)*八进制整数0 (0|1|2|3|4|5|6|7) (0|1|2|3|4|5|6|7)*十六进制整数0 (x|X) (0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f) (0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f)*运算符和分隔符+ - * / > < = ( ) ;关键字if then else while do2．根据状态图，设计词法分析函数int scan( )，完成以下功能：（1）从输入流（键盘或文件）读入数据，分析出一个单词。
（2）返回单词种别（用整数表示），（3）返回单词属性（不同的属性可以放在不同的全局变量中）。
3．编写测试程序，循环调用函数scan( )，每次调用，获得一个单词的信息。
在测试程序中，打印输出单词种别、属性（注意：不要在词法分析函数scan 中打印输出！）。
四、实验环境微型计算机。
Windows 操作系统/Linux 操作系统。
编程语言：C/C++/Java/C#。
建议使用Visual C++/Netbeans/Eclipse 集成开发环境。
五、实验步骤1. 根据状态图，设计词法分析算法2. 设计函数scan( )，实现该算法3. 编制测试程序（在本试验中，可以是主函数main( ) ）。
4. 调试程序：输入一组单词，检查输出结果。
六、状态图七. 测试数据：0 92+data> 0x3f00 while八．测试结果九,思考题1.词法分析能否采用空格来区分单词？答：不能，因为比如abc+bcd中没有空格，但这是三个单词。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大连理工大学软件学院编译技术课程——词法分析上机实验
实验目的：对循环语句和条件判断语句编写词法分析编译程序，只能通过一遍扫
描完成。(用c++实现)
实验要求：
(1) 关键字：
for if then else while do
所有关键字都是小写。
(2）运算符和分隔符：
： = + - * / < > <= <> >= ; ( ) #
(3)其他标识符（ID）和整型常数（NUM），通过以下正规式定义：
ID=letter(letter | digit)*
NUM=digit digit*
(4)空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM、运算符、
分隔符和关键字，词法分析阶段通常被忽略。
各种词法单元对应的词法记号如下：
词法单元 词法记号 词法单元 词法记号
for 1 : 17
if 2 := 18
then 3 < 20
else 4 <> 21
while 5 <= 22
do 6 > 23
letter(letter+digit)* 10 >= 24
digit digit* 11 = 25
+ 13 ; 26
- 14 ( 27
* 15 ) 28
/ 16 # 0
词法分析程序的功能
输入：源程序
输出：二元组（词法记号,属性值/其在符号表中的位置）构成的序列。
例如：对源程序
x:=5;
if (x>0)
then x:=2*x+1/3;
else x:=2/x; #
经词法分析后输出如下序列：
（10,’x’）(18, :=) (11,5) (26, ;) (2, if ) (27,( )……
1.几点说明：
（1）关键字表的初值。
关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字
表），当扫描程序识别出标识符，查关键字表。如能查到匹配的单词，则该
单词的关键字，否则为一般标识符。关键表为一个字符串数组，其描述如下：
char *keyword[6]={”for”, ”if”, ”then” ,”else”，”while”, ”do” };
(2) 程序中需要用到的主要变量为 token , id和num.
1）id用来存放构成词法单元的字符串；
2）num用来存放整数（可以扩展到浮点数和科学计数法表示）；
3）token用来存放词法单元的词法记号。
可以参考下面的代码：
do{
lexical(); //将词法单元对应的记号保存到token中，属性值保存到num或者id中
switch(token) {
case 11: printf ("(token, %d\n) ", num); break;
case -1: printf("error!\n");break;
default: printf("(%d,%s)\n", token, id);
}
}while (token!=0);