编译原理实践10—词法分析程序的自动生成器LEX
编译原理词法分析与语法分析的核心算法
编译原理词法分析与语法分析的核心算法编译原理是计算机科学与技术领域中的一门重要课程。
在编程中，我们常常需要将高级语言编写的程序翻译成机器语言，使计算机能够理解并执行我们编写的程序。
而编译原理中的词法分析和语法分析是编译器的两个核心算法。
一、词法分析词法分析是编译器的第一个阶段，它负责将输入的字符序列（源代码）划分为一个个的有意义的词素（Token），并生成相应的词法单元（Lexeme）。
词法分析的核心算法主要包括以下两个步骤：1. 正则表达式到有限自动机的转换：正则表达式是一种描述字符串匹配模式的表达式，它可以用来描述词法分析中各种词素的规则。
而有限自动机则是一种用来识别或匹配正则表达式所描述的模式的计算模型。
将正则表达式转换为有限自动机是词法分析的关键步骤之一。
2. 词法分析器的生成：在将正则表达式转换为有限自动机后，我们可以使用生成器工具（如Lex、Flex等）来生成词法分析器。
词法分析器可以按照预定的规则扫描源代码，并将识别出的词素转换成相应的词法单元，供后续的语法分析使用。
二、语法分析语法分析是编译器的第二个阶段，它负责分析和处理词法分析阶段生成的词法单元序列，并根据预定的语法规则确定语法正确的序列。
语法分析的核心算法主要包括以下两个步骤：1. 上下文无关文法的定义：上下文无关文法（Context-Free Grammar，简称CFG）是一种用于描述形式语言的文法。
它由一组产生式和终结符号组成，可以用于描述语法分析中的语法规则。
在语法分析中，我们需要根据具体编程语言的语法规则，编写相应的上下文无关文法。
2. 语法分析器的生成：通过使用生成器工具（如Yacc、Bison等），我们可以根据上下文无关文法生成语法分析器。
语法分析器可以根据预先定义的文法规则，对词法单元序列进行分析，并构建出语法树（Parse Tree）供后续的语义分析和代码生成使用。
综上所述，词法分析与语法分析是编译原理中的两个重要阶段，也是实现编译器的核心算法。
lex和Yacc详解
Lex和Y acc工具介绍――编译原理的实用工具1.词法分词器生成工具lexLex的主要功能是生成一个词法分析器(scanner)的C源码。
描述词法分析器的文件，经过lex编译后，生成一个lex.yy.c的文件，然后由C编译器编译生成一个词法分析器。
词法分析器，简单来说，其任务就是将输入的各种符号，转化成相应的标识符(token)，转化后的标识符很容被后续阶段处理。
过程如错误！未找到引用源。
图1现在这个lex 文件可以用来生成一个统计行数、字符个数和单词个数的工具。
规则段是由正则表达式和相应的动作组成的。
p 1 {action 1}p 2 {action 2}……p n {action n }值得注意的是，lex 依次尝试每一个规则，尽可能地匹配最长的输入流。
如果有一些内容根可以看出lex的确按照最长的规则匹配。
程序段部分放一些扫描器的其它模块，比如一些动作执行时需要的模块。
也可以在另一个程序文件中编写，最后再链接到一起。
生成C代码后，需用C的编译器编译。
连接时需要指定链接库。
gcc的连接参数为 -ll。
2.正则表达式正则表达式可以描述有穷状态自动机(Finite Automata)接受的语言，也就是定义一个可以接受的串的集合。
转义字符（也称操作符）：" \ [ ] ^ - ? . * + | ( ) $ / { } % < >这些符号有特殊含义，不能用来匹配自身。
如果需要匹配的话，可以通过引号(’’)或者转义符号(\)来指示。
比如C”++”C\+\+都可以匹配C++。
非转义字符：所有除了转义字符之外的字符都是非转义字符。
一个非转义字符可以匹配自身。
比如integer匹配文本中出现的integer。
通配符：通配符就是”.”（dot），可以匹配任何一个字符。
字符集：用一对[]指定的字符构成一个字符集。
比如[abc]表示一个字符集，可以匹配a、b、c中的任意一个字符。
使用–可以指定范围。
Lex工具
Lex工具Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识别程序，由该程序识别出输入文本中的各个单词。
1、lex程序的结构-定义部分-规则部分-用户子程序部分其中规则部分是必须的，定义和用户子程序部分是任选的。
(1) 定义部分定义部分起始于"%{"符号，终止于"%}"符号，其间可以是包括include语句、声明语句在内的C语句。
%{#include "stdio.h"#include "y.tab.h"extern int lineno;%}(2) 规则部分规则部分起始于"%%"符号，终止于"%%"符号，其间则是词法规则。
词法规则由模式和动作两部分组成。
模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组成，这些语句用来对所匹配的模式进行相应处理。
需要注意的是，lex将识别出来的单词存放在yytext[]字符数据中，因此该数组的内容就代表了所识别出来的单词的内容。
%%[\t] {;}[0-9]+\.?|[0-9]*\.[0-9]+{ sscanf(yytext,"%1f", &yylval.val);return NUMBER; }\n { lineno++;return '\n'; }. { return yytex+[0]; }%%(3) 用户子程序部分用户子程序部分可以包含用C语言编写的子程序，而这些子程序可以用在前面的动作中，这样就可以达到简化编程的目的。
下面是带有用户子程序的lex程序片段。
"/*" skipcmnts();. /* rest of rules */%%skipcmnts(){for ( ; ; ){while (input()!='*');if(input()!='/')unput(yytext[yylen-1]);else return;}2、lex工具的使用方法首先编写一个lex程序vi lex.l%{#include "stdio.h"%}%%[\n] ;[0-9]+ printf("Interger: %s \n",yytext);[0-9]*\.[0-9]+ printf("Float: %s\n",yytext);[a-zA-Z][a-zA-Z0-9]* printf("Word:%s\n",yytext);. printf("Other symbol:%c\n",yytext[0]);%%然后使用lex将lex.l转换成C语言程序$lex lex.l使用上述命令产生的C语言程序为lex.yy.c然后使用C编译程序将lex.yy.c编译成可执行程序regn$cc -c lex.yy.c$cc lex.yy.o -ll -o regn下面可以使用regn来识别单词$vi testfilex=355y=113p=x/y# ./regn < testfileWord:xOther symbol:=Interger: 355Word:yOther symbol:=Interger: 113Word:pOther symbol:=Word:xOther symbol:/Word:y#yacc工具--------yacc工具是一种语法分析程序生成器，它可以将有关某种语言的语法说明书转换成相应的语法分析程序，由该程序完成对相应语言中语句的语法分析工作。
基于LEX的C语言词法分析器
基于LEX的C语言词法分析器下面是一个基于LEX的C语言词法分析器的示例代码：```c#include <stdio.h>%}letter [a-zA-Z]digit [0-9]id {letter}({letter}，{digit})*number {digit}+(\.{digit}+)?([eE][+-]?{digit}+)?%%{number} { printf("Number: %s\n", yytext); }{if} { printf("If: %s\n", yytext); }{else} { printf("Else: %s\n", yytext); }{while} { printf("While: %s\n", yytext); }{for} { printf("For: %s\n", yytext); }{id} { printf("Identifier: %s\n", yytext); }[ \t\n]+ // ignore white space. { printf("Unrecognized character: %c\n", yytext[0]); }%%int maiyylex(;return 0;```在上述代码中，首先是一些初始化的定义，定义了一些正则表达式模式，例如`letter`表示字母，`digit`表示数字，`id`表示标识符，`number`表示数字。
然后是各个模式的匹配规则和对应的处理逻辑。
其中，`{number}`表示如果匹配到了数字模式，就打印出该数字；`{if}`、`{else}`、`{while}`、`{for}`和`{id}`分别表示匹配到了if、else、while、for关键字和标识符，就打印出对应的信息；`[ \t\n]+`表示忽略空格和换行符；`.`表示匹配到了其他未定义的字符，就打印出异常信息。
(完整版)基于LEX的词法分析器实验报告
定义识别标识符规则
{id}
{printf("%d行",lineno);
printf("%s ID\n",yytext);}//
定义识别错误的字符串规则当开头为数字的后面为字母的字符串时，是错误的标识符。{error_id}
yylex();/*start the analysis*/
printf("ok2\n");
printf(" No of words: %d\n number: %d\n", wordCount, numcount);
return0;
}
int yywrap()
{
return1;
}
2、新建文本文件，更名为b.c，敲入下面代码此为输入源代码
{printf（"error:%s\n",yytext）;}//以数字开头的字符自动报错定义忽略空格规则
{whitespace}{/*skip whitespace*/}//忽略空格定义忽略回车规则
{enter}
{lineno++;}//遇到回车自动加行号忽略辅助程序集中包括
主函数main（）和辅助函数toupper（）。程序代码实现
二、实验原理及方法
Lex输入文件由3个部分组成：定义集(definition)，规则集(rule)和辅助程序集(auxiliary routine)或用户程序集(user routine)。这三个部分由位于新一行第一列 的双百分号分开，因此，Lex输入文件的格式如下
{definitions}
编译原理实践10—词法分析程序的自动生成器LEX
LEX简单的介绍
• LEX能根据给定的正则表达式自动生成 相应的词法分析程序 • 输入:是用LEX 语言写的源程序 • 生成:用C语言描述的词法分析程序 • LEX生成的目标程序包含一个状态转换 矩阵和一个控制执行程序.
LEX使用流程
使用LEX的流程如图:
LEX源程序 YYLEX.C 字符串源程序 LEX C编译器 YYLEX.EXE YYLEX.C YYLEX.EXE 符号串源程序
LEX源程序结构：辅助过程
3辅助过程
给出用户所需要的其他操作，它是识别部分某些动作需要调 用的过程。如果不是C语言的库函数，则要在此给出具体的定 义。这些程序也可以存入另外的程序文件中，单独编译，最 后和词法分析程序连接装配到一起。
例如：下段辅助过程：
%% main() {yylex(); return 0; }
用LEX语言表达正则表达式
例： 1)二进制数 (0|1)* 2)以aa或bb开头的由a和b任意组成的字符串 (aa|bb)(a|b)*或(aa|bb)[ab]*
3) 任何一个从0~9的数字:
[0-9] 4)长度不超过8的小写字符串 [a-z]{1,8}
用LEX语言表达正则表达式
5) 无符号整数
[0-9]+
编译原理实践 --词法分析程序的自动生成器LEX
由于各种高级程序设计语言的单词形式 基本上可以用一组正规式来描述，人们 就希望能否构造一个自动生成系统，只 要给出程序设计语言的各类单词描述以 及识别出各类单词后应输出的结果，这 种自动系统便能自动产生此程序设计语 言的词法分析程序 Lex就是这样一个工具，他将正规式转换 为一个NFA，进而转换为相应的DFA， 这个DFA可以识别该正规式所表示的语 言的句子
编译原理中的词法分析与语法分析原理解析
编译原理中的词法分析与语法分析原理解析编译原理是计算机科学中的重要课程，它研究的是如何将源程序翻译成目标程序的过程。
而词法分析和语法分析则是编译过程中的两个重要阶段，它们负责将源程序转换成抽象语法树，为接下来的语义分析和代码生成阶段做准备。
本文将从词法分析和语法分析的原理、方法和实现技术角度进行详细解析，以期对读者有所帮助。
一、词法分析的原理1.词法分析的定义词法分析（Lexical Analysis）是编译过程中的第一个阶段，它负责将源程序中的字符流转换成标记流的过程。
源程序中的字符流是没有结构的，而编程语言是有一定结构的，因此需要通过词法分析将源程序中的字符流转换成有意义的标记流，以便之后的语法分析和语义分析的进行。
在词法分析的过程中，会将源程序中的字符划分成一系列的标记（Token），每个标记都包含了一定的语义信息，比如关键字、标识符、常量等等。
2.词法分析的原理词法分析的原理主要是通过有限状态自动机（Finite State Automaton，FSA）来实现的。
有限状态自动机是一个数学模型，它描述了一个自动机可以处于的所有可能的状态以及状态之间的转移关系。
在词法分析过程中，会将源程序中的字符逐个读取，并根据当前的状态和字符的输入来确定下一个状态。
最终，当字符读取完毕时，自动机会处于某一状态，这个状态就代表了当前的标记。
3.词法分析的实现技术词法分析的实现技术主要有两种，一种是手工实现，另一种是使用词法分析器生成工具。
手工实现词法分析器的过程通常需要编写一系列的正则表达式来描述不同类型的标记，并通过有限状态自动机来实现这些正则表达式的匹配过程。
这个过程需要大量的人力和时间，而且容易出错。
而使用词法分析器生成工具则可以自动生成词法分析器的代码，开发者只需要定义好源程序中的各种标记，然后通过这些工具自动生成对应的词法分析器。
常见的词法分析器生成工具有Lex和Flex等。
二、语法分析的原理1.语法分析的定义语法分析（Syntax Analysis）是编译过程中的第二个阶段，它负责将词法分析得到的标记流转换成抽象语法树的过程。
lex
哇！正规式好复杂喔！
四、LEX中的特殊规定
在识别单词的过程中，LEX将输入流中那些不与任何 词型匹配的字符（串）原封不动地输出到标准输出上。 若用户想将所识别的单词输出到标准输出上，可在识 别规则的动作代码中加入相应的打印语句。例如， {alpha}{alnum}* {printf(“%s”,yytext);…} 将把 它所识别的所有字母打头的字母数字串显示到标准输 出上。 上面的打印语句可用LEX提供的宏ECHO表示 {alpha}{alnum}* {ECHO;…;}
1.声明(declaration)
LEX的声明又可以分两个
部分：C语言部分和辅助定 义部分 C语言部分被括在LEX的 特殊括号“%{”与“%}”之 间，它必须符合C语言规范。 这部分内容包括C语言程序 的预处理语句（包含的头 文件、常量定义）、类型 其中, Di(i=1,2,…,n)是要定义的一组宏 和变量定义、子程序的声 名字, ri (i=1,2,…,n) 是定义在Σ∪{D1, 明等。其中，常量定义可 …,Di-1}上的正规式，Σ为词法分析 用于定义单词的内部码。 程序要识别单词相应的字符集。
词法分析程序的使用
用户可通过调用函数yylex()使用词法分析程序。每调 用yylex()函数一次，yylex()将从输入流中识别一个单词， 并返回一个整型值（被识别出的单词之内部码）。 所谓单词的内部码是指词法分析程序在识别出某一类 单词时所返回的整型数值（也称为类别码），它由用 户自行定义其取值。 例如，用户可定义标识符Id的内部码为300，实型数 RealNo的内部码为450等等。一般说来，用户自定义的 单词类别码应大于256，而小于256的内部码值可用于 字符单词的类别码，用其ASCII码值来表示。如单词 '+'的内部码可定义为‘+’的ASCII码值43。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
LEX源程序结构：识别规则
2 识别规则
用正则表达式给出单词的定义，以及在识别出该正则表达 式以后要执行的程序片段，具有如下形式的语句： P1 {动作1} P2 {动作2}
……
Pn {动作n} 其中，Pi（i=1，2，3……n）是一个用LEX语言描述的正则 表达式，也即是单词符号；动作i是C语言的程序语句，表 示当在识别出形为Pi的单词符号时，词法分析应执行的动 作。该动作一般是返回单词的单词记号及单词值。
用LEX语言表达正则表达式
•在方括号（表示字符类）中，大多数的元字符都丧失了 其特殊状况，且不必用引号括起来。甚至如果可以首先 将连字符(-)列出来的话，则也可以将其看作字符。因此， 可将正则表达式(“+”|”-”)写作[-+]，但不能写成[+-]， 这是因为元字符“-”用于表示字符的一个范围。又例如： [.”?]表示了句号、引号和问号3个字符中的任一个字符， 此时，这三个字符在方括号中都丧失了它们元字符的含 义。 •但是有一些字符即使是在方括号中也仍是元字符，如\ 和^。如果要得到像反斜杠\这种真正的字符就必须在字 符前加一个反斜杠。由于引号在方括号内已失去了它们 的元字符的含义，所以不能用引号，因此[\^\\]就表示 了真正的字符^和\。
C语言的说明信息主要包括将来生成的词法分析程序要使 用的一些库文件和全局变量的声明。%{和% }中间的内 容会原封不动地复制到LEX生成的词法分析程序的最前部。
LEX源程序结构：说明部分
例如下面的一段代码： %{ #include <stdio.h> int lineno=1; %} line ^(.*)\n //表示一行字符
LEX源程序结构：识别规则
例如： %% {line }{printf(“%5d %s”,lineno++,yytext);} 这段代码表示识别出一行字符后，输出行号以及这行字 符，然后行号递增。yytext是LEX的内部命字，它的内容 就是正则表达式line匹配的字符串。 LEX源程序中的识别规则完全决定了词法分析程序的功能。 该词法分析程序只能识别P1，P2，…Pn这些单词符号。识 别出的单词符号保存在yytext中。
LEX简单的介绍
• LEX能根据给定的正则表达式自动生成 相应的词法分析程序 • 输入:是用LEX 语言写的源程序 • 生成:用C语言描述的词法分析程序 • LEX生成的目标程序包含一个状态转换 矩阵和一个控制执行程序.
LEX使用流程
使用LEX的流程如图:
LEX源程序 YYLEX.C 字符串源程序 LEX C编译器 YYLEX.EXE YYLEX.C YYLEX.EXE 符号串源程序
，D2，…Dn是给正则表达式起的名字，称为正则表达式名。
限定在Ri中只能出现字母表∑中的字符，以及前面已经定 义过的正则表达式名，这样就可以定义程序语言的单词符 号。
LEX源程序结构：说明部分
例如，用LEX语句写的标识符和无符号整数的定义如下： 标识符：letter [a-zA-Z] [0-9] {digit}+ identifier {letter}+ 无符号整数：digit num
{ends_with_a} ECHO ; {begins_with_a} ECHO; 则不会有任何输出。
2.pl0程序的词法分析程序 3.扫描器，用于计算一个文件中的字符数，单词数和行数 （类似Unix 中的wc 程序）
LEX有一个解决这种二义性的优先权系统。首先，LEX总是 匹配可能的最长子串（因此LEX总是生成符合最长子串原则 的扫描程序）。其次，如果最长子串仍与两个或更多个规则 匹配，LEX就选取列在前面的规则。正是由于这个原因，上 面的LEX输入文件就将{ends_with_a} ECHO ;和 {begins_with_a} ECHO;放在前面，如果按下面的顺序 列出 .*\n;
用LEX语言表达正则表达式
例： 1)二进制数 (0|1)* 2)以aa或bb开头的由a和b任意组成的字符串 (aa|bb)(a|b)*或(aa|bb)[ab]*
] 4)长度不超过8的小写字符串 [a-z]{1,8}
用LEX语言表达正则表达式
5) 无符号整数
[0-9]+
1 说明部分：
用于定义识别规则中要用到的正则表达式名，包括：
变量说明、 标识符常量说明、 正则定义， C语言的说明信息
（C语言的说明部分必须用分介符%和%括起来）。
LEX源程序结构：说明部分
说明部分由如下形式的LEX语句组成： D1 D2 …… Dn Rn 其中，R1，R2，…Rn使用LEX语言表示的正则表达式；D1 R1 R2
运行FLEX
这样就会在同一目录下产生一个文件LEX.YY.C，这就 是根据exam1.lex由LEX生成的词法分析程序。接下 来可以对LEX.YY.C进行编译（可以用Visual C++ 6.0）从而得到可执行文件LEX.YY.EXE，执行该文件， 随意输入一行字符串，按回车则在屏幕上显示该字符 串。
6)可带小数点的有符号数 (“+”|”-”)?[0-9]+(“.”[0-9]+)? 7) 可带指数的有符号数 (“+”|”-”)?[0-9]+(“.”[0-9]+)?(E(“+”|”-”)?[0-9]+)?
8)标识符：字母或_开头，后跟字母数字、下划线等字符
[a-zA-Z_]([a-zA-Z_]|[0-9])* 9)空白区 [ \t\n]+
编译原理实践 --词法分析程序的自动生成器LEX
由于各种高级程序设计语言的单词形式 基本上可以用一组正规式来描述，人们 就希望能否构造一个自动生成系统，只 要给出程序设计语言的各类单词描述以 及识别出各类单词后应输出的结果，这 种自动系统便能自动产生此程序设计语 言的词法分析程序 Lex就是这样一个工具，他将正规式转换 为一个NFA，进而转换为相应的DFA， 这个DFA可以识别该正规式所表示的语 言的句子
用LEX语言表达正则表达式
(5). 表示除了换行符之外的任一个字符. (6)”text”表示双引号里的每个字符(包括元字符)都按 字符处理,如”ab[01]”就是表示ab[01]是字符串,其中 的[和]不是元字符 (7) \ 转义字符 (8){xxx}名字xxx表示的正则表达式。 (9)r|s表示正则表达式r或正则表达式s。
LEX源程序结构
LEX源程序是用LEX语言编写的词法规则说明，即用LEX语言 对表示高级程序设计语言的单词集的正则表达式进行描述。 LEX源程序分三个部分： 1.说明部分 2.识别规则 3.辅助过程。 各部分之间用%%隔开。即： 说明部分 %% 识别规则 %% 辅助过程
LEX源程序结构：说明部分
元字符约定
• 元字符约定：可以为正则表达式起名，这些名字也可 使用在其他的正则表达式中，需正则表达式放在大括 号中。
• 例如，无符号整数定义为：num=[0-9]+
其中，num为正则表达式名。 在有符号的整数的定义中，可以引用正则表达式名 num: signedNum=(+|-)?{num} 注意：在定义正则表达式名时并不写大括号，只有在 使用正则表达式名时才加上大括号。
(10)rs表示正则表达式r与正则表达式s的连接。
用LEX语言表达正则表达式
(11)(r)表示()内的优先级高于括号外。
(12)r*表示正则表达式r可重复零次或多次。
(13)r+表示正则表达式r可重复一次或多次。 (14)r?表示r是一个可选的正则表达式。 (15)r{m,n}其中m,n是正整数，表达正则表达式r的 m~n次重复。 (16)r{m}表示正则表达式r的m次重复。 (17)r{m,}表示正则表达式r的m到多次的重复。 (18)^行的开始，$行的结尾
一些常用LEX内部名字及含义
在上例中的LEX源程序中包含的C程序中，引用了一个LEX 内部命令yytext,下面给出一些常用的LEX内部命字及其含 义如下： lex.yy.c yylex yytext yyin LEX输出文件名 LEX扫描例程 当前被某规则匹配的字符串 LEX 输入文件（默认为stdin,即键盘）；
LEX源程序结构：辅助过程
int yywrap()
{ return 1; } 这段代码包含了一个调用函数yylex()的main()过程。 yylex()是由LEX构造的过程的名字，该过程进行词法 分析。
运行FLEX
将上述三段代码连在一起，假设保存在名为 exam1.lex的文件中，最好与FLEX在同一目录下， 那么，在DOS下进入FLEX所在的目录，FLEX运行就 可以产生词法分析程序，运行的命令(根据自己情况更 改路径)
LEX简单的介绍
1 LEX(lexical ananlyzer generator) 一个词法分析程序的自动生成器. LEX是1972年贝尔实验室首先在 UNIX上实现的. 2 FLEX(fast lexical ananlyzer generator) 是对LEX的扩充,它可在 MS-DOS下运行. 我们这里实际使用 的是FLEX,但仍称呼为LEX.
LEX源程序是使用LEX语言编写的词法规则说明,经过LEX 翻译后形成目标文件YYLEX.C;再用C编译器对YYLEX.C进 行翻译,生成目标程序YYLEX.EXE,它就是词法分析程序,用 YYLEX.EXE就可以将字符串源程序转换成符号串源程序.
用LEX语言表达正则表达式
LEX的输入是LEX源程序. 首先介绍如何表示正则表达式. LEX表示正则表达式时采用一些元字符* + ( ) \ [ ] | { } “ “等,表示方法如下. (1)对于单个的字母a,就直接表示成a,如a,+,-等 . (2)[abc]表示字符a,b,或c中的任一个,如[01] 表示0或1 (3)[a-d]表示字符a,b,c或d中的任一个. (4)[^ab]表示除了a或b外的任一个字符.