词法分析

三、实验原理 通过对输入的字符串进行分析，并通过与内部定义表进行 匹配，分析所输入的字符串中的内容，并输出各个单词字符 的(单词种别，单词自身的值)二元式. 四、实验设备 Windows7 , VS2008 五、实验要求
请对下列程序进行词法分析，输出单词的种别编 码和值：
begin begin begin a:=1 end; begin b:=1 end; q:=10 end; x:=9; y:=11; z:=12 end #~ 6、 实验程序与分析 由上面的内部定义的单词表，可以知道当程序代码输入 时，词法分析器的分析步骤如下： （1）从输入文件中读入一个字节，如果是空字节，则继续输 入下一个字节，直到遇到一个非空字节；
（2）当一个空字节后，读入一个字节是一字母，则继续读取 下一个字节，直到读入字节内容不是字母或数字就停止，然后 判断这前读入的字符串是否为保留字或是逻辑关系符，如果不 是则为变量； （3）当上一个读入的字节内容并非是字母时，则现在读入的 字节内容是一个数字，则继续读入，直到遇到非字母或数字， 就停止读入，然后判断之前读入的是否只要一串数字，如果是 则为整常量，否则这是非词法器能分析内容 （4）当读入的是一个字节内容不是数字或字字母，则查表， 是否有它的(单词种别，单词自身的值)，没有则输出非词法器 能分析内容； 根据上面步骤对程序代码的分析如下： begin (4,null) begin (4,null) begin (4,null) a:=1 (15,a),(38,null),(57,1) end; (6,null),(8,null) begin b:=1 end; q:=10 end; x:=9; (4,null) (15,b),(38,null),(57,1) (6,null),(8,null) (15,q),(38,null),(57,10) (6,null),(8,null) (15,x),(38,null),(57,9)
L.str[5] = "do"; L.code[5] = "5"; L.str[6] = "end"; L.code[6] 4;and"; L.code[7] = "39";
L.str[8] ="or"; L.code[8] = "40"; L.str[9] = "not"; L.code[9] = "41"; return 1;
S→if B then S else S ︱while B do S ︱begin L end︱A L→S;L︱S A→i:=E B→B∧B︱B∨B︱¬ B︱(B) ︱i rop i︱i E→E+E︱E*E︱(E) ︱i 其中，各非终结符的含义如下： S——语句； L——语句串； A——赋值句； B——布尔表达式； E——算术表达式。 各终结符的含义如下： i ——整型变量或常数，布尔变量或常数； rop ——六种关系运算符的代表； ; ——起语句分隔符作用； := ——赋值符号； ¬ ——逻辑非运算符“not”； ∧ ——逻辑与运算符“and”； ∨ ——逻辑或运算符“or”； + ——算术加运算符； * ——算术乘运算符； ( ——左括号； ) ——右括号。 注意，六种关系运算符分别为 <：小于 <=：小于等于 <>：不等于 >：大于 >=：大于等于 =：等于 关于表达式的运算，我们规定由高到低优先顺序为算术运 算、关系运算、布尔运算；并且服丛左结合规则。算术运算符 优先级的顺序依次为“( )”﹑“*” ﹑“+” ；布尔运算符优先级的 顺序依次为“¬ ”﹑“∧”﹑“∨”；六个关系运算符优先级相同。 我们规定的程序是由一条语句或由begin和end嵌套起来的复 合语句组成的，并且规定在语句末要加上“#~”表示程序结束。
广州大学学生实验报告
开课学院及实验室：计算机科学与工程实验室 2012年4月24日 学院 实验 课程 名称
计算 年级/ 计科 机学 专业/ 091 姓 名 班 院 编译原理实验
学号
成绩
实验 指导 项目 词法分析 老师 名称 (***报告只能为文字和图片,老师评语将添加到此处,学生请 勿作答***) 1、 实验目的
//cout<<"56,"<<m_token; //cout<<">"<<endl; return 0; }
//清除储存字符串 void Empty(CString &m_str) { m_str.Empty(); } void mylexmain(CString m_str,CString &m_strtwo) { int temp = m_str.GetLength(); int temptwo = m_strtwo.GetLength(); int length = 0; int lengthtwo = 0; char ch ;//读入的一个字符 //计录存数组个数 CString token(""); //cout<<token; int flag ;//标志 List L; InitList(L); // cout<<"************词法分析开始**************"<<endl; while(length < temp) { flag = 2; GetBe(m_str,ch,length); //判断结束 if(ch == '#') { GetChar(m_str,ch,length);
}
//读一个字符 int GetChar(CString m_str,char &m_ch,int &m_length) { m_ch = m_str[m_length]; if(m_ch == EOF) return 0; else { m_length++; return 1; } } //判断是否为一个英文字母 int IsLetter(char m_ch) { if((m_ch >='a') && ( m_ch <= 'z')) //if(isalpha(m_ch)) return 1; else
y:=11; (15,y),(38,null),(57,11) z:=12 (15,z),(38,null),(57,12) end (6,null) #~ 程序结束 7、 程序部分代码与截图
//保留字结构； typedef struct stack { CString str[mmax]; CString code[mmax]; }List; int InitList(List &L) { L.str[0] = "if"; L.code[0] = "0"; L.str[1] = "then"; L.code[1] = "1"; L.str[2] = "else"; L.code[2] = "2"; L.str[3] = "while"; L.code[3] = "3"; L.str[4] = "begin"; L.code[4] = "4";
return 0; } //判断是否为一个数字 int IsDigit(char m_ch) { if((m_ch >= '0') && ( m_ch <='9')) //if(isdigit(m_ch)) return 1; else return 0; } //读入字符存入数组 void Concatenation(CString &m_token,char m_ch) { m_token.Insert(m_token.GetLength(),m_ch); }
下面给出的是符合规定的程序示例： begin A:=A+B*C; C:=A+2; while A<C and B<D do while A>B do if M=N then C:=D else while A<=D do A:=D end#~ （2）该小型编译程序关于单词的内部定义
由于我们规定的程序语句中涉及单词较少，故在词法分析 阶段忽略了单词输入错误的检查，而将编译程序的重点放在中 间代码生成阶段。词法分析器的功能是输入源程序，输出单词 符号。我们规定输出的单词符号格式为如下的二元式： (单词种别，单词自身的值) 我们对常量，变量，临时变量，保留关键字(if、while、 begin、end、else、then、do等)，关系运算符，逻辑运算符， 分号，括号等，规定其内部定义如表1所示。 表1 关于单词的内部定义
设计实现一个词法分析程序，加深对词法分析原 理的理解
二、实验内容 （1）设一小型编译程序关于高级语言有如下的规定： 高级语言程序具有四种基本结构：顺序结构﹑选择结构﹑ 循环结构和过程。为了便于掌握编译的核心内容，突出重点， 简化编译程序的结构，同时又涵盖高级语言程序的基本结构， 我们选取赋值语句﹑if语句和while语句作为前三种结构的代 表，略去了过程结构。实际上，上述三种语句已经基本满足了 高级语言的程序设计。因此，我们仅考虑由下面产生式所定义 的程序语句：
if(ch == '~') { //cout<<endl; //cout<<"************分析结束*************"<<endl; break; } Retract(ch,length); ch = '#'; } //实现保留字与标识符的判别 if(IsLetter(ch)) { do{ Concatenation(token,ch); GetChar(m_str,ch,length); }while(IsLetter(ch) || IsDigit(ch)); Retract(ch,length); flag = Reserve(token,L,m_strtwo); } else if(IsDigit(ch))//实现整常数的判别 { do{ Concatenation(token,ch); GetChar(m_str,ch,length); }while(IsDigit(ch)); flag = Reserve(token,L,m_strtwo); Retract(ch,length); } else {