第2章 形式语言的基础知识

字符串：字母表中符号的有穷序列。
字符串的长度：组成该字符串的符号的个 数。字符串的长度记作||。 例如字符串banana的长度为6。空字符串 记作，由0个符号组成，故||=0。



字符串的前缀：该字符串领头的若干符号。 字符串的后缀：该字符串结尾的若干符号。 例如，字符串abc具有前缀，a，ab和abc； 其后缀有，c，bc，abc。
S aSBE aaBEBE aabEBE aabBEE aabbEE aabbeE aabbee
(SaSBE) (SaBE) (aBab ) (EBBE ) (bBbb) (bEbe) (eEee)
S aSBEaaSBEBEaaaBEBEBE
第2章 形式语言的基础知识
内容提要


形式语言 文法和语言 分析树
2.1 形式语言

符号和字符串

符号：抽象实体，不加以形式定义。就像 几何学中的“点”。或者叫原子概念，凭 直觉去体会。 字母表：有限个符号的集合。字母表一般 用记。例如,英语的字母表 ={a,b,…,z,A,B,…,Z}；汉语的字母表由汉 字构成。

例2.1 文法G=(VN, VT, P, S)，其中VN={S}， VT={0,1}，P={S0S1, S01}。

例2.2 文法G=(VN, VT, P, S)，其中VN={<标识 符>,<字母>, <数字>}，VT={a,,z,0,,9}， P={<标识符><字母> <标识符><标识符><字母> <标识符><标识符><数字> <字母>a||z <数字>0||9} S=<标识符>

3型文法与3型语言(对应有限自动机) 文法G的每个产生式具有下列形式： A或AB 其中，A、BVN， VT*，则文法G称为右 线性文法。若每个产生式具有下列形式： A或AB 则文法G称为左线性文法。右线性和左线性文 法 都 称 为 3 型 文 法 、 正 规 文 法 ， 记 为 RG (Regular Grammar)。3型文法相应的语言为3 型语言或正规语言，它的识别系统是有限自 动机。
例如，S，0S1，000111都是例2.1的文法G的 句型，其中000111是G的句子。<标识符><字 母>，<字母><数字>，a1等都是例2.2的文法G 的句型，其中a1是G的句子。


定义 文法的语言 文法G[S]产生的句子的全体称为由文法G[S] 产 生 的 语 言 ， 记 为 L(G) ， 即 有 S0S1, S01 L(G)={∣S*且VT*}。 例 如 ， 例 2.1 的 文 法 产 生 的 语 言 的 句 子 具 有 0n1n的形式。 定义 文法等价 若L(G1)=L(G2)，则称文法G1和G2是等价的。 例如，文法G[A]: A0R，A01，RA1。 和例2.1的文法等价。

习惯上只将产生式写出。并有如下约定：


第一条产生式的左部是开始符号 用尖括号括起的是非终结符，否则为终结 符。或者大写字母表示非终结符，小写字 母表示终结符 G可写成G[S]，其中S是开始符号

定义 直接推导&直接规约 设文法G=(VT,VN,S,P)且、(VTVN)* ，如 果存在产生式A((VTVN)*)，则称A 可直接推导出，或者说是A的直接 推导，记做 A 其中“”表示直接推导出，是应用产生规 则进行推导的记号。反过来，则称可直接 规约到A，或者说A是的直接规约。

1型文法与1型语言(对应线性界限自动机) 文法G的产生式 在0型文法的基础上增加了字符长度上满足 ||||的限制，则称文法G为1型文法或上下文 有 关 文 法 ， 记 为 CSG (Context-Sensitive Grammar)。1型文法相应的语言称为1型语言 或上下文有关语言，它的识别系统是线性界 限自动机。


字符串的运算Leabharlann 字符串的连接：如果x和y是字符串，那么 x和y的连接xy是把y接到x后面所形成的字 符串。 例如，如果x=dog，y=house，则 xy=doghouse。由的定义，显然有 ==。


字符串的方幂：设x是字符串，把x自身连 接n次得到字符串z，即z=xxx…x，称为字 符串x的n次方幂，记作z=xn。我们规定 x0=。 例如，设x=AB，则x0=，x1=AB， x2=ABAB，x3=ABABAB。对于，n>0，有 xn=xxn-1=xn-1x。
S0S1, S01


<标识符><字母> <标识符><标识符><字母> <标识符><标识符><数字> <字母>a||z <数字>0||9
例2.1和例2.2中的文法都是上下文无关的。 例2.3 设G=(VN, VT, P, S)，VN={S, B, E}， VT={a, b, e}， P={SaSBE, SaBE, EBBE, aBab, bBbb, bEbe, eEee} 文法G是上下文有关的，L(G)={anbnen|n1}
注意“”与“”不同，“”是产生式中 <标识符><字母> 的定义记号。直接推导是对文法符号串A中 <标识符><标识符><字母> 的非终结符A用相应的产生式A的右部来 <标识符><标识符><数字> 替换，从而得到。 <字母>a||z
S0S1, S01 <数字>0||9
若字符串的前缀（或后缀）不是字符串本 身，则称之为真前缀（或真后缀）。


字符串的子串：去掉字符串的一个前缀和 后缀后得到的字符串。例如，nan是 banana的一个子串。
字符串的子序列：从字符串中删除0个或 多个符号后得到的串（这些被删除的符号 可以不相邻）。例如，baaa是banana的子 序列。
2.2.1 基本概念 定义 文法 文法表示成四元组G=(VT, VN, S, P)，其中： (1)VT 为终结符号(terminal)集，是一个非空有限集， 它的每个元素称为终结符号； (2)VN 为非终结符(non-terminal)集，也是一个非空有 限集，其每个元素称为非终结符号。 要求VTVN=； (3)S为一文法开始符号，也称作识别符号，是一个特 殊的非终结符号，即SVN；

定义 推导&规约的自反传递闭包 如果有 1+n 或 1=n ，则记 1*n ，表示 从1出发，经过0步或若干步可推导出n。
S0S1, S01
<标识符><字母> <标识符><标识符><字母> <标识符><标识符><数字> <字母>a||z <数字>0||9
例如， 对例2.1的文法，0S100+001100，当然 也可以是0S100*001100。 对2.2的文法，<标识符>+x1，当然也 可以是<标识符>*x1。
例如，对例2.1和例2.2的文法G，可以给出一 些直接推导的例子： 0S10011, S0S1, 0S100S11 <标识符><标识符><字母> <标识符><字母><数字><字母><字母><数 字>

定义 推导&规约的传递闭包 如果存在一个自1至n的直接推导序列： 123„n(n>1)，则我们称 1 可推 导出 n ，或称 n 规约到 1 ，记为 1+n ，它 表示从1出发经过一步或若干步可推导出n。



字符串集合的连接：两个字符串集合A和 B的连接AB={xy|xA，yB}，即AB是满 足x属于A，y属于B的所有字符串xy所组 成的集合。 例如，若A={a,b}，B={c,d}，则 AB={ac,ad,bc,bd}。另外，我们有 {}A=A{}=A。 对任意字符串集合A，An=AAA…A，即n 个A相连。A0定义为{}。
产生式是定义语法实体的一种书写规则。一 个语法实体的相关规则可能不止一个。 P1，P2，„，Pn 可将这些有相同左部的产生式合并为一个， 即缩写成 P1∣2∣„∣n 其中，每个 i(i=1,2,„,n)称为P的一个候选式， 直竖“∣”读为“或”，它与“”一样是 用来描述文法的元语言符号(即不属于的字 符)。


Kleene闭包：一个固定的字母表上所有 的字符串的集合称为集合的Kleene闭包， 记作*。根据定义，我们有 *=012…n…。 正闭包：+=123…n…称为的 正闭包。显然有 *=0+ +=*=*

形式语言 语言：给定字母表上的任意一个字符串集合， 即*的子集（*本身也是自己的子集，所以* 也是语言）。空集和由空字符串组成的集合 {}都是语言。

0型文法与0型语言(对应图灵机) 如果文法G的每一个产生式具有下列形式： 其中，V*VNV* ，即至少含有一个非终结 符；V*；则称文法G为0型文法或短语结构 文法，记为PSG(Phrase Structure Grammar)。 0型文法相应的语言称为0型语言或称递归可 枚举集，它的识别系统是图灵(Turing)机。
1型文法的另一种定义方法是文法G的每一个 产生式具有下列形式： A 其中，AV*，AVN，V+；显然它满足 前述定义的长度限制，但它更明确地表达了 上下文有关的特性，即A必须在、的上下文 环境中才能被所替换。
自然语言的语法应属于上下文有关文法。

2型文法与2型语言(对应下推自动机) 文法G的每一个产生式具有下列形式： A 其中，AVN ，V* ，则称文法G为2型文法 或上下文无关文法，记为CFG (Context-Free Grammar)。2型文法相应的语言称为2型语言 或上下文无关语言，它的识别系统是下推自 动机。 程序设计语言的语法是上下文无关的。