统计自然语言处理--概率句法分析
自然语言处理中的句法分析算法综述与分析
自然语言处理中的句法分析算法综述与分析自然语言处理（Natural Language Processing，NLP）是计算机科学与人工智能的重要分支之一，旨在帮助计算机理解和处理人类语言。
在NLP的研究中，句法分析是一个关键的任务，它涉及对句子结构和语法关系的分析和理解。
本文将对自然语言处理中的句法分析算法进行综述与分析。
句法分析可以被看作是将自然语言句子转换为结构化的树状表示形式，以便于计算机进一步理解和处理。
根据不同的算法和方法，句法分析可以分为基于规则的方法和基于统计的方法。
基于规则的方法主要依赖于事先定义好的语法规则，通过这些规则对句子进行解析和转换。
传统的基于规则的方法通常需要人工编写大量的语法规则，但是随着语言的复杂性增加，这种方法变得越来越困难和低效。
为了解决这个问题，研究者们开始探索基于统计的方法。
基于统计的方法通过分析大量的语料库数据，学习和推测句子的结构和语法关系。
这种方法不再依赖于事先定义的规则，而是通过建立统计模型来表示句子的概率分布。
其中，最常用的基于统计的句法分析算法是基于PCFG（Probabilistic Context-Free Grammar）的方法和依存句法分析。
基于PCFG的句法分析算法使用上下文无关文法来描述句子的结构，并通过训练模型来学习规则的概率分布。
这种方法首先将句子分解为分词序列，然后根据训练好的模型，推断出句子的结构及其概率。
尽管这种方法在一定程度上提高了句法分析的准确性，但由于使用了上下文无关文法的简化假设，该方法对语言的复杂性和歧义性处理仍然存在一定的局限性。
依存句法分析方法则更加注重句子中词与词之间的依存关系。
在这种方法中，句子被表示为一个依存关系图，其中每个词都是图中的一个节点，词与词之间的依存关系则用有向边表示。
依存句法分析算法通过训练模型来预测词与词之间的依存关系及其强度。
这种方法在处理语言中的歧义性和复杂结构上更加有效，因为它不受上下文无关文法的限制。
自然语言处理中的句法分析方法
自然语言处理中的句法分析方法自然语言处理（Natural Language Processing, NLP）是一门涉及文本语言处理的技术。
而在NLP的研究中，句法分析是其中一个重要的部分。
句法分析是指对输入的文本进行分析，得出文本中句子的各种语法成分、用户意图、以及各种句子关系等信息的技术。
在实际应用中，句法分析可以帮助处理机器语言，句子的自动纠错和语音转写等领域。
近年来，随着计算机技术的飞速发展，句法分析的方法也逐渐多样化。
下面将主要介绍一下几种常见的句法分析方法。
1.基于规则的句法分析方法基于规则的句法分析方法，顾名思义，是通过对语言的各种规则进行分析和推理，以得出句子的语法成分。
该方法的优点是严谨而精准，但是缺点也十分明显，其成本大。
由于自然语言几乎具备无限的表达形式，并且语言规则极其复杂繁琐，因此，基于规则的句法分析算法的精准度与复杂度存在一定的矛盾，当使用规则繁琐的方法来实现处理时，容易非常耗费时间和资源。
2.基于统计的句法分析方法与基于规则的方法不同，基于统计的句法分析方法是利用大量已经标注过的语料库来训练模型，并通过模型的统计学习方法来推断句子的语法成分。
基于统计的方法通常不需要精细的语法规则库，因此，其优点是更加灵活、高效，同时可以适应更广泛的语言规则。
基于统计的方法主要包括两个步骤：特征提取和机器学习。
在特征选取步骤中，特征选择器将文本转换为向量的形式，以便下一步使用机器学习算法。
特征选择器通常使用的是n-gram统计方法，它是一种从文本中提取n个字母或单词的技术。
在机器学习步骤中，会使用一些基本的机器学习算法来解决问题，例如支持向量机（SVM）和最大熵模型（MaxEnt）。
统计学习器通过学习样本在同类性质中的分布，进而产生分类器，以对文本数据进行分类。
3.基于深度学习的句法分析方法基于深度学习的句法分析方法是近年来出现的一种新型方法，是一种使用神经网络来学习数据特征进行句法分析的方法。
自然语言处理中句法分析与语义分析技术研究
自然语言处理中句法分析与语义分析技术研究自然语言处理(NLP)是对自然语言进行计算机处理的研究领域，它的研究范围非常广泛，包括各种领域，如文本分类、机器翻译、情感分析、自动问答等等。
其中，句法分析和语义分析是NLP中非常重要的两个技术，接下来我们就来详细了解一下这两个技术在自然语言处理中的应用。
一、句法分析句法分析是指对自然语言中的句子进行分析，确定其语法结构的过程。
它是NLP中最基本、最核心的技术之一。
句法分析主要有两种方法：基于规则的方法和基于统计机器学习的方法。
1.基于规则的方法基于规则的方法是指基于语言学规则来分析句子的结构和成分，传统的语法分析器通常就是采用这种方法。
这种方法需要手动编写语法规则，并借助于形式化方法表示语法规则，对于一些歧义性很小的句子可以得到比较好的分析结果。
但是，基于规则的方法对于歧义性大的句子效果并不理想，因为语言是一种含义丰富、多义性较大的现象，用规则分析难免会造成歧义。
而且编写规则需要依赖句法学家的专业知识，需要投入大量时间和精力。
2.基于统计机器学习的方法基于统计机器学习的方法是指基于大量语料库进行训练，使用统计模型来分析句子结构和成分。
这种方法不需要手动编写规则，而是使用机器学习算法自动从语料库中学习语言规则。
这种方法的优势在于能够自适应地根据训练集自动学习语言规则，并能够处理一些歧义性大的句子。
然而，这种方法的缺点在于需要大量的数据集支持，同时需要处理蕴含关系和推理等复杂问题。
二、语义分析语义分析是指对句子的意义进行分析，确定其所表达的含义。
语义分析在NLP 中非常重要，因为语言的含义是非常复杂的，需要通过机器分析才能发掘其中的信息。
1.基于词汇的方法基于词汇的方法是指通过分析句子中每个单词的含义来确定该句子的整体含义。
这种方法通常是通过词汇语义相似度比较来实现。
例如，这句话：“我要买一张机票”，可以提取出“买”和“机票”两个词，通过比较它们的语义关系来推断出这句话的含义。
自然语言处理的词法分析与句法分析
自然语言处理的词法分析与句法分析自然语言处理是人工智能领域的一个重要分支，旨在使计算机能够理解和处理人类语言。
其中，词法分析和句法分析是自然语言处理的两个主要任务。
词法分析负责将一段文本分解成单词或词素，而句法分析则对文本的语法结构进行分析和解析。
本文将详细介绍词法分析和句法分析的基本概念、方法和应用。
一、词法分析1. 概念和任务词法分析是自然语言处理中的一个基础任务，主要目标是将一段文本拆分成一个个单词或词素。
词法分析可以看作是自然语言处理中最初的处理环节，在很大程度上决定了后续处理任务的难度和准确性。
具体而言，词法分析的任务包括以下几个方面：（1）分词：将连续的文本流分成一个个独立的单词。
分词在汉语处理中尤为重要，因为汉语中没有像英语中的空格来明确标识词之间的边界。
（2）词性标注：对每个单词进行词性标注，即确定它的词性类别（如名词、动词、形容词等）。
词性标注常常需要结合上下文语境进行判断。
（3）词干提取：将一个单词的派生形式还原为它的词干或原型形式。
例如，“running”和“ran”都可以还原为“run”。
2. 方法和技术（1）规则法：基于规则的词法分析方法依靠人工定义的词法规则和规则库进行分析。
这种方法简单直观，易于理解和实现，但对规则的编写需要大量的人工劳动，并且规则难以适应复杂多变的语言现象。
（2）统计法：统计法通过学习大量的语料库数据，利用统计模型来进行词法分析。
常见的统计模型包括隐马尔可夫模型（Hidden Markov Model，HMM）、最大熵模型（Maximum Entropy Model，MEM）、条件随机场（Conditional Random Field，CRF）等。
统计法的优点是能够自动学习语言规律，适应性较好，但需要大量的训练数据和计算资源。
（3）深度学习法：深度学习方法基于神经网络，通过多层的神经网络结构来进行词法分析。
典型的深度学习模型包括循环神经网络（Recurrent Neural Network，RNN）、长短期记忆网络（Long Short-Term Memory，LSTM）等。
自然语言处理中常见的句法分析评估指标
自然语言处理中常见的句法分析评估指标自然语言处理（NLP）是一门研究人类语言和计算机之间交互的学科，其中句法分析是NLP中的一个重要领域。
句法分析主要是指对句子的句法结构进行识别和分析，以便于计算机更好地理解句子的语法和语义。
在进行句法分析的过程中，评估指标是非常重要的，它可以帮助我们评估句法分析系统的性能和准确度。
本文将介绍自然语言处理中常见的句法分析评估指标。
1. 准确率（Precision）准确率是句法分析领域中常见的评估指标之一，它指的是在所有被系统识别为正例的样本中，有多少是真正的正例。
在句法分析中，准确率可以用以下公式来表示：准确率 = 系统正确识别的句法结构数量 / 系统总识别的句法结构数量准确率的计算可以帮助我们了解句法分析系统在识别句法结构时的准确程度，是评估系统性能的重要指标之一。
2. 召回率（Recall）召回率是句法分析中另一个重要的评估指标，它指的是在所有真正的正例中，有多少被系统正确地识别出来。
在句法分析中，召回率可以用以下公式来表示：召回率 = 系统正确识别的句法结构数量 / 真实的句法结构数量召回率的计算可以帮助我们了解句法分析系统在识别句法结构时的完整性和覆盖范围，是评估系统性能的另一个重要指标。
3. F1值（F1 Score）F1值是准确率和召回率的一个综合指标，它可以帮助我们综合评估句法分析系统的性能。
F1值的计算公式如下：F1值 = 2 * (准确率 * 召回率) / (准确率 + 召回率)F1值的计算综合考虑了准确率和召回率，可以帮助我们更全面地评估句法分析系统的性能。
4. 未标记依存度（Unlabeled Attachment Score, UAS）未标记依存度是句法分析中常用的评估指标之一，它用于评估句法分析系统对句子中依存关系的识别能力。
未标记依存度的计算公式如下：UAS = 系统正确识别的依存关系数量 / 总依存关系数量未标记依存度可以帮助我们评估句法分析系统对句子中依存关系的识别准确度，是评估系统性能的重要指标之一。
统计学在自然语言处理中的应用
统计学在自然语言处理中的应用自然语言处理(Natural Language Processing, NLP)是人工智能领域的一个重要子领域，旨在让计算机能够理解、处理和生成人类语言。
统计学是NLP中一种重要的数学工具，通过概率统计的方法分析语言数据，为NLP任务提供支持和解决方案。
一、语言模型语言模型是NLP中一个基础且重要的任务，其目标是估计一句话在语言中出现的概率。
通过统计方法，可以根据给定的文本数据，利用马尔科夫假设、n-gram模型等建立语言模型。
语言模型可以用于自动文本生成、机器翻译、拼写校正等任务中。
二、词法分析词法分析是将自然语言文本转化为有意义的词语序列的过程。
统计学在词法分析中发挥了重要作用，如基于统计的分词方法、词性标注和命名实体识别等。
这些方法通过统计分析大规模的语料库，学习词语和句子的统计特征，从而提高分词、词性标注和命名实体识别的准确性。
三、句法分析句法分析是研究句子结构的任务，其目标是确定句子中各个词语的句法关系，如主谓关系、动宾关系等。
统计学在句法分析中起到了重要的作用，如基于统计的PCFG（Probabilistic Context-Free Grammar）模型、条件随机场(CRF)等。
这些统计模型通过学习大量句子的统计规律，能够自动学习和预测句子的句法结构。
四、语义理解语义理解是研究句子意义的任务，包括词义消歧、语义角色标注、情感分析等。
统计学在语义理解中发挥了重要作用，如基于统计的词向量表示、词义排名算法和情感分类模型等。
这些统计方法通过统计分析大规模的语料库，学习词语和句子的语义特征，从而提高语义理解的准确性。
五、机器翻译机器翻译是将一种语言的文本自动转化为另一种语言的任务，统计学在机器翻译中起到了重要的作用。
基于统计学的机器翻译方法，如基于短语的模型、基于句法的模型和神经网络机器翻译，通过统计分析平行语料库，学习源语言和目标语言之间的统计规律，从而实现自动的机器翻译。
自然语言处理中常见的句法分析方法(五)
自然语言处理（Natural Language Processing, NLP）是一门涉及人工智能和语言学的交叉学科，其目的是使计算机能够理解、解释和处理人类语言。
句法分析是NLP中的一个重要环节，它的作用是分析句子的结构和语法关系，以便计算机能够理解句子的意思并进行后续处理。
一、基于规则的句法分析方法最早的句法分析方法是基于规则的方法，它通过事先定义的语法规则和句法树结构来分析句子的语法结构。
这种方法的优点是准确性高，但缺点是需要大量的人工编写规则，并且对于复杂的句子结构很难覆盖所有情况。
因此，基于规则的句法分析方法在实际应用中并不常见。
二、基于统计的句法分析方法随着机器学习技术的发展，基于统计的句法分析方法逐渐兴起。
这种方法利用大量的语料库数据进行训练，通过统计分析词语之间的关系来推断句子的语法结构。
其中，最为典型的方法是基于PCFG（Probabilistic Context-Free Grammar）的句法分析方法。
PCFG利用统计概率来表示语法规则的权重，从而能够更准确地分析句子的语法结构。
三、基于神经网络的句法分析方法近年来，随着深度学习技术的发展，基于神经网络的句法分析方法逐渐成为研究热点。
这种方法利用神经网络模型来学习句子的语法结构，并通过反向传播算法进行训练。
其中，最为典型的方法是基于递归神经网络（Recursive NeuralNetwork, RNN）和长短期记忆网络（Long Short-Term Memory, LSTM）的句法分析方法。
这些方法能够充分利用句子中词语之间的上下文信息，并在一定程度上解决了传统方法中的一些问题。
四、基于混合模型的句法分析方法除了以上提到的几种方法之外，还有一些基于混合模型的句法分析方法。
这些方法将规则、统计和神经网络等不同的模型进行融合，以期望能够克服各自方法的局限性，提高句法分析的准确性和鲁棒性。
例如，一些研究者提出了将基于规则和统计的方法进行融合的句法分析方法，取得了一定的效果。
自然语言处理中的词法分析与句法分析
自然语言处理中的词法分析与句法分析词法分析（Lexical Analysis）是指将一个句子或文本切分成一个个独立的词（Token）的过程。
在自然语言处理中，词法分析主要包括以下几个步骤：1.分词（Tokenization）：将文本切分成词。
例如，将句子“我爱自然语言处理”切分成["我", "爱", "自然语言处理"]。
分词可以使用规则、统计方法或机器学习方法进行。
2.词性标注（Part-of-Speech Tagging）：为每个词标注其词性。
例如，将词语“自然语言处理”标注为“名词短语”，将词语“爱”标注为“动词”。
词性标注可以使用规则、统计方法或机器学习方法进行。
3.词形还原（Lemmatization）：将每个词还原为其基本形式。
例如，将动词的各种时态和语态还原为原形。
词形还原通常使用规则或基于词典的方法。
句法分析（Syntactic Analysis）是指对一个句子的结构进行分析，包括短语结构分析和依存关系分析。
句法分析的目标是确定句子中各词之间的语法关系。
在自然语言处理中，句法分析主要包括以下几个步骤：1.短语结构分析（Phrase Structure Parsing）：根据语法规则，将句子分解成短语（Phrase）。
短语结构分析可以使用基于规则的方法（如上下文无关文法）或基于统计的方法（如基于机器学习的方法）。
2.依存关系分析（Dependency Parsing）：确定句子中词与词之间的依存关系。
依存关系表示词与词之间的句法关系，如主谓关系、动宾关系等。
依存关系分析可以使用基于规则的方法或基于统计的方法。
词法分析和句法分析是自然语言处理中两个重要的步骤。
词法分析解决了单词划分和词性标注的问题，为后续的句法分析提供了基本的信息。
句法分析则进一步对句子的结构和语法关系进行了深入分析，为理解句子的意义和进行更高级的语义分析奠定了基础。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
概率句法分析哈工大信息检索研究室 2004年春PCFG (Probabilistic Context Free Grammars)Chomsky hierarchy• 0-型（无约束文法）– 无限制• 1-型（上下文相关文法）– αAβ -> αγβ• 2-型（上下文无关文法）– A -> γ• 3-型（正规文法）– A -> aB – A -> aMotivation• N-gram和HMM只能处理线性序列 • 用这些方法对句子进行分析时，面临这 一些问题 • The velocity of the seismic waves rises to • 如何解决这种“矛盾”？Motivation• The velocity of the seismic waves rises to• 自然语言是一种非线性的符号序列 • 句子结构表现为复杂的嵌套性Context Free Grammar• • • • • • (a) S NP, VP. (b) NP Det, Noun. (c) VP Verb, NP. (d) VP VP, PP. (e) PP Prep, NP. (f) Det [the]. (g) Det [a]. (h) Noun [boy]. (i) Noun [dog]. (j) Noun [rod]. (k) Verb [hits]. (l) Prep [with].CFGS NP VP Verb Det Noun Det NP Noun Prep Det VP PP NP Nountheboy hitsthedog witharodPCFG• 将CFG进行扩展，给每条规则一个概率 值，就得到了PCFG• 对于循环嵌套的树型结构，PCFG是最 简单的一种概率模型Notation• • • • • • • G：语法 L：由语法G生成的语言 t：句法分析树 {N1, …, Nn}： 非终结点集合，N1是开始符号 {w1, …, wV}：终结点集合 w1…wm ：句子序列 Njpq：wp到wq的非终结点Formal Definition of a PCFG• • • • 终结点集合, {wk}, k= 1,…,V 非终结点集合，Ni, i= 1,…, n 指定的开始符号，N1 规则集{Ni → ξj}, (ξj 是终结点和非终结 点序列)– 并且满足∀i Σj P(Ni → ξj) = 1A example• astronomers saw stars with earsAssumptions• 位置无关– 子树的概率与构成子树所在的位置无关 – 类似于HMM中的时间无关• 上下文无关– 子树的概率与子树以外的词无关• 祖先无关– 子树的概率与子树以外的节点无关计算句子及分析树的概率• 句子的分析树T的概率 • P(T) = Πi=1..k p(r(i))– r(1), …, r(k)是CFG的规则• 由语法G生成的句子w1m的概率 P(w1m) = Σt P(w1m,t) = Σ{t: yield(t)=w1m} P(t)– t 是句子的分析树规则的概率• 规则 r: A → α • RA ：左边为非终结点Nj 的所有规则的 集合 • 则RA 的概率分布 Σr∈ R p(r) = 1, 0 ≤ p(r)≤ 1 • 从另一个角度– p(α | A)=p(r), – 其中 r = A → α ， α ∈(N∪T)规则概率估计• 根据树库应用极大似然估计(MLE) • 规则r： A → α 1 α 2… α k，其概率• p(r) = c(r) / c(A)– c(r)：规则r在树库中出现的次数 – c(A)：非终结点Nj在树库中出现的次数 – 即c(A)= Σγ c(A → α)An example of PCFGPCFG的三个问题• 同HMM类似，PCFG也有三个基本问题– 已有语法G，计算由该语法生成的句子w1m 的概率P( w1m|G) – 寻找句子w1m的最可能的分析树P(t| w1m,G) – 已知句子w1m ，如何确定语法G，即计算规 则的概率，使句子的概率最大 argmaxG P(w1m|G)HMMs和PCFGs• HMM中 • 用前向概率(forward probability)和后向概率 (backward probability)计算结点概率– αi(t) = P(w1(t-1),Xt = i) – βi(t) = P(wtT|Xt = i)• PCFG中 • 前向概率对应外部概率(outside probability) • 后向概率对应内部概率(inside probability)Inside and Outside ProbabilitiesInside and Outside Probabilities• Inside probability βi(p,q)是以Nj开始,生成序 列wpq的概率j β j ( p, q) = P( w pq | N pq , G )• Outside probability α i(p,q)是 以N1开始，生 成Nj及序列wpq以外的所有节点的概率j α j ( p, q) = P( w1( p −1) , N pq , w( q +1) m | G )Inside Probability•βj(p,q) = P(Nj ⇒* wpq)Njwp...wqInductionNjNrNswp … wdwd+1wqInduction•Base Case： ∀jj β j (k , k ) = P( wk | N kk , G ) = P( N j → wk | G )•InductionCalculation of inside Probabilities计算(2,5)的值 P(VP→V NP) βV(2,2) βNP(3,5) + P(VP→VP PP) βVP(2,3) βPP(4,5)Outside ProbabilitiesN 1f N pej N pqN (gq+1)ew1…wp-1 wp … wqwq+1 w we+1e…wmOutside ProbabilitiesN 1f N eqNg e ( p −1)j N pqw1…we-1 we … wp wp-1w wqq +1…wmInductionBase Case: α1(1,m)= 1; αj(1,m)=0 for j≠1 Induction: ,w ,N ,N ,N α ( p, q ) = [ ∑ ∑ P ( wm j f , g ≠ j e = q +1 p −1 1( p −1) ( q +1) m f pe j pqg ( q +1) e)+∑∑ P(wf , g e =11( p −1)f j , w( q +1) m , N eq , N eg( p −1) , N pq )]=[f , g ≠ j e = q +1 p −1∑ ∑ P( wf , g e =1m1( p −1)f j f , w( e +1) m , N pe ) × P( N pq , N (gq +1) e | N pe ) × P ( w( q +1) e | N (gq +1) e ) +∑∑ P(w=[f , g ≠ j e = q +11( e −1)f j f , w( q +1) m , N eq ) × P( N eg( p −1) , N pq | N eq ) × P( we ( p −1) | N eg( p −1) )]∑ ∑αp −1 fmf( p, e) P ( N f → N j N g ) β g (q + 1, e) +∑∑αf , g e =1(e, q )P ( N f → N g N j ) β g (e, p − 1)]计算序列的概率• Inside Algorithm 用Inside Probability计算整个序列的概率P ( w1m | G ) = P ( N ⇒ w1m | G )1 1 = P( w1m | N1m , G ) = β1 (1, m) *• Outside Algorithm 用Outside Probability计算整个序列的概率P (w1m| G ) = =∑jP (w1(k −1), wk, wj(k +1)m, Nkj kk| G )∑jαj(k , k )P (N→w)• Inside-Outside Algorithm P(w1m, Npq|G)= Σj αj(p,q) βj(p,q)最优路径• A Viterbi-style algorithm • HMM中，用δi(t)记录时刻t通过状态j的 路径的最大值 • PCFG中，用δi(p,q)记录子树Npqj 的最大 概率 • ψi(p,q) = (j, k, r)记录当前的最佳路径最优路径• 1. 初始化δi(p,p) = P(Ni → wp)• 2. 循环 • 计算子树最大概率 • δi(p,q) = max1≤j,k≤n,p≤r<qP(Ni → Nj Nk) δj(p,r) δk(r+1,q) • 记录路径 • ψi(p,q) =argmax(j,k,r)P(Ni → Nj Nk) δj(p,r) δk(r+1,q) • 3. 终止回溯P(ť)= δ1(1,m)Training a PCFG• 目标– 对已有的语法规则，赋给其最佳的概率，推导出 真实合理的语法• 限制– 预先提供语法规则，包括终结点，非终结点，开 始节点，并给每条规则赋予一个初始概率值（可 以是随机概率）• 方法– 在未标注的语料上，应用EM的方法训练，也叫 Inside-Outside Algorithm• 基本假设– 符合真实语法的句子更可能在训练语料中出现EM• 计算规则的概率• 根据初始语法分析句子，在所有的分析 结果中，统计每个规则出现的次数，然 后计算出规则的期望值Problems with the Inside-Outside Algorithm• 速度非常慢– O(m3n3), m 是句子的长度，n 是非终结点的 数量 – 需多次迭代• 容易陷入局部最大值 • 学习的规则同语言学知识可能相距甚远 • 从未标注的语料中的学习的语法并不理 想句法分析Why to parse?• 自然语言处理 • 分析句子的语法结构 • 解决语言中的句法歧义– saw (a cat with a telescope) – (saw a cat) with a telescope• PCFG中的第二、三个问题– 已知句子w1m ，如何确定语法G，即计算规则的概 率，使句子的概率最大 argmaxG P(w1m|G) – 寻找句子w1m的最可能的分析树P(t| w1m,G)How to parse?• • • 制定句法分析的规范 规范是指导性的，对象是人 人能够根据语义等知识标注出符合规范的句 子– (saw a cat) with a telescope 人先教给机器足够的知识 利用所学知识自动标注新的句子•机器不具备人的能力，要让机器代替人分析– –Rules or Statistics• 传授知识的方法– 基于规则的方法• 制定出面向机器的若干规则– 基于统计的方法• 人工标注语料，机器从语料库中自动获取知识• 统计方法表现得更有优势– 大规模的标注语料（Treebanks） – 机器学习算法• 获取知识的过程也是语法推导的过程– grammar induction – 每种语言对应一种语法Treebanks• 利用树库生成语法，树库越大越好 • 最常用的树库—Penn Treebank • Penn Treebank的一些特点：– Flat structure for NPs• Arizona real estate loans– 一些语法、 语义功能标记• -SBJ, -LOC, etc.– Empty nodes for gaps (“understood” subject)• Marked as *A Penn Treebank treePenn Treebank POS TagPenn Treebank Phrasal Categories• • • • • • • • • • • • • S: simple clause (sentence) SBAR: S’ clause with complementizer SBARQ: Wh S’ clause SQ: Yes/No question SINV: Declarative inverted sentence RRC: reduced relative clause ADJP: adjective phrase ADVP: adverbial phrase NP: noun phrase PP: prepositional phrase QP: quantifier phrase (in NP) VP: verb phrase CONJP: multiword conjunction phrases • • • • • • • • • • • WHNP: WH noun phrase WHPP: WH prepositional phrase WHADJP WHADVP UCP: unlike coordinated conjunction PRT: particle FRAG: fragment INTJ: interjection LST: list marker X: who knows? NAC: not a constituent groupingFunctional TagsParsing Models• 句法分析的任务是：输入一个句子，输出一个符合 给定语法的最可能分析结果 • 数学意义为一个概率评价函数，评价某个句法分析 结果（通常表示为语法树形式）是当前句子的正确 语法解释的概率 • 对于任意分析树 t ∈ T ,统计句法分析模型能够计算 出 t 的概率 p (t | S , G ) • 同时满足： ∑ p( t | S ,G ) = 1 t • 最佳分析结果: t’= arg max t P(t|S,G)– G为语法 – S为句子 – T为根据语法G对S的全部分析结果所组成的集合Building Models• 上下文无关文法的独立假设过于严格 • 上下文是很重要的信息，人在分析句子 的时候借助于上下文信息– 上下文的信息很多，结构信息更容易应用• 词汇包含着更为丰富的信息，只有用词 汇信息才可能解决一些语法歧义– 词汇信息太多，可以部分考虑词汇，比如 考虑头结点的词汇Structural Context• 主语和宾语位置的名词短语有着不同的 概率分布– – – – – – NP→PRP NP→NNP NP→DT NN NP→NN NP→NP SBAR NP→NP PP subj: 13.7% subj: 3.5% subj: 5.6% subj: 1.4% subj: 0.5% subj: 5.6% obj: 2.1% obj: 0.9% obj: 4.6% obj: 2.4% obj: 2.6% obj: 14.1%Structural Context• 做第一个宾语和第二个宾语的概率也不 同Lexicalization• PCFG中，规则的左部与词无关 • 对Penn Treebank中扩展VP的一些统计Lexicalized Tree ExampleLexicalized Tree Example(S{represents} (NP-SBJ{Blair}(NNP{John} John) (NNP{Blair} Blair)) (VP{represents} (VBZ{represents} represents) (NP {stations} (NP{stations} (QP{130} (RB{about} about) (CD{130} 130)) (JJ{local} local) (NN{television} television) (NNS{stations} stations)) (PP-LOC{in} (IN{in} in) (NP{placement} (NP{placement} (DT{the} the) (NN{placement} placement)) (PP{of} (IN{of} of) (NP{advertising} (ADJP{other} (JJ{national} national) (CC{and} and) (JJ{other} other)) (NN{advertising} advertising))))))) (. .))Phrase Structure Grammars(S (NP DaimlerChrysler’s shares) (VP rose (NUMP three eighths) (PP-NUM to 22) ) )。