计算语言学4 Neural Language Model(1)
计算语言学(CL)与自然语言处理(NLP)
通过文本挖掘技术对大量文本进行情感倾向性分析，应用于产品 评价、舆情监控等领域。
信息提取
从非结构化文本中提取出关键信息，如实体识别、关系抽取等，用 于构建知识图谱、智能推荐等。
搜索引擎
信息检索技术是实现搜索引擎的核心，通过高效的索引和查询算法 ，为用户提供准确的搜索结果。
其他领域应用及案例
。
计算语言学作为语言学与计算 机科学的交叉学科，为自然语 言处理提供了理论基础和技术
支持。
发展趋势及应用前景
深度学习技术在自然语言处理领域的应 用日益广泛，如循环神经网络（RNN ）、长短期记忆网络（LSTM）和自注
意力机制（Self-Attention）等。
随着预训练语言模型（如BERT、GPT 系列）的兴起，自然语言处理任务在性
和高效性能。
无监督与半监督学习
利用大量未标注数据进行无监督或半 监督学习，减少对标注数据的依赖。
多模态融合
探索将文本、图像、音频等多种模态 信息融合的方法，提高NLP系统的理 解和生成能力。
THANKS。
编程语言与编译原理
研究计算机编程语言的语法、 语义和编译技术，实现人类与 计算机之间的交互。
算法与数据结构
研究如何有效地组织和处理数 据，以及设计解决问题的算法 。
操作系统
管理计算机硬件与软件资源， 为应用程序提供运行环境和服 务。
数据库与信息系统
研究如何有效地存储、管理和 检索大量数据，以及构建基于 数据库的信息系统。
自然语言生成
根据特定主题或要求，自动生成 结构合理、语义通顺的自然语言 文本，应用于新闻报道、文学创 作等领域。
对话系统
实现更加自然、流畅的人机对话 ，提高用户体验和满意度，应用 于智能家居、智能车载等领域。
计算语言学
计算语言学计算语言学（computationallanguagetry）是20世纪80年代后期发展起来的一门语言学新分支。
它将语言的自然属性与功能性计算结合在一起，它从信息论的观点出发，用计算机去处理语言的各种特征和规律，因此也称为信息处理语言学。
目前，这一领域已经成为国际上语言学研究中的一个热点。
因为随着语言理解技术的不断改进，需要处理的信息越来越多，计算机的速度、容量等指标也不断提高，因此对语言理解算法的研究也逐渐引起了人们的重视。
对于计算机而言，从本质上看，它就是一种代码，如同程序员所编写的源程序一样。
但是，计算机是由人来控制的，它可以依据人的指令对数据进行加工和运算，实现特定的功能。
也就是说，计算机只能按照人事先确定的方式来执行，无法根据客观实际情况来作出相应的改变。
1、认知主义和行为主义。
语言学中一般把计算语言学分成两大派别：认知主义和行为主义。
认知主义的主要观点是：语言是知识系统的一部分，语言是我们从事交际活动的工具。
语言是在人脑中表示意义的符号系统，是外界事物的概括的反映，并借助词的形式表现出来。
行为主义的主要观点是：语言是人类交际过程中约定俗成的，符号形式能够描述人们所指的客观世界的思维过程。
人们使用语言来进行交际，是通过手势或面部表情表达他们的内心思想感情的。
他们把人的语言看作是一种人造的符号系统，其作用仅仅是向外部世界传递信息。
2、神经科学和心理语言学。
20世纪70年代以后，计算机和信息论的研究蓬勃兴起，并与人类语言学的研究产生了紧密的联系。
人们逐步发现，计算机的行为模式直接来自人的行为模式，即直接来自于大脑的某些脑区。
人脑的某些脑区被称之为高级认知中心，具有推理、解决问题、记忆和逻辑判断等功能，其主要功能是对外界事物的知觉、学习、记忆、存贮和对事物的归类，并做出适当的行为反应。
计算机是电子设备，电子设备在很大程度上都是按照人们事先制定的程序设计的，这样就保证了整个计算机的操作必须严格按照人们事先确定的规则来执行。
人工智能导论-第四课自然语言处理
研究表示，在大脑皮层中局部回路的基本连接 可以通过一系列的互联规则所捕获，而且这些 规则在大脑皮层中处于不断循环之中。
模拟人脑利用历史信息来做决策
两种不同神经网络的缩写。
时间递归神经网络（recurrent neural network） 结构递归神经网络（recursive neural network）
无法对词向量做比较，任意两个词之间都是孤立的
34
自然语言处理
词向量
使用上下文来表示单词
使用共现矩阵(Cooccurrence matrix) 一个基于窗口的共现矩阵例子
窗口长度是1（一般是5-10） 语料样例
▪ I like deep learning. ▪ I like NLP. ▪ I enjoy flying
7
卷积神经网络 卷积网络训练过程
反向传播过程
从高层到底层，逐层进行分析
光栅化层 ▪ 从上一层传过来的残差为
▪ 重新整理成为一系列矩阵即可，若上一层 Q 有 q 个 池化核，则传播到池化层的残差为
8
卷积神经网络 卷积网络训练过程
反向传播过程
从高层到底层，逐层进行分析
池化层 ▪ 应池化过程中常用的两种池化方案，反传残差的时 候也有两种上采样方案 ▪ 最大池化：将1个点的残差直接拷贝到4个点。 ▪ 均值池化：将1个点的残差平均到4个点。 ▪ 传播到卷积层的残差为
9
卷积神经网络 卷积网络训练过程
反向传播过程
从高层到底层，逐层进行分析
卷积层 ▪ 卷积层有参数，所以卷积层的反传过程需要更新权 值，并反传残差。 ▪ 先考虑权值更新，考虑卷积层某个“神经中枢”中 的第一个神经元 ▪ 多层感知器的梯度公式
3分钟带你看懂大语言模型基础知识
大语言模型（Large Language Models，LLMs）是人工智能领域的一种重要技术，主要用于处理和理解自然语言文本。
以下是关于大语言模型的基础知识简介：什么是大语言模型？大语言模型是一种基于深度学习的模型，它通过训练大量的文本数据来学习语言的规律，从而实现对自然语言的理解和生成。
这些模型通常包含数十亿甚至万亿的参数，因此被称为“大”模型。
大语言模型的工作原理是什么？大语言模型的工作原理基于神经网络，特别是循环神经网络（RNN）和变换器（Transformer）结构。
这些模型通过逐层传递信息，从输入文本中提取特征，并生成相应的输出。
在训练过程中，模型会调整其参数以最小化预测错误，从而提高对自然语言的理解和生成能力。
大语言模型有哪些应用场景？大语言模型在多个领域都有广泛的应用，如自然语言处理（NLP）、机器翻译、文本生成、聊天机器人等。
它们可以自动完成句子、生成摘要、回答问题、进行对话等，为用户提供更智能的服务。
大语言模型的优势和挑战是什么？优势：大语言模型具有强大的语言理解和生成能力，可以处理复杂的自然语言任务。
此外，随着数据量的增加和模型规模的扩大，其性能会不断提高。
挑战：大语言模型需要大量的计算资源和数据来训练，这使得其成本高昂。
此外，随着模型规模的扩大，训练时间也会显著增加。
此外，大语言模型在某些情况下可能会产生不准确的预测或产生误导性的输出。
大语言模型的未来发展趋势是什么？随着技术的不断进步和计算资源的日益丰富，大语言模型将继续向更大、更复杂的方向发展。
未来，我们可能会看到更多基于大语言模型的创新应用，如自然语言生成、情感分析、智能写作等。
同时，随着模型性能的提高，大语言模型将在更多领域发挥重要作用，为人类提供更智能、更便捷的服务。
总之，大语言模型是人工智能领域的一项重要技术，它在自然语言处理、机器翻译、文本生成等领域具有广泛的应用前景。
虽然目前还存在一些挑战和限制，但随着技术的不断进步和计算资源的日益丰富，大语言模型有望在未来发挥更大的作用。
large language model综述
一、介绍大型语言模型（large language model）是近年来人工智能领域的热门话题之一。
它是指采用深度学习技术训练得到的能够自动处理和理解自然语言的模型。
随着深度学习技术的发展，大型语言模型在自然语言处理、对话系统、翻译等领域展现出了巨大的潜力和应用前景。
本文将对大型语言模型进行综述，包括其定义、发展历程、应用领域以及未来发展方向。
二、定义大型语言模型是指由大规模语料库训练得到的能够自动处理和理解自然语言的模型。
其核心技术是深度学习，特别是基于神经网络的模型。
大型语言模型能够对自然语言进行语义理解、生成文本，甚至进行对话交互，是自然语言处理领域的重要技术支撑。
三、发展历程从早期的基于规则的自然语言处理技术到近年来的基于深度学习的大型语言模型，该领域经历了不断的发展和进步。
2018年，Open本人发布了首个大型语言模型GPT（Generative Pre-tr本人ned Transformer），引起了广泛关注。
随后，GPT-2、GPT-3等版本相继发布，模型规模不断扩大，性能不断提升。
Google、Facebook等公司也纷纷推出了自己的大型语言模型，加速了该领域的发展。
四、应用领域大型语言模型在自然语言处理、对话系统、翻译等领域有着广泛的应用。
在自然语言处理中，大型语言模型可以用于文本分类、情感分析、实体识别等任务；在对话系统中，大型语言模型可以实现智能问答、聊天对话等功能；在翻译领域，大型语言模型可以实现自动翻译、跨语言交流等功能。
大型语言模型还可以应用于知识图谱建设、搜索引擎优化等领域。
五、未来发展方向未来，大型语言模型将继续向着更大规模、更高性能的方向发展。
随着深度学习技术的不断进步，大型语言模型将会更加强大，能够处理更加复杂的自然语言任务。
大型语言模型还有望与其他人工智能技术结合，如计算机视觉、增强学习等，实现更加智能化的应用。
大型语言模型还有望应用于更多领域，如医疗、金融、教育等，为人类社会带来更多智能化的便利。
计算语言学4Part1_283305576
4.2. Estimating Probability of Sentences
1. Unigram approximation to Shakespeare
4.2. Estimating Probability of Sentences
4.2. Estimating Probability of Sentences
4.2. Estimating Probability of Sentences
bigram probabilities:
PROB(for|prepare)=0.17 PROB(leap|for)=0.0000011 PROB(in|leap)=0.096 PROB(the|in)=0.27 PROB(dark|the)=0.0017 PROB(lip|for)=0.0000022 PROB(in|lip)=0.016
/corpora.html English Language Corpora and Corpus resources
4.2. Estimating Probability of Sentences
unigram probabilities: PROB(prepare)= 0.000030 PROB(leap)=0.00001 PROB(the)=0.022 PROB(lip)=0.000016
4.1. Rationalism and Empiricism
歧义难以处理 List the sales of the products produced in 1973 with the products produced in 1972. (Martin et al. 1987) 455种可能的parse
Selectional restriction 当遇到比喻修辞时，变得非常脆弱
计算机语言学
1. 什么是计算机语言学？发展史？计算语言学：指的是这样一门学科，它通过建立形式化的数学模型来分析，处理自然语言，并在计算机上用程序来实现分析和处理的过程，从而达到一机器来模拟人的全部或者部分语言能力的目的。
计算语言学是利用电子数字计算机进行的语言分析。
虽然许多其他类型的语言分析也可以运用计算机，计算分析最常用于处理基本的语言数据－例如建立语音、词、词元素的搭配以及统计它们的频率。
计算语言学是语言学的一个研究分支，用计算技术和概念来阐述语言学和语音学问题。
已开发的领域包括自然语言处理，言语识别，自动翻译，语法的检测，以及许多需要统计分析的领域。
发展史：第一个时期是计算语言的萌芽期（1950 －1960年代）第二个时期是计算语言的发展期（1970 －1980年代）第三那个时期是计算语言的繁荣期（1990 －至今）2什么是语言资料库？它与语言知识库有什么区别？语言库在自然语言处理方面有什么应用？答：语料库顾名思义就是存放语言材料的仓库。
它是以电子计算机为载体承载语言知识的基础资源；语料库中存放的是在语言的实际使用中真实出现过的语言材料；真实语料需要经过加工（分析和处理），才能成为有用的资源；语言资料库与语言知识库的区别是：语料库是一种承载自然语言的形式，它的特点是以语言的真实材料为基础来呈现语言知识的。
语言知识库可以说是由专家从大量的实例中提炼、概括出来的系统的语言知识，语料库则基本上是以知识的原始形态表现出来。
在自然语言处理方面的应用如：基于大规模语料库的语音识别；基于大规模语料库的音字转换技术（中文输入）；基于大规模语料库的自动文本校对技术；利用语料库训练HMM模型进行分词，词性标注，词义标注等等；基于语料库的句法分析；局域原料库的机器翻译；基于机器学习技术，通过语料库获取语言知识，包括搭配特征，句法规则，等等；基于语料钜的语言模型训练以及语言模型的评价；3. 中文自动分词的重要性；举例说明分词算法中的主要难点有哪些类型？答：中文分词的重要性：首先自动分词是汉语信息处理系统的重要组成部分；其次，自动分词是中文信息处理的基础。
自然语言处理及计算语言学相关术语中英对译表三_计算机英语词汇
multilingual processing system 多语讯息处理系统multilingual translation 多语翻译multimedia 多媒体multi-media communication 多媒体通讯multiple inheritance 多重继承multistate logic 多态逻辑mutation 语音转换mutual exclusion 互斥mutual information 相互讯息nativist position 语法天生假说natural language 自然语言natural language processing (nlp) 自然语言处理natural language understanding 自然语言理解negation 否定negative sentence 否定句neologism 新词语nested structure 崁套结构network 网络neural network 类神经网络neurolinguistics 神经语言学neutralization 中立化n-gram n-连词n-gram modeling n-连词模型nlp (natural language processing) 自然语言处理node 节点nominalization 名物化nonce 暂用的non-finite 非限定non-finite clause 非限定式子句non-monotonic reasoning 非单调推理normal distribution 常态分布noun 名词noun phrase 名词组np (noun phrase) completeness 名词组完全性object 宾语{语言学}/对象{信息科学}object oriented programming 对象导向程序设计[面向对向的程序设计]official language 官方语言one-place predicate 一元述语on-line dictionary 线上查询词典 [联机词点]onomatopoeia 拟声词onset 节首音ontogeny 个体发生ontology 本体论open set 开放集operand 操作数 [操作对象]optimization 最佳化 [最优化]overgeneralization 过度概化overgeneration 过度衍生paradigmatic relation 聚合关系paralanguage 附语言parallel construction 并列结构parallel corpus 平行语料库parallel distributed processing (pdp) 平行分布处理paraphrase 转述 [释意;意译;同意互训]parole 言语parser 剖析器 [句法剖析程序]parsing 剖析part of speech (pos) 词类particle 语助词part-of relation part-of 关系part-of-speech tagging 词类标注pattern recognition 型样识别p-c (predicate-complement) insertion 述补中插pdp (parallel distributed processing) 平行分布处理perception 知觉perceptron 感觉器 [感知器]perceptual strategy 感知策略performative 行为句periphrasis 用独立词表达perlocutionary 语效性的permutation 移位petri net grammar petri 网语法philology 语文学phone 语音phoneme 音素phonemic analysis 因素分析phonemic stratum 音素层phonetics 语音学phonogram 音标phonology 声韵学 [音位学;广义语音学] phonotactics 音位排列理论phrasal verb 词组动词 [短语动词]phrase 词组 [短语]phrase marker 词组标记 [短语标记]pitch 音调pitch contour 调形变化pivot grammar 枢轴语法pivotal construction 承轴结构plausibility function 可能性函数pm (phrase marker) 词组标记 [短语标记] polysemy 多义性pos-tagging 词类标记postposition 方位词pp (preposition phrase) attachment 介词依附pragmatics 语用学precedence grammar 优先级语法precision 精确度predicate 述词predicate calculus 述词计算predicate logic 述词逻辑 [谓词逻辑]predicate-argument structure 述词论元结构prefix 前缀premodification 前置修饰preposition 介词prescriptive linguistics 规定语言学 [规范语言学] presentative sentence 引介句presupposition 前提principle of compositionality 语意合成性原理privative 二元对立的probabilistic parser 概率句法剖析程序problem solving 解决问题program 程序programming language 程序设计语言 [程序设计语言] proofreading system 校对系统proper name 专有名词prosody 节律prototype 原型pseudo-cleft sentence 准分裂句psycholinguistics 心理语言学punctuation 标点符号pushdown automata 下推自动机pushdown transducer 下推转换器qualification 后置修饰quantification 量化quantifier 范域词quantitative linguistics 计量语言学question answering system 问答系统queue 队列radical 字根 [词干;词根;部首;偏旁]radix of tuple 元组数基random access 随机存取rationalism 理性论rationalist (position) 理性论立场 [唯理论观点]reading laboratory 阅读实验室real time 实时real time control 实时控制 [实时控制]recursive transition network 递归转移网络reduplication 重叠词 [重复]reference 指涉referent 指称对象referential indices 指针referring expression 指涉词 [指示短语]register 缓存器[寄存器]{信息科学}/调高{语音学}/语言的场合层级{社会语言学}regular language 正规语言 [正则语言]relational database 关系型数据库 [关系数据库]relative clause 关系子句relaxation method 松弛法relevance 相关性restricted logic grammar 受限逻辑语法resumptive pronouns 复指代词retroactive inhibition 逆抑制rewriting rule 重写规则rheme 述位rhetorical structure 修辞结构rhetorics 修辞学robust 强健性robust processing 强健性处理robustness 强健性schema 基朴school grammar 教学语法scope 范域 [作用域;范围]script 脚本search mechanism 检索机制search space 检索空间searching route 检索路径 [搜索路径]second order predicate 二阶述词segmentation 分词segmentation marker 分段标志selectional restriction 选择限制semantic field 语意场semantic frame 语意架构semantic network 语意网络semantic representation 语意表征 [语义表示] semantic representation language 语意表征语言semantic restriction 语意限制semantic structure 语意结构semantics 语意学sememe 意素semiotics 符号学sender 发送者sensorimotor stage 感觉运动期sensory information 感官讯息 [感觉信息]sentence 句子sentence generator 句子产生器 [句子生成程序]sentence pattern 句型separation of homonyms 同音词区分sequence 序列serial order learning 顺序学习serial verb construction 连动结构set oriented semantic network 集合导向型语意网络 [面向集合型语意网络]sgml (standard generalized markup language) 结构化通用标记语言shift-reduce parsing 替换简化式剖析short term memory 短程记忆sign 信号signal processing technology 信号处理技术simple word 单纯词situation 情境situation semantics 情境语意学situational type 情境类型social context 社会环境sociolinguistics 社会语言学software engineering 软件工程 [软件工程]sort 排序speaker-independent speech recognition 非特定语者语音识别spectrum 频谱speech 口语speech act assignment 言语行为指定speech continuum 言语连续体speech disorder 语言失序 [言语缺失]speech recognition 语音辨识speech retrieval 语音检索speech situation 言谈情境 [言语情境]speech synthesis 语音合成speech translation system 语音翻译系统speech understanding system 语音理解系统spreading activation model 扩散激发模型standard deviation 标准差standard generalized markup language 标准通用标示语言start-bound complement 接头词state of affairs algebra 事态代数state transition diagram 状态转移图statement kernel 句核static attribute list 静态属性表statistical analysis 统计分析statistical linguistics 统计语言学statistical significance 统计意义stem 词干stimulus-response theory 刺激反应理论stochastic approach to parsing 概率式句法剖析 [句法剖析的随机方法]stop 爆破音stratificational grammar 阶层语法 [层级语法]string 字符串[串；字符串]string manipulation language 字符串操作语言string matching 字符串匹配 [字符串]structural ambiguity 结构歧义structural linguistics 结构语言学structural relation 结构关系structural transfer 结构转换structuralism 结构主义structure 结构structure sharing representation 结构共享表征subcategorization 次类划分 [下位范畴化] subjunctive 假设的sublanguage 子语言subordinate 从属关系subordinate clause 从属子句 [从句;子句] subordination 从属substitution rule 代换规则 [置换规则] substrate 底层语言suffix 后缀superordinate 上位的superstratum 上层语言suppletion 异型[不规则词型变化] suprasegmental 超音段的syllabification 音节划分syllable 音节syllable structure constraint 音节结构限制symbolization and verbalization 符号化与字句化synchronic 同步的synonym 同义词syntactic category 句法类别syntactic constituent 句法成分syntactic rule 语法规律 [句法规则]syntactic semantics 句法语意学syntagm 句段syntagmatic 组合关系 [结构段的;组合的] syntax 句法systemic grammar 系统语法tag 标记target language 目标语言 [目标语言]task sharing 课题分享 [任务共享] tautology 套套逻辑 [恒真式;重言式;同义反复] taxonomical hierarchy 分类阶层 [分类层次] telescopic compound 套装合并template 模板temporal inference 循序推理 [时序推理] temporal logic 时间逻辑 [时序逻辑] temporal marker 时貌标记tense 时态terminology 术语text 文本text analyzing 文本分析text coherence 文本一致性text generation 文本生成 [篇章生成]text linguistics 文本语言学text planning 文本规划text proofreading 文本校对text retrieval 文本检索text structure 文本结构 [篇章结构]text summarization 文本自动摘要 [篇章摘要] text understanding 文本理解text-to-speech 文本转语音thematic role 题旨角色thematic structure 题旨结构theorem 定理thesaurus 同义词辞典theta role 题旨角色theta-grid 题旨网格token 实类 [标记项]tone 音调tone language 音调语言tone sandhi 连调变换top-down 由上而下 [自顶向下]topic 主题topicalization 主题化 [话题化]trace 痕迹trace theory 痕迹理论training 训练transaction 异动 [处理单位]transcription 转写 [抄写;速记翻译]transducer 转换器transfer 转移transfer approach 转换方法transfer framework 转换框架transformation 变形 [转换]transformational grammar 变形语法 [转换语法] transitional state term set 转移状态项集合transitivity 及物性translation 翻译translation equivalence 翻译等值性translation memory 翻译记忆transparency 透明性tree 树状结构 [树]tree adjoining grammar 树形加接语法 [树连接语法] treebank 树图数据库[语法关系树库]trigram 三连词t-score t-数turing machine 杜林机 [图灵机]turing test 杜林测试 [图灵试验]type 类型type/token node 标记类型/实类节点type-feature structure 类型特征结构typology 类型学ultimate constituent 终端成分unbounded dependency 无界限依存underlying form 基底型式underlying structure 基底结构unification 连并 [合一]unification-based grammar 连并为本的语法 [基于合一的语法] universal grammar 普遍性语法universal instantiation 普遍例式universal quantifier 全称范域词unknown word 未知词 [未定义词]unrestricted grammar 非限制型语法usage flag 使用旗标user interface 使用者界面 [用户界面]valence grammar 结合价语法valence theory 结合价理论valency 结合价variance 变异数 [方差]verb 动词verb phrase 动词组 [动词短语]verb resultative compound 动补复合词verbal association 词语联想verbal phrase 动词组verbal production 言语生成vernacular 本地话v-o construction (verb-object) 动宾结构vocabulary 字汇vocabulary entry 词条vocal track 声道vocative 呼格voice recognition 声音辨识 [语音识别]vowel 元音vowel harmony 元音和谐 [元音和谐]waveform 波形weak verb 弱化动词whorfian hypothesis whorfian 假说word 词word frequency 词频word frequency distribution 词频分布word order 词序word segmentation 分词word segmentation standard for chinese 中文分词规范word segmentation unit 分词单位 [切词单位]word set 词集working memory 工作记忆 [工作存储区]world knowledge 世界知识writing system 书写系统x-bar theory x标杠理论 ["x"阶理论]zipf's law 利夫规律 [齐普夫定律]。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Model
2019/11/19
王小捷 智能科学与技术中心
北京邮电大学
绪论
1
大纲
• 引言 • 词表示 • Neural Probabilistic Language Model
(NPLM) • 总结
引言
•
N-gram语言模型中： P(w1T )
• 问题2
– 没有考虑词的相似性
• The cat is walking in the bedroom的训练样本对 A dog was running in a room的句子概率无贡献
– 没有相同的bigram
• 更细节：p(is/cat)和p(is/dog)无关
– cat 和 dog无关，所以两个概率无关，需分别找，因此， 在某些语料中，这两个值可能差别很大
w1
C ( w1 )
…
w2
C(w2 )
…
w|V |
C (w|V | )
|V | m维矩阵
…
• 2.神经模型
– 模型目标：训练一个映射 g 来建模n元语言模型， 即
g(C(xt ), C(xt1),.., C(xtn1);) P(C(xt ) | C(xt1),.., C(xtn1))
• 总参数个数
– |V|* (1+mn+h)+h*(1+ (n-1)m)
• 模型计算：对每一个输入的n元串
– 前向计算
• 隐层输入为：y=b+W*C(x)+Utanh(d+HC(x))
• 隐层输出为：
P(xt | xt1,...,wtn1)
e yxt e yxi
i
• 其中：C(x)是词x的向量表示
• A Neural Probabilistic Language Model，JMLR，2003
– M&H 2007，2008
• log-bilinear language (LBL) model
– Mikolov 2010，2013
• Recurrent neural network based language model
softmax
…
…
输出层|V|个神经元
…
C( … xtn1)
C xt n 1
C(xt … n2 ) … C(xt…1)
C xt n2
C xt 1
神经映射g
隐层h个神经元
词表式层 (t-1)×m个神经元
模型f
词表映射C
词层 ：t-1个词
• 整体模型的训练目标中把C也纳入，则为极
大化：
L 1
T
T
log g(C(xt ),C(xt1),..,C(xtn1);)
t 1
1 T
T
log
t 1
f (xt , xt1,..,xt ; n1 C,)
• 加上正则化项，则为：
L
1 T
T t 1
log
f (xt , xt1,..,
xt ; n1 C,) R(C,)
– 基于分布式表示的语言模型
p(w)|w1, w2,…wn) <==p(c(w)|c(w1),c(w2),…c(wn))
• NPLM获得的distributed表示从其获得表示时利 用的信息来看，是distributional类的方法，利 用上下文词来表示目标词
• 为何叫distributed： 与1个位置1个词(local)相对 应
One-hot
distributional
distributed 从distributional基于 SVD等降维
每一个维度的含义 一个词 一个词 不明 不明
利用什么信息 词本身 词的上下文 词的上下文 词的上下文
• 后面专门将词表示时再说，本处词表示是为了 引导出神经语言模型
• NPLM
– Bengio 2001，2003模型
…
…
输出层|V|个神经元
神经映射g
…
隐层h个神经元
…
……
…
词表式层 (t-1)×m个神经元
深度网络
• 合并词表映射与神经网络模型-2
给定C时有 : P(C(xt ) | C(xtn1),..,C(xt1)) P(xt | xtn1,..,xt1)
第i个神经元输出 P(xt wi | xtn1,..., xt1)
softmax
…
…
输出层|V|个神经元
虚线是从输入层到
输出层的直接连接
…
隐层h个神经元
…
C( xtn1)
……
C( xtn2 )
…
C ( xt1)
输入层 (n-1)×m个神经元
• 合并词表映射与神经网络模型-1
第i个神经元输出 P(xt wi | xtn1,..., xt1)
softmax
• fine
• 无论是one-hot 还是distributional 维度都很 高，词表维度，每一个维度表示一个词，
– one-hot ：该词本身 – distributional ：该词上下文中的词
• 高维的问题：维数灾难
• 降维
– 直接基于one-hot 或distributional 的降维方法很 多SVD分解等，后续LDA模型时再提
化了
• 词表示
– 符号表示
• cat、dog、table…
– 分布表示：一个词用一个多维向量表示
• One-hot：向量维数=词表大小
– (1,0,0,….), (0,1,0,……)…
• Distributional ：向量维数=词表大小
– 布尔式、频率式
• Distributional 词表示
• 参数集： (b,W,C,U, d, H)
– 反向随机梯度下降
log P(xt | xt1,...,wtn1)
• 为学习率
• 不在输入窗口中的Байду номын сангаас向量值不需要调整
• 混合模型
– 神经网络模型+插值trigram
• 算法的并行执行
•…
• 实验语料
训练语料规模
• 模型结构=1+2融合
– 1.词表映射
• 目标：对词表V 中的词(w1,…wi ,.. w|V|) 得到其m维向 量表示
• 实现方式
– 查表映射C：将任意词映射为一个m维向量
– 或者说是一个2层的神经网络(输入1个节点，输出m个节点)
C(x)
x
…
– 对于V中所有词：将V中第i词wi映射为C(wi)，简记为C(i)
– 则p(C(is)/C(cat)) 与 p(C(is)/C(dog)) 比 p(C(is)/C(cat)) 与 p(C(is)/C(he)) 更接近
• NPLM
– 利用m个神经元的状态组合(x1,x2,…,xm)编码词
• 例如：
– Cat C(cat)=(x11,x12,…,x1m) – Dog C(dog)=(x21,x22,…,x2m) – Table C(dog)=(x31,x32,…,x3m) –…
Brown语料 1,181,041词的前800000词
AP新闻 13,994,528词
发展语料规模(模型选择、 随后的200,000词 权重衰减、early stopping)
测试语料规模
其余181,041词
963,138词 963,071词
语料实际含的不同词 使用的词，即|V|
47,578(含标点、大小写不同、 148,721词 分割段落与文本的标记符)
• 其中 为神经网络参数
– 训练的目标是使得该n元模型对于测试词序列
x即1,极x2,小…化xT(：xi均PP为(C(词x1),表...,CV(x中T ))的 P词(C)(具x1),有...,C最(xT小))PT1 P值。
T
1
( P(C(xt ) | C(xt1),..,C(xtn1))) T
• 可否直接获得低维表示？
• 词表示
– 符号表示
• cat、dog、table…
– 分布表示：一个词用一个多维向量表示
• One-hot：向量维数=词表大小
– (1,0,0,….), (0,1,0,……)…
• Distributional ：向量维数=词表大小
– 布尔式、频率式 (下页)
• Distributed ：向量维数=指定大小
– 即极大化
t 1
L 1
T
T
log P(C(xt ) | C(xt1),..,C(xtn1))
t 1
1 T
T
log g(C(xt ),C(xt1),..,C(xtn1);)
t 1
• 神经网络结构
第i个神经元输出为 P(C(xt ) C(wi ) | C(xtn1),.., C(xt1))
• interpolated or smoothed trigram model (Jelinek and Mercer, 1980)
– state-of-the-art n-gram models
• back-off n-gram models with theModified Kneser-Ney algorithm (Kneser and Ney, 1995, Chen and Goodman., 1999)
• 模型参数
– 各层
• 词层n-1个节点，n元语法的n-1个历史词 • 词表示层(n-1)×m个节点，每个词用m维向量表示 • 隐层h个节点，阈值为d，h维 • 输出层|V|个节点，阈值为b，|V|维