自然语言理解-词典介绍
自然语言理解-词法分析
语言根据词的形态结构分类
分析型语言
– 没有专门表示语法意义的附加成分 – 汉语，藏语
黏着型语言
– 词内有专门表示语法意义的附加成分 – 芬兰语，日语
曲折性语言
– 用词的形态变化表示语法关系 – 英语，德语，法语
什么是词？
词是语言中最小的能独立运用的单位， 是信息处理的基本单位。
关键：能否在保证无切分盲点的前提 下，给出尽可能小的解空间
分词模型
阶段二——在解空间中求解
解决切分歧义的策略，大致有三： 基于规则 基于词频 基于隐Markov模型
阶段二:在解空间中求解
基于规则
这类研究吸取了人工智能及 专家系 囿于目前汉语parser的能力，任何期望倚 重parser作为解决歧义切分之手段的设想尚缺 乏现实的基础；
汉语双字动词的重叠形式
汉语单字动词的重叠形式
汉语其他词类的重叠形式
名词
– 哥哥，人人 – 山山水水，是是非非，方方面面，头头脑脑
数词
– 一一做了回答，两两结伴而来
量词
– 个个都是好样的，回回考满分
副词
– 常常，仅仅，的的确确
汉语重叠词的特点
汉语词能否重叠具有很强的个性特点
界定词的困难所在
– 单字词与语素之间的划界 – 词与短语之间的划界
汉语自动分词
– 把没有明显分界标志的字串自动切分为词串
背景
汉语的特点： 汉语是大字符集的语言
英语有26个字母，而常用的汉字就有六七千个，总数超 过五万
书面汉语的词与词之间没有明确的分 隔标记
背景
汉语中兼类现象严重
– 研究研究√ – 工作工作×
有些词重叠后词性发生了变化
python+NLTK自然语言学习处理五：词典资源
python+NLTK⾃然语⾔学习处理五：词典资源前⾯介绍了很多NLTK中携带的词典资源，这些词典资源对于我们处理⽂本是有⼤的作⽤的，⽐如实现这样⼀个功能，寻找由egivronl⼏个字母组成的单词。
且组成的单词每个字母的次数不得超过egivronl中字母出现的次数，每个单词的长度要⼤于6.要实现这样的⼀个功能，⾸先我们要调⽤FreqDist功能。
来得到样本字母中各个字母出现的次数puzzle_letters=nltk.FreqDist('egivrvonl')for k in puzzle_letters:print(k,puzzle_letters[k])得到如下结果：可以看出puzzle_letters其实是⼀个可迭代的对象，并且是以字典形式存在的，key值为字母，item为字母出现的次数e 1g 1i 1v 2r 1o 1n 1l 1那么我们是否可以通过FreqDist来⽐较两个单词的字母是否包含呢，来看下⾯的这个例⼦：对两个FreqDist对象进⾏⽐较print(nltk.FreqDist('eg')<=puzzle_letters)print(nltk.FreqDist('ae') <= puzzle_letters)运⾏结果：如果puzzle_letters包含前⾯被⽐较的对象，则会返回true,⽐如eg都包含在'egivrvonl'中，⽽ae尽管e包含在'egivrvonl'中，但是a并不存在，因此返回False.TrueFalse介绍了FreqDist的功能，那么我们⼤致已经清楚该如何实现我们的这个功能。
我们创建两个FreqDist对象，其中⼀个由egivronl组成。
其中由nltk.corpus.words.words()中的单词组成，将两个对象进⾏⽐较得到满⾜的单词puzzle_letters=nltk.FreqDist('egivrvonl')obligatory='r'wordlist=nltk.corpus.words.words()ret=[w for w in wordlist if len(w) >=6 and obligatory in w and nltk.FreqDist(w) <= puzzle_letters]print(ret)obligatory代表单词中必须包含r，然后通过w for w in wordlist if len(w) >=6 and obligatory in w and nltk.FreqDist(w) <= puzzle_letters来得到满⾜条件的单词：1 长度⼤于6 2 r包含在单词中 3 w单词中单词都来⾃于'egivrvonl'得到的结果如下：['glover', 'gorlin', 'govern', 'grovel', 'ignore', 'involver', 'lienor', 'linger', 'longer', 'lovering', 'noiler', 'overling', 'region', 'renvoi', 'revolving', 'ringle', 'roving', 'violer', 'virole']这个功能类似⼀个词谜游戏，通过NLTK中的功能与词典资源可以很轻松的得出结果。
自然语言( natural language)
Brief History
• 20世纪30年代初，法国科学家G.B.阿尔楚尼提出了用 机器来进行翻译的想法。 • 1933年，苏联发明家П.П.特罗扬斯基设计了把一种语 言翻译成另一种语言的机器，并在同年9月5日登记了 他的发明；但是，由于30年代技术水平还很低，他的 翻译机没有制成。 • 1946 年，第一台现代电子计算机 ENIAC 诞生。 • 美国科学家 W. Weaver 和英国工程师A. D. Booth 在讨 论电子计算机的应用范围时，于1947年提出了利用计 算机进行语言自动翻译的想法。 • 1949年，W. Weaver 发表《翻译备忘录》 ，正式提出 机器翻译的思想。
• It may be enriched by review of business process and system documentation, functional or technical specifications, data dictionaries, subject matter experts, or other sources of data knowledge. 每个知识源由条件部分和动作部分 组成，前者说明何时条件适用，而后者则处理相关 的黑板元素和生成新的黑板元素。 • Each knowledge source is organized as a condition part that specifies when it is applicable and an action part that processes relevant blackboard elements and generates new ones. 通过数据挖掘技术将计算实例提炼出来，作为一种 知识源参与到设计优化过程中去，将CAE从设计验 证层次提升到设计驱动层次。
文本表示
基于代数论的模型(Algebraic models)
基于概率统计的模型(Probabilistic models)
2.1 布尔模型-Boolean Model
从所使用的数学方法上分：
基于集合论的模型(Set Theoretic models)
������ 布尔模型(1) ������ 基于模糊集的模型(3) ������ 扩展布尔模型(4) ������ ������ ������ ������ ������ 向量空间模型(2) 潜在语义索引模型(5) 回归模型(6) 二元独立概率模型(7) 语言模型建模IR模型(8)
从所使用的数学方法上分：
基于集合论的模型(Set Theoretic models)
������ 布尔模型(1) ������ 基于模糊集的模型(3) ������ 扩展布尔模型(4) ������ ������ ������ ������ ������ 向量空间模型(2) 潜在语义索引模型(5) 回归模型(6) 二元独立概率模型(7) 语言模型建模IR模型(8)
1.3 基本问题
1.3 基本问题
2 文本表示方法介绍
文本表示意义
文本表示是指将实际的文本内容变成机器内部 表示结构。 可以用字、词、短语、n-Gram等形成向量或 树等结构。 文本表示包括2个问题：表示和计算，表示特 指特征的提取，计算指权重的定义和语义相似 度的定义。 该部分以信息检索为背景介绍文本表示。
2.1 布尔模型（4）
2.1 布尔模型（5）
布尔模型是基于集合论和布尔代数上的 一种简单模型，主要用于信息检索中。 布尔模型中，文档中索引特征项的权重 （w）是二值的，即：w属于{0，1}。 一个文档表示为文档中出现的特征集合， 也可以表示为特征空间上的一个向量， 向量中的每个分量权值为0或1。
自然语言理解讲义第三讲.
CS
NP N 张三 V 是 N 县长 V 派 V’ V 来
的
de 的
自顶向下分析法(14)：示例
S
NP VP NP
规则： (1) SNP VP (2) NPN (3) NPCS 的 (4) CSNP V' (5) VPV NP (6) V'V V
使用规则： NPN
CS
NP N 张三 V 是 N N 县长 V 派 V’ V 来
位置不变
自顶向下分析法(23) ：一种改进方法
算法 1. 选择当前状态：从可能状态列表中选择第一个状态，并称之为 C。从可能状态表中去掉C。若表为空，在算法失败。 2. 若C的符号表为空。如果位置指向句子末尾，则算法成功；如 果位置不指向句子末尾，则goto 1(回溯)。 3. 否则(若C的符号表不为空)，按下面方法产生新状态： 若C的符号表的第一个符号表示词性。如果句子的下一个词具 有该词性，则通过从C的符号表中去掉该符号并调整位置指针 来构造一新状态，然后将新状态加入可能状态列表；如果句 子的下一个词不具有该词性，则goto 1。 否则，若C的第一个符号为其他非终极符，为该符号的每条重 写规则产生一新状态，然后将所有这些新状态加入可能状态 列表。 goto 1.
使用规则： NPN
NP
N 张三 V 是 N 县长 V 派 V 来 de 的
自底向上分析法(4)
规则： (1) SNP VP (2) NPN (3) NPCS 的 (4) CSNP V' (5) VPV NP (6) V'V V
使用规则： NPN
NP
N 张三 V 是
NP N 县长 V 派 V 来 de 的
2
old
3
NLP课件(自然语言处理课件)
智能问答
根据用户提出的问题，自动检 索相关信息并生成简洁明了的 回答。
语音识别和合成
将人类语音转换成文本或将文 本转换成人类语音。
自然语言处理发展历程
早期阶段
以语言学为基础，研究 词语的形态、语法和语 义等。
统计方法阶段
引入统计学方法，利用 大规模语料库进行语言 模型的训练和应用。
深度学习阶段
借助深度学习技术，通 过神经网络模型实现更 复杂的自然语言处理任 务。
未来发展趋势预测
深度学习技术融合
随着深度学习技术的不断发展，未来 自然语言处理将更加注重与深度学习 技术的融合，利用神经网络模型提高 自然语言处理的性能。
知识图谱与语义网
随着知识图谱和语义网技术的不断发 展，未来自然语言处理将更加注重对 文本知识的表示和推理，以及对多源 异构数据的整合和分析。
多模态数据处理
问答系统定义
能自动回答用户提出的问题的系统。
问答系统原理
包括问题分析、信息检索、答案抽取与生成等步 骤。
问答系统实现技术
包括自然语言处理、机器学习、深度学习等技术。
典型案例分析
案例一
基于模板的问答系统，通过预定义模板匹配问题并返回相应答案。
案例二
基于知识图谱的问答系统，利用知识图谱中的实体和关系回答用 户问题。
案例二
基于Transformer的文本生成模型。该模型采用自注意力机 制和位置编码技术，能够生成具有丰富语义和连贯性的长 文本。
案例三
对话生成系统。该系统结合自然语言处理和深度学习技术， 能够根据用户输入的对话内容自动生成符合语境和语义规 则的回复。
08 总结与展望
自然语言处理技术总结
词汇级别处理
自然语言理解 教学大纲
自然语言理解教学大纲教材：自然语言理解赵海清华大学出版社第1章：自然语言处理概要1.概念和术语包括什么是自然语言、自然语言处理和自然语言理解的关系、以及计算语言学。
2.自然语言处理技术的挑战自然语言处理被迫需要承担两类知识一一常识知识与语言学知识的处理和解析任务。
后者属于自然语言处理这一领域独一无二的需求。
3.机器翻译4.语言处理层次形态分析、句法分析、语义分析、语用分析、篇章分析、世界知识分析5.应用型自然语言处理人机对话系统6.自然语言处理的学术出版体系国际计算语言学会(AC1)等第2章：n元语言模型1.概率论基础首先回顾概率论的基本知识，如联合概率、条件概率、贝叶斯等。
2.语言模型用于语言生成语言生成的过程称为解码。
n元语言模型给出的是n元组出现的概率，因此合理或正确的语言现象必然有更大的概率或似然，这一观察是语言模型能在预测性解码任务之中发挥作用的关键。
3.n元语言模型的工作方式n元机制、马尔可夫假设4.评价指标困惑度5.n元语言模型的平滑方法1aP1aCe平滑、Good-TUring平滑、Je1inek-MerCer平滑、KatZ平滑、KneSer-Ney平滑、Pitman-YOr平滑6.非n元机制的平滑方法缓存、跳词、聚类7.平滑方法的经验结果对比几种平滑技巧的组合效果，以及对比它们在困惑度和语音识别的单词准确率上的差异。
8.n元语言模型的建模工具介绍了一些常用的平滑工具包第3章：语言编码表示1.独热表示用独热码表示语言符号2.特征函数一个文本对象样本基于词一级的独热表示就是展示n元组本身，因此这个部分也称之为n元组特征，它也是自然语言最直接、最基本的特征。
3.通用特征模板在实际机器学习模型建立过程中，会用到成千上万维的特征向量，故而涉及成千上万个特征函数，如果这些函数要一个个定义，建模过程将会变得烦琐不堪。
因此，实际上，特征函数可以按照定义属性进行分组，这样统一定义的一组特征函数（对应于特征向量维度上的一个片段）称之为特征模板。
自然语言理解
• 书面理解的基本方法是：在计算机里贮 存一定的词汇、句法规则、语义规则、 推理规则和主题知识。语句输入后，计 算机自左至右逐词扫描，根据词典辨认 每个单词的词义和用法；根据句法规则 确定短语和句子的组合;根据语义规则和 推理规则获取输入句的含义;查询知识库， 根据主题知识和语句生成规则组织应答 输出。
2、句子分析
• 将语音转为文字或直接输入文字之后，要对句 子进行分析。 • （1）基于语法的句子分析 • “曹雪芹的代表作是三国演义吗？”计算机对 其进行自动切分，得出——“曹雪芹 的 代表作 是 三国演义 吗？”与此同时，计算机对其还 进行了自动标注。然后，计算机自左至右逐词 辨认。第一个词“曹雪芹”，查电子词典里有 没有这个词。如果没有，计算机会给出一个表 示不能分析的信号（比如打出一个“？”）； 如果有，就把这个词的注解记录下来：专有名 词、人名、清代人等等，再进行下一个分析。
• 进行到第三个词，得到“名词＋的＋名词”， 查句法规则库，如果没有这样的结构，就不能 分析；如果有，根据句法规则，得到“名词＋ 的＋名词＝Np”，语义规则随即加以解释。如 果解释不通，如错打成“曹雪芹的施耐庵”， 计算机又给出不能分析的信号。解释通了，继 续往下查，NP＋V。。。NP十V＋N，最后 得出NP十VP十0（名词短语+动词短语十疑 问词）。
• 根据句法规则，疑问词“吗”要求计算机对前面 的NP＋VP作出肯定或否定的回答。理解了这个 问句的语义与要求之后，计算机就转向知识库或 数据库查询。根据语义，NP＋VP的命题是： “曹舍芹的代表作”和“《三国演义》”是同一本 书，计算机要对这个命题的真假作出判断。如果 计算机在知识库或数据库查不到这方面的知识， 就只能回答“不知道”；如果查到了，得到了这 个命题为假的结果，于是计算机就在显示终端回 答： • “不是。曹雪芹的代表作是红楼梦。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
中古英语storie<古法语estoire<拉丁语historia n -ries (1)故事，小说；传闻；轶事
Please read us a story! 请给我们读个故事！
(2) 谎话，假话 (3)（书籍、电影、戏剧等的）情节 (4)（报刊、杂志文章的）素材，题材
机读词典的分类
新华社词语数据库· 国际组织
“２０００年问题”联合委员会/joint year 2000 council/ International “４· １９”运动/movement april19/ Colombia “阿尔法６６”/"alpha 66"/ Cuba “俄罗斯地区”社会联盟/regions of russiagroup/ Russia “法中－２０００年”协会/france-china association for the year 2000/ France “繁荣”党/prosperity/ Russia “光明的日本”国会议员联盟/parliamentary union for a bright japan/ Japan “基地”组织/al qaeda/ Saudi Arabia 《财富》杂志/fortune/ USA 《朝日新闻》/asahishimbun/ Japan 国际献血组织联合会/international federation of blood donor organizations/ International 国际宪法学协会/international association of constitutional law/ International 国际香料集团/international spice group/ International 经济和外贸部/ministry of economy and external trade of syria/ Syria 经济和外贸部/ministry of economy and foreign trade of egypt/ Egypt
知网（Hownet）2
打017144exercise|锻练,sport|体育 男人059349human|人,family|家,male|男 高兴029542aValue|属性值,circumstances|境况,happy|福,desired|良 生日072280time|时间,day|日,@ComeToWorld|问世,$congratulate|祝贺 写信089834write|写,ContentProduct=letter|信件 北京003815place|地方,capital|国都,ProperName|专,(China|中国) 爱好者000363human|人,*FondOf|喜欢,#WhileAway|消闲 必须004932{modality|语气} 串015204NounUnit|名量,&(grape|葡萄),&(key|钥匙) 从良016251cease|停做,content=(prostitution|卖淫) 打对折017317subtract|削减,patient=price|价格,commercial|商,(range| 幅度=50%) 儿童基金会024083part|部件,%institution|机构,politics|政,#young| 幼,#fund|资金,(institution|机构=UN|联合国)
新华社词语数据库· 人名
知网（Hownet）
作者：董振东董强 网站： 概念描述举例
NO.=017144 W_C=打 G_C=V E_C=~网球，~牌，~秋千，~太极，球~得很棒 W_E=play G_E=V E_E=DEF=exercise|锻练,sport|体育 其中DEF是核心，采用特定的“知识描述语言”
机读词典与人读词典
人读词典（Human Readable Dictionary）
格式不规范 数据完整性和一致性不好 非结构化 格式规范 数据完整性和一致性较好 结构化
机读词典（Machine Readable Dictionary）
人读词典（demo）
金山词霸
story
规模：7万多词条
名词 时间词 处所词 方位词 数词 量词 区别词 代词 动词 形容词 状态词 副词 介词 连词 助词 语气词 前接成分 后接成分 成语 简 称 略语 习用语 语素 标点符号 动词代词
词性分库
汉语语法信息词典· 总库
汉语语法信息词典· 动词库
汉语语法信息词典· 谓宾动词分 库
新华社词语数据库
全库分为中文和外文两个大类，主要包 括中文新闻库、经济信息库、证券库、 人物库、组织机构库、专题资料库等中 文数据库，还包括XinhuaNews Bulletin 、 Who’s Who in China等英文数据库。共 有28个库100多个子库，数据量达80多亿 汉字，并以日均150万汉字的速度增长。
Construction of dictionaries (databases, handbooks) construction and production of dictionaries using electronic publishing
计算词典编纂学computational lexicography
按信息类型分类
语法词典 语义词典（包括同义词典） 双语词典 …… 通用词典 专业词典（术语词典） 专名词典 ……
.按领域分类
汉语语法信息词典
开发单位：北京大学计算语言学研究所 参考文献：
俞士汶等（1998）《现代汉语语法信息词典详解》，清华大 学出版社、广西科学技术出版社1998年版。 总库 词性库
词典
词典与词典编纂的研究
词典学lexicology
Theory and description of lexical information formal modeling of lexical information
计算词典学computational lexicology
词典编纂学lexicography