分词方法基于字符串匹配的分词基于理解的分词基于统计的分词
中文分词技术在电子病历系统中的应用
中文分词技术在电子病历系统中的应用二〇一二年十月摘要电子病历（Electronic Medical Record，EMR）是医疗机构医务人员对门诊、住院患者临床诊疗和指导干预的、使用信息系统生成的文字、符号、图表、图形、数据、影像等数字化的医疗服务工作记录，是居民个人在医疗机构历次就诊过程中产生和被记录的完整、详细的临床信息资源，它可在医疗卫生服务中作为主要的信息源，取代纸张病历，医院通过电子病历以电子化方式记录患者就诊的信息，包括：首页、病程记录、检查检验结果、医嘱、手术记录、护理记录等等，其中既有结构化信息，也有非结构化的自由文本，还有图形图象信息，在医疗中作为主要的信息源，提供超越纸张病历的服务，满足医疗、法律和管理需求。
电子病历系统（Electronic Medical Record System, EMRs）是针对基于计算机和信息网络的电子病历进行采集、储存、传输、展现、检索、质量控制、统计和利用的系统。
为了进一步推进以电子病历为核心的医院信息化建设工作，提高医院信息化管理水平，截止2012年1月底，卫生部先后制定下发了《电子病历基本规范（试行）》、《电子病历系统功能规范（试行）》、《电子病历系统功能应用水平分级评价方法及标准》、《电子病历基本数据集（征求意见稿）》等法规和规范性文件。
在《电子病历系统功能规范（试行）》中明确了对电子病历书写需要将自然语言方式录入的医疗文书按照医学信息学的要求进行结构化以及对结构化数据的检索和统计进行了要求。
在《电子病历基本数据集（征求意见稿）》中进一步确定了电子病历数据进行数据交换的基本数据集模型。
由此可见电子病历的“结构化”是电子病历系统设计和实施的重点和难点。
本文将阐述如何通过在目前新版电子病历系统中引入中文分词技术，解决目前电子病历系统中电子病历数据的“结构化”难题，实现电子病历用户在实际应用中通过自然语言进行自由文本方式的输入的同时，能够通过计算机的辅助进行病历内容的结构化，为日后的查询、统计、数据交换提供基础。
jiba中文分词原理
jiba中⽂分词原理中⽂分词就是将⼀个汉字序列分成⼀个⼀个单独的词。
现有的分词算法有三⼤类：基于字符串匹配的分词：机械分词⽅法，它是按照⼀定的策略将待分析的字符串与⼀个充分⼤的机器词典中的词条进⾏匹配，若在词典中找到某个字符串，则匹配成功。
基于理解的分词⽅法：通过让计算机模拟⼈对句⼦的理解，达到识别词的效果，特点就是在分词的同时进⾏句法，语义的分析，利⽤句法信息和语义信息来处理歧义现象。
通常包括三个部分：分词⼦系统，句法语义⼦系统，总控部分。
基于统计的分词⽅法：给出⼤量的已经分词的⽂本，利⽤统计机器学习模型学习词语切分的规律称为训练，从⽽实现对未知⽂本的切分，例如最⼤概率分词⽅法和最⼤熵分词⽅法等。
随着⼤规模语料库的建⽴，统计机器学习⽅法的研究和发展，基于统计的中⽂分词⽅法渐渐成为了主流⽅法。
jieba⽀持三种分词模式：1.精确分词，试图将句⼦最精确的切开，适合⽂本分析。
2.全模式：把句⼦中所有的可以成词的词语都扫描出来，速度⾮常快，但是不能解决歧义。
3.搜索引擎模式：在精确模式的基础上，对长词再次切分，提⾼召回率，适合⽤于搜索引擎分词。
基本原理：1.基于字典树trie树结构实现⾼效的词图扫描，⽣成句⼦中汉字所有可能成词情况所构成的有向⽆环图（DAG)jieba分词⾃带了⼀个叫做dict.txt的词典，⾥⾯有2万多条词，包含了次条出现的次数和词性，这个⼀个条原理就是把这2万多条词语，放到⼀个trie树中，⽽trie树是有名的前缀树，也就是说⼀个词语的前⾯⼏个字⼀样，就表⽰他们具有相同的前缀。
具有查找速度快的优势。
2.采⽤了动态规划查找最⼤概率路径，找出基于词频的最⼤切分组合动态规划中，先查找待分词句⼦中已经切分好的词语，对该词语查找该词语出现的频率，如果没有该词，就把词典中出现频率最⼩的那个词语的频率作为该词的频率。
对句⼦从右到左反向极端最⼤概率，因为从右往左计算，正确率要⾼于从左往右计算，因为汉语句⼦的中⼼在后⾯，就是落在右边。
全文检索有哪些技术原理和过程
全⽂检索有哪些技术原理和过程 全⽂索引⽤于处理⼤⽂本集合，利⽤它⼈们可以在海量⽂本中快速获取需要的信息。
下⾯是店铺整理的全⽂索引的内容，欢迎阅读。
全⽂索引的介绍 全⽂索引技术是⽬前搜索引擎的关键技术。
试想在1M⼤⼩的⽂件中搜索⼀个词，可能需要⼏秒，在100M的⽂件中可能需要⼏⼗秒，如果在更⼤的⽂件中搜索那么就需要更⼤的系统开销，这样的开销是不现实的。
所以在这样的⽭盾下出现了全⽂索引技术，有时候有⼈叫倒排⽂档技术。
全⽂检索技术原理 原理是先定义⼀个词库，然后在⽂章中查找每个词条(term)出现的频率和位置，把这样的频率和位置信息按照词库的顺序归纳，这样就相当于对⽂件建⽴了⼀个以词库为⽬录的索引，这样查找某个词的时候就能很快的定位到该词出现的位置。
问题在处理英⽂⽂档的时候显然这样的⽅式是⾮常好的，因为英⽂⾃然的被空格分成若⼲词，只要我们有⾜够⼤的词汇库就能很好的处理。
但是亚洲⽂字因为没有空格作为断词标志，所以就很难判断⼀个词，⽽且⼈们使⽤的词汇在不断的变化，⽽维护⼀个可扩展的词汇库的成本是很⾼的，所以问题出现了。
解决出现这样的问题使“分词”成为全⽂索引的关键技术。
⽬前有两种基本的⽅法： ⼆元法它把所有有可能的每两两汉字的组合看为⼀个词组，这样就没有维护词库的开销。
词库法它使使⽤词库中的词作为切分的标准，这样也出现了词库跟不上词汇发展的问题，除⾮你维护词库。
实际上现在很多著名的搜索引擎都使⽤了多种分词的办法，⽐如“正向最⼤匹配”+“逆向最⼤匹配”，基于统计学的新词识别，⾃动维护词库等技术，但是显然这样的技术还没有做到完美。
全⽂检索技术存储过程 ⽬前全⽂索引技术正⾛向⼈⼯智能化，也是发展的⽅向。
MicroSoft SqlServer 2000/2005 中的全⽂索引是由⼀系列存储过程来完成的，这些存储过程按先后顺序罗列如下： 1、启动数据库的全⽂索引服务存储过程：sp_fulltext_service 2、初始化全⽂索引存储过程：sp_fulltext_database 3、建⽴全⽂索引⽬录存储过程：sp_fulltext_catalog 4、在全⽂索引⽬录中添加删除表标记存储过程：sp_fulltext_table 5、在全⽂索引⽬录的表中添加或删除列标记存储过程：sp_fulltext_column 全⽂检索的技术 1概述 图书情报界对于检索语⾔的主流观点：⾃然语⾔检索是发展⽅向，信息检索要⾛⾃然语⾔道路;⼈⼯语⾔不适应⽹络环境;⽬前⾃然语⾔检索技术虽有缺点，但⼈⼯智能发展可使其逐步达到完善，满⾜检索的要求。
中文分词相关技术简介
中文分词相关技术简介目前对汉语分词方法的研究主要有三个方面：基于规则的分词方法、基于统计的分词方法和基于理解的分词方法。
基于规则的分词方法基于规则的分词方法，这种方法又叫做机械分词方法,它是按照一定的策略将待分析的汉字串与一个"充分大的"机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。
常用的方法：最小匹配算法(Minimum Matching)，正向(逆向)最大匹配法(Maximum Matching)，逐字匹配算法,神经网络法、联想一回溯法，基于N-最短路径分词算法,以及可以相互组合，例如,可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法等。
目前机械式分词占主流地位的是正向最大匹配法和逆向最大匹配法。
◆最小匹配算法在所有的分词算法中，最早研究的是最小匹配算法(Minimum Matching)，该算法从待比较字符串左边开始比较，先取前两个字符组成的字段与词典中的词进行比较，如果词典中有该词，则分出此词，继续从第三个字符开始取两个字符组成的字段进行比较，如果没有匹配到，则取前3个字符串组成的字段进行比较，依次类推，直到取的字符串的长度等于预先设定的阈值，如果还没有匹配成功，则从待处理字串的第二个字符开始比较，如此循环。
例如，"如果还没有匹配成功"，取出左边两个字组成的字段与词典进行比较，分出"如果"；再从"还"开始，取"还没"，字典中没有此词，继续取"还没有"，依次取到字段"还没有匹配"(假设阈值为5)，然后从"没"开始，取"没有"，如此循环直到字符串末尾为止。
这种方法的优点是速度快，但是准确率却不是很高，比如待处理字符串为"中华人民共和国"，此匹配算法分出的结果为：中华、人民、共和国，因此该方法基本上已经不被采用。
中文分词技术研究
分词算法一般有三类：基于字符串匹配、基于语义分析、基于统计。
复杂的分词程序会将各种算法结合起来以便提高准确率。
Lucene被很多公司用来提供站内搜索，但是Lucene本身并没有支持中文分词的组件，只是在Sandbox里面有两个组件支持中文分词：ChineseAnalyzer和CJKAnalyzer。
ChineseAnalyzer 采取一个字符一个字符切分的方法，例如"我想去北京天安门广场"用ChineseAnalyzer分词后结果为：我#想#去#北#京#天#安#门#广#场。
CJKAnalyzer 则是二元分词法，即将相邻的两个字当成一个词，同样前面那句用CJKAnalyzer 分词之后结果为：我想#想去#去北#北京#京天#天安#安门#门广#广场。
这两种分词方法都不支持中文和英文及数字混合的文本分词，例如：IBM T60HKU现在只要11000元就可以买到。
用上述两种分词方法建立索引，不管是搜索IBM还是11000都是没办法搜索到的。
另外，假如我们使用"服务器"作为关键字进行搜索时，只要文档包含"服务"和"器"就会出现在搜索结果中，但这显然是错误的。
因此，ChineseAnalyzer和CJKAnalyzer虽然能够简单实现中文的分词，但是在应用中仍然会感觉到诸多不便。
基于字符串匹配的分词算法用得很多的是正向最大匹配和逆向最大匹配。
其实这两种算法是大同小异的，只不过扫描的方向不同而已，但是逆向匹配的准确率会稍微高一些。
"我想去北京天安门广场"这句使用最大正向分词匹配分词结果：我#想去#北京#天安门广场。
这样分显然比ChineseAnalyzer和CJKAnalyzer来得准确，但是正向最大匹配是基于词典的，因此不同的词典对分词结果影响很大，比如有的词典里面会认为"北京天安门"是一个词，那么上面那句的分词结果则是：我#想去#北京天安门#广场。
网络文本分析法的优势
网络文本分析法的优势文本处理的方法当下的一些网络文本分析的难点：1）数据是实时动态变化的，比如一些博客、评论、聊天信息等刷新速度特别快，并且数量庞大2）存在这一些短文本的文本数量较少，包含的有效信息也比较小，但是特征集的维数很高，这就导致了很难从中抽取准确的特征来进行文本分类。
3）一些新兴的网络词，比如童鞋、屌丝、v587等，包含的文本噪声信息较多。
文本的打标即标识出那些比较重要性的关键词概念：词频-逆向文件频率（TF-IDF）TF-IDF=TF*IDFTF:代表的是单个词在对应文章中出现的频率IDF:代表的是某个词语T的文章占总文章集合的百分比目前的分词方法1.基于字符串匹配和规则的分词方法（机械分词法）与字典的进行匹配：存在的问题是对词典的依赖性较大，分词的效果的词义偏差较大，不能识别一些新的登陆词其中按照是否与词性标注相结合，又可以分为单纯分词方法和与标注相结合的方法。
2.基于统计的分词方法：只需要对语料中的字信息进行统计，不需要切分词典。
主要常用的统计量和统计模型：互信息、最大熵模型、隐马尔科夫模型等。
存在的问题是：仍然存在着很大的分词歧义。
利用词和词之前的联合出现概率作为分词判断的信息。
3.基于理解的分词方法基本思想是：在分词的同时进行语法、语义分析、利用句法信息和语义信息来解决歧义的现象。
a.基于隐马尔可夫模型的词标注中文分词法b.基于层叠的因马尔科夫模型的汉语词法分析方法c.神经网络方法d.深度学习的方法4.基于深度学习的短文本分析文本分类的效果的评价准确率：所有预测正确的样本/总的样本精准率：将正类预测为正类/所有预测为正类召回率：将正类预测为正类/所有正真的正类F1值：准确率召回率2/(正确率+召回率）相关工具1.word2vector2.标签云3.倾向性分析4.结巴分词结巴分词支持的三种分词模式：1）精确模式：适合文本分析2）全模式：把句子中的所有可以成词的词语都扫描出来，速度很快，但是不能解决歧义3）搜索引擎模式名字啊精确模式的基础上，在对长词进行切分，提高召回率，适合搜索引擎分词。
汉语分词简介
汉语分词
3
主要的分词方法（一）
基于字符串匹配的分词方法：按照一定的策略将待分 析的汉字串与一个“充分大的”机器词典中的词条进 行配，若在词典中找到某个字符串，则匹配成功 。可 以切分, 否则不予切分。 实现简单, 实用性强, 但机械分词法的最大的缺点就是 词典的完备性不能得到保证。 a. 正向最大匹配（由左到右的方向） b. 逆向最大匹配法（由右到左的方向） c. 最少切分（使每一句中切出的词数最小） d. 双向匹配法（进行由左到右、由右到左两次扫描）
汉语分词
16
未登录词识别的方法
统计的方法：根据相邻词同现的次数来统计得到各类 用字、词的频率。优点：占用的资源少、速度快、效 率高；缺点：准确率较低、系统开销大、搜集合理的 有代表性的统计源的工作本身也较难。 基于规则的方法：核心是根据语言学原理和知识制定 一系列规则。优点：识别较准确；缺点：很难列举所 有规则，规则之间往往会顾此失彼，产生冲突，系统 庞大、复杂，耗费资源多但效率却不高 两者融合：取长补短。即在规则中加入了统计信息或 在统计方法过后又用到过滤规则以提高新词总体的识 别效果
汉语分词 15
未登录词（OOV）
虽然一般的词典都能覆盖大多数的词语，但有 相当一部分的词语不可能穷尽地收入系统词典 中，这些词语称为未登录词或新词 分类：
专有名词：人名、地名、机构名称、商标名 网络语：“给力”、“神马” 重叠词：“高高兴兴”、“研究研究” 派生词：“一次性用品” 与领域相关的术语：“互联网”、“排气量 ”
汉语分词 18
汉语分词
19
汉语分词 9
主要的分词方法（三）
基于统计的分词方法 ：基本原理是根据字符串 在语料库中出现的统计频率来决定其是否构成 词 无词典分词法也有一定的局限性, 会经常抽出 一些共现频度高、但并不是词的常用字符串, , 如“这一”、“之一”以及“提供了”等等。 在实际应用的统计分词系统中都要使用一部基 本的分词词典(常用词词典)进行串匹配分词, 即将字符串的词频统计和字符串匹配结合起来, 既发挥匹配分词切分速度快、效率高的特点, 又利用了无词典分词结合上下文识别生词、自 动消除歧义的优点。
实验报告-中文分词参考模板
实验报告1 双向匹配中文分词•小组信息目录摘要--------------------------------------------------------------------------------------- 1理论描述--------------------------------------------------------------------------------- 1算法描述--------------------------------------------------------------------------------- 2详例描述--------------------------------------------------------------------------------- 3软件演示--------------------------------------------------------------------------------- 4总结--------------------------------------------------------------------------------------- 6•摘要这次实验的内容是中文分词，现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。
而我们用到的分词算法是基于字符串的分词方法（又称机械分词方法）中的正向最大匹配算法和逆向匹配算法。
一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少。
统计结果表明，单纯使用正向最大匹配的错误率为1/169，单纯使用逆向最大匹配的错误率为1/245。
•理论描述中文分词指的是将一个汉字序列切分成一个一个单独的词。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
中文分词对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页 中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排 在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结 果的相关度排序。从定性分析来说，搜索引擎的分词算法不同，词库的不同都会影
响页面的返回结果。
三种分词算法的差异
分词方法
歧义识别 新词识别
需要词典 需要语料库 需要规则库
基于字符串匹配的分词 基于理解的分 词 差 强 差 强 需要 不需要 不需要 不需要 不需要 需要
基于统计的分词
强 强
不需要 需要 不需要
算法复杂性
技术成熟度 实施难度 分词准确性 分词速度
容易
成熟 容易 一般 快
很难
不成熟 很难 准确 慢
一般
成熟 一般 较准 一般
分词算法
逐词遍历法： 逐词遍历法将词典中的所有词按由长到短的顺序在文章中逐字 搜索,直至文章结束。也就是说,不管文章有多短,词典有多大,都 要将词典遍历一遍。这种方法效率比较低，大一点的系统一般 都不使用 基于知识理解的分词方法。 该方法主要基于句法、语法分析，并结合语义分析，通过对上 下文内容所提供信息的分析对词进行定界，它通常包括三个部 分：分词子系统、句法语义子系统、总控部分。 在总控部分的协调下，分词子系统可以获得有关词、句子等的 句法和语义信息来对分词歧义进行判断。这类方法试图让机器 具有人类的理解能力，需要使用大量的语言知识和信息。 由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织 成机器可直接读取的形式。因此目前基于知识的分词系统还处 在试验阶段。
正向最大匹配法（由左到右的方向） 逆向最大匹配法（由右到左的方向） 最少切分（使每一句中切出的词数最小） 双向最大匹配法（进行由左到右、由右到左两次扫描）
正向最大匹配法（由左到右的方向）
又称作MM算法 其基本思想为：假定分词词典中 的最长词有i个汉字字符，则用被 处理文档的当前字串中的前i个字 作为匹配字段，查找字典。若字 典中存在这样的一个i字词，则匹 配成功，匹配字段被作为一个词 切分出来。如果词典中找不到这 样的一个i字词，则匹配失败，将 匹配字段中的最后一个字去掉， 对剩下的字串重新进行匹配处 理…… 如此进行下去，直到匹 配成功，即切分出一个词或剩余 字串的长度为零为止。这样就完 成了一轮匹配，然后取下一个i字 字串进行匹配处理，直到文档被 扫描完为止。
基于匹配的分词方法
逆向最大匹配法通常简称为ＲＭＭ法。ＲＭＭ法的基本原理与ＭＭ法相 同 ,不同的是分词切分的方向与MM法相反，而且使用的分词辞典也不同。 逆向最大匹配法从被处理文档的末端开始匹配扫描，每次取最末端的2i个 字符（i字字串）作为匹配字段，若匹配失败，则去掉匹配字段最前面的 一个字，继续匹配。相应地，它使用的分词词典是逆序词典，其中的每个 词条都将按逆序方式存放。在实际处理时，先将文档进行倒排处理，生成 逆序文档。然后，根据逆序词典，对逆序文档用正向最大匹配法处理即可。 由于汉语中偏正结构较多，若从后向前匹配，可以适当提高精确度。所以， 逆向最大匹配法比正向最大匹配法的误差要小。统计结果表明 ,单纯使用 正向最大匹配的错误率为 1/169,单纯使用逆向最大匹配的错误率为 1/245。例如切分字段“硕士研究生产”，正向最大匹配法的结果会是 “硕士研究生 / 产”，而逆向最大匹配法利用逆向扫描，可得到正确的 分词结果“硕士 / 研究 / 生产”。 最大匹配算法是一种基于分词词典的机械分词法，不能根据文档上下文的 语义特征来切分词语，对词典的依赖性较大，所以在实际使用时，难免会 造成一些分词错误，为了提高系统分词的准确度，可以采用正向最大匹配 法和逆向最大匹配法相结合的分词方案。也就是双向匹配法
中文在基本文法上有其特殊性：
与英文为代表的拉丁语系语言相比，英文以空格作为天然的分隔符，而中文 汉字之间没有。
在中文里，“词”和“词组”边界模糊
中文分词概况
中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达 到电脑自动识别语句含义的效果。
中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来 明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。
基于字符串匹配的分词方法
这种方法又叫做Biblioteka 械分词方法，它是按照一定的策略将待分析的汉字串与一个“充
分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识 别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹 配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹 配。根据与词性标注过程是否相结合，又可以分为单纯分词方法和分词与标注相结 合的一体化方法。
分词算法分类
现有的分词算法可分为三大类：
基于字符串匹配的分词方法 基于理解的分词方法 基于统计的分词方法。
第一类方法应用词典匹配、汉语词法或其它汉语语言知识进行 分词，如：最大匹配法、最小分词方法等。这类方法简单、分 词效率较高,但汉语语言现象复杂丰富，词典的完备性、规则的 一致性等问题使其难以适应开放的大规模文本的分词处理。 第二类基于统计的分词方法则基于字和词的统计信息，如把相 邻字间的信息、词频及相应的共现信息等应用于分词，由于这 些信息是通过调查真实语料而取得的，因而基于统计的分词方 法具有较好的实用性，基于CRFs的分词方法就是有此延伸而来 。
中文分词相关研究
吕先超 20150108
目录
中文分词概况
分词算法 分词难点 已经存在的项目 基于CRFs的中文分词算法
中文分词概况
中文分词 (Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个 单独的词。词是最小的能够独立活动的有意义的语言成分，分词就是将连续的字序 列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之 间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单 划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不 过在词这一层上，中文比之英文要复杂的多、困难的多。中文分词是汉语自然语言 处理的基础性任务,分词的准确度直接影响到后续处理任务,分词的速度影响一些系 统的实际应用"因此，中文词语分析是中文信息处理的基础与关键。