海量中文智能分词技术白皮书

技术白皮书★保密★技术白皮书项目名称：__海量中文智能分词基础件______开发单位：_天津海量信息技术有限公司 ____目录序言 (2)第一章产品概述 (3)1.1产品简介 (3)1.2产品的适用范围 (3)1.3产品结构 (3)第二章产品技术特点 (4)2.1分词准确率高 (4)2.2分词效率高 (4)2.3功能接口丰富，使用灵活方便 (4)第三章产品功能介绍 (5)3.1分词功能模块的介绍 (5)3.2开发接口 (5)3.3功能列表 (6)第四章典型应用 (7)4.1KM知识管理系统 (7)4.2搜索引擎 (7)4.3辞书出版 (7)4.4信息服务 (8)4.5网站信息发布 (8)第五章产品性能指标 (8)第六章运行环境 (8)6.1WINDOWS (8)6.2LINUX (9)6.3UNIX (9)第七章成功案例 (9)7.1商务印书馆 (9)7.2慧聪搜索引擎 (10)7.3其他案例 (10)序言1.什么是中文分词?中文分词就是将连续的字序列按照一定的规范切分成词序列的过程。

众所周知，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段可以通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，但是在词这一层上，中文比之英文要复杂的多、困难的多。

2.中文分词的应用中文分词主要应用于信息检索、汉字的智能输入、中外文对译、中文校对、自动摘要、自动分类等很多方面。

下面就以信息检索为例来说明中文分词的应用。

通过近几年互联网的发展,互联网上的信息也在急剧膨胀，各类信息混杂在一起，要想充分利用这些信息资源就要对它们进行整理，如果面对中文信息不采用分词技术，那么整理的结果就过于粗糙，而导致资源的不可用，例如：“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去年有所增长”中都有“和服”，如果都作为一个词来处理，结果是检索“和服”的相关信息，会将他们都检索到。

很显然，检索到第一条信息是不恰当的。

通过引入分词技术，可以使机器对信息的整理更准确、更合理，在“制造业和服务业是两个不同的行业”中“和服”不会被当作一个词来处理，那么检索“和服”当然不会将它检索到，使得检索结果更准确，效率也会大幅度的提高。

3.中文分词的意义和作用要想说清楚中文分词的意义和作用，就不得不提到智能计算技术。

智能计算技术涉及的学科包括物理学、数学、计算机科学、电子机械、通讯、生理学、进化理论和心理学等等。

简单的说，智能计算就是让机器“能看会想，能听会讲”。

要想实现这样的一个目标，首先就要让机器理解人类的语言，只有机器理解了人类的语言文字，才能使人与机器的交流成为可能。

对于自然语言来讲，“词是最小的能够独立活动的有意义的语言成分”，所以对于中文来讲，将词确定下来是理解自然语言的第一步，只有跨越了这一步，中文才能像英文那样过渡到短语划分、概念抽取以及主题分析，以至于自然语言理解，最终达到智能计算的最高境界，实现人类的梦想。

中文分词是中文信息处理系统的基础，有着极其广泛的实际应用。

从基本的输入系统，到文字处理，以及语音合成，文本检索，文本分类，自然语言接口，自动文摘等等，无处不渗透着分词系统的应用。

分词系统的完善与应用，必将促进中文信息处理系统的广泛应用，换言之，也就提高了中文软件对于中文的处理能力，这也将使得计算机用户的日常工作的效率得以提高。

第一章产品概述1.1 产品简介海量中文智能分词基础件是海量在中文智能分词技术基础之上推出的分词准确、高效、接口方便灵活，便于二次开发的软件包，以及为使软件包在目标系统中实现最优品质而提供的特定服务。

其服务包括：目标系统架构咨询、辅助开发、技术培训、售后支持等。

海量中文分词融合了多种先进、经典的分词方法，采用独特的算法调度机制，形成复方的分词算法。

海量分词技术很好的解决了中文分词的两大技术难题，即：歧义切分和新词识别。

分词效果因此而获得大幅提升：分词准确率达到99.7％（北大语料封闭测试），同时，通过对分词底层代码的优化分词效率达到每分钟2000万汉字（测试环境为：PC单机 CPU：Amd 2500+；内存512M DDR），使得分词真正达到实用化的水平。

海量中文智能分词基础件在保留海量中文分词技术的优秀性能的前提下，提供了方便灵活的调用接口，以便于在其基础上的二次开发。

1.2 产品的适用范围作为中文信息处理的核心和汉语自然语言理解的基础，海量中文智能分词基础件有着广泛的应用前景。

主要应用领域有：1）信息检索领域如：全文检索、主题检索2）汉字处理领域如：智能拼音输入、手写识别输入、中文OCR 识别、自动校对、简繁转换3）语音处理领域如：语音合成、语音识别4）内容识别与分析领域如：信息摘录、自动文摘、自动标引、文本自动分类、自动过滤、数据挖掘5）自然语言理解领域如：机器翻译、自然语言接口1.3 产品结构第二章产品技术特点多年以来，中文分词技术一直是阻碍中文信息处理技术进一步发展的瓶颈。

因为词是能独立活动的有意义的最小语言单位。

在词的界定方面，中文不同于西文之处在于，西文词之间是有自然分隔符的，而中文却不具备，需要通过一定的技术手段进行处理，才能将词准确的分离出来，这就是分词技术。

所以，西文基本上不用经过分词就可以直接进入到检索技术、短语划分、语义分析等更高一层的技术领域，而对于中文，只有越过这个技术瓶颈问题，分词的准确率足够高、分词速度足够快，中文的信息处理技术才有可能和西文的信息处理技术在一个起跑线上。

分词是中文信息处理从字符处理水平向语义处理水平提升的关键技术之一，是中文智能计算技术的基础。

目前，中文分词技术普遍存在分词准确率低和分词效率不高两方面的问题，海量中文智能分词技术在这两方面都有所突破。

通过研究发现，中文自动分词准确率低主要受以下几方面因素的困扰：1）词表收录2）分词规范3）新词识别4）歧义切分从纯技术角度来看，新词识别和歧义切分是困扰分词的两大技术难点。

海量中文智能分词采用复方概念平衡各算法，使海量分词在大规模语料测试中的准确率达到了99.7%（北大语料封闭测试），分词效率2000 万字/分钟（测试环境为：PC单机 CPU：Amd 2500+；内存512M DDR），该指标目前处于国内领先水平，已经达到实用要求。

正因如此，海量承担了2000 年度国家863 计划课题——“智能信息内容分析方法研究”。

海量在中文分词技术基础之上推出了海量中文智能分词基础件，作为国内最优秀的中文智能分词产品，海量中文智能分词基础件具有以下特点：准切分准确率99.7%（北大语料封闭测试）快2000万字/分钟（测试环境为：PC单机 CPU：Amd 2500+；内存512M DDR）活丰富的功能接口，使用灵活方便，例如：系统外挂分词规范，用户可自定义。

2.1 分词准确率高海量分词算法借鉴复方的概念，集成各种算法解决同一个问题，发展了受限的隐马尔科夫模型, 使知识库的冗余大幅降低。

同时，在歧义切分和新词识别上投入了很大的力量。

海量分词综合采用了最大匹配法、逆向最大匹配法、单扫描分词法、有穷多层次列举法、二次扫描法、全切分、字标注的分词方法等等多种分词方法，规则和统计相结合，最终是多种切分方案的选优，从而获得较为准确的分词结果。

通过在北大语料库中的评测，其分词准确率达到99.7％。

2.2 分词效率高为了使分词能够达到实际应用的目的，海量对于该产品进行了效率优化工作。

主要体现在：1）对于分词算法进行优化，特别是调度算法的优化设计，可以有效的降低计算的复杂度；2）对于分词基础件进行代码级的优化，从程序的逻辑设计以及执行步骤上进行优化，关键环节用汇编进行了翻写，从而可以最大程度的提升分词效率。

通过以上的效率优化工作，分词效率达到每分钟2000万字，其测试环境为：PC单机 CPU：Amd 2500+；内存512M DDR2.3 功能接口丰富，使用灵活方便海量中文智能分词基础件提供了丰富的接口，以满足不同用户的需求。

主要接口包括：分词初始化，码制选择，是否检索优化，是否需要格式化，分词模式，加载用户自定义词典以及其他附加信息的输出等等。

通过这些接口的组合使用，可以满足目前所有的分词调用需求。

第三章产品功能介绍3.1 分词功能模块的介绍该产品的主要模块是中文分词模块，该模块可以实现将字序列的文本转化为词序列的文本。

3.2 开发接口海量中文智能分词功能基础件对外提供了四类接口：1.基本接口基本接口是使用本软件包所需的基本功能函数。

海量中文智能分词功能基础件提供的基本接口有四个：1)HLInitSeg：初始化海量分词系统，加载分词用数据，可在ANSI和UNICODE版本中使用。

2)HLUnInitSeg：卸载海量中文智能分词基础件，释放分词所占资源。

3)HLCreateSegHandle：创建自动中文分词结果句柄。

4)HLCloseSegHandle：关闭分词结果句柄，释放分词结果所占资源。

2. 分词接口分词接口是用来对指定字符串进行分词的接口。

海量中文智能分词功能基础件提供的分词接口有两个：1)HLSegment：对指定字符串进行分词。

2)HLSegmentEx：对指定字符串进行分词。

3. 获取分词结果接口获得分词结果接口是用于对分词后的结果进行获取的相关接口。

海量中文智能分词功能基础件提供的获取分词结果接口有三个：1)HLGetResultCnt：得到分词结果中的词的个数。

2)HLGetResultBuff：得到分词结果的字符串空间。

3)HLGetMin：得到指定的分词结果。

4. 其他接口本软件包提供了用户自定义词典和英文通配符查找的相关接口。

海量中文智能分词功能基础件提供的其他接口有两个：1)HLLoadUserDict：加载用户自定义词典。

2)HLUnloadUserDict：卸载用户自定义词典。

3.3 功能列表第四章典型应用4.1KM知识管理系统知识管理需要实现分析、辨认和调整文字、语音等各种信息，能够自动进行分类、链接和个性化地传递信息。

海量中文智能分词基础件可应用于知识管理系统，辅助信息进行集成、分类，使知识管理系统成为强大的、综合性的信息源。

4.2 搜索引擎搜索引擎的准确率一直是用户关注的。

然而多数搜索引擎并未给使用者提供准确的结果。

运用分词技术可以使其自动对请求做分词和断句处理，提高搜索的准确率，去处错误信息。

4.3 辞书出版辞书的编纂是一项浩繁的工程，需要投入大量的人力物力。

其中，语料采集、标注入库、提取书证最为烦琐。

以前，这些工作都是依靠人工，因此，辞书的出版缺乏时效性，严重滞后于语言的发展，无法适应信息化社会的需要。

另一方面，大量用有经验的编辑人员从事简单的重复劳动，造成人力资源的浪费。

采用分词技术使辞书出版不再需要大量的人力与物力，降低了成本。