汉语自动分词词典新机制--词值哈希机制

合集下载

基于双词典机制的中文分词系统设计

目前有三种典型的中文自动分词词典机制，分别是基于整词二分的词典机制、基于ＴＲＩＥ索引树的分词词典机制和基于逐字二分的分词词典机制啪。整词二分法是一种广为使用的分词词典机制］。本设计采用一种双词典机制，它由改进的整词二分法标准词典、辅助的临时词典和临时高频词表三部分组合而成。
按照一定策略将待分析汉字串与词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。该方法需要确定三个要素：词典、扫描方向、匹配原则［２］。基于字符串匹配的分词方法原理简单，实现相对容易，并能达到较高的准确度，是最常用的分词策略，缺陷是容易产生歧义切分。词典是字符串匹配的分词方法中很重要的基础部分，因此该方法又称为基于词典的分词
表ｌ首字结点结构表
２．１．２词索引表根据统计，汉语词语中二字词占大多数，有３万多，
２双词典设计
其次是三字词和四字词，都是３千多，五字词及以后则很少。所以二、三、四字词的查询效率直接影响分词速度。为提高查询效率，本词索引表结点具体设计见表２。Ｉ二字词起ｌ二字词ｌ三字词起Ｉ三字词ｌ四字词起ｌ四字词Ｉ多字词起ｆ始位置ｆ个数Ｉ始位置｝个数｝始位置１个数Ｊ始位置Ｊ若要匹配的词为二字词，从“ 二字词起始位置 ” 到 “ 三字词起始位置” 间进行查询。以此类推。２．１．３标准词典正文标准词典正文为线性表结构，存储每个词条中除首字外的字串，以及通过语料库学习后统计出的该词条的总词频。字串与总词频间用“ ／ ” 间隔，字串间用空格作为间隔。对同一首字的词条，首先按词条的字数顺序排列，同长度词条则按次字的区位码排序，以此类推。首字

中文分词相关技术简介

中文分词相关技术简介目前对汉语分词方法的研究主要有三个方面：基于规则的分词方法、基于统计的分词方法和基于理解的分词方法。

基于规则的分词方法基于规则的分词方法，这种方法又叫做机械分词方法,它是按照一定的策略将待分析的汉字串与一个"充分大的"机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。

常用的方法：最小匹配算法(Minimum Matching)，正向(逆向)最大匹配法(Maximum Matching)，逐字匹配算法,神经网络法、联想一回溯法，基于N-最短路径分词算法,以及可以相互组合，例如,可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法等。

目前机械式分词占主流地位的是正向最大匹配法和逆向最大匹配法。

◆最小匹配算法在所有的分词算法中，最早研究的是最小匹配算法(Minimum Matching)，该算法从待比较字符串左边开始比较，先取前两个字符组成的字段与词典中的词进行比较，如果词典中有该词，则分出此词，继续从第三个字符开始取两个字符组成的字段进行比较，如果没有匹配到，则取前3个字符串组成的字段进行比较，依次类推，直到取的字符串的长度等于预先设定的阈值，如果还没有匹配成功，则从待处理字串的第二个字符开始比较，如此循环。

例如，"如果还没有匹配成功"，取出左边两个字组成的字段与词典进行比较，分出"如果"；再从"还"开始，取"还没"，字典中没有此词，继续取"还没有"，依次取到字段"还没有匹配"(假设阈值为5)，然后从"没"开始，取"没有"，如此循环直到字符串末尾为止。

这种方法的优点是速度快，但是准确率却不是很高，比如待处理字符串为"中华人民共和国"，此匹配算法分出的结果为：中华、人民、共和国，因此该方法基本上已经不被采用。

基于Hash结构词典的逆向回溯中文分词技术研究

中图法分类号：Ｐ９Ｔ３１
文献标识码：Ａ
文章编号：００７２２Ｌ）３５５ —４１０．０４（ＯＯ２ —１８０
ＲｅｅｓｃｔａｋｎｇｒｓａｃｆＣｈｎｓｅｍｅｔｔｏｖｒｅｂａｋｒｃｉｅｅｒｈｏｉｅｅｓｇｎａｉｎｂａｅｎｄｃｉｎａｙｏｓｔｕｔｒｓｄｏｉｔｏｒｆＨａｈｓｒｃｕｅ
５５２１，２）１８００１（３３
计算机工程与设计ＣｍｕｒｎｉｅｎｄｅｇｏｐｔＥｇｅｒｇｎＤｓｎｅｎｉａｉ
・开发与应用・
基于Ｈｓ结构词典的逆向回溯中文分词技术研究ａｈ
梁桢，李禹生
（汉工业学院计算机与信息工程系，湖北武汉４０２）武３０３
ｂｓｄｏｉｔｎｒｔｓｔｃｕｅｉｐｅｅｔｄＦｒｔ，ｆｒｈｓｆｃｅｃｆｆｓｒｉｔｎｒｔａｈｓｕｔｅａｌｓａｅｎｄｃｉａｙｗｉＨａｈＳｒｔｒｒｓｎｅ．ｉｌｏｈｕｓｓｙｏｅｉｕｔｎｉｉｎｙｏｒｔｉｗｏｄｄｃｉａｙｗｉｈｓｔｃｕ，ｔｏｈｒｒａ
ＬＩＡＮＧｅ，ＬＩｕｓｅｇＺｈｎ —ｈｎＹ
（ｐｒｎｆｍｐｔｒｎｆｒｔｎＥｇｎｅｉｇＷｕａｏｙｅｈｉＵｎｖｒｉ，Ｗｕａ３０３ＤｅａｔｔｍｅｏＣｏｕｅｄＩｏｍａｉｎｉｅｒ，ａｎｏｎｈｎＰｌｔｃｎｃｉｅｓｔｙｈｎ４０２，Ｃｈｎ）ｉａ

计算机科学与技术毕业论文——汉语分词技术分析

兰州商学院本科生毕业论文（设计）论文（设计）题目：汉语分词技术初探学院、系：信息工程学院计算机科学与技术系专业（方向）: 计算机科学与技术年级、班：学生姓名：指导教师：2011年5月18日声明本人郑重声明：所呈交的毕业论文（设计）是本人在导师的指导下取得的成果。

对本论文（设计）的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。

因本毕业论文（设计）引起的法律结果完全由本人承担。

本毕业论文（设计)成果归兰州商学院所有。

特此声明毕业论文（设计）作者签名:年月日汉语分词技术初探摘要所谓汉语分词，就是将中文语句中的词汇切分出来的过程。

由于汉语的书写习惯，汉语语句中词与词之间的标志是隐含的，英文的单词与单词之间有空格，所以不存在分词问题.而中文的每一句中，词与词之问是没有空格的，因而必须采用某种技术将其分开。

分词技术作为自然语言处理的基础环节，同时也是关键环节之一，它的质量好坏直接影响到后续处理步骤的效果。

汉语分词工作看似细微，但作为计算机自然语言处理的第一步，它的关键作用是不容忽视的。

如今汉语分词己成为自然语言处理的研究热点与难点。

本文讨论了中文分词的概念、目标及其所面临的一些基本问题，详细介绍了三种基本中文分词算法，并对中文分词词典的索引及常用词典结构进行了介绍，最后说了正向最大算法的实现及测试结果。

［关键词］中文分词最大匹配分词词典自然语言处理ABSTRACTChinese word segmentation，is to cut the sentence in the Vocabulary sub—out process．Since the writing habits of Chinese，Chinese sentence symbol between words is implied．the English words have the spaces between the words，So there is easy to separate．The Chinese word for each sentence，there is no space between words，and therefore must be some kind of technology to separate sentence．Chinese sentence segmentation algorithm from the 20th century，since the 80’S has been a research focus，due to the complexity of the Chinese language has been in a stage of development．Segmentation of natural language processing technology as the basic link，but also one of the key links，and its direct impact on the quality of the subsequent processing steps results．Chinese word segmentation the first step in natural language processing,and its importance can not be ignored．［Key Words] Chinese Word Segmentation，Maximum match，Segmentation Dictionary, Chinese Information Processing目录一、引言 (1)二、中文分词简介 (3)(一）中文分词的概念 (3)1、什么是中文分词 (3)2、中文分词的应用 (4)（二）中文分词的目标 (5)1、准确性 (6)2、运行效率 (6)3、通用性 (6)4、适用性 (7)（三)中文分词的基本问题 (7)1、分词规范 (8)2、歧义识别 (10)3、未登录词 (11)三、基本中文分词算法 (12)（一）中文分词算法介绍 (12)1、基于字符串匹配的分词算法 (12)2、基于理解的分词算法 (14)3、基于统计的分词算法 (14)(二)根据具体应用使用合适的分词算法 (15)1、混合分词 (15)2、基于字的切分法 (16)四、中文分词词典 (17)(一）词典的索引 (17)1、Hash索引 (18)2、Trie树 (18)（二)常用词典结构 (19)1、有序线性词典结构 (19)2、基于整词二分的分词词典结构 (19)3、基于TRIE索引树的分词词典机制 (20)五、正向最大匹配算法的实现 (21)（一)正向最大匹配算法 (21)（二）采用正向最大算法的分词程序设计 (24)六、结论 (35)参考文献 (36)致谢 (37)汉语分词技术初探一、引言在自然语言处理中，词是最小的能够独立活动的有意义的语言成分.我们知道，在英文文本中，单词之间是以空格作为自然分界符的.中文和英文比起来，有其自身的特点，就是中文以字为基本书写单位,句子和段落通过分界符来划界，但是词语之间没有一个形式上分界符。

基于词典的汉语自动分词算法的改进

基金项目:受湖南省图工委基金项目资助。

作者简介:傅立云,女,1975年生,馆员;刘　新,男,1975年生,硕士,研究方向为计算机算法。

基于词典的汉语自动分词算法的改进3傅立云刘　新　(湘潭大学图书馆　湘潭　411105)　(湘潭大学信息工程学院　湘潭　411105)摘　要　综合分析了目前在计算机自动分词领域取得的进展和面临的困难,针对词典法提出了一种新的词典构筑方法以及相应的匹配算法。

关键词　自动分词　词典法　自然语言处理1　概　述汉语自动分词研究多年来一直是计算机语言学界和情报检索界的热门课题,前者主要将切分结果用于自然语言理解、自动翻译、语音自动识别输入和自然语言接口等;后者则侧重于将其结果应用于标引研究[1]。

因而,汉语分词是中文信息处理的基础,在中文信息处理系统中具有广泛的应用前景。

前些年,情报检索领域内的专家学者们在汉语词的切分标引研究中显得十分活跃,提出了10余种算法。

但是近几年来,情报学界研究的步伐逐步减缓,这主要是由于随着计算机存储能力和运算能力的飞速提高,原来认为“几乎不可能”实现的全文检索系统已经全面投入使用,并且在速度和查全率方面均取得了令人满意的效果[2];而情报学界的自动分词是为标引服务的,标引又是为检索服务的;既然可以利用计算机能力的提升来绕过“自动分词”这一难关达到检索目的,人们自然不会再去为自动分词投入更多的精力。

同时还有人提出,即便是需要进行自动标引,也可以从主题词表出发,到文献中进行“逆向匹配”[3],这一过程也不需要自动分词,该方法唯一的障碍是计算机的运行速度,但是根据摩尔定律,这一瓶颈也将很快被突破。

但是,以机器翻译为目的的汉语语词自动切分仍然是语言学专家们不得不面对的难题。

目前虽有中科院、微软等研究机构推出的一些实验系统(如CSW 、WB2000等),但分词效果仍不尽如人意。

目前常用的分词方法有三大类:词典法、基于规则切分标记法和人工智能法[4]。

后两种要求程序的智能程度高,目前尚不实用;词典虽然存在效率不高、歧义处理困难以及无法囊括所有词等等不足,但它实现简单,分词效率很高,所以大多数的系统是以该方法为主来实现的。

汉语分词技术

汉语分词技术摘要:汉语分词是计算机中文信息处理系统的基础和难题,也是智能化中文信息处理的关键,因为计算机中文信息处理就是要用计算机对汉语的音、形、义进行处理。

由于汉语自动分词在中文信息自动化处理中具有重要的地位,这方面的研究备受人们关注,并现出一些有应用前景的分词方法。

文章主要介绍了汉语分词的必要性,以及汉语分词的方法和存在的问题。

标签：分词汉语分词分词方法汉语分词是计算机中文信息处理系统的基础和难题,也是智能化中文信息处理的关键,因为计算机中文信息处理就是要用计算机对汉语的音、形、义进行处理。

一、汉语分词的必要性目前英文分词技术已经比较成熟,并且已经展现出了很好的发展前景,无论是在信息檢索方面还是在主题分析方面的研究都强于汉语,究其根本原因就是汉语没有通过分词这个难关。

词是最小的能够独立活动的有意义的语言成分。

汉语是以字为基本的书写单位,汉语文本是基本单字的文本,词与词之间没有明显的区分标记,因此,汉语自动分词是对汉语文本进行自动分析的第一个步骤,只有跨越了这一步,中文才能像英文那样过渡到短语划分、概念抽取及主题分析,以至于自然语言理解,最终达到智能计算的最高境界,实现人类的梦想。

分词技术的研究始于20世纪80年代初,迄今已有20多年的发展历史,研究出了很多各具特色的方法。

汉语分词技术属于自然语言处理技术范畴,给定一段话,人能够很轻易地分辨出那些是词,那些不是词,但是如何能让计算机也能够像人一样去分辨出词来,这样的处理过程就是汉语分词技术。

二、汉语分词的方法目前常用的分词方法大体分为以下两种类型:(一)根据字典信息分词方法基于字典的分词方法实际上就是我们提到的n元切分法,也称为机械分词方法。

是以文本字典信息作为母本,按照特定的策略将句子切分成具体的字符或字符串,并把其同字典中的词逐一匹配,若在词典中找到某个字符串,则匹配成功。

按照扫描方向的不同,分词方法可以分为正向匹配和反向匹配;按照不同长度优先匹配的情况,可以分为最大(最长)匹配和最小(最短)匹配两种方法。

几种基于词典的中文分词算法评价

但是cpu的计算速度提高的幅度远远高于内存数据的读写速度为了减少cpu等待数据的时间cpu中设计了芯片内的一级缓存同时在计算机中还设计了二级缓存可以与cpu同频也可以不同频这个趋势将维持相当长的时间目前使用最多的intel奔腾系列处理器和pc体系架构就使用了这种设计
第 26 卷第 3期 200 8 年 9 月
收稿日期 : 2007 2 04 2 10
基金项目 : 贵州省科技厅年度计划项目 ,黔科合 ( 2004 ) J N 0 57 资助 1
作者简介 : 李丹宁 , 副研究员 ,贵州科学院副院长 1 李丹 , 工程师 1
2
贵州科学 26 卷
随着社会的发展 ,新词和词组不断产生 , 多语种混合词组 , 包含特殊符号的词组也大量被使用 , 一成不变的词典已经远远不能满足人们工作和生活的需要 , 及时准确地将新词 (词组 ) 加入到词典中 , 将基本无用的旧词清理出词典是一个非常重要的任务 . 另外 , 以前在分词系统的设计中 ,没有考虑到当前和今后计算机中大量使用高速缓存这个对查询算法影响极大的因素 . 进行的一些算法测试中 ,其结果存在需要质疑的地方 ,不同论文中的结论也存在一些相互矛盾之处 . 因此 , 本文试图提出一套综合优化的原则 ,希望从更全面的角度评价几种典型的算法 , 并建议一种综合上最优化的分词系统 .
ቤተ መጻሕፍቲ ባይዱ1 引言
随着个人计算机和 Interne t网络的普及 , 中文信息的处理成为非常重要的领域 . 使用中文的用户所用到的许多软件工具都会与中文信息处理相关 , 他们各自都要建立自己的中文信息处理系统 ,对于许多辅助性的小软件这是一个巨大的开发成本 , 单独开发也使得中文处理的水平不高 , 所以开发一个统一、共用、高水平的中文信息处理系统意义重大 . 基于词典的中文自动分词技术在中文信息处理中处于基础地位 , 在公共中文处理系统中 ,多方面的性能需求需要平衡 ,其基本查询操作的空间和时间效率的提高非常关键 . 近年来提出的许多中文分词的算法 , 注重了不同侧面的性能提高 , 在性能优化方面还需要综合考虑 , 进一步提高性能 .

单数组全映射分词词典

１８４　２００７，４３（２３）　Ｃｏｍｐｕｔｅｒ　Ｅ　ｅ　，　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用　单数组全映射分词词典　魏进．常朝稳　ＷＥＩ　Ｊｉｎ．ＣＨＡＮＧ　Ｃｈａｏ—ｗｅｎ　

解放军信息工程大学电子技术学院．郑州４５０００４　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｔｅｃｈｎｏｌｏｇｙ，ＰＩＪＡ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ　４５０００４．Ｃｈｉｎａ　

Ｅ－ｍａｉｌ：ｄａｖｉｄ＿ｊｉｎ１９７９＠ｙａｈｏｏ．ｃｏｍ．ｃｎ　

ＷＥＩ　Ｊｉｎ，ＣＨＡＮＧ　Ｃｈａｏ—ｗｅｎ．Ｆｕｌｌ—ｍａｐｐｉｎｇ￣ｃｆｉｏｎａｒｙ　ｉｍｐｌｅｍｅｎｔｅｄ　ｂｙ　ｓｉｎｇｌｅ　ａｒｒａｙ．Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａ－　ｔｉｏｎｓ，２００７，４３（２３）：１８４－１８６．　

Ａｂｓｔｒａｃｔ：Ｐｒｏｖｉｄｅ　ａｎｄ　ｉｍｐｌｅｍｅｎｔ　ａ　ｎｅｗ　ｄｉｃｔｉｏｎａｒｙ　ｎａｍｅｄ　Ｓｉｎｇｌｅ－Ａｒｒａｙ－Ｆｕｌｌ—Ｍａｐｐｉｎｇ（ＳＡＦＭ）ｂｙ　ｓｔｕｄｙｉｎｇ　ａｎｄ　ａｎａｌｙｚｉｎｇ　ｆｏｕｒ　ｔｙｐｉｃａｌ　ｄｉｃｔｉｏｎａｒｙ　ａｔ　ｐｒｅｓｅｎｔ：ｂｉｎａｒｙ－ｓｅｅｋ－ｂｙ—ｗｏｒｄ．ＴＲＩＥ　ｉｎｄｅｘｉｎｇ　ｔｒｅｅ．ｂｉｎａｒｙ—ｓｅｅｋ—ｂｙ—ｃｈａｒａｃｔｅｒｓ　ａｎｄ　ｄｏｕｂｌｅ—ｃｈａｒａｃｔｅｒ—ｈａｓｈ—ｉｎ—　ｄｅｘｉｎｇ．ＳＡＦＭ　ｄｉｃｔｉｏｎａｒｙ　ｈａｓ　ａ　ｓｉｍｐｌｅ　ｓｔｒｕｃｔｕｒｅ，ｈｉｇｈ　ｓｐｅｅｄ　ｏｆ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｌｉｔｔｌｅ　ｍｅｍｏｒｙ　ｒｅｑｕｉｒｅｍｅｎｔ．　

Ｋｅｙ　ｗｏｒｄｓ：Ｃｈｉｎｅｓｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ；Ｃｈｉｎｅｓｅ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ；ｄｉｃｔｉｏｎａｒｙ　ｍｅｃｈａｎｉｓｍ　ｆｏｒ　Ｃｈｉｎｅｓｅ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ；ｓｉｎ—　

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ｉｍｐａｃｔｏｎｓｙｓｔｅｍｅｉｃｆｉｅｎｃｙ．ＴｈｅＣｈｉｎｅｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｈａｓｂｅｅｎｓｔｕｄｉｅｄｓｉｎｃｅｔｈｅｌａｔｅ１９８０ｓ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｅｘｉｓｔｎｇｉｗｏｒｄｑｕｅｙｒｅｉｃｆｉｅｎｃｙ，ｆｏｒｓｈｏｒｔｗｏｒｄｏｆｎｏｍｏｒｅｔｈａｎ４Ｃｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓ，ａｎｅｗｈａｓｈａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄ，ｎａｍｅｄＺｉｐｐｅｒ－ｓｔｙｌｅｈａｓｈｎｄｉｅｘｉｎｇｂａｓｅｄｏｎｔｈｅｖａｌｕｅｏｆｅａｃｈｃｈａｒａｃｔｅｓｒｉｎＣｈｉｎｅｓｅｗｏｒｄ．Ｔｈｅｈａｓｈｖａｌｕｅｉｓｃａｌｃｕｌａｔｅｄａｃｃｏｒｄｎｇｉｔｏｍａｃｈｉｎｅｃｏｄｅｏｆｅａｃｈｃｈａｒａｃｔｅｒ，ｈｅｔｗｅｉｇｈｔｏｆｔｈｅｌｅｔｆｃｈａｒａｃｔｅｒｉｓｂｉｇｔｈａｎｈｅｔｒｉｇｈｔ．Ｔｈｅｗｅｉｇｈｔ
２０１３年第２２卷第２期
ｈｔｔｐ：／／ｗｗｗ．Ｃ－Ｓ — ａ．ｏｒｇ．Ｃｒｌ Biblioteka 计算机系统应用
汉语自动分词词典新机制一词值哈希机制①
韩莹，王茂发，陈新房，潘志安，张艳霞
（防灾科技学院灾害信息工程系，北京１０１６０１）
ｚｉｐｐｅｒ－ｓｙｌｔｅＣｈｉｎｅｓｅｗｏｒｄｖａｌｕｅｈａｓｈｉｎｄｅｘｉｎｇ
ｉｍｐｒｏｖｅｄｗｉｈｔｔｈｉｓｋｉｎｄｏｆＺｉｐｐｅｒ－ｓｙｌｔｅＣｈｎｅｉｓｅｗｏｒｄｖａｌｕｅｈｓｈａｎｄｉｅｘｉｎｇ．
Ｋｅｙｗｏｒｄｓ：Ｃｈｉｎｅｓｅｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｎｇ；ｉＣｈｎｅｉｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ；ｄｉｃｔｉｏｎａｒｙｍｅｃｈａｎｉｓｍ；ｔｗｏｔｈｏｕｓｎｄａｄｅｃｉｍａｌ；
ＮｅｗＤｉｃｔｉｏｎａｒｙＭｅｃｈａｎｉｓｍｆｏｒＣｈｉｎｅｓｅＷｏｒｄＳｅｇｍｅｎｔａｔｉｏｎ
ＨＡＮＹｉｎｇ，ＷＡＮＧＭａｏ－Ｆａ，ＣＨＥＮＸｉｎ－Ｆａｎｇ，ＰＡＮＺｈｉ－Ａｎ，ＺＨＡＮＧＹａｎ－Ｘｉａ
摘
要：汉语词典查询是中文信息处理系统的重要基础部分，对系统效率有重要的影响．国内自８０年代中后期
就开展了中文分词词典机制的研究，为了提高现有基于词典的分词机制的查询效率，对于词长不超过４字的词提出了一种全新的分词词典机制——基于汉字串进制值的拉链式哈希机制即词值哈希机制．对每个汉字的机内码从新编码，利用进制原理，计算出一个词语的词值，建立一个拉链式词值哈希机制，从而提高查询匹配速度．关键词：中文信息处理；中文分词；词典机制；２０００进制；拉链式词值哈希机制
（ＤｅｐａｒｔｍｅｎｔｏｆＤｉｓａｓｔｅｒＩｎｆｏｒｍａｔｉｏｎＥｎｇｍｅｅｒｍｇ，ＩｎｓｔｉｔｕｔｅｏｆＤｉｓａｓｔｅｒＰｒｅｖｅｎｔｉｏｎ，Ｂｅｉｊｉｎｇ１０１６０１，Ｃｈｉｎａ）
ｉｓｅｑｕａｌｔｏｈｅｔｍａｘｉｍｕｍｖａｌｕｅｏｆａｌｌＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓｍｉｎｕｓｔｈｅｍｉｎｉｍｕｍｖａｌｕｅ．Ｔｈｅｓｐｅｅｄｏｆｗｏｒｄｑｕｅｒｙｉｓ
Ａｂｓｔｒａｃｔ：ＷｏｒｄｑｕｅｒｙｉｎＣｈｉｎｅｓｅＤｉｃｔｉｏｎａｒｙｉｓｅｓｓｅｎｔｉａｌｐａｒｔｎｉＣｈｎｅｉｓｅｎｆｉｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｎｇｉｓｙｓｔｅｍ．Ｉｔｈａｓａｇｒｅａｔ