关于语言熵的研究总结
信息论汉字熵
对于信息论的认识二十世纪四十年代末C E SHANNON建立了一套计算信息数量的方法。
我们可以根据事情发生概率的大小，用下式计算信息量 I ：I＝－log2P (1)式中P是收到的消息中所指的事件的概率。
信息量的单位简称‘比特’bit(它来自英语binary的 b和 digit的it，笔者注) 。
有了(1)式，我们就可以对信息进行定量计算。
例如，通常中文电报是四位阿拉伯数字。
假定每个阿拉伯数字出现的可能性是相同的，即每个数字出现的概率为十分之一。
那么我们可以计算出收到每个阿拉伯数字所含的信息量为I＝－log21/10=3.3比特，因而每个汉字是4×3.3=13.2比特。
下面我们计算一封10000个字母的英文信所含的信息量。
假定每个字母都以等可能性出现，英文字母共26个，把空白也算作一个字母，那么共有27个字母。
于是每个字母出现的概率为1/27。
每个字母的信息量均为－log21/27=4.76比特。
拿27个字母来平均，得到的结果也是4.76比特。
一万个字母共有47600比特的信息量。
如果考虑各个字母出现的概率不相同，那么每个字母的平均信息量为I＝－ΣP i logP i (2)根据统计结果，英文字母的出现概率如下表所示：把它们代入(2)式可以算出每个字母的平均信息量为4.03比特。
由此可见，字母的出现概率愈均匀，信息量愈大，反之就愈小。
在极端情况下，假设27个字母中有26个出现的概率为零，一个字母出现的概率为1，则信息量为零。
从上述的例子可以看到，字母以等概率出现时，每个字母所含的信息量最大。
要传输同样的信息量，字母以等概率出现时所需的长度(即字母个数)最短。
从传输信息量的角度来看，这是最理想的情况。
因为可以用最少的字母传递最多的信息量。
然而，实际的语言或文字总是达不到上述的极限。
就是说，传输同样的信息量需要较多的字母，具有一定的多余性。
从信息量的角度来看，这似乎是不利的。
但是，我们将会看到，由有了多余性，使人类的语言或文字具有一定的抗干扰能力。
英语,汉语信源信源熵研究
英语信源，汉语信源的信源熵的研究吴斌伟2902102020【摘要】信息是个很抽象的概念。
人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。
比如一本五十万字的中文书到底有多少信息量。
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。
因此，信源的信息熵是衡量一个信源所含信息多少的度量。
信息的基本作用就是消除人们对事物了解的不确定性。
一个信源所发出的编码的不确定性越大，那么这个信源所含的信息量越大。
若一个信源发出某个码字的概率为一，那么该信源可传达的信息量为零。
美国信息论创始人香农发现任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。
香农借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”。
信源熵是信息论中用来衡量信源信息量有序化程度的一个概念，定义为信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）。
根据定义，信源熵值与信源有序化程度成反比；有序度越高，信源熵值越低，反之亦成立。
不同的语言，如汉语，英语，德语，法语等，所含的信息熵各不相同。
具体数据如下：按字母计算：英文的平均信息熵是4.03 比特，法文的平均信息熵是3.98，西班牙文的平均信息熵是4.01，德文的平均信息熵是4.10，俄文的平均信息熵是4.8，中文的平均信息熵是9.65比特由上述数据可知，法语的信息熵最小，而中文的信息熵最大。
因此有人说汉语这种语言不如其他语言，汉语是落后的。
显然这样的答案是否定的。
平均信息熵并不是语言文字效率的基本公式，而是在通讯中编码的码长的效率！提出这公式，申农是用以研究信息编码的。
说得通俗一点，就是要（在可能有噪音的情况下）把已方（信息源）的信息进行标准化编码（比如，0－1化），然后传送出去，对方接收，解码，恢复成原来的信息。
研究的重点，是多长的一组码为合理——如果太短，无法正确还原，如果太长，就有冗余。
英语的信息熵
英语的信息熵
英语的信息熵是指在英语语言中，每个字母或单词出现的概率和数量的统计分析。
信息熵是信息论中的一个概念，它表示信息的不确定性或信息量。
在英语语言中，每个字母或单词的出现概率不同，因此它们的信息熵也不同。
英语中最常用的字母是e，其出现频率约为12.7%，其次是t、a、o、i、n等字母，它们的出现频率也相对较高。
而较少使用的字母如z、q、x等，它们的出现频率非常低。
在英语中，单词的长度也会影响信息熵。
一般来说，单词长度越长，其出现概率就越低，因此其信息熵也就越大。
例如，单词“the”出现的概率很高，其信息熵也很低，而单词“antidisestablishmentarianism”则出现的概率很低，其信息熵也很高。
除了字母和单词的出现概率外，英语中的语法结构和词汇选择也会影响信息熵。
例如，英语中的主谓宾结构较为常见，而主谓宾补结构则较为罕见，因此前者的信息熵较低，后者的信息熵较高。
总之，英语的信息熵是一个复杂的概念，它涉及到英语语言中的多个方面，包括字母、单词、语法结构和词汇选择等。
通过对这些方面的分析，我们可以更好地理解英语语言的特点和规律。
熵的应用和意义
浅谈熵的意义及其应用摘要：介绍了熵这个概念产生的原因，以及克劳修斯对熵变的定义式；介绍了玻尔兹曼从微观角度对熵的定义及玻尔兹曼研究工作的重要意义；熵在信息、生命和社会等领域的作用；从熵的角度理解人类文明和社会发展与环境的关系。
关键词：克劳修斯熵玻尔兹曼熵信息熵生命熵社会熵0 前言：熵是热力学中一个非常重要的物理量，其概念最早是由德国物理学家克劳修斯（R.Clausius）于1854年提出，用以定量阐明热力学第二定律，其表达式为dS=(δQ/T)rev。
但克劳修斯给出的定义既狭隘又抽象。
1877年，玻尔兹曼（L.Boltzmann）运用几率方法，论证了熵S与热力学状态的几率W之间的关系，并由普朗克于1900给出微观表达式S=k logW,其中k为玻尔兹曼常数。
玻尔兹曼对熵的描述开启了人们对熵赋予新的含义的大门，人们开始应用熵对诸多领域的概念予以定量化描述，促成了广义熵在当今自然及社会科学领域的广泛应用【1】【2】。
1 熵的定义及其意义克劳修斯所提出的熵变的定义式为dS=(δQ/T)rev，由其表达式可知，克劳修斯用过程量来定义状态函数熵，表达式积分得到的也只是初末状态的熵变，并没有熵的直接表达式，这给解释“什么是熵”带来了困难。
【1】直到玻尔兹曼从微观角度理解熵的物理意义，才用统计方法得到了熵的微观表达式：S=k logW。
这一公式对应微观态等概出现的平衡态体系。
若一个系统有W个微观状态数，且出现的概率相等，即每一个微观态出现的概率都是p=1/W，则玻尔兹曼的微观表达式还可写为：S=-k∑plogp。
玻尔兹曼工作的杰出之处不仅在于它引入了概率方法，为体系熵的绝对值计算提供了一种可行的方案，而且更在于他通过这种计算揭示了熵概念的一般性的创造意义和价值：上面所描述的并不是体系的一般性质量和能量的存在方式和状态，而是这些质量和能量的组构、匹配、分布的方式和状态。
玻尔兹曼的工作揭示了正是从熵概念的引入起始，科学的视野开始从对一般物的质量、能量的研究转入对一般物的结构和关系的研究，另外，玻尔兹曼的工作还为熵概念和熵理论的广义化发展提供了科学依据。
基于语料库的汉语信息熵分析
基于语料库的汉语信息熵分析汉语作为全球最大的语种之一，几千年的历史使其包含了丰富多彩的文化和知识，因此让其成为了数百万人所共同使用的语言。
信息熵作为信息论领域中描述信息不确定性和不可预测性的概念，可以用于评估汉语文本的复杂性、类别和质量。
本文将探讨如何使用语料库的方法进行汉语信息熵分析。
一、信息熵概述信息熵是从信息论中引入的一个概念，它用来描述信息的不确定性和无序性。
在信息论中，信息通常被表示为由两个元素组成的信息源和接收器。
信息源通过某种传输介质将信息发送给接收器，信息熵就是描述该信息源的传送速率。
信息熵越高说明信息源的不确定性越大，也就是信息源的复杂性越高。
而信息熵越低，则说明信息源的不确定性越小，信息源的复杂性也就越低。
因此，信息熵可以用来评估文本的质量、类别和复杂程度。
二、基于语料库的信息熵分析基于语料库的信息熵分析可以准确地衡量汉语文本的复杂性和类别。
语料库是语言学和计算机科学中使用广泛的一个概念，指文本的大量收集和归纳，也就是用计算机处理大量文本数据的方法。
当我们使用语料库方法来分析汉语文本时，首先需要收集和建立一个大型的语料库。
为了能够提高分析的效率，语料库通常需要包括大量相关的汉字、汉词、句子和文章。
同时，这些数据还需要清晰和准确的标注和分类，如命名实体识别、文本情感识别等，并且包括数据的格式、属性、语义等。
语料库的建立之后，接下来就是信息熵的计算。
在信息熵计算中，我们可以采用不同的方法来描述文本中不同元素的出现频率。
如，在汉语中，我们可以通过汉字、汉词、句子等不同层面进行信息熵的计算。
例如，在汉字层面上，我们可以统计一篇文章中每个汉字的出现次数，并将其相除得出汉字的信息熵。
同样的，我们也可以通过统计汉词、句子和文本的方法进行信息熵的计算。
三、如何运用信息熵分析汉语文本信息熵分析可以广泛应用于许多不同的领域，如自然语言处理、文本分类、信息检索、情感分析等。
以下是一些运用信息熵分析汉语文本的实际案例：1. 文本分类：利用信息熵计算文本中各个词语的出现频率和重要性，然后根据计算结果将文本进行分类。
汉字信息熵
汉字信息熵汉字信息熵是衡量汉字信息量的一种指标，它是通过对汉字出现的频率进行统计和计算得出的。
汉字信息熵的大小反映了汉字的信息丰富程度，也是汉字在信息传递中的重要性的体现。
汉字信息熵的计算方法是基于信息论的原理。
信息论是由克劳德·香农于1948年提出的一种研究信息传递和处理的数学理论。
在信息论中，熵是衡量信息量的一种度量，它表示信息的不确定性。
而汉字信息熵则是对汉字出现的频率进行统计和计算得出的信息熵。
汉字信息熵的计算公式如下：H(X) = -∑(P(xi) * log2P(xi))其中，H(X)表示汉字信息熵，P(xi)表示汉字xi出现的概率。
通过对大量文本进行分析和统计，可以得出汉字的出现频率以及对应的概率。
根据这些数据，就可以计算出每个汉字的信息熵。
汉字信息熵的大小与汉字的常用程度相关。
常用的汉字出现的频率较高，信息熵较低；而不常用的汉字出现的频率较低，信息熵较高。
因此，汉字信息熵可以用来衡量汉字的重要性和使用频率。
在实际应用中，汉字信息熵有着广泛的应用。
比如，在信息检索中，可以根据汉字的信息熵来确定检索关键词的重要性和权重，从而提高检索的准确性和效率。
在自然语言处理中，可以根据汉字的信息熵来进行文本分类和语义分析，从而实现智能化的文本处理和理解。
汉字信息熵还可以用来研究汉字的演化和变异规律。
通过对不同时期和不同地域的汉字信息熵进行比较，可以了解汉字的变化和发展规律，从而推测汉字的起源和演化过程。
汉字信息熵是衡量汉字信息量的一种重要指标，它可以用来衡量汉字的重要性和使用频率，也可以用来进行文本处理和语义分析。
汉字信息熵的研究对于汉字的保护、发展和应用都具有重要的意义。
通过对汉字信息熵的深入研究，可以更好地理解和利用汉字这一独特的文化符号。
最大熵模型及其在自然语言处理中的应用
Iterative Scaling）
Della Pietra ,1995
SCGIS算法
Goodman,2002
其他算法
基于最大熵的统计建模：特征选择
在所有的特征中选择最有代表性的特征，构造约束集合 数据稀疏的问题
特征选择的步骤：
特征模板>候选特征 候选特征>选择特征
特征选择的方法：
增量式特征选择算法：基本算法和近似算法 基于频数阀值的特征选择算法
吕先超 2015年1月21日
最大熵理论
熵 信息熵 最大熵理论 最大熵模型 参数估计 特征选择 最大熵模型的应用
2018/10/8
2
熵：物理学中的熵
物理学概念：
宏观上：热力学定律——体系的熵变等于可逆过程吸 收 或 耗 散 的 热 量 除 以 它 的 绝 对 温 度（ 克 劳 修 斯， 1865）
（
2）从训练样例中得到经验概率分布：其中 Count(x,y)是(x,y)在语料中出现的次数，N为总词数。则
基于最大熵的统计建模：数学推导
（ 3 ）特征 f 是指 x 与 y 之间存在的某种特定的关系，用
二值函数表示：
（4）特征的经验概率期望值 是所有满足特征要求的的
经验概率之和，即：
引入特征：例子
以及关于对概率分布的不确定性度量，熵： H=-p(B)log(p(B))-p(C)log(p(C))-p(F)log(p(F)) 对前两个约束，两个未知概率可以由第三个量来表示，可 以得到： p(C)=0.75-2p(F) p(B)=0.25+p(F) 把上式代入熵的表达式中，熵就可以用单个概率 p(F)来表 示,对这个单变量优化问题，很容易求出当p(F)=0.216时， 有最大熵H=1.517
熵知识点总结
熵知识点总结一、熵的概念1.1 熵的起源熵最初是由克劳德·香农在其著名的《通信的数学理论》中提出的，用于描述信息的不确定性度量。
这一概念的提出对于信息论的发展起到了非常重要的作用。
1.2 熵的概念与性质熵是一种描述系统混乱程度或者随机性的指标，通常用H来表示。
在信息论中，熵被定义为一个系统中所包含的信息量的度量。
熵的性质包括：（1）熵是一个对数量，通常以比特或者纳特为单位。
（2）熵是非负的，即H≥0，当且仅当系统完全确定时，熵为0。
（3）熵的增加表示系统的不确定性增加，而熵的减少表示系统的不确定性减少。
1.3 熵的应用熵的概念在信息论、热力学、统计力学、化学、生物学等多个领域都有着重要的应用。
在信息论中，熵用来度量信息的不确定性；在热力学中，熵用来描述系统的混乱程度；在统计力学中，熵被用来描述系统的微观状态数目；在化学中，熵则被用来描述化学反应的进行方向和速率；在生物学中，熵被用来描述生物系统的稳态和动态平衡。
二、热力学熵2.1 热力学熵的概念热力学熵最早由克劳修斯在19世纪初提出，他将熵定义为系统的一种状态函数，用来描绘系统的混乱程度和不可逆性。
热力学熵的概念是热力学中一个非常重要的概念，它被广泛应用于热力学系统的描述和分析。
2.2 热力学熵的性质热力学熵的性质包括：（1）熵是一个状态函数，与系统的路径无关。
（2）熵增加原理：孤立系统的熵不会减少，如果系统经历一个不可逆过程，系统的总熵将增加。
（3）熵的增加反映了系统的不可逆过程和混乱程度的增加。
2.3 热力学熵的应用热力学熵在热力学系统的分析中有着重要的应用，它可以用来描述系统的混乱程度和不可逆性，从而揭示系统的运行规律和性质。
同时，熵还被用来描述系统的稳定性和平衡状态，是热力学研究中不可或缺的重要概念。
三、信息熵3.1 信息熵的概念信息熵是信息论中一个重要的概念，它被用来度量信息的不确定性和随机性。
信息熵最初由克劳德·香农在其著名的《通信的数学理论》中提出，用来描述信息的不确定性度量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关于语言信息熵的分析总结
2900103004 杨禄
一、背景介绍
近年来，统计语言模型逐渐在自然语言处理和语音处理中得到了广泛的应用。
为了比较不同语言模型的差异性，必须考察各模型的不确定性。
模型的不确定性越大，正确估计语言现象的可能性就越小。
语言模型的不确定性可用“熵”加以定量的描述。
之前已经有很多的学者对各语言的熵进行过统计分析，得到一些有用的结论，并且由于计算机可读文本的大量出现，以及计算能力的不断提高，使得在更大语料规模上更为精确的统计方法计算语言熵成为可能。
语言的信息熵的研究分为两种层次，一种是不考虑文字相关性的独立统计信息熵，另一种是考虑文字的上下文关系的相关统计信息熵，后者称之为极限熵。
另外还有一阶熵、二阶熵等多种概念。
统计资料一般是特定时期的书籍、报刊和其他文本文档。
二、基本概念
信息熵：熵是由德国物理学家克劳修斯于1868年引入，用以从统计概率的角度对一个系统混乱无序程度的度量。
信息熵是从信源角度考虑信息量，表示信源整体不确定性的量。
冗余度：是对信息的确定性、有序性和可预见性的计量，与信源的熵值成反比，信源的熵值越大则冗余度越小，熵值越小则冗余度越大。
Markov链：因安德烈•马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。
该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。
三、研究历史
早在1913年，俄国著名数学家A.A.Markov就注意到语言符号出现概率之间的相互影响，他把普希金叙事长诗《欧根·奥涅金》中国的连续字母加以分类，把元音记为V，把辅音记为C，得到了元辅音字母表，从而证明了元音在辅音之后出现的概率大于在元音之后出现的概率，说明了元音字母和辅音字母之间出现的概率相互影响。
Zipf1931年提出英语单词的概率分布律，即是Zipf定律。
50年代初，香农（Shannon）把信息论应用于语言的研究，计算出了英语字母的一阶熵。
在此之后，又有许多科学家发展了这一成果，世界主要语种的信息熵研究很是普遍，基本上都有公认的结果。
各语言字母的熵：法语3.98比特，西班牙语4.01比特，英语4.03比特，俄语4.35比特，德文4.10比特罗马尼亚语4.12比特。
在国内，最早由冯志伟先生用了将近10年时间，进行手工查频，于70年代末首次计算出在不考虑上下文关系的前提下汉字信息熵是9.65比特。
在1995年，冯志伟又进一步测定了在充分考虑汉字上下文关系的影响时包含在一个汉字中的熵，这个熵即是极限熵。
他测得，汉字的极限熵平均为4.0462比特。
后来黄萱菁等在4年《人民日报》语料基础上，所求得零阶熵、一阶熵、二阶熵分别为9.62、6.18和4.89比特，刘源给出的汉字信息熵结果是9.71比特。
孙帆等给予词的语言模型估计方法得到了更为精确的估计，为5.31比特。
四、计算方法
实际自然语言中，语句中各符号出现的概率是不一样的，若不考虑上下文关联性，假设第)
P，则信源输出的各符号的i
i 个符号出现的概率为
(N
,
...
2
1
i
信息量为
∑=-=N
i i Pi
P H 1
2
log
H
为一阶熵，表示消息出现的不确定性大小，熵越大，说明预测的不确定性越大。
因为不等概结局随机试验的不确定性小于等概率结局随机事件的不确定性，因此下式成立
N
P P N
i i i
2
1
2
log
log
≤-
∑=
因为语言不但各符号出现的概率不等，而且是上下文相互关联，因而自然语言可以看做是是一个markov 链，在这个链中，从消息的历史可以预测消息的未来，且随着Markov 链重数的增大，对未来语言成分的预测也就越准。
如果信源符号间的依赖关系长度为n ，则可以求出已知前面n-1个符号时，后面出现一个符号所携带的平均信息链，即是条件熵
()()∑∈--=v
w n n n n i w w w W P w w w P H 1212
21...|log
...
应用上式我们可以分别对一阶Markov 链、二阶Markov 链求出其条件熵。
一阶条件熵按下列公式计算：
()()∑-=j
i j i j i w w P w w P H ,22|log
二阶条件熵按下列公式计算：
()()∑-=k
j i j i k k j i w w w P w w w P H ,,2
3|log
以此类推，我们可以计算出包含在语句中一个语言成分的任意阶条件熵。
根据信息论理论，可以证明：条件熵随着结束n 的增加而呈现非负单调递减，且有下界，即
∞
→≥≥≥≥H H H H H (3210)
当各语言符号出现概率相等时，式子中等号成立，这就是说，每在前面增加一个语言成分，不会使包含在语句中的熵有所增加，当n 逐渐增加，熵趋于稳定而不再增加，这是，他就是语言符号中的信息量，叫做极限熵。
∞
∞
→=H H n n lim
另一方面，从联合熵的角度考虑，还可以得到每个信源符号的信息量，即平均信息熵
()()()∑∈--
=v
w n n n n i w w w w P w w
w P n
X H 1212
2
1
...log
...1
从上面的可以看出，可以用条件熵或者平均符号熵来近似描述自然语言，而问题的关键是要知道()n w w w P ...21或者()121...|-n n w w w w P ，由于语言本身的复杂性和随意性，要想知道某个字符出现的概率几乎是不可能的。
五、部分成果
（1）以人民日报1995年2500万语料报告为统计样本，建立了汉字Unigram、Bigram、Trigram模型和汉语词Unigram、Bigram模型，得到各个模型所估算的汉语熵及其困惑度
模型C-M1 C-M2 C-M3 W-M1 W-M2
熵H 9.518 7.143 5.671 7.012 5.441
困惑度PP 733.2 141.3 50.9 129.1 43.4
表1 不同汉语语言模型估算的熵及其困惑度
（2）按不同年代估算的汉字熵
年代Time 熵值H0
古字（先秦~清）10.2454
第一时期（1919~1949）9.5856
第二时期（1950~1965）9.6035
第三时期（1966~1976）9.6372
第四时期（1977~1982）9.7219
平均9.7062
表2 不同时期的汉字熵
（3）英语是当今世界的通用语言，而汉字是含义丰富的文字，有人对《毛泽东选集》等著作英汉互译结果做了相应的统计计算，得到汉字与英文字母的比值。
著作《毛泽东选
集》《矛盾论》《中国社会各
阶级的分析》
计算机类著作
比值（C/E） 3.8 4.1 3.5 2.7
表3 中英文信息量对比
（4）除了汉字之外，中国还存在大量的少数民族文字。
藏文为拼音字母
，藏文标准音节5334个，其中单字节475个，双字音节3061个，三字音节902，四字音节896个；藏文字丁或音节的频度分布极不均匀，覆盖统计文本90%、95%的音节分解师703个和1140个。
维吾尔文属阿尔泰语系突厥语族，共有32个字母，其中8个元音字母和28个辅音字母，此处统计预料来自新疆大学在2003~2006年建立的现代维吾尔语语料库，共抽取不同领域2558810次规模语料，包括文学类30%，学术类27%，新闻公文类30%，综合类23%。
哈萨克语也是我国现有报刊广播电视使用的语言文字之一。
语类汉语藏语维吾尔语哈萨克语
熵值10.61（口头） 5.8784（字丁） 4.387 5.09（口头）
12.20（书面） 5.9（书面）
表4 不同民族语言的熵值对比
六、参考文献
[1]冯志伟.汉字的极限熵[J],中文信息，1996(2):53-56.
[2]黄萱菁,吴立德,郭以昆,刘秉伟等,现代汉语熵的计算及语言模型中稀疏事件的概率估计[J].电子学报,V ol.28, No.8, Aug.2000
[3]张仰森,曹大元,俞士汶,语言模型复杂度度量与汉语熵的估计,小型微型计算机,V ol.27, No.10 ,Oct.2006
[4]叶南,论语言表达形式与信息熵、冗余度的关系,西南民族大学学报·人文社科版,V ol.25, No.10, Oct.2004
[5]王德进，汉语字词的概率分布和一阶熵的研究,北京航空学院学报，No.4 1988
[6]王维兰,陈万军,藏文字丁音节频度及其信息熵,属于标准化与信息技术,2004年第2期
[7]塞买提·买买提敏,给予统计的维吾尔文信息熵的估计,电脑知识与技术,V ol.5, No4, Feb 2009
[8]拜都拉,特列克别克,用信息源的熵研究哈萨克族语言的平均信息量,伊犁师范学院学报,No.2 June.2003。