北京理工大学信息论第八章
北理工《无线网络与无线局域网》课程学习资料(二)15
北理工《无线网络与无线局域网》拓展资源（二）第二章无线网络与无线局域网1、请简要介绍通信系统中的信噪比。
信噪比是度量通信系统通信质量可靠性的一个主要技术指标。
根据通信中不同的需要，有不同的表达方式。
在调制信号传输中，信噪比一般是指信道输出端，即接收机输入端的载波信号平均功率与信道中的噪声平均功率的比值，可称为载噪比。
在模拟通信系统中，信噪比一般是指通信终端机解调器输出端的信号平均功率与噪声平均功率的比值。
工程上还采用解调器输入信噪比与输出信噪比间的一组曲线，来定量比较不同的模拟调制与解调方式的通信质量的优劣。
例如：当解调器输入信噪比相同时，输出信噪比调频比调幅好，同步检波比包络检波好。
在数字通信系统中，信噪比一般是指终端机的数字解调器或译码器输出端的每个数字波形（比特)的平均信号能量E与单位频带内的噪声功率N0的比值E/N0，又称为归一化信噪比或能量信噪比，是常用的指标。
也可用E/N0与差错(误码）概率Pe间的一组曲线表示不同的数字调制与解调，或不同类型信道编、译码的通信质量的优劣。
例如，在解调器输出端有同样质量要求（相同的差错率）时，对信噪比的要求移相比移频低（好），移频又比移幅低，相干检测比非相干检测低，采用信道编译码比不采用的低。
因此，选用最佳的调制解调器是提高通信系统信噪比的主要手段。
增大或改善信噪比是提高通信质量的一项主要任务。
在传输中，可通过改善传输手段和增大设备能力来实现。
例如采用光缆、同轴电缆或卫星信道以减少传输损耗和噪声。
但信道选定后，主要靠增大设备能力，例如在卫星通信中提高天线增益和降低接收机等效噪声温度。
信息论指出：对常用频宽为F的限时、白色高斯噪声信道，信道容量。
当容量不变时，增大带宽可降低信噪比，提高信噪比必须压缩带宽。
因此，抗干扰为主要矛盾时，可扩展频带换取低信噪比下接收，调频与扩频均基于这一原理。
频带为主要矛盾时，则可用信噪比换取频带，多进制、多电平传输均基于这一原理。
《信息论基础A》(清华)复习资料
信息论基础A 复习资料作者 郝仁第一章 概论● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。
目前，信息论中主要研究语法信息● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。
信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。
第二章 离散信源及离散熵● 单符号离散信源的数学模型：1212()()()()n n x x x X P x P x P x P X ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭L L自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。
● 单符号离散信源的离散熵：1()[()]()()ni i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。
离散熵的性质和定理：H(X)的非负性；H(X)的上凸性；最大离散熵定理：()H X lbn ≤● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：111111()()()()()()k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-===LL L则称该多符号离散信源为N 维离散平稳信源。
北京理工大学《概率论与数理统计》课件-第8章
数学期望和方差是两个重要的数字特征，分别表示单个随机变量的平均值和离散程度；而对于多维随机变量，不仅能够确定边缘分布，还包含各分量之间关系的信息.刻划两个r.v.间相互关系的一个重要数字特征：协方差和相关系数若DX 、DY 存在，则有D (X ±Y )=DX +DY ±2E [(X−EX )(Y−EY )]这说明E [(X −EX )(Y −EY )]表达了X 与Y 之间的某种关系.且当X 和Y 独立时，有D (X ±Y )=DX +DY即：若X 和Y 独立，从而有结论：若E [(X −EX )(Y −EY )]≠0，则X 和Y 不独立.则有E [(X−EX )(Y−EY )]=0协方差1.定义设：二维随机变量(X ,Y )，它的分量的数学期望为E (X )和E (Y )，若E [(X −E (X ))(Y −E (Y ))]存在，则称它为X ,Y 的协方差，记为Cov (X ,Y )，即一、协方差（Covariance ）()(,)(())(())Cov X Y E X E X Y E Y =--协方差为正说明同向变化程度更高;协方差为负说明反向变化程度更高2.计算（1）若二维离散型随机变量(X ,Y )的联合分布律为P (X =x i ,Y =y j )=p ij i,j =1,2,…（2）若二维连续型随机变量(X ,Y )的密度函数为f (x ,y )且Cov (X,Y )存在，则E [g (X ,Y )] E [g (X ,Y )] (,)[(())(())]Cov X Y E X E X Y E Y =--11(())(())i j iji j x E X y E Y p ∞∞===--∑∑(,)[(())(())]Cov X Y E X E X Y E Y =--(())(())(,)x E X y E Y f x y dxdy+∞+∞-∞-∞=--⎰⎰可见，若X 与Y 独立，Cov (X ,Y )=0.Cov (X ,Y )=E {[X -E (X )][Y -E (Y )]}=E (XY )-E (X )E (Y )-E (Y )E (X )+E (X )E (Y )=E (XY )-E (X )E (Y )=E {XY -XE (Y )-YE (X )+E (X )E (Y )}（3）Cov (X ,Y )=E (XY )-E (X )E (Y )证明：（5）Cov (X 1+X 2,Y )=Cov (X 1,Y )+Cov (X 2,Y )（2）Cov (X ,Y )=Cov (Y ,X )3.简单性质（4）Cov (aX ,bY )=abCov (X ,Y )a ,b 是常数（6）若X ,Y 的协方差Cov (X ,Y )存在，则E (XY )=E (X )E (Y )+Cov (X ,Y )（3）Cov (X ,X )=D (X )（1）Cov (X ,a )=0若X 1,X 2,…,X n 两两独立，则有D (X +Y )=D (X )+D (Y )+2Cov (X ,Y )4.随机变量和的方差与协方差的关系11()()n ni i i i D X D X ===∑∑11()()2(,)n ni i i j i j i i D X D X Cov X X <===+∑∑∑∑例1.设：随机变量X 和Y 的联合概率分布为求X 和Y 的协方差.解：,()[()](,)i j iji j E Z E g X,Y g x y p ==∑YX−1 0 1 010.06 0.18 0.160.080.32 0.20Cov (X ,Y )=E (XY )-E (X )E (Y )E (XY )=0×(−1)×0.06+0×0×0.18+0×1×0.16+1×(−1)×0.08+1×0×0.32+1×1×0.20=0.12另外，X 和Y 的边缘分布律分别为所以YX−1 0 1 010.06 0.18 0.160.080.32 0.20X 0 1P 0.4 0.6Y−1 0 1 P 0.14 0.5 0.36EY =−1×0.14+0×0.5+1×0.36=0.22EX =0×0.4+1×0.6=0.6E (XY )=0.12Cov (X ,Y )=E (XY )-E (X )E (Y )Cov (X ,Y )=E (XY )-E (X )E (Y )=0.12-0.6×0.22=-0.012例2.设：(X,Y)在圆域D={(x,y):x2+y2≤r2(r>0)}上服从均匀分布，求Cov(X,Y).解：易知(X,Y)的联合概率密度为所以22222221,(,)0,x y r f x y rx y rπ⎧+≤⎪=⎨⎪+>⎩22221x y ry dxdyrπ+≤=⋅⎰⎰=22221x y rx dxdyrπ+≤=⋅⎰⎰=(,)EX xf x y dxdy+∞+∞-∞-∞=⎰⎰(,)EY yf x y dxdy+∞+∞-∞-∞=⎰⎰所以E (X )=E (Y )=0Cov (X ,Y )=E (XY )-E (X )E (Y )=0此题表明，Cov (X ,Y )等于0,但X 与Y 不独立，.22222221, (,)0,x y r f x y r x y r π⎧+≤⎪=⎨⎪+>⎩(,)EXY xyf x y dxdy +∞+∞-∞-∞=⎰⎰22221x y r xy dxdy r π+≤=⋅⎰⎰0=协方差衡量了X和Y之间同向或反向的变化趋势。
北京理工大学信息论第八章
2
有些编码原理和技术在通信原理和信号处理等相 关课程中已经介绍过。例如： 连续信源编码：脉冲编码调制(PCM)、矢量量 化技术； 相关信源编码： 预测编码：增量编码、差分脉冲调制 (DPCM)、自适应差分脉冲调制(ADPCM)、 线性预测声码器； 变换编码：K－L变换、离散变换、子带编码、 小波变换。
对该信源编二进制香农码。其编码过程如下表所示。
表5.1.1 二进制香农编码
xi
p(xi)
pa(xj)
li
码字
x1
0.25
0
2
00(0.000)2
x2
0.25
0.25
2
01(0.010)2
x3
0.2
0.5
3
x4
0.15
0.7
3
x5
0.1
0.85
4
100(0.100)2 101(0.101)2 1101(0.1101)2
R 2.7
可以看出，编码效率并不是很高。
10
第二节 费诺编码
费诺编码也是一种常见的信源编码方法。编码步骤 如下：
将概率按从大到小的顺序排列，令
p(x1)≥ p(x2)≥…≥ p(xq)
按编码进制数将概率分组，使每组概率和尽可能
接近或相等。如编二进制码就分成两组，编r进制 码就分成r组。
给每一组分配一位码元。 将每一分组再按同样原则划分，重复步骤2和3，
概率
编码
码字 码长
x1
实施启发式的开放实验教学研究
系统集成技术 、通信技术 研究等关键 技术统一考 虑 。从而形成全方位 、应用性 、跨学科的信息安全 与对抗体系。 （ ）实验体系分为梯形教学过程 ，从验证性 、 ３
提高性到开放性实验教学 。
２ 实施 启发 式教 学 方 法 。提 高 实验 的综 合
关键词 ：信 息安全与对抗 实验体系 ；开 放实验 ；启发式实验教 学 中图分 类号 ： ６ ２ ０ Ｇ ４ ． 文献标识码 ： Ｂ 文章编号 ：１０ — ９６ ２０ ）３ ０９ － ２ ０ ２ ４ ５ （０ ６ ０ — ０ １ ０
Ｔ ｅ Ｒｅ ｅ ｒｈ ｏ ｈ ｕ ｉｔｃ Ｅ ｐ ｒｍｅ ｔＴ ａ ｈ ｎ ｔ ｏ ｓ ｈ ｓ ａ ｃ ｎ ｔｅ Ｈｅ ｒｓｉ ｘ ｅｉ ｎ ｅ ｃ ｉｇ Ｍｅｈ ｄ
将对我国未来国防建设 、信息化安全具有承前启后
的作用 。
（ ）具 有横 向与纵 向 学科 的 交 汇 ，在 系 统 论 、 ２
信息论 、控制论等理论的指导下 ，将光电对抗 、雷 达对抗 、网络对抗及智能化计算机 、微电子光电子
前性 的开放 实验规 划 ，编写适合 Nhomakorabea于开放实验 的教
材 ，目 由北京理工大学 出版社发行 《 前 信息 安全 与对抗技术实验教程》 ，基本覆盖 了开放实验的主 要项 目：基于 Ｔ Ｐ Ｉ Ｃ ／Ｐ的计算机通信技术 、信息网 络防火墙技术 、无线信息系统技术 、信息系统攻防 技术 、计算机信息系统病毒技术 、信息系统加密与
结合开放实验的任务 ，编写实验教材遵循如下
原则 ：
１ 基于 开放 实验 教 学的 需 求 。编 写相应 的
实验教材
信息安全与对抗技术蕴涵着多学科 、多层次的
信息论基础 ppt课件
ppt课件
(2)信息与消息和信号的区别
在通信中对信息的表达分为三个层次：信号、消息、信 息。
信号：是信息的物理表达层，是三个层次中最具体的层 次。它是一个物理量，是一个载荷信息的实体，可测量、
可描述、可显示。如电信号、光信号等。
消息：(或称为符号)是信息的数学表达层，它虽不是一 个物理量，但是可以定量地加以描述，它是具体物理信 号的进一步数学抽象，可将具体物理信号抽象为两大类 型： 1) 离散(数字)消息，是一组未知量，可用随机序列来 描述：U=(U1…Ui…UL) 2) 连续(模拟)消息，也是未知量，它可用随机过程来 描述：U(t,ω)
ppt课件
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不要 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
信息论--基础理论与应用
北京理工大学 信息与电子学院 2014年3月
ppt课件
课程类型：专业选修课 学 时：32学时 授课时间：第一周----第八周 考试时间：第九周 教 材：《信息论—基础理论与应用》,傅祖芸,电子工业出版社 参考教材：
①《信息论与编码》,陈运,电子工业出版社 ②《应用信息论基础》,朱雪龙，清华大学出版社 ③《信息论与编码学习辅导及习题详解》傅祖芸,电子工业出版社
ppt课件
信息论
信息论已经成为现代信息科学的一个重要组成部分，它 是现代通信和信息技术的理论基础。现代信息论又是数 学概率论下的一个分支，与遍历性理论、大偏差理论以 及统计力学等都有密切关系，因此信息论已成为大学诸 多专业的必修课和选修课，并不再局限于已有的通信工 程、电子工程、信息工程等专业。
北理工《多媒体技术》课程学习资料(八)41
北理工《多媒体技术》拓展资源（八）第八章多媒体网络基础一、多媒体服务类型的分类。
1、段行为(PHB)使用6位区分服务码点(DSCP)表示在理论上，6位代码可定义64种不同的交通类型和等级，但RFC文件仅定义了为数不多的服务类型和等级，其余的留给网络操作员定义。
2、IETF已经定义的段行为(PBH)有如下4种(1) 默认型PHB(定义在RFC 2474中)典型的尽力服务型，其行为是尽力转发数据包。
不适合其他类型的段行为都归到这里，推荐使用的区分服务码点(DSCP)为000000。
(2) 急转(expedited forwarding, EF)型PBH(定义在RFC 3246中)最简单的服务类型，提供时延短、抖动小和丢包少的服务，适合用于声音、影视和其他实时应用的服务。
急转型的交通可以这样理解: 假设网络只提供常规和急转两个等级的服务，大多数(如80%)数据包都是常规的，只有少量数据包(如(20%))是要急转的。
实现这种服务策略的一种方法是，在路由器中编写一段有两个输出队列的程序，一个用于转发常规数据包，另一个用于转发急转数据包。
在这种情况下，可将30%甚至更多的带宽专门用于转发20%的急转数据包，其他的带宽用于转发常规数据包(3) 保障转发型(assured forwarding, AF) PBH(RFC2597)服务质量等级的详细描述。
保障服务指定了4种优先等级，每级都规定了使用的资源(如缓存大小，接口带宽)。
到底使用哪一级转发数据包，这要取决于服务商的服务等级协议(SLA)该方案还定义了在网络遭遇拥塞时，把数据包扔掉的3种概率：低(Low Drop)、中(Med Drop)和高(High Drop)。
因此服务质量等级就有4×3=12种。
参考用的12种服务质量等级的区分服务码点(DSCP)见表17-3。
保障转发数据包的过程见图17-14，步骤如下1）使用分类器(classifier)将数据包分到4个等级中的一个2）按照给定的服务等级，使用标记器(marker)对数据包做标记，也就是分配区分服务码点(DSCP)3）将数据包送到整形器/删除器(shaper/dropper)进行调整，产生符合服务质量等级要求的数据包流。
通信信号处理中的概率计算及其应用
概率计算原理小结
概率计算最基本的运算为概率乘法和加法。基于 这种概率加法和乘法，可以衍生出一些基本概率 逻辑，即概率“与”、概率“非”、概率“或” 和概率“异或”； 基于接收符号或序列计算发送符号和序列的概率 运算可以转换成基本的概率运算，即概率乘法、 概率加法和包括概率与、概率非、概率或和概率 异或等概率逻辑； 采用模拟集成电路构建基本的概率运算单元，算 法任务用这些基本计算单元完成； 概率计算适合于低功耗、快速的密集概率运算任 务。
内容提要
概率计算的基本原理
概通 率信 计信 算号 及处 其理 应中 用的
国内外发展情况
基于概率计算的帧同步
基于概率计算的置信传播译码
小结
20
概率计算的研究状况（1）
1970年James N. Cronholm给出了概率门的定义 [James 1970] Probability gates statistics 概率门表示一个固定但可控的转移概率P，P具有数字电路的随时 钟变化特性 由于数字技术的迅猛发展，直到近几年基于概率门的信号处理方 法才又被人们重视起来 1998年～1999年瑞士研究人员在瑞士国家科学基金的支持下完成 了turbo/LDPC码中的BP算法在模拟VLSI上的实现工作 [Hans-Andrea Loeliger] Probability Propagation and Decoding in Analog VLSI （IEEE TRANS. ON I.T., 47（2）, FEB. 2001; 会议版本ISIT 1998） [Hans-Andrea Loeliger] Decoding in Analog VLSI （IEEE Communications Magazine , April 1999）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[例] 设有一单符号离散信源
X P( X x2 , x3 , x4 , x5 , x6 x1 , ) 0 . 25 0 . 25 0 . 20 0 . 15 0 . 10 0 . 05
对该信源编二进制费诺码。编码过程如下表。
表5.3.1 二进制费诺编码
i 1 6
平均码长为
L p( xi )li 2.45(比特 / 符号)
i 1 6
编码效率为
H(X ) L N log 2 r 2.423 2.423 2.45 2.45 1 log 2 2 这里N 1, r 2
本例中费诺编码有较高的编码效率。费诺码比较适合 于每次分组概率都很接近的信源。特别是对每次分组 概率都相等的信源进行编码时，可达到理想的编码效 率。
H ( X ) 2.42 89.63% R 2.7
可以看出，编码效率并不是很高。
10
第二节 费诺编码
费诺编码也是一种常见的信源编码方法。编码步骤 如下： 将概率按从大到小的顺序排列，令 p(x1)≥ p(x2)≥…≥ p(xq) 按编码进制数将概率分组，使每组概率和尽可能 接近或相等。如编二进制码就分成两组，编r进 制码就分成r组。 给每一组分配一位码元。 将每一分组再按同样原则划分，重复步骤2和3， 直至概率不再可分为止。
X x1 x2 x3 x4 x5 P( X ) 0.4 0.2 0.2 0.1 0.1
用两种不同的方法对其编二进制huffman码
24
方法一
方法二
25
0 0 0 1 0 x1 1 x2 0
x3 0 1 x5 x4
图5.4.4 例5.4.2的二进制哈夫曼码树(编法一)
15
码树图如图。
信源熵为 H(X)=2.75(比特/符号) 平均码长为 L (0.25 0.25) 2 0.12 2 3 0.0625 4 4 2.75 (比特 / 符号) 编码效率为η=1。之所以如此，因为每次所分两组的概率恰 好相等。
16
14
[例] 有一单符号离散无记忆信源
x2 , x3 , x4 , x5 , X x1 , P ( X ) 1 / 4 1 / 4 1 / 8 1 / 8 1 / 16 x6 1 / 16 x7 1 / 16 x8 1 / 16
对该信源编二进制费诺码，编码过程如表。
0011
1 2 3 4
4
00 10 11 010
011
2 2 2 3
3
27
L1 P( si )li 0.4 1 0.2 2 0.2 3 0.1 4 0.1 4 2.2
i 1 5
5
L2 P( si )li 0.4 2 0.2 2 0.2 2 0.1 3 0.1 3 2.2
结论：在哈夫曼编码过程中，对缩减信源符号按概率由大 到小的顺序重新排列时，应使合并后的新符号尽可能 排在靠前的位置，这样可使合并后的新符号重复编码 次数减少，使短码得到充分利用。
不同的码元分配，得到的具体码字不同，但码长 Li不变，平均码长也不变，所以没有本质区别； 缩减信源时，若合并后的新符号概率与其他符号 概率相等，从编码方法上来说，这几个符号的次 序可任意排列，编出的码都是正确的，但得到的 码字不相同。不同的编法得到的码字长度Li也不 尽相同。 23
例 设有离散无记忆信源
9
由离散无记忆信源熵定义，可计算出：
H ( X ) p( xi ) log2 p( xi ) 2.42( 比特 / 符号 )
i 1 6
对上述信源采用香农编码的信息率为
R L 2.7 log 2 r log 2 2 2.7 N 1 这里N 1, r 2
编码效率为信源熵和信息率之比。则
信源编码的分类：离散信源编码、连续信源编码和相 关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编 码； 连续信源编码：独立信源编码，只能做到限失真 信源编码； 相关信源编码：非独立信源编码。
2
有些编码原理和技术在通信原理和信号处理等 相关课程中已经介绍过。例如： 连续信源编码：脉冲编码调制(PCM)、矢量量 化技术； 相关信源编码： 预测编码：增量编码、差分脉冲调制(DPCM)、 自适应差分脉冲调制(ADPCM)、线性预测声 码器； 变换编码：K－L变换、离散变换、子带编码、 小波变换。
0 x1 x4
0
1 0 0 x2
0
1
1 x5
1 x3
图5.4.6
例5.4.2的二进制哈夫曼码树(编法二)
26
两种不同的编码方法得到的码字和码长的对比
信源符号xi 概率p(xi) 码字Wi1 码长Li1 码字Wi2 码长L’i2 x1 x2 x3 x4
x5
0.4 0.2 0.2 0.1
0.1
1 01 000 0010
第三节 霍夫曼编码
霍夫曼(Huffman)编码是一种效率比较高的变长 无失真信源编码方法。 编码步骤 二进制霍夫曼编码 r进制霍夫曼编码
17
将信源符号按概率从大到小的顺序排列，令
p(x1)≥ p(x2)≥…≥ p(xq) 给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0” 和“1”，将这两个信源符号合并成一个新符号，并用这两个 最小的概率之和作为新符号的概率，结果得到一个只包含(q
信源符号 x1 x2 x3 x4 x5 概率 0.25 0.25 0.20 0.15 0.10 1 0 0 1 0 0 1 1 0 编码 码字 00 01 10 110 1110 码长 2 2 2 3 4
x6
0.05
1
1111
4
12
上述码字还可用码树来表示，如图下所示。
13
该信源的熵为
H ( X ) p( xi ) log2 p( xi ) 2.42325 ( 比特 / 符号 )
8
计算出给定信源香农码的平均码长
L p( xi )li
i 1 q
0.25 2 2 ( 0.2 0.15 ) 3 0.10 4 0.05 5 2 .7 (比特 / 符号)
若对上述信源采用等长编码，要做到无失真译码，每 个符号至少要用3个比特表示。相比较，香农编码对信 源进行了压缩。
信源符号 x1 x2 x3 x4 x5 x6 x7 x8 概率 0.25 0.25 0.125 0.125 0.0625 0.0625 0.0625 0.0625 表 5.3.2 二进制费诺编码 编码 0 0 1 0 1 1 1 0 1 0 0 1 0 1 码字 00 01 100 101 1100 1101 1110 1111 码长 2 2 3 3 4 4 4 4
i 1
两种编码的平均码长是一样的，都是2.2，那一种更好 呢，我们可以计算一下平均码长的方差。 定义码字长度的方差σ2：
5 i 1 5
E[(li L ) ] P( si )(li L ) 2
2 2 i 1
q
12 P( si )(li L1 )2 1.36
19
20
将上图左右颠倒过来重画一下，即可得到二进制哈夫 曼码的码树。
21
信源熵为： H ( X ) p( x ) log p( x ) 2.55(比特 / 符号) i 2 i
i 1
8
平均码长为
L p( xi )li 2.61(比特 / 符号)
i 1 8
2 2 P( si )(li L2 ) 2 0.16 i 1
28
可见：第二种编码方法的码长方差要小许多。意味着 第二种编码方法的码长变化较小，比较接近于平均码 长。 第一种方法编出的5个码字有4种不同的码长； 第二种方法编出的码长只有两种不同的码长； 显然，第二种编码方法更简单、更容易实现，所以 更好。
pa ( x j ) p( xi ) 1
i 1 j 1
2 令p( x0 ) 0，用pa ( x j ), j i 1
表示第i个码字的累加概率
3
log 2 p( xi ) li 1 log 2 p( xi )
4 把pa ( x j )用二进制表示，用小数 点后的li 位作为xi的码字
－1)个信源符号的新信源。称为信源的第一次缩减信源，用S1
表示。
将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，
得到只含(q－2)个符号的缩减信源S2。
重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩 两个符号的概率之和必为1。然后从最后一级缩减信源开始， 依编码路径向前返回，就得到各信源符号所对应的码字。
H (S ) L N H (S ) 1 log r N log r N
lim L H r ( S ) 当 N 则得： N
4
这个定理是香农信息论中非常重要的一个定理， 它指出，要做到无失真的信源编码，信源每个符号 所需要的平均码元数就是信源的熵值，如果小于这 个值，则唯一可译码不存在，可见，熵是无失真信 源编码的极限值。定理还指出，通过对扩展信源进 行编码，当N趋向于无穷时，平均码长可以趋近该 极限值。
3
回顾香农第一定理
定理5.8 无失真变长信源编码定理（香农第一定理）
N 离散无记忆信源S的N次扩展信源 S N ，其熵为H ( S ) ，并且编
{1 , 2 ,..., q } 对信源 S N 进行编码，总 码器的码元符号集为A：
可以找到一种编码方法，构成唯一可译码，使信源S中每个符
号所需要的平均码长满足
编码效率为