信息论复习资料
信息论基础总复习
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
I(X ;Y |Z ) H (X |Z ) H (X |Y )Z
I(X;Y)ZI(X;Y)I(X;Z|Y) I(X;Z)I(X;Y|Z)
连续随机变量的互信息
I(X;Y) 0 I (X ;Y ) I (Y; X ) I (X ;Y | Z) I (Y; X | Z) I(X;Z) I(X;Y) I (XY; Z) I (X ; Z) I (Y; Z | X )
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R (D )p m i jpDi n i1n jm 1p(xi)p(yj/xi)lop(p g y (jy/jx )i)
输入 xX
信道模型
输入 y Y
转移概率矩阵
p(y/ x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量 考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
• 这个表达式平均错误译码概率的最小值， 是把每一个yj对应的后验概率排除后再连 续求和。
信息论复习资料
8、 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收 序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。 三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道 中，最小距离译码准则等效于最大似然译码准则。 9、 保真度准则为：平均失真度不大于允许的失真度。 10、限失真信源编码：有失真信源编码的中心任务，在允许的失真范围内把编码的信息率压缩到最小。
4、线性分组码不具有的性质是（C）
1 / 2 1 / 4 [P XY ] 1 / 12 1 / 6
； [ PY ] [7 / 12 5 / 12] ；
； H (Y ) 7 / 12 log 2 (12 / 7) 5 / 12 log 2 (12 / 5)
I ( X ; Y ) H (Y ) H (Y | X )
对应的剩余度为
1 1
H1 0.811 1 0.189 H0 1 1 1 1 log log 2 2 2 2 H2 0.681 1 0.319 H0 1 1 1 1 log log 2 2 2 2
H ( p1 , p2 , , pL 1 , pL ) pL H (
并说明等式的物理意义
q q1 q2 , , , m ) pL p L pL
14、一阶齐次马尔可夫信源消息集
X∈｛ａ１,ａ２,ａ３｝ ，状态集Ｓ∈｛Ｓ１，Ｓ２，Ｓ３｝且令 Si=ai，
1 4 1 4 1 2 P(aj / S i ) 1 3 1 3 1 3 2 3 1 3 0
信息论复习
0
③ 确定性
④ 扩展性 ⑤ 极值性 ⑥ 可加性
H ( p1 , p 2 , ..., p q ) H (1 / q ,1 / q , ...,1 / q ) log q
***********
H（XY）= H（X）+ H（Y）*******
H ( p 1 , p 2 , , p n 1 , q 1 , q 2 , , q m ) q1 pn , q2 pn , , qm pn )
⑦ 强可加性 H(XY)=H(X)+H(Y/X) *******
⑧ 递增性
⑨ 上凸性
3.平均互信息（ ***** *******课后习题3.3，6.1求输入符号 概率分别为1/4, 1/2, 1/4 时平均互信息和信道容量）
I ( X ;Y )
P ( xy ) log
X ,Y
P(x y) P (x)
X ,Y
P ( xy ) log
P ( xy ) P (x)P ( y)
( b1b1b1b1 b1 ) 1
( b1b1b1b1 b 2 ) 2
XN
(ar ar ar ar ar ) r N
P ( h / k )
(bs bs bs bs bs ) s N
YN
kn P ( h / k ) P ( b h b h b h a k a k a k )
6.马尔可夫信源及其信息熵（*****） （1）马尔可夫信源的定义******（特别是M阶马尔可夫信源 若一个信源满足下面两个条件，则称为马尔可夫信源： ① 某一时刻信源输出的符号的概率只与当前所处的 状态有关，而与以前的状态无关； ② 信源的下一个状态由当前状态和下一刻的输出唯 一确定。 （2）时齐遍历马尔可夫信源的信息熵（***********） H Q ( E ) H ( X | E ) Q ( E ) P ( a | E ) lo g P ( a | E )
信息论 总复习 new
27
3 哈夫曼编码
Wuhan University
a.将信源符号按概率从大到小的顺序排列，令
b.给两个概率最小的信源符号p(xn-1)和p(xn)各分配
一个码位0和1，将这两个符号合并成一个新符号，其
概率之和作为新符号的概率，得到(n－1)个符号。
c.将缩减信源符号按概率排列，重复步骤a,b。直至缩 减信源只剩两个符号为止。
译码错误概率 pe
P eP r[|I(L uL)H(U)|]L I22
I(ak)的方差
信源序列中每个符号含 有信息量的算术平均值
I(ak)的数学期望
2 I
L 2
契比雪夫不等式的右边是理论上的误码率的上限，
必须小于给定的误码率才能保证到达编码性能要求
24
定长编码定理
Wuhan University
其中差错率满足如下式子
Def. 可达速率：对于给定的信源和编码速率R及 任意δ>0，若存在L0、ξ()、D()，使当码长 L>L0时，Pe< δ ，就称R是可达的，否则R是 不可达的。
22
Wuhan University
Th. 若R>H(U)，则R是可达的；若R<H(U)，则R是 不可达的。
• 对于给定的离散无记忆信源，若D元码的速率R超 过信源的熵，即NlogD/L ≥H（U）+ε，则存在 编码方法，当L足够大时能使译码错误概率任意小 。
离散信源的无失真编码实质上是一种统计匹配编 码。信息论指出信源中的统计多余度主要决定于以 下两个主要因素：
一是消息概率分布的非均匀性，另一个是消息间 的相关性。对无记忆信源主要决定于概率分布的非 均匀性，但是，对于有记忆信源，两者都起作用， 且后者相关性更加重要。
信息论总结与复习
i 1 k 1
i 1
k 1
结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。
H lN iN 1 m H (X 1 X 2 X N 1 X N ) H (X N 1 |X 1 X 2 X N )
第一部分、信息论基础
1.1 信源的信息理论
[例1] 已知二阶马尔可夫信源的条件概率：
第一部分、信息论基础
1.1 信源的信息理论
（4）序列信息熵的性质：
《1》条件熵不大于无条件熵，强条件熵不大于弱
条件熵：H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ …
…… ≥H (XN|X1X2……XN-1)
《2》条件熵不大于同阶的平均符号熵:
HN ≥H (XN|X1X2……XN-1)
[例3]求对称信道
P00..32
0.3 0.2
0.2 0.3
00..23的信道容量。
解：C =log4-H(0.2,0.3,0.2,0.3)
=2+(0.2log0.2+0.3log0.3)×2 = 0.03 bit/符号；
第二部分、无失真信源编码
2.1 信源编码理论
第二部分、无失真信源编码
1.1 信源编码理论:
稳态方程组是：
QQ((EE32
) )
0.2Q(E1 0.6Q(E2
) )
0.6Q(E3 ) 0.2Q(E4 )
Q(E4 ) 0.4Q(E2 ) 0.8Q(E4 )
Q(E1) Q(E2 ) Q(E3 ) Q(E4 ) 1
第一部分、信息论基础
1.1 信源的信息理论
可解得：
Q (E1 )
[例5] 以下哪些编码一定不是惟一可译码？写出每 种编码克拉夫特不等式的计算结果。
信息论 总复习
等概率分布
设 B {b1，b2 , , bs } 等概率分布, 应由P ( x )保证
（3）对称离散信道容量
当 P( x) 等概率分布时
' C log s H ( p1'，p2， ，ps' ) bit / 符号
（4）准对称离散信道容量
C log r H ( p ，p ， ，p )
3、有噪信道编码定理 定理6.5 有噪信道编码逆定理
设离散无记忆信道 [ X , P ( y | x ), Y ], 其 信道容量为C。当信息传输率 R>C , 则无论码长n多长，总也找不到一种 编码（M 2nR，n) ，使译码错误概率任 意小。
第9章信道的纠错编码
1、线性分组码 生成矩阵G、校验矩阵H、伴随式译码 2、循环码
2、最大似然译码准则
则选择译码函数 F (b ) a 的条件应满足
j
P ( b j | a) P ( b j | a i )
PE P(ai )P
X
(i ) e
3、有噪信道编码定理 定理6.4 （有噪信道编码定理） P 设离散无记忆信道 [ X , P ( y | x ), Y ] ，( y | x ) 为其信道传递概率，其信道容量为C。当 信息传输率R<C 时；只要码长n足够长， M ( 2 nR ) 总可以在输入符号集中找到 ( 2 nR , n) 和相应的 个码字组成的一组码 译码规则，使译码的错误概率任意 小 ( PE 0) 。
N
称 H 为平稳信源的极限熵或熵率。
第三章离散信道及其信道容量
1、单符号离散信道的数学模型 a1 b1 a2 b2
X
ar
P (b j | a i )
信息论基础复习提纲
第一章 绪论1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。
信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。
包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。
（5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。
③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。
④、要求信源为随机过程，不研究信宿。
第二章 信息的度量2.1 自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I是()i x p 的严格递减函数。
当()()21x p x p <时()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。
()()()i i i x p x p x I 1loglog =-=②、极限情况下，当()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。
信息论复习提纲
信道传递概率可以用信道矩阵来表示：
x1 x2 P xr
y1 p( y1 | x1 ) p( y | x ) 1 2 p( y1 | xr )
y2 p( y2 | x1 )
p( y2 | x2 ) p( y2 | xr )
ys p( ys | x1 ) 1 p( ys | x2 ) p( ys | xr )
i
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续14）
例3：求二元删除信道的 H ( X )、H (Y )、H ( X | Y )和I ( X ;Y ) 。
已知
1 3 PX 4 4
1 1 2 2 0 P 1 2 0 3 3
3. 后验概率（后向概率）: 贝叶斯公式
p ( xi | y j ) p ( xi y j ) p( y j ) p ( xi ) p ( y j | xi )
p( x ) p( y
i 1 i
r
j
| xi )
（i =1，2，…，r;j =1，2，…，s）
且
p ( xi | y j ) 1
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y j | xi ) 1
j 1
s
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
r s
第四章：信道及信道容量
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
判断30名词解释4*5计算3道20分第一章1、自信息和互信息P6 公式2、信道P9 概念第二章1、离散平稳信源P18概念2、离散无记忆信源P19概念3、时齐马尔可夫信源P20概念4、自信息P22概念5、信息熵P25概念6、信息熵的基本性质P281)对称性2)确定性3)非负性4)扩展性5)可加性6)强可加性7)递增性8)极值性9)上凸性7、联合熵条件熵P42公式P43例题8、马尔克夫信源P54公式P55例题9、信源剩余度P5810、熵的相对率信源剩余度P5811、课后作业：2、4、13、21、22第三章1、有记忆信道P73概念2、二元对称信道BSC P743、前向概率、后向概率、先验概率、后验概率P764、条件熵信道疑义度、平均互信息P775、平均互信息、联合熵、信道疑义度、噪声熵计算公式P786、损失熵噪声熵 P797、平均互信息的特性P821)非负性2)极值性3)交互性4)凸状性8、信息传输率R P869、无噪无损信道P87概念10、有噪无损信道P88概念11、对称离散信道 P89概念12、对称离散信道的信道容量P90公式张亚威2012/06/20张亚威2012/06/2116、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9第五章1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。
2、 等长码 P172概念3、 等长信源编码定理 P1784、 编码效率 P1805、 克拉夫特不等式 P1846、 香农第一定理 P1917、 码的剩余度 P194第六章1、 最大后验概率准则 最小错误概率准则 P2002、 最大似然译码准则 P2013、 费诺不等式 P2024、 信息传输率（码率） P2055、 香农第二定理 P2156、 课后习题 3、第八章1、 霍夫曼码 最佳码 P2732、 费诺码 P2793、 课后习题 11、第八章1、 编码原则 译码原则 P3072、 定理9.1 P3133、 分组码的码率 P314公式4、 课后习题 3、一、 填空题1、 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。
2、 采用m 进制编码的码字长度为K i ，码字个数为n ，则克劳夫特不等式为11≤∑=-ni K i m ， 它是判断 唯一可译码存在 的充要条件。
3、 差错控制的基本方式大致可以分为 前向纠错 、 反馈重发 和 混合纠错 。
4、 如果所有码字都配置在二进制码树的叶节点，则该码字为 唯一可译码 。
5、 某离散无记忆信源X ，其符号个数为n ，则当信源符号呈 等概_____分布情况下，信源熵取最大值___log （n ） 。
6、 信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、 信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
8、 三进制信源的最小熵为0，最大熵为32log bit/符号。
张亚威 2012/06/20根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
12、 根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
13、 连续信源的绝对熵为 无穷大。
（或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰）14、 离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
15、 无记忆信源是指 信源先后发生的符号彼此统计独立 。
16、 离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。
17、 为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
18、 八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
19、 即时码是指 任一码字都不是其它码字的前缀 。
20、 一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
21、 信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。
22、 m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。
23、 同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。
二、 判断题1、 信息就是一种消息。
（ ⨯ ）2、 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（ √ ）3、 概率大的事件自信息量大。
（ ⨯ ）4、 互信息量可正、可负亦可为零。
（ √ ）5、 信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（ ⨯ ）6、 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（ √ ）7、 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（ ⨯ ）8、 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（ √ ）9、 信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ⨯ )三、 名词解析题1. 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。
答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息为表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2. 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。
答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。
张亚威2012/06/21最大值为信道容量。
四、 计算题1、 设有一批电阻，按阻值分70%是2k Ω，30%是5k Ω；按功耗分64%是1/8W ，36%是1/4W 。
现已知2kΩ电阻中80%是1/8W ，假如得知5k Ω电阻的功耗为1/4W ，问获得多少信息量。
解：根据题意有⎥⎦⎤⎢⎣⎡===3.07.05221k r k r R ，⎥⎦⎤⎢⎣⎡===36.064.04/128/11w w W ，8.0)1/1(=r w p 由15/4)2/1()2/1()2()1/1()1()1(=⇒+=r w p r w p r p r w p r p w p 所以15/11)2/1(1)2/2(=-=r w p r w p得知5k Ω电阻的功耗为1/4W ，获得的自信息量为=-))2/2((r w p lb 0.448bit2、 已知6符号离散信源的出现概率为⎥⎥⎦⎤⎢⎢⎣⎡321321161814121654321a a a a a a ，试计算它的熵、Huffman 编码和费诺编码的码字、平均码长及编码效率。
解：该离散信源的熵为323213232116161881441221)()(61lb lb lb lb lb lb p lb p x H i i i +++++=-=∑= =1.933 bit/符号Huffman 编码为：a 1 0.5 a 2 0.25 a 3 0.125 a 4 0.0625 a 5 0.03125 a 6 0.031250.06250.1250.250.51.01111 00 00 01符号 概率 码字 1 01001 0001 00001 00000平均码长符号码元/933.15*3215*3214*1613*812*411*21=+++++=l 编码效率为%100)(==lx H η张亚威 2012/06/20平均码长符号码元/933.15*325*324*163*82*41*2=+++++=l编码效率为%100)(==lx H η3、 在图片传输中，每帧约有2 106个像素，为了能很好地重现图像，每像素能分256个亮度电平，并假设亮度电平等概分布。
试计算每分钟传送两帧图片所需信道的带宽（信噪功率比为30dB ）。
解：每个像素点对应的熵8256log log 22===n H bit/点2帧图片的信息量bit H N I 7610*2.38*10*2*2**2===单位时间需要的信道容量sbit t I C t /10*3.56010*2.357===4、 由香农信道容量公式HzSNR C W SNR W C t t 4252210*35.5)10001(log 10*3.5)1(log )1(log ≈+=+=⇒+=(10分)设离散无记忆信源的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，通过干扰信道，信道输出端的接收符号集为[]12,Y y y =，信道传输概率如下图所示。
1x 2x 1y 2y(1)计算信源X 中事件1x 包含的自信息量； (2)计算信源X 的信息熵； (3)计算信道疑义度()|H X Y ； (4)计算噪声熵()|H Y X ；(5)计算收到消息Y 后获得的平均互信息量。
解：(1) ()1log0.80.3220.09690.223I x bit hart nat =-===张亚威 2012/06/21联合分布：()2231,,,31520201.4040.9730.423H XY H bit nat hart ⎛⎫= ⎪⎝⎭===符号()()49/60,11/600.6870.4760.207H Y H bit nat hart ====符号 ()()()|0.7170.4970.216H X Y H XY H Y bit nat hart =-===符号(4) ()()()|0.6820.4730.205H Y X H XY H X bit nat hart =-===符号 (5) ()()();|0.005040.003490.00152I X Y H X H X Y bit nat hart =-===符号符号符号5、 已知信源12345S P 0.250.20.20.20.15s s s s s ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长—L ；（4分） （3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分） （5）计算编码效率η。