第3章_离散信源()题与答案
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码习题与答案第三章
由于 ，每个二元符号的信息量为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间
不能无失真的传输
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵 ;
(3)计算接收端收到一个符号 的错误概率；
(4)计算从接收端看的平均错误概率；
(5)计算从发送端看的平均错误概率；
(6)从转移矩阵中能看出该新到的好坏吗？
(7)计算发送端的H(X)和 。
解：(1)
（2）联合概率 ，后验概率
H(Y/X)=
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
第三章 信道与信道容量 习题解答
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
第3章 离散信源
自信息的例子
【 例 ， 增 】 一 信 源 有 4 种 输 出 符 号 码 ， xi(i=0,1,2,3) ， 且 p(xi)=1/4。设信源向信宿发出x3，但由于传输中的干扰，接 收者收到x3后，认为其可信度为0.9。于是信源再次向信宿发 送该符号x3，信宿无误收到。问: (1) 信源在两次发送中发出的信息量各是多少? (2) 信宿在两次接收中得到的信息量又各是多少?
• 得到信源的样本空间为符号集
X=｛x1, x2, x3, x4, x5, x6｝。 各消息都是等概率出现的
X的概率分布就是各消息出现的先验概率：
p(x1)=p(x2)=p(x3)=p(x4)=p(x5)=p(x6)=1/6, 信源的数学模型为:
X P( X
)
1x/16
x2 1/ 6
x3 1/ 6
按照信源符号彼此之间的依存关系，离散信源又可分为： 离散无记忆信源和离散有记忆信源 • 离散无记忆信源：信源发出的一个个消息符号是相互 独立的。 - 前面已经出现的信源符号对后面将要出现哪个信源 符号没有影响； - 即：各符号序列中的各个符号之间是没有统计关联 的关系； - 各个符号的出现概率是它自身的先验概率。 - 离散无记忆信源包含发出单符号的无记忆离散信源 和发出符号序列的无记忆离散信源。
信源熵的例子1
【例3-5，P31】计算机中常见的信源是二元信源，二元 信源可以描述为
X 0 1 0 1
P
p
q
p
1 p
则二元信源的熵为
H(X ) p log p (1 p)log(1 p) • 如例3-3，p=1/2 H(X)=1比特/符号
说明
➢ 二元信源的信息熵H(X)是 概率p的函数，通常用H(p) 表示。
第3章 离散信源
时间长度为bi，则该信源的时间熵定义为：Ht(X)=H(X)/b. 其中b为信源符号的
平均时间长度。
M
b p( xi ) bi
i 1
s / 符号
离散信源的时间熵（续）
K重符号序列离散无记忆信源的时间熵：
K K Ht (X ) H(X ) / B
bit / s 其中B Kb
为K重符号序列消息的平均时间长度。由于信源无记忆，上式也可以写成：
bit / s
由于信源有记忆，所以有：
K ( H t X ) KH ( X ) (Kb) KH ( X ) /(Kb) H ( X ) / b
bit / s
有记忆信源与无记忆信源相比，对外提供信息量的速度下降了。
离散信源的时间熵（续）
马尔可夫信源的时间熵： 若信源从状态Si转移到状态Sj，发出的符号是xij，它的时间长度设为bij，则 信源从状态Si发生转移并发出一个符号时，符号的平均长度为：
信源分类
若离散信源输出符号彼此间相互独立，而且所有符号服从同一种概率分布，则称之 为简单无记忆信源；
若输出符号间彼此相关，且每个符号只与它前面的一个符号相关，而这种相关性可 以用符号间的转移概率来描述，则称之为马尔可夫信源。
离散信源的熵
单符号离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送一个 符号代表一条消息时，其信源熵可以表示为:
H(X ) 100% H ( X )max
信源符号的相关性越大，信源效率越低，要提高信源效率，要设法降 低符号之间的相关性。
信源的效率与冗余度（续）
（2）信源冗余度：
H ( X )max H ( X ) H(X ) R 1 1 100% H ( X )max H ( X )max
信息论与纠错编码题库
第三章 离散信源无失真编码3.2离散无记忆信源，熵为H[x]，对信源的L 长序列进行等长编码，码字是长为n 的D 进制符号串，问：（1）满足什么条件，可实现无失真编码。
（2）L 增大，编码效率 也会增大吗？ 解：（1）当log ()n D LH X ≥时，可实现无失真编码；（2）等长编码时，从总的趋势来说，增加L 可提高编码效率，且当L →∞时，1η→。
但不一定L 的每次增加都一定会使编码效率提高。
3.3变长编码定理指明，对信源进行变长编码，总可以找到一种惟一可译码，使码长n 满足D X H log )(≤n <D X H log )(+L 1,试问在n >D X H log )(+L1时，能否也找到惟一可译码？ 解：在n >D X H log )(+L1时，不能找到惟一可译码。
证明：假设在n >D X H log )(+L1时，能否也找到惟一可译码，则由变长编码定理当n 满足D X H log )(≤n <D X H log )(+L 1，总可以找到一种惟一可译码知：在n ≥DX H log )( ① 时，总可以找到一种惟一可译码。
由①式有：Ln ≥L X H )(logD ② 对于离散无记忆信源，有H(x)=L X H )( 代入式②得：n L ≥ Dx H log )( 即在nL≥Dx H log )(时，总可以找到一种惟一可译码；而由定理给定熵H （X ）及有D 个元素的码符号集，构成惟一可译码，其平均码长满足D X H log )(≤n L <DX H log )(+1 两者矛盾，故假设不存在。
所以，在n >D X H log )(+L1时，不能找到惟一可译码。
3.7对一信源提供6种不同的编码方案：码1~码6，如表3-10所示表3-10 同一信源的6种不同编码 信源消息 消息概率 码1 码2 码3 码4 码5 码6 u1 1/4 0 001 1 1 00 000 u2 1/4 10 010 10 01 01 001 U3 1/8 00 011 100 001 100 011 u4 1/8 11 100 1000 0001 101 100 u5 1/8 01 101 10000 00001 110 101 u6 1/16 001 110 100000 000001 1110 1110 u71/161111111000000000000111111111（1） 这些码中哪些是惟一可译码？ （2） 这些码中哪些是即时码？（3） 对所有唯一可译码求出其平均码长。
第三章离散信源及离散熵
电子科技大学
H(X) = −∑p(xi )lbp(xi )
i =1
4
1 1 1 1 1 1 = − lb − lb − lb × 2 2 2 4 4 8 8
2011-3-13
1 1 1 1 1 1 = lb2 + lb4 + lb8 = + × 2 + × 3 2 4 4 2 4 4 bol = 1.75(bit / sym )
2011-3-13
1、离散平稳信源及其数学模型 对于多符号离散信源发出的符号序列 X1X2 L 如果任意两个不同时刻k …， 如果任意两个不同时刻k和l，k=1,2, …， l=1,2, …，其概率分布相同，即 …，其概率分布相同， P(Xk ) = P(Xl ) 则称该多符号离散信源为一维离散平稳 信源。 信源。
该信源的离散熵
2011-3-13
H(X1X2 ) = −∑p(ai )lbp(ai )
= −∑∑p(xi1 xi 2 )lbp(xi1 xi 2 )
i1 =1i 2 =1 n n n n
n2
电子科技大学
i =1
= −∑∑p(xi1 xi 2 )lbp(xi1 )p(xi 2 / xi1 )
i1 =1i 2 =1
电子科技大学
H(X) = −∑p(i)lbp(i)
i =1
6
1 1 bol = − lb × 6 = lb6 = 2.585(bit / sym ) 6 6
2011-3-13
例2，求某一天简单的天气气象这一信源 的离散熵。 的离散熵。 该信源的数学模型为： 解： 该信源的数学模型为：
) ) ) 雨 x1(晴 x2(阴 x3( ) x4(雪 X 1 1 1 P(X) = 1 2 4 8 8
高等教育《信息论》第3章离散信源
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：
(1)此消息的自信息量是多少？
(2)此消息中平均每符号携带的信息量是多少？
解：
(1)
此消息总共有14个0、13个1、12个2、6个3,因此消息发出的概率是：
此消息的信息量是：I二-log p =87.811 bit
3.2某一无记忆信源的符号集为｛0, 1｝，已知信源的概率空间为
;x 口0 1:
]P(X)」J/4 3/4：
(1)求信息符号的平均熵；
⑵ 由100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m个“1”)
的自信息量的表达式；
⑶计算⑵中序列的熵。
解：
(1)
丁"133、
H(X)二一p(X|) log p(X|) log log 0.811 bit
i\_4 4 4 4 J
100 -m
3
—,100
4
3〔00 -m
l(xj - -log p(xj - -log 10厂=41.5 1.585m bit
4
H(X100) =100H(X) =100 0.811 =81.1 bit
其概率空间为
；X L X1 = 0 X2 =1 X3 = 2 X4 = 3
J P(X)J '、3/8 1/4 1/4
1/8
离散无记忆信源
⑵
此消息中平均每符号携带的信息量是: I /n =87.811/45=1.951 bit
z-m 100 -m
g盯(4〕
3.5某信源的消息符号集的概率分布和二进制代码如题表 3.2所列
(1)求信息的符号熵；
(2)求每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这一结果求码序列中的一个二进制码的熵；
(3)当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现
0和1的无条件概率P o和P i，求相邻码间的条件概率P o/1、P l/0、P i/1、P o/o。
解：
(1)
「1 1 1 1 1 1 1 1 \
H(X) - p(xjlogp(x) log log log log 1.75 bit
i(2 2448888 丿
⑵
- 丁1111
L =E(h)=為p(x)h 1 ——2 — 3 — 3=1.75
i 2 4 8 8
1 1
H N(X) H (X) H(X) =1 bit
N L
设消息序列长为N，则u0、u1、u2、u3的个数分别为N/2, N/4, N /8, N/8个。
N N N N 7N
则0的个数为一1 — 1 — 1 — 0 =——
2 4 8 8 8
N N N N 7N
而1的个数为0 1 2 3 =
2 4 8 8 8
因而p0 = p1 = 0.5
P0/1 二P10 / P1 =屮P
0/0 = P00 / P0
P1/0 二p
01
/ p
1
二2__2
1
P1/1 二
p
11
/ p
1
3.7设有一个信源，它产生0, 1序列的信息。
该信源在任意时间而且不论以前发生过什么消息符号，均按P(0) = 0.4 ，P(1) = 0.6 的概率发出符号。
(1)试问这个信源是否是平稳的；
⑵ 试计算出乂)，H(X3/X I XQ及Hs
(3)试计算出乂)并写出乂信源中可能有的所有符号。
解：
⑴
这个信源是平稳无记忆信源。
因为有这些词语：“它在任意时间而且不论以前发生过什么符号
⑵
2
H(X ) =2H(X) 一2 (0.4log0.4 0.6log0.6) =1.942 bit
H(X3/X!X2)=H(X3)-八P(xjlog p(xj (0.4log0.4 0.6log0.6) =0.971 bit
i
H 一- 二lim H(X N/X!X2...X NI^H(X N^0.971 bit
-N _^O
⑶
H(X4) =4H (X) —4 (0.4log 0.4 0.6log 0.6) = 3.884 bit
X4的所有符号：
0000 0001 0010 0011
0100 0101 0110 0111
1000 1001 1010 1011
1100 1101 1110 1111
3.11有一马尔可夫信源，已知转移概率为p(S/S1)=2/3，p(S2/S)=1/3，p(S/S2)=1，P(S2/S2)= 0。
试画出状态转移图，并求出信源熵。
解:
P
(S
1
)
= p(S i
) p(S l / S
1
)+
p(S 2
) p(S 1
/ S 2
)
p( S 2
) = p(S 2
)p(S 2
/ S 2
) + p(
S )
p(S
2
/ S j ) 2
p(S 1 )
P(S
2) 3 1 -3 p(S 1) 1 p(S 1)
3 p(S i )
P
（S 2） P （S 2
） P(SJ p(S 2) =1 jp(S 1)=3/4 :p(S 2)=1/4 H ：：-八、p(S)p(S j /S)log p(S j /S i ) i j 3 2 2 3 1 1 log log 4 3 3 4 3 3 = 0.689 bit 3.21黑白传真机的信息元只有黑色和白色两种 X=｛黑，白｝，一般气象图上黑色出现的概率为 P(黑)=0.3，白色出现的概率为P(白)=0.7，黑白消息前后没有关联，其转移概率为 P(白 /白)=0.9，P(黑/白)=0.1 ，P(白/黑)=0.2，P(黑/黑)=0.8。
求该一阶马尔可夫信源 的不确定性H(X/X)，并画出该信源的状态转移图 解： ds) = p(S 1)p(S 1/sj + p(S 2)p(s/S 2) < 、P( S 2 ) = P(S 2 ) P( S 2 / S 2 )
* p( S 1 ) p( S 2 / S 1 )
；P(SJ =0.8p(SJ +0.1p(S 2)
p©) =0.9p(S 2)+0.2p(SJ ；p(S 2)=2p(S) PS 1) +p(S 2)=1 :P(SJ =1/3 PS 2) =2/3 H ：：-八 ' p(S i )p(S j /S)log p(S j /S i ) i j ,Z
1 1
2 2〕 —汉 0.8log0.8 + —汉 0.2log0.2+—^0.1log0.1 + — ^0.9log0.9 1 <
3 3 3 3 J = 0.553 bit I
S 2
-/ p(白/
白)=0.9
)=°.2
3.23 设信源产生 A, B, C 三种符号 p(B/B)=1/2，p(A/B) = p(C / B) = 1/4，p(A/A) = 5/8， p(B/A)=1/4， p(C/A)=1/8，p(C/C)=5/8， p(B/C) =1/4，p(A/C) =1/8。
试计算冗余 度。
解：
5 11 P(S A )=石 P(S A )+;P(S B )
P(S c )
8 4
8 1
1
1
^P(S B ) = ：P (S A ) +；；P (S B )
P(S C )
4 2 4 115
p(S c )=匚 P(S A ) P(S B ) +匚 P(S C )
8 4 8
P(S A )二 P(S B )二 P(S C ) P(S A ) P(S B ) p(S c ) =1
3
3
3
H 比=—E Z Z p(e)p(q /e)log p(e j /ej
j k
1 5 1
r 1111 log log p log — |I3 8
8 3 4 4 3 8 8
1 1 1 1 1 1 1 1 1
log log log- 3 4 4 3 2 2 3 4 4 11111115 5
log log log 3 8 8 3 4 4 3 8 8 = 1.366 bit
R =1_H
―迦=o.138
H o log 3
P(S A ) P(S B ) .P(S C ) = 1/3 = 1/3
= 1/3
3.26 一阶马尔可夫信源的状态图如下图所示。
信源X的符号集为{0, 1,2}
(1)求平稳后信源的概率分布；
⑵求信源的熵比。
3
3
3
H 八 p(e)p(n / e)log p(e j /e)
i j
k
4
3 3
4 1 1 log log — _11 4 4 114 4 3^2311
log
log - 11 3 3 113 3
—1 log 1 — -log-
解:
⑴ P(S i
) P （S 2） P （S 3） P(S i ) P （S 2） P （S 1） P （S 2） P （S 3） ⑵
3 1 p(sj - P(S 3)
4 4 2 1
=3 P(S 2) 4 P(S 1) 1 3 =3 P(S 2) 4 P(S 3) 二 P （S 3）
十S 1
） =4/11
=
3/11 =4/11
11 4 4 114 4 = 0.840 bit。