信息论与编码理论-彭代渊-第5章有失真信源编码_习题答案-20071225
《信息论与编码》课件第5章 信源编码技术
❖ 例5.2对例5.1的信源进行费诺编码,具体编码过程如下
消息符 号
概率
a1
0.20
a2
0.19
a3
0.18
a4
0.17
编码效率为
H (X ) 2.61 0.953
L 2.74
➢ 显然，费诺码要比上述香农码的平均码长小，编码效率高。
➢ 从上面的例子可以看出，p(a4)<p(a2)，而码长L4<L2，从 统计角度来看，平均码长一定不是最短的;
➢ 如果将两个符号对应的码字互换，这样编码得到的平均码长
肯定小于原来的平均码长。尽管如此，费诺码的平均码长仍
10 2
11 2 010 3
011 3
方法1 方法2
❖ 根据两种方法的编码结果，计算两种哈夫曼码的平 均码长，结果是两种编码方法的平均码长相等，即
7
L p(ai )li =2.2 码元/符号 i 1
编码效率也相等，都为 H (X ) =0.965
，L
但是两种码的质量不完全相同，编码质量可以用码方差衡量，即
a5
0.15
a6
0.10
a7
0.01
第一次 分组
0
1
第二次 分组
0 1 0
1
第三次 分组
0 1 0
1
第四次 分组
0 1
二元码字
00 010 011 10 110
1110
1111
码长
2 3 3 2 3
4
信息论与编码第5章限失真信源编码
第一节 失真测度
• 以上所举的三个例子说明了具体失真度的定义. 一般情况下根据实际信源的失真, 可以定义不同 的失真和误差的度量.
• 另外还可按照其他标准, 如引起的损失、风险、 主观感受上的差别大小等来定义失真度d(ui,vj).
• 从实用意义上说, 研究符号实际信源主观要求的、 合理的失真函数是很重要的.
第一节 失真测度
设信源变量为U={u1,…,ur}, 接收端变量为 V={v1,…,vs}, 对于每一对(u,v), 指定一个非负 函数
d(ui,vj)≥0 称为单个符号的失真度(或称失真函数). 失真函数用来表征信源发出符号ui, 而接收端再现 成符号vj所引起的误差或失真. d越小表示失真越小, 等于0表示没有失真.
➢ 应该指出, 研究R(D)时, 条件概率p(v|u)并没有 实际信道的含义. 只是为了求互信息的最小值而引 用的、假想的可变试验信道. ➢ 实际上这些信道反映的仅是不同的有失真信源编 码或信源压缩. 所以改变试验信道求平均互信息最 小值, 实质上是选择编码方式使信息传输率为最小.
率失真理论与信息传输理论的对偶关系
– 接收端获得的平均信息量可用平均互信息量I(U;V)表示;
– 这就变成了在满足保真度准则的条件下 D D 找平均互信息量I(U;V)的最小值.
,寻
– 因为BD是所有满足保真度准则的试验信道集合, 即可以 在D失真许可的试验信道集合BD中寻找某一个信道 p(vj|ui), 使I(U;V)取最小值.
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.
《信息论与编码》部分课后习题参考答案
若知道是星期几，则从别人的答案中获得的信息量为 0。 2.3 每帧电视图像可以认为是 3*10^5 个像素构成，所有像素均独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像喊多少信息量？如果一个广 播员在约 10000 个汉字的字汇中选取 1000 个字来口述此电视图像，试问广播员描述此图像 所广播的信息量是多少（假设汉字字汇是等概率分布，并且彼此独立）？若要恰当地描述此 图像，广播员在口述中至少需用多少汉字？ 答：由于每一象素取 128 个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平 包含的信息量为 I(X) = – lb(1/128)=lb128=7 bit/像素 每帧图像中像素均是独立变化的， 因此每帧图像信源就是离散亮度电平信源的无记忆 N 次扩展。由此，每帧图像包含的信息量为 I(XN) = NI(X)= 3×105×7 =2.1×106 bit/帧 广播员在约 10000 个汉字中选取字汇来口述此电视图像， 各个汉字等概分布， 因此每个 汉字包含的信息量为 I(Y) = – lb(1/10000)=lb1000=13.29 bit/ 字 广播员述电视图像是从这个汉字字汇信源中独立地选取 1000 个字进行描述，因此广播 员描述此图像所广播的信息量是 I(YN) = NI(Y)= 1000×13.29 =1.329 ×104 bit/字 由于口述一个汉字所包含的信息量为 I(Y)，而一帧电视图像包含的信息量是 I(XN)，因此 广播员要恰当地描述此图像，需要的汉字数量为：
《信息论与编码》
部分课后习题参考答案
1.1 怎样理解消息、信号和信息三者之间的区别与联系。 答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是 信号。 消息是信息的载体， 信息是指消息中包含的有意义的内容， 是消息中的未知成分。 1.2 信息论的研究范畴可以分成哪几种，它们之间是如何区分的？ 答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。 1.3 有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背 诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。 ” ，随着年龄的增长， 离家求学、远赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这 些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。 答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识 水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广 义信息论的范畴。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间：bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
[工学]信息论与编码_第5章有失真信源编码
![[工学]信息论与编码_第5章有失真信源编码](https://img.taocdn.com/s3/m/47bf031b2f60ddccdb38a022.png)
13
5.1 信息率失真函数
有失真信源编码器模型
X
信源编码器
Y
xi{a1,,an}
yj{b1,,bm}
假想信道
信源编码器 有干扰的假想信道 信息传输率R I(X;Y)
14
5.1 信息率失真函数
nm
D
p(ai ) p(bj | ai )d (ai , bj )
例5.1.1. 设信源符号X{0,1}, 编码器输出符号Y{0,1,2}, 规定失真函数为
d(0,0 )= d(1,1)=0 d(0,1 )= d(1,0)=1 d(0,2 )= d(1,2)=0.5 则失真矩阵为
d
0 1
1 0
0.5
0.5
.
6
a1
b1
a2
b2
an
bn
1
0 i j
8
5.1 信息率失真函数
均方失真： d（xi , yj ) (xi yj )2 绝对失真： d（xi , y j ) | xi y j |
相对失真： d（xi , y j ) | xi y j | | xi | 误码失真（适用于离散信源）：
适用于连续信源
0,
i1 j1
若p(ai)和d(ai,bj)已定，则平均失真由信道转移概率{p(bj|ai)} 完全确定，所有满足平均失真小于等于门限D的信道集合
PD p(bj | ai ) : D D,1 i n,1 j m
15
5.1 信息率失真函数
信息率失真函数
R(D) min I (X ,Y ) PD
允许压缩信源输出的信息率。
研究内容：信息率
信息论 基础理论与应用第三版(傅祖芸) 第5章 讲义
则不可能实现无失真编码，当N趋向于无穷大时，译码错误 率接近于1。
•分析：定理中的条件式可写成
l log r NH (S )
左边: 长为 l 的码符号（码字）所能载荷的最大信息量； 右边: 长为N的信源符号序列平均携带的信息量。 因此，定理说明了：只要码字传输的最大信息量大于信源序 列携带的信息量，则可以实现无失真编码 。
第5章 无失真信源编码定理
5.1 编码器 5.2 等长码 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
信息论与编码技术第五章课后习题答案
5.4 已知信源的各个消息分别为字母 A，B，C，D，现用二进制码元对消息字母作信源编码，A：
(2) 考虑没有给予编码的信源序列出现的概率，该定长码引起的错误概率 P 是多少?
解：（1）信源序列中含有 3 个或小于 3 个“0”的各信源序列个数有：
M
=
C0 100
+
C1 100
+
C2 100
+
C3 100
=1+100+4950+161700=166750
对 M 个信源序列进行无失真的二元等长编码，必须： 2l ≥ M = 166750 = 217.35
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
5.5 若消息符号、对应概率分布和二进制编码如下：
消 息 符 a0
a1
a2
a3
号
pi
1/2 1/4 1/8 1/8
编码
0
10
110 111
试求：
(1) 消息符号熵; (2) 各个消息符号所需的平均二进制码个数;
5.6 某信源有 8 个符号{a1, a2 , a3,", a8} ，概率分别为 l/2，l/4，1/8，1/16，1/32，1/64，1/128，1/128，
试编成这样的码：000，001，010，011，100，101，110，111 的码。求：(1) 信源的符号熵 H(X)； (2) 出现一个“1”或一个“0”的概率；(3) 这种码的编码效率；(4) 相应的香农码和费诺码；(5) 该码的 编码效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4.1 设有一个二元等概率信源 X={0,1}，通过一个二进制对称信道（BSC ）。
其失真函数与信道转移概率分别定义为
，
试求失真矩阵d 和平均失真。
失真矩阵为
,由题的转移概率矩阵：11p εεεε-⎡⎤=⎢⎥-⎣⎦
平均失真：11
(,)(,)0(1)10(1)12n m i j i j
i j D p a b d a b εεεεε====⨯-+⨯+⨯-+⨯=∑∑
4.2设输入符号表示为X={0，1}，输出符号表示为Y={0，1}。
输入符号的概率分布为P=（1/2，1/2），失真函数为d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=2。
试求
以及相应的编码器转移概率矩阵。
失真矩阵：0120d ⎡⎤=⎢⎥⎣⎦
， min min 2
max 1112211122221,21,211,21,2max 0,()()(1/2,1/2)log 21/10:01min min{,)111111min{02,10}min{1,}222222
01,:,()001()i ij j j i j j D R D H X H bit P D p d p d p d p d p d P R D R D ==========⎡⎤=⎢⎥⎣⎦
==++=⨯+⨯⨯+⨯==⎡⎤==⎢⎥⎣⎦
∑符号
转移矩阵此时转移矩阵定12
义域:[0,]
4.4设输入信号的概率分布为P=（1/2，1/2），失真矩阵为101
41104d ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣
⎦。
试
求以及相应的编码器转移概率矩阵。
失真矩阵：101
41104d ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ min min 2
max 1112211122221132231,2,31,2,311,2,31,2,30,()()(1/2,1/2)log 21/100:010min min{,,)11111111111min{01,10,}min{,,}22222424224i ij j j i j j D R D H X H bit P D p d p d p d p d p d p d p d ==========⎡⎤=⎢⎥⎣⎦
==+++=⨯+⨯⨯+⨯⨯+⨯=∑符号转移矩阵max 14
001,:,()00011()4P R D R D =⎡⎤==⎢⎥⎣⎦
此时转移矩阵定义域:[0,]。