信息论第五章答案解析
《信息论》第五章
=1 3
7
结论:错误概率不仅与信道的统计特性有关,而且与译 结论:错误概率不仅与信道的统计特性有关, 码规则有关. 码规则有关. 我们来定义译码规则 设信道的输入符号集为X =1, 设信道的输入符号集为X={ ai},i =1,2,…,r ; 输出符号集为Y =1, 输出符号集为Y= {bj},j =1,2,…,s. 制定译码规则就是设计一个单值函数F ),它对于 制定译码规则就是设计一个单值函数F(bj),它对于 每一个输出符号b 确定一个唯一的输入符号a 每一个输出符号bj确定一个唯一的输入符号ai与其对应 . F(bj)= ai 即 i =1,2,…,r =1, j =1,2,…,s =1, 种译码规则可供选择. 注:对于同一有噪信道共有 r s 种译码规则可供选择.
15
编码1 编码1:将每个码元重复三次 纠正任一位上的错误 设码字记为 (c8c7c6c5c4c3c2c1c0 ) 由编码方法知
c8 = c7 = c6 c5 = c4 = c3 c2 = c1 = c0
纠错: c c 位出错. 纠错:如果 8 = c6 ≠ c7,则 7位出错.在同一组中以 相同二 — ( ). 元数多的为正确 — — —大数判决法 择多译码"规则 "择多译码"
3×10-4 2×10-2 2.23×10-2 7.8×10-4 3×10-2 × × × × ×
14
错误概率与编码方法
重复发送——大数判决规则 重复发送——大数判决规则 信息数据 000 001 010 011 100 101 110 111 编码1 编码1 000000000 000000111 000111000 000111111 111000000 111000111 111111000 111111111 编码2 编码2 000000000 001001001 010010010 011011011 100100100 101101101 110110110 111111111
信息论基础与应用-李梅-第五章 无失真信源编码解析
二次扩展码码字 w j ( j 1, 2,...,16)
w1 w1w1 00 w 2 w1w2 001 w3 w1w3 0001 w16 w4 w4 111111
第五章：无失真信源编码
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 wi称为码字；长度 li 称为码 字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序 列，称为二元码。
将信源符号集中的每个信源符号
si 固定的映射成某
一个码字 wi ，这样的码称为分组码。
码字与信源符号一一对应
2) 不同的信源符号序列对应不同的码字序列
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 s2 s3 s4
0 11 00 Байду номын сангаас1
译码 11
s2 s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
译码 0 0 0 1 1 0 1 1
s1s2 s3 s4
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续5）
4)
唯一可译码 1 1 0 1 0 0 1 0 0 0 0
s1 s2
1 10
1 0
1
s2 / s3 ?
s3 100 s4 1000
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
信息论与编码第五章答案
信息论与编码第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21 year.March设信源「x ]=严①①①勺% 5 “(X)」[0.2 0.19 0.18 0.17 0.15 0.1 0.01(1) 求信源爛H(X)；(2) 编二进制香农码；(3) 计算平均码长和编码效率.解：(1)H(X)= -另/Xt/Jlogn p(di)i・l=-0.2 x log 三02 - 0」9 x log 0」9-0.18xlog20.18-0.17xlog20.17-0.15xlog20.15-0.1xlog20.1-0.01xlog2 0.01=2.609”〃 / symbol斤=》&°a)= 0・2x3 + 0」9x3 + 0」8x3 + 0」7x3 + 0」5x3 +0.1x4 + 0.01x7= 3.141Z7 = ^y M2 = H(X)/^ = 2.609^3.141 =83.1%对习题的信源编二进制费诺码，计算编码效率. 解：=M_2% r = 2fc /X^) = 2xO_2+3xO_19+3xO_18+2xO_17+3xO_15+ 4x01+4x001 = 274H(X) _ _ 2-609 R ~ X ~ 2-74对信源l/cxj I 0-2 o w 01g 017 015 01编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：二进制哈夫曼码:r = 2fc /X^) = 2xO_2 + 2xO_19+3xO_18+3xOJ7+3xO_15+ 4x01+4x001 =2_72R K 2_72三进制哈夫曼码:=914%= 1x0-2 +2x(019+ 0.18+0J7 +0.15+OJ+O-Ol)=L8H(X) HQXi 2.609 4=豪= =l_8xlDg 23 V，D82O T设信源⑴求信源H(X)；⑵编二进制香农码和二进制费诺码；⑶计•算二进制香农码和二进制费诺码的平均码长和编码效率； ⑷编三进制费诺码；⑸计算三进制费诺码的平均码长和编码效率； 解： ⑴更3)=-送>(对如B 2 Pg)i-1=—xk>g 2 2+—5clog 2 4+—xlog 28+—xlog 316 +—xk>g 332+—xlog 264 + ^—xlog 3128 + ^—： 224 X 2 16 32 64 128 128 = 1_984 Iriifsymbol⑵二进制香农码:XiP (Xi)P<M ki码字X11 0 X22 10 X33 110 X44 1110 X55 11110 X66 111110 X77 1111110 X871111111二进制费诺码:xiP (Xi)编码码字k Xi1 X2102211103屯耳七总 X, £ [1111118 16 32 64 128 128香农编码效率：r = yfcX^) = -xl + lx2+lx3+Ax4+Ax5 +—X6+—X7 + —X7T £2 4 8 16 32 64 128 128=1.9&4R K 1_984费诺编码效率：r = yfcX^) = -^l + ix2+ix3+Ax4+Ax5 +—x6+—x7 + —x7 T 2 4 8 16 3264128 128=1_984R K 1_984⑷⑸^=Sfc;X^) = -xl+-xU-x2+ —x2+—X3+A X3+X X4+X X4V 2 4 & 16 3264 128 12S=1328R X 1328x1^,3~ X]J Q r设无记忆二进制信源|_切」I0-9 01先把信源序列编成数字0, 1, 2 ............... .. 8,再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度热;(3) 求对应于一个码字的信源序列的平均长度不;⑷计算耳，并讣算编码效率；⑸若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长疋, 并计算编码效率.p(0/0) = , p(l/l)=,码，求新符号的平均码字长度和编码效率.对题的信源进行游程编码•若“0”游程长度的截至值为16, “1”游程长度的截至值为&求编码效率.选择帧长A/ = 64(1) 对00000000000000000000000000000000000000 遍L・D 码；(2) 对000000000010 遍L-D 码再译码;⑶对0000000000000000000000000000000000000000000000000000000000000000遍L-D码；⑷对0遍L-D码；(5)对上述结果进行讨论.。
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
信息论与编码技术第五章课后习题答案
5.4 已知信源的各个消息分别为字母 A，B，C，D，现用二进制码元对消息字母作信源编码，A：
(2) 考虑没有给予编码的信源序列出现的概率，该定长码引起的错误概率 P 是多少?
解：（1）信源序列中含有 3 个或小于 3 个“0”的各信源序列个数有：
M
=
C0 100
+
C1 100
+
C2 100
+
C3 100
=1+100+4950+161700=166750
对 M 个信源序列进行无失真的二元等长编码，必须： 2l ≥ M = 166750 = 217.35
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
5.5 若消息符号、对应概率分布和二进制编码如下：
消 息 符 a0
a1
a2
a3
号
pi
1/2 1/4 1/8 1/8
编码
0
10
110 111
试求：
(1) 消息符号熵; (2) 各个消息符号所需的平均二进制码个数;
5.6 某信源有 8 个符号{a1, a2 , a3,", a8} ，概率分别为 l/2，l/4，1/8，1/16，1/32，1/64，1/128，1/128，
试编成这样的码：000，001，010，011，100，101，110，111 的码。求：(1) 信源的符号熵 H(X)； (2) 出现一个“1”或一个“0”的概率；(3) 这种码的编码效率；(4) 相应的香农码和费诺码；(5) 该码的 编码效率。
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
《信息论与编码》第五章作业
5.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭(1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit sign==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑(3)71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑5.2 对习题5.1的信源编二进制费诺码，计算编码效率。
解：71()0.220.1930.1830.1720.1530.140.0142.74i i i K k p x ===⨯+⨯+⨯+⨯+⨯+⨯+⨯=∑()()/ 2.609 2.7495.2%H X H X K Rη===÷= 5.3 对习题5.1的信源编二进制赫夫曼码，计算各自的平均码长和编码效率。
解：二进制赫夫曼码：()()()0.20.1920.180.170.1530.10.0142.72K =+⨯+++⨯++⨯=()()()22222222log 0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1og 0.10.01og 0.010.46440.45520.44530.43460.41050.33220.06642.61i i H X p a p a bitsign=-=-------=++++++=∑()() 2.6195.96%2.72H X H X R Kη==== 5.4 设信源()1234567811111111248163264128128a a a a a a a a X P X ⎧⎫⎛⎫⎪⎪=⎨⎬ ⎪⎝⎭⎪⎪⎩⎭(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码； 解：(1)解：（1）()()()log 11111111log log log log224488161611111111log log log log 323264641281281281281.984375i i H X P a P a bitsign=-=--------=∑(2)二进制香农码：二进制费诺码：(3)香农编码效率：()()211111111123456772481632641281281.984375log 1.984375100%1.984375K KR mLH X H X R Kη=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯======费诺编码效率：()()211111111123456772481632641281281.984log 1.984100%1.984K KR m LH X H X R K η=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯======5.15、将正弦信号()()0.25sin 400x t t π=输入采样频率为4kHz 采样保持器后通过增量编制器，该调制器的初始量化00q d =，量化增量0.125= 。
信息论-第五章
将输出值 y译为码字 u(0)。
2024/10/2
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
记w(y)=P((Y1Y2…YN)=y)。我们知道
w( y) q(u) pN ( y | u)； u跑遍所有的码字 （全概率公式）
b(u | y) q(u) pN ( y | u) w( y)
q(u) pN ( y | u) ；
q(c) pN ( y | c)
c跑遍所有的码字
（贝叶斯公式）
一些。发送哪个码字的条件下，最可能收到y，就认为发送 的是哪个码字。 最大似然概率准则（最小距离准则）的实现比最大后验概率 准则的实现更简单：前者只需要看哪个码字与y的Hamming 距离最小；后者需要知道各码字的概率分布，然后用贝叶 斯公式计算并比较后验概率。 两种准则都可以用在没有编码（直接发送）情况下的纠错译 码。
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
（以后将称d为Hamming距离）
2024/10/2
11
§5.1 离散信道编码问题
C40
p0 (1
p)4
C41
p1 (1
p)3
1 2
C42
p2 (1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。
解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑= (2)(3)%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
解：%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：二进制哈夫曼码：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η三进制哈夫曼码：%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LKX H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制香农码：二进制费诺码：(3)香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η (4)(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度1K ； (3) 求对应于一个码字的信源序列的平均长度2K ； (4) 计算12K K ，并计算编码效率； (5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长K ，并计算编码效率。
解：（1）满足Kcraft 不等式：122821491=+⨯=--=-∑i K i；由码树图可见，没有一个码字是其它码字的前缀，码字均在树的终结点。
所以码字可分离。
8123456711111111000000（2）序列长度、序列概率及二元码长如下表所示：数字符号信源符号/.6935911==∑=i i i L p K（3） 数字符号/.bit L p K i ii70862912='=∑=（4）信源符号/.bit K K 4756012=, 此值表示无记忆二元信源采用游程长度编码后每个二元信源需要的平均码长。
信源符号/.)(log )()(bit x p x p X H i i 469021i 2==∑=，%./)(69812==K K X H η（5）4位信源符号的联合概率、Huffman 编码及码长如下表：（码字可以不同，但码长一样）%.)(/./,/.)(29549260449702141614======∑=KX H Symbit K K Sym bit L s p K i i i η5.6 有二元平稳马氏链，已知p (0/0) = 0.8，p (1/1) = 0.7，求它的符号熵。
用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率。
解：平稳时马尔科夫状态的概率：⎩⎨⎧=+-+=17018010100)()()().()(.)(S P S P S P S P S p 解得：⎩⎨⎧==525310/)(/)(S P S p 一阶马氏信源的熵：sym bit S S P S Sp S p H j i j i jii /.log log log )|(log )|()(7860725732535251422212111=--+-=-=∑∑==+701130102001800052153023121321.)|(,.)|(,.)|(,.)|(,/)(,/)()|()|()()(=================S S p S S p S S p S S p S p S p S S p S S p S p S S S p%.//.)()()()(14903361621253271253250952502125021125124250491251231254811191====+⨯+++⨯++⨯+⨯==+=∑K Hsym bit L s p K i i i η11010101100111000011110006/2509/25021/25021/25024/25024/25049/25096/25015/25036/25045/25060/25094/250154/2500000001111115.7 对题5.6的信源进行游程编码。
若“0”游程长度的截止值为16，“1”游程长度的截止值为8，求编码效率。
解：一阶马氏信源的熵同上题，sym bit H /.786011=+二元平稳一阶记忆序列“0”游程的长度概率：∑∞=-=>=⎪⎩⎪⎨⎧=10001500110000011515321i i l ii i l i lp l l p p p l p )(,...,,)(///二元平稳一阶记忆序列“1”游程的长度概率：∑∞=-=>=⎪⎩⎪⎨⎧=111171110111111177321i i l ii i l i l p l l p p p l p )(,...,,)(///“1”游程长度的熵：信源符号/.2),()(log )(log )(log log )(log log )(log )(log log )(log log )(log log )(log log ][log ][][log ][][/////////////////////////////////////////////bit p p H p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p pl p p pp p p pp pp p l p l p l p l p l H i i i i i i i i i i i l l l l l il l l l l i i il ii696111111171111110117111121171111102711711271111211711111127111027117112711711111111210111027117171127111127110111110210111717112711101112101117171127111211121111111111111=--=-----=----+--=-∂∂⋅⋅---=----=--=--=-=∑∑∑∑∑∑=-==--=--=∞=同理，“0”游程长度的熵：信源符号/.),()(][////bit p p H p p l H i 48331101000015000=--= 分别对“0”和“1”游程序列进行Huffman 编码，并分别计算出它们的编码效率。
“0”游程序列的长度、对应得概率、Huffman编码的二元码长及码字数字符号信源符号/.)())(()())(()()()()()(5113517654312517654312171651514132150013019060302000111500130110017014010120010130120010011502007012004012000111612=+++++++++=+++++++++=+++++++++++++++==∑=p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p L p L i i i %.././][199951134833200===L l H i η“1”游程序列的长度、对应得概率、Huffman 编码的二元码长及码字：数字符号二元码字/.)())((////////'73241432171121111411102111110812=++++++==∑=p p p p p p p p K p K i i i%.../][75987326962211===K l H i η %....][][/][/][][][111019973251136962483322000=++=++=++=∴K L l H l H l H l H l H l H i i i i i i ηηη 可见满足10ηηη>>，这里的“0”游程编码效率高，因为游程长度长，而“1”游程编码效率受游程的长度限制显得比“0”游程编码效率略低一些，因此整体的编码效率介于两者之间。