信息论习题答案

(1) 试求最小失真度 和 。
(2) 试求最大失真度 和 。
(3) 若最大允许失真度 ，试问信源每一个符号的平均二进制码长是多少？
答：
汉明失真函数和信道转移概率矩阵别离为
，
（1）最小失真度 和 别离为
， 。
（2）最大失真度 和 别离为
=0
9. 设一离散无经历信源 ，每秒发出个符号，通过一个二进制无噪信道传输，该信道每秒仅能传两个二进制符号，试问：
(2) 相同情况下“车”、“象”和“后”对应的熵率(“象”分为两种)。
答：
（1）由于“王”不能停在当前格上，必需走一步，因此就9个状态的稳态散布为
其中 是从第 格动身能够抵达的格子数， 。通过简单的计算可得：
， ，
再依照“随机行走”的意义可得
因此最终结果为
（2）“车”不管在哪个格子，它都有4个走向，例如它在1号格子，它能够去二、3、4、7号格子，因此状态的稳态散布为均匀散布： ，车随机行走的熵率为
能够看到：做 和 两个实验比做 一个实验可多取得的信息为
（3） ，它表示做完 实验以后，从 实验可取得关于 的信息量。
，它表示做 完实验以后，从 实验可取得关于 的信息量。
6. 设信源 通过一干扰信道，接收符号为 ，信道传递概率如图2-7所示。求：
(1) 信源 中事件 和 别离携带的自信息量。
(2) 收到消息 后，取得的关于 的信息量。
(3) 求 和 ，并说明它们的含义。
答：
（1） ，要求 和 需要先求 ， ， 已知。
，要求 和 需要先求 ， ， 已知。
由 及联合概率散布与边缘概率散布的关系可得 及 ，如表2-1所示：
表2-1
0
1
0
1
0
1/4
0
0
1/4

1
0
1/4
1
1/4
0
2
1/4
1/4
2
0
1/2
1/2
1/2
1/2
1/2
因此
一样可求出 及 ，如表2-2所示：
又因为 ，由（3-13）可得率失真函数 为
（2）当信源 ， 时，
3. 设一个符号等概率输出的离散无经历信源 的失真函数矩阵为
试求：(1)率失真函数 ；(2)信道转移概率 。
答：
由失真函数可知通过的信道为对称信道，故可设对称性可设信道的转移概率
那么由信源概率散布和信道转移概率散布可取得信宿接收信号的概率散布 ，得
答：
15. 一信源产生的时不变波形信号(即信号统计特性不随时刻而变)的带宽为4kHz，幅度散布为
试求该信源的信息输出速度。
答：
该信源的绝对熵
由于此题中 ，并非趋于0，因此
（奈特/样值）
依照奈奎斯特定理，对该波形信号的抽样率至少为 。信源的输出信息率为：
（奈特/秒）
第3章
1. 假设一个二元等概率离散无经历信源 ，通过一个二进制对称信道， 表示符号传输过失，其失真函数 和信道转移概率 别离为
最小失真度为
若是信道要达到最大失真度 ，信道的转移概率矩阵为
，或 ，或 （ ）
若是信道要达到最大失真度 ，信道的转移概率矩阵为
，或 ，或
7. 已知一个等概率离散无经历信源 ，信宿接收符号为 ，失真函数矩阵为
试求信源的率失真函数 。
答：
由失真函数 能够看出,信源输出消息符合为0,1,且等概率 ，信宿接收到的消息符号有3个，别离为0，1，2，由失真函数 可知： ； ； ； ； ； 。
第2章
1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，假设随机摸取一个球，猜想其颜色，求平均摸取一次所能取得的自信息量？
答：依据题意，这一随机事件的概率空间为
其中： 表示摸出的球为红球事件， 表示摸出的球是白球事件。
a)若是摸出的是红球，那么取得的信息量是
（比特）
b)若是摸出的是白球，那么取得的信息量是
（3）因为信源是无经历信源，因此
5. 有一离散无经历信源，其输出为 ，相应的概率为 ， ， ，设计两个独立实验去观看它，其结果别离为 ， 。
已知条件概率如表2-4所示。
表2-4 习题5表
0
1
0
1
0
1
0
0
1
0
1
0
1
1
1
0
2
1/2
1/2
2
0
1
(1) 求 和 ，并判定作哪个实验好些。
(2) 求 ，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于 的信息。
答：发送集合 接收集合 其中
因为
因此
最后得：
（比特/符号）
4. 某一无经历信源的符号集为{0,1}，已知信源的概率空间为 。
(1) 求信源熵。
(2) 求由 个“0”和(100- )个“l”组成的某一特定序列的自信息量的表达式。
(3) 计算由100个符号构成的符号序列的熵。
答：
（1）信源熵为
（2）该特定序列用 表示那么
(3) 信源 和信源 的信息熵。
(4) 损失熵 和噪声熵 。
(5) 接收到消息 后取得的平均互信息。
图2-7 习题6图
答：（1）
因为
因此
(比特)
(比特)
（2）
收到消息 的概率为：
因此收到消息 后取得的关于 的信息量即 为：
(比特/符号)
(比特/符号)
(比特/符号)
(比特/符号)
（3）
(比特/符号)
（比特）
c)若是每次摸出一个球后又放回袋中，再进行下一次摸取。那么如此摸取 次，红球显现的次数为 次，白球显现的次数为 次。随机摸取 次后总共所取得信息量为
d)那么平均随机摸取一次所取得的信息量为
2. 居住某地域的女孩中有25%是大学生，在女大学生中有75%是身高以上的，而女孩中身高以上的占总数的一半。假设咱们得知“身高以上的某女孩是大学生”的消息，问取得多少信息量？
《信息理论与编码》习题参考答案
第1章
1.信息是什么?信息与消息有什么区别和联系?
答：信息是对事物存在和运动进程中的不确信性的描述。信息确实是各类消息符号所包括的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2.语法信息、语义信息和语用信息的概念是什么？三者的关系是什么？
(比特/符号)
（4）
其中
因此噪声熵：
(比特/符号)
损失熵：
(比特/符号)
（5）接收到消息 后所取得的平均互信息量为：
(比特/符号)
7. 某信源的消息符号集的概率散布和二进制代码如题表2-5所示。
表2-5 习题7表
信源符号
概率
1/2
1/4
1/8
1/8
代码
0
10
110
111
试求：
(1) 消息的符号熵。
其中
现令 ，设其概率空间为 ，并知足
因此依照詹森不等式得
因此
上式对所有 的取值都成立，因此
即
因此
因为 ， 因此上式两边相乘，等号不变。有
上式对所有 都成立，因此对所有 求和下式也成立
因为
因此是平稳信源
得
只有当 （对所有 ）时等式成立。
证毕
12. 在一个3×3的国际象棋棋盘上，试求：
(1)“王”随机行走的熵率。
，
试求失真矩阵 和平均失真度 。
答：
由式（3-4）的失真矩阵可得
由信道转移概率矩阵 和式（3-7） 能够取得，平均失真度 为
2. 已知一个等概率无经历信源 ，其失真函数为
试求：(1)率失真函数 ；(2)当信源 ， 时的 。
答：
（1）失真函数矩阵 为
由信道对称性可设信道转移概率矩阵为
由 得， 许诺失真 为
因此信源的状态极限概率为：
因此信源的符号极限概率为：
（２）信源处在某一状态输出符号的条件熵为：
(比特/符号)
(比特/符号)
(比特/符号)
（３）马尔科夫信源熵为：
(比特/符号)
10. 一个马尔可夫进程的大体符号为0，l，2，这3个符号等概率显现，而且具有相同的转移概率。
(1) 画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1。
由于失真度 为对称性， 亦为对称性，并由概率归一性，故可进一步假设转移概率矩阵：
其中，假设 为信道的转移概率。
将 代入到转移概率矩阵 ，取得：
再由概率性质 ，求得信宿端各符号的概率散布为
进而能够取得信宿接收的各消息的概率散布
由此能够取得：
最后可求得：
（比特/信源符号）
8. 设一等概率离散无经历信源 ，其失真函数为汉明失真函数，
因此
因此第二个实验好些。
（2） ，因此要求出 ， 和 。由于 、 是彼此独立的实验，因此 。
（见表2-2和表2-3）
表2-2
00
01
10
11
0
1
0
0
0
1
0
0
1
0
2
0
1/2
0
1/2
表2-3
00
01
10
11
0
1/4
0
0
0
1
0
0
1/4
0
2
0
1/4
0
1/4
1/4
1/4
1/4
1/4
能够看到：做 和 两个实验比做 一个实验可多取得的信息为
答：语法信息是最大体最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出好坏判定。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系和它们的含义，还要进一步考察这种关系及含义关于信息利用者的效用和价值。三者之间是内涵与外延的关系。