信息论复习题
1、求基本高斯信源的差熵。
（10分）
2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。
试求该信源的相对熵。
3、黑白气象传真图的消息只有黑色和白色两种，即信源{}黑，白=X ，设黑色的出现概率为3.0(=黑）
P ，白色的出现概率为7.0(=白）P 。
（1）假设图上黑白消息出现前后没有关联，求熵)(X H 。
（2）假设消息前后有关联，其依赖关系为9.0/(=白）白P ，1.0/(=白）黑P ，2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。
（3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。
4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
6、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则
∑=≤N
k k k Y X I Y X I 1
),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当
且仅当信源也是无记忆信源时等号成立。
7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2
i σ：
!
21σ=，22σ=，23σ=，24σ=，25σ=，26σ=，27σ=，28σ=，29σ=，210σ=（W ）。
输入信
号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：)(110
1
W P i i =∑=。
求
各子信道的信号功率分配方案。
8、给定语音信号样值x 的概率密度函数为x
e
x p λλ-=
2
1)(，∞<<∞-x ，求)(X H c ，并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。
9、某二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢
⎣⎡5.05.010)(x p X ，其失真矩阵定义为⎥
⎦
⎤⎢⎣⎡=00a a D ，求该信源的max D ，min D 和该信源的信息率失真函数)(D R 。
10、设连续信源X ，其概率密度函数为x
a e a x p -=2
)(，失真度为y x y x d -=),(，试求此信源的)(D R 函数。
11、一个二进制非等概信源，符号集}1,0{=A ，p p p ==1)0(，p p p -==1)1(2，试验信道输出符号集}1,0{=B ，失真函数为汉明失真。
求该信源的信息率失真函数)(D R 。
12、设一个四元等概信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢
⎣⎡25.025.025.025.03210
)(x p X ，接收符号集为}3,2,1,0{=Y A ，失真矩阵定义为⎥
⎥⎥⎥⎦
⎤
⎢⎢⎢
⎢⎣⎡=0111
10111101
1110D ，求max D ，min D 及信源的)(D R 函数，
并作出率失真函数曲线（取4到5个点）。
13、信源符号X 有6种字母，概率为，，，，，。
(1) 求符号熵)(X H 。
(2) 用香农编码法编成二进制变长码，计算其编码效率。
(3) 用费诺编码法编成二进制变长码，计算其编码效率。
(4) : (5) 用霍夫曼编码法编成二进制变长码，计算其编码效率。
(6) 用霍夫曼编码法编成三进制变长码，计算其编码效率。
14、信源符号X 有6种字母，概率为，，，，，。
a) 求符号熵)(X H 。
b) 用香农编码法编成二进制变长码，计算其编码效率。
c) 用费诺编码法编成二进制变长码，计算其编码效率。
d) 用霍夫曼编码法编成二进制变长码，计算其编码效率。
e) 用霍夫曼编码法编成三进制变长码，计算其编码效率。
15、有一个n 元等概率、平稳无记忆信源}1,,1,0{-=n X ，接收符号集为
}1,,1,0{-=n Y ，且规定失真矩阵为
⎥⎥⎥⎥
⎦
⎤⎢⎢⎢
⎢⎣⎡=011101110][ d {
求率失真函数)(D R 。
16、设高斯信源X 的概率密度函数为
()⎥⎦
⎤⎢⎣⎡--=
2
22exp 21
)(σσπm x x p
且失真函数定义为差方失真，()2
2
),(z y x y x d =-=。
求该信源的率失真函数的香农下限。
17、设有多维无记忆加性连续信道，输入信号序列为：()L x x x x ,,,21
=，输出信号序列为：
()L y y y y ,,,21 =，其噪声为高斯噪声，噪声序列()L n n n n ,,,21 =中的各分量是均值为0，
方差为2
i σ的高斯噪声，分两种情况计算其信道容量：
（1）在各单元时刻（L i ,,2,1 =）上的噪声都是均值为0、方差为2
σ的高斯噪声； （2）在各单元时刻（L i ,,2,1 =）上的噪声都是均值为0、方差为2
i σ的高斯噪声，但
输入信号的总平均功率受限，其约束条件为：
[]
P P x E x E L
i i L i i L i i ===⎥⎦⎤⎢⎣⎡∑∑∑===11
2
12
18、设二进制对称信道的转移概率矩阵为
{
⎥⎦
⎤⎢⎣⎡=3/23/13/13/2P
（1）若4/3)(0=x p ，4/1)(1=x p ，求)(X H ，)/(Y X H ，)/(X Y H 和);(Y X I ；
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
19、某信源发送端有两个符号：2,1,=i x i ，a x p =)(1，每秒发出一个符号。
接收端有三种符号：3,2,1,=j y j ，转移概率矩阵
⎥
⎦
⎤
⎢⎣⎡=4/14/12/102/12/1P （1）计算接收端的平均不确定性；
（2）计算由于噪声产生的不确定性)/(X Y H ；
（3）计算信道容量。
20、在干扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。
已知2/1)1()0(==p p ，信道每秒内允许传输1000个符号。
求此信道的容量。
21、发送端有三种等概率符号),,(321x x x ，3/1)(=i x p ，接收端收到三种符号),,(321y y y ，信道转移概率矩阵为
—
⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=09.01.03.03.04.02.03.05.0P
（1）计算接收端收到一个符号后得到的信息量)(Y H ； （2）计算噪声熵)/(X Y H ；
（3）计算接收端收到一个符号2y 的错误概率； （4）计算从接收端看的平均错误概率；
（5）计算从发送端看的平均错误概率； （6）从转移矩阵中能看出该信道的好坏吗 （7）计算发送端的)(X H 和)/(Y X H 。
22、设无记忆信源⎥
⎦
⎤⎢⎣⎡-=⎥⎦⎤⎢
⎣⎡3/1,3/1,3/11,0,1)(x p X ，接收符号集⎭⎬⎫
⎩⎨⎧-=21,21Y ，失真矩阵⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=121121D ，试求：max D 和min D 及达到max D 、min D 时的转移概率矩阵。
23、已知二元信源⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢
⎣⎡p p x p X 1,1,0)(以及失真矩阵[]
⎥
⎦
⎤
⎢⎣⎡=0110ij d ，试求： '
（1）min D ；（2）max D ；（3）)(D R 。
24、某信源有8个符号{}8321,,,,a a a a ，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，试编成这样的码：000，001，010，011，100，101，110，111的码。
求
（1）信源的符号熵)(X H 。
（2）出现一个1或一个0的概率。
（3）这种码的编码效率。
（4）相应的香农码及其编码效率。
（5）相应的费诺码及其编码效率。
25、已知符号集合{} ,,,321x x x 为无限离散消息集合，它们出现的概率分别为2/1)(1=x p ，
4/1)(2=x p ，8/1)(3=x p ，i i x p 2/1)(=等。
（1）用香农编码方法写出各个符号消息的码字。
（2）计算码字的平均信息传输速率； （3）计算信源编码效率。
26、已知一信源包含8个消息符号，其出现的概率为
{}
.0,1.0
18
)
X
P。
(=
.0,4.0,
05
04
07
.0,
.0,
06
.0,1.0,
（1）若该信源在每秒内发出一个符号，求该信源的熵和信息传输速率。
（2）对这8个符号作霍夫曼编码，写出相应码字，并求出编码效率。
（3）采用香农编码，写出相应码字，求出编码效率。
（4）采用费诺编码，写出相应码字，求出编码效率。
信息论复习必考题
第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。
第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论复习题
信息论复习题信息论复习题第一、二章一、填空1、 1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、信息、与信号，是通信理论中常用的三个既有联系又有区别的概念。
信息是系统中的对象，它包含在中。
消息是比较具体的概念，但不是物理的。
信号是表示的物理量。
在通信系统中，传送的本质内容是信息，发送时需要将信息表示成具体的消息，再将消息载至上，才能在实际的通信系统中传输。
3、不考虑加密处理，常用通信系统的物理模型包括信源、信源编码器、信道编码器、信道、和、、信宿七部分。
其中，信源负责向通信系统提供消息；，是消息传递的对象，即接收消息的人或机器；信道是传递消息的，是负责传送物理信号的设施。
4、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为。
5、自信息量的单位一般有。
6、必然事件的自信息是。
7、不可能事件的自信息量是。
8、两个相互独立的随机变量的联合自信息量等于。
9、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量。
10、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的。
11、若信源当前时刻发出的符号只与前m 个符号有关联，而与更前面的符号无关，则称这种信源为信源；若该信源的条件转移概率与时间起点无关，则进一步可称其为信源。
经过足够长时间，该信源处于什么状态已与初始状态无关，此时每种状态出现的概率达到了一种。
12、一维连续随机变量X 在[a ，b]区间内均匀分布时，其信源熵为。
13、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是。
14、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。
15、对于离散信源，当时其信源熵具有最大值。
16、对于限平均功率的一维连续信源，当概率密度时，信源熵有最大值。
二、判断1、必然事件和不可能事件的自信息量都是0 。
信息论习题集
信息论习题集一、名词解释（20道）1、“本体论”的信息（P2）2、“认识论”信息（P2）3、离散信源（P7）4、自信息量（P9）5、离散平稳无记忆信源（P39）6、信源冗余度 （P51）7、连续信源 （P52） 8、信道容量 （P73） 9、强对称信道 （P75-76）10、对称信道 （P78） 11、多符号离散信道（P83） 12、连续信道 （P95）13、平均失真度 （P105） 14、实验信道 （P107） 15、率失真函数 （P107）16、信息价值率 （P127） 17、BSC 信道 （P171） 18、码的最小距离 （P174）19、线性分组码 （P175） 20、循环码 （P188）二、填空（84道）1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
信息论 复习题
【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：（1）接收到第一个数字0与M1之间的互信息；（2）接收到第二个数字也是0时，得到多少关于M1的附加互信息；（3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息；（4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。
解：各个符号的先验概率均为1/8(1)根据已知条件，有因此接收到第一个数字0与M1之间的互信息为：（2）根据已知条件，有因此接收到第二个数字也是0时，得到多少关于M1的互信息为：得到的附加信息为：（3）根据已知条件，有因此接收到第三个数字也是0时，得到多少关于M1的互信息为：此时得到的附加信息为：（4）根据已知条件，有因此接收到第四个符号为0时，得到的关于M1的互信息为此时得到的附加信息为【3.3】设二元对称信道的传递矩阵为（1）若P(0)=3/4，P(1)=1/4，求H(X )，H(X | Y )，H(Y | X )和I (X;Y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）根据已知条件，有【3.5】若X 、Y 和Z 是三个随机变量，试证明：（1）I (X;YZ) = I(X;Y) + I(X;Z | Y) = I (X;Z) + I (X;Y | Z) （2）I (X;Y | Z) = I (Y; X | Z) = H(X | Z) - H(X | YZ) （3）I (X;Y | Z) ³0当且仅当(X, Z,Y)是马氏链时等式成立。
(3)【3.10】求下列两个信道的信道容量，并加以比较因此有【4.17】在图片传输中，每帧约个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。
试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。
信息论总复习
第一章作业题1. 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C2. 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
信息论基础试题
信息论基础试题
以下是一些关于信息论基础的试题：
1. 什么是信息熵？请简要解释其概念和应用。
2. 请解释“信源”、“信源熵”和“平均码长”。
3. 假设一个信源有4个符号，每个符号出现的概率分别是0.3, 0.2, 0.25和0.25，求该信源的熵和平均码长。
4. 如果一个信源的熵为3比特，那计算出的平均码长是多少？
5. 请解释“信道容量”和“香农定理”。
6. 假设一个二进制对称信道的错误概率为0.1，那么该信道的容量是多少？
7. 请解释“数据压缩”以及数据压缩的原理和方法。
8. 假设有一个压缩算法可以将原始数据压缩至原来的85%，那么压缩率是多少？
9. 请解释“纠错码”以及纠错码的作用和原理。
10. 什么是哈夫曼编码？请简要解释其原理和应用。
请注意，以上问题只是信息论基础的一部分，信息论是一个较为复杂的学科领域，以上问题只涉及其中的一些基础概念和方法。
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（“2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（“3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（W4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（M5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（V）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（V7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（X第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（V2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（X）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（X4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（X）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（X6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（V7、互信息的统计平均为平均互信息量，都具有非负性。
（X）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（X）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（X）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（X）11、在信息处理过程中，熵是不会增加的。
（V12、熵函数是严格上凸的。
（V13、信道疑义度永远是非负的。
（V14、对于离散平稳信源，其极限熵等于最小平均符号熵。
（V2-1同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”事件的自信息量；（2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2, 3,…，12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。
信息论复习题
• 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？• 答：平均自信息为• 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
• 平均互信息•表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m 个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
• 最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
4.解释无失真变长信源编码定理。
答：只要 ，当N 足够长时，一定存在一种无失真编码。
5.解释有噪信道编码定理。
• 答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
6.离散平稳信源• 答：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。
7.即时码答：如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出，这种码称为即时码。
8.信道容量答：信息能够可靠传输的最大信息传输速率。
9.信源信道编码定理• 答：设有一离散无记忆平稳信道的每秒容量为C ，一个离散信源每秒的熵为H ，那么，如果H < C ，总存在一种编码系统，使得信源的输出以任意小的错误概率通过信道传输；反之，如果H > C 时，对任何编码编码系统，译码差错率>010.信道疑义度• 答：设信道的输入与输出分别为X 、Y ，定义条件熵H(X/Y)为信道疑义度。
它有如下含义：• 信道疑义度表示接收到Y 条件下X 的平均不确定性；根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X 经信道传输后信息量的损失； 接收的不确定性由信道噪声引起，在无噪情况下，H(X/Y)=0。
信息论考题及答案
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有1H(X,Y)()()logP()()11()()log()()log ()()11()log()log ()()()()xyxyxy xy P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375(2) H(X)=2, H(Y)=1.75(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5(4)H(X|Y)=1.1264(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：(1|1)P x y ===(1|1)(1)(1|)()xP y x P x P y x P x ===∑==9.015.01.085.01.085.0⨯+⨯⨯=22.0085.0=0.39一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。