信息理论基础课后答案
信息理论基础课后答案
(2)此消息中平均每符号携带的信息量是多少？
解：
(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
此消息的信息量是：
(2)此消息中平均每符号携带的信息量是：
2.5从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？
3.5若三个随机变量，有如下关系：Z = X + Y，其中X和Y相互独立，试证明：
(1)I(X;Z)=H(Z) - H(Y)；
(2)I(XY;Z)=H(Z)；
(3)I(X;YZ)=H(X)；
(4)I(Y;Z/X)=H(Y)；
(5)I(X;Y/Z)=H(X/Z) = H(Y/Z)。
解：
1)
2)
3)
4)
解：
1)
2)
3)
2.20设 是平稳离散有记忆信源，试证明：
。
证明：
2.21设 是N维高斯分布的连续信源，且X1, X2,…, XN的方差分别是 ，它们之间的相关系数 。试证明：N维高斯分布的连续信源熵
证明：
相关系数 ，说明 是相互独立的。
2.22设有一连续随机变量，其概率密度函数
(1)试求信源X的熵Hc(X)；
(3)I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解：
(1)
Z = XY的概率分布如下：
(2)
(3)
2.16有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证：H(X)≤H(Z), H(Y)≤H(Z)。
信息论基础智慧树知到课后章节答案2023年下潍坊学院
信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。
A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。
A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。
（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。
（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。
（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。
A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。
A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。
A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。
B:以2为底时，单位是比特。
C:以10为底时，单位是奈特。
D:以e为底时，单位是比特答案:以2为底时，单位是比特。
3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。
（）A:错 B:对答案:错5.概率大的事件自信息量大。
信息论基础1答案
信息论基础1答案LT计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P（“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P（4,3）=1/36 6=1/6则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit3.P（“两个点数没有一个是1”）=1-P （“两个点数中至少有一个是1”）=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log25/36=0.53bit三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算： 1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 解： 1.2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号Z=YX 而且X 和Y 相互独立∴1(1)(1)(1)P P X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 11122222⨯+⨯=2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)=11122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X与Y相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1102211022111424⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭1. 绘制状态转移图；P(Y,Z) Y=1 Y=-1Z=1 0.25 0.25 Z=-1 0.25 0.252. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)jiji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 该信道的转移概率矩阵P2. 信道疑义度H （X|Y ）3. 该信道的信道容量以及其输入概率分布 解：1.该转移概率矩阵为P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率P （XY ） Y Y X=0 9/40 1/40 X=13/4027/401 0.0.0.0.1P(Y=i) 12/40 28/40 由P （X|Y ）=P(X|Y)/P(Y)可得P(X|Y) Y=0 Y=1 X=0 3/4 1/28 X=1 1/427/28H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为： C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即0111()22X P X ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦六、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P试求：该信道的信道容量及其最佳输入概率分布。
信息理论基础智慧树知到课后章节答案2023年下浙江大学
信息理论基础智慧树知到课后章节答案2023年下浙江大学浙江大学第一章测试1.随机事件的互信息可小于0，随机变量的互信息也可小于0。
（）答案:错2.对于连续随机变量，其微分熵越大，说明不确定性越大。
（）答案:错3.必然事件和不可能事件的自信息量都是0。
（）答案:错4.自信息量是P(xi)的单调递减函数。
（）答案:对5.若离散变量X是离散变量Y的函数，则条件熵H(X|Y)恒为0。
（）答案:对第二章测试1. A 村有一半人说真话，3/10人总说假话，2/10人拒绝回答；B村有3/10人诚实，一半人说谎，2/10人拒绝回答。
现随机地从A村和B村抽取人，p为抽到A村人的概率，1–p为抽到B村人的概率，问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变p，求出该信息的最大值。
答案:null2.一个无偏骰子，抛掷一次，如果出现1，2，3，4 点，则把一枚均匀硬币投掷一次，如果骰子出现5，6 点，则硬币投掷二次，求硬币投掷中正面出现次数对于骰子出现点数所提供的信息?答案:null3.在某中学有3/4学生通过了考试，1/4学生没有通过。
在通过考试的同学中10%有自行车，而没有通过的学生中50%有自行车，所有有自行车的同学都加入了联谊会，无自行车的同学中仅有40%加入联谊会。
a. 通过询问是否有自行车，能获得多少关于学生考试成绩的信息?b. 通过询问是否参加联谊会，能获得多少关于学生成绩的信息?c. 如果把学生成绩情况，自行车拥有情况和是否参加联谊会用三位二进数字传输，问每位数字携带多少信息?答案:null4.随机掷三颗骰子，以X 表示第一颗骰子抛掷的结果，以Y 表示第一颗和第二颗骰子抛掷之和，以Z 表示三颗骰子的点数之和，试求H(X|Y)，H(Y|X)，H(Z|X,Y)，H(X,Z|Y)和H(Z|X)。
答案:null5.设一个系统传送10个数字：0，1，2，⋯，9，奇数在传送时以0.5概率等可能地错成另外的奇数，而其他数字总能正确接收。
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
信息论基础知到章节答案智慧树2023年广东工业大学
信息论基础知到章节测试答案智慧树2023年最新广东工业大学第一章测试1.信息论由哪位科学家创立（）。
参考答案:香农2.点对点通信模型包含以下哪些部分（）。
参考答案:译码器;信源;信宿3.信息就是消息。
（）参考答案:错4.连续信源分为，___，___。
参考答案:null5.研究信息论的目的是：提高信息传输的___，___，___、___，达到信息传输的最优化。
参考答案:null第二章测试1.某一单符号离散信源的数学模型为，则其信息熵为（）。
参考答案:1比特/符号2.单符号信源具有以下哪些特点（）。
参考答案:无记忆;平稳3.熵函数具有以下哪些基本性质（）。
参考答案:对称性;连续性;确定性4.信源要含有一定的信息，必须具有随机性。
（）参考答案:对5.信息熵表示信源X每发一个符号所提供的平均信息量。
（）参考答案:对第三章测试1.以下等式或不等式关系成立的是（）。
参考答案:2.单符号离散无记忆的N次扩展信道，有以下哪两种特点（）。
参考答案:无预感性;无记忆性3.后向信道矩阵中任·一行之和为1。
（）参考答案:对4.信道容量指信道的最大信息传输率。
（）参考答案:对5.互信息量等于___与___比值的对数。
参考答案:null1.某信源输出信号的平均功率和均值均被限定，则其输出信号幅值的概率密度函数是以下哪种分布时，信源达到最大差熵值（）。
参考答案:高斯分布2.某信源的峰值功率受限，则概率密度满足以下哪个个条件时，差熵达到最大值（）。
参考答案:均匀分布3.连续信道的平均互信息不具有以下哪些性质（）。
参考答案:连续性4.差熵具有以下哪两个性质（）。
参考答案:条件差熵值小于无条件差熵;差熵可为负值5.一维高斯分布连续信源是瞬时功率受限的一类连续平稳信源。
（）参考答案:错1.分组码分为（）。
参考答案:非奇异码;奇异码2.在输入符号先验等概时，采用以下哪些准则的译码方法可以使平均译码错误概率最小（）。
参考答案:最大后验概率准则;最大似然准则3.平均码长可作为衡量信源编码效率的标准。
信息论基础各章参考答案.doc
= pQhb) = = pWLh)124各章参考答案2. 1. （1） 4.17 比特；（2） 5.17 比特；(3) 1.17 比特； (4) 3.17 比特 2. 2. 1.42比特2. 3.(1) 225.6 比特；(2) 13.2 比特2. 4. (1) 24.07 比特；(2) 31.02 比特2. 5. （1）根据炳的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无秩码天平 的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3o 从12个硬币 中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
冽31og3=log27>log24o 所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的炳。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ② 左倾③右倾。
i ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚 中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出肃中没有假币；若有，还能 判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可 判断出假币。
订）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未 称的3枚放到右盘中，观察称重缺码，若平衡，说明取下的3枚中含假币，只能判出轻重， 若倾斜方的不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说 明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重类似i ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重，如果假币在一五个硬币的组里，则鉴 别所需信息量为Iogl0>log9=21og3,所以剩下的2次称重不能获得所需的信息.2. 6. (1) log2“=15 比特；(2)1比特；（3） 15个问题2. 7. 证明： （略）2. 8.证明： （略）/ 、 111 、 12.9. P (dibi) = - p(ci\bi )= 12P (cM — — P (sb) < , 12 ,6,2. 10.证明： （略） 2. 11.证明： （略）2.12.证明： (略)2 [3.(1) H(X) = H(Y) = 1, H(Z) = 0.544, H(XZ) = 1.406, H(YZ) = 1.406,H(XKZ) = 1.812(2)H(X/Y) = H(Y/X) = 0.810f H(X/Z) = 0.862, H(Z/X) = H(Z/Y) =0.405 , H(Y/Z) = 0.862, H(X/YZ) = H(Y/XZ) = 0.405, H(Z/XY) =(3)1(X;K) = 0.188 Z(X;Z) = 0.138 Z(K;Z) = 0.138 7(X;Y/Z) =0.457 , I(Y;Z/X) = I(X;Z/Y) = 0.406(单位均为比特/符号)p 游(000) = 1)= Pg(l°l)=服z(l 1°)= 714. X 1 Z ■,(2)P加(°°°)=P宓(111)= !(3)P加(°°°)= 〃加(°。
信息论答案完整版
2.7 为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00” 代表 A，“01”代表 B，“10”代表 C，“11”代表 D。每个二元码脉冲宽度为 5ms。
(1) 不同字母等概率出现时，计算传输的平均信息速率? (2) 若每个字母出现的概率分别为{1/5，1/4，1/4，3/10}，试计算传输的平均信息速率? 解：（1）不同字母等概率出现时，符号集的概率空间为：
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
解：同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，总共有 36 种可能的状态，每 种状态出现的概率都是 1/36。 （1）设“3 和 5 同时出现”为事件 A。则在 36 种状态中，有两种可能的情况，即 5+3 和 3+5。则
P( A) = 2 / 36 I ( A) = − log P( A) = log2 18 ≈ 4.17(比特)
（2）此消息中共有 45 个信源符号，携带了 87.81 比特信息量，因此，此消息中平均每个符号携带的信 息量为
I2 = 87.81/ 45 ≈ 1.95(比特)
2.4