信息论基础及答案
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论基础智慧树知到课后章节答案2023年下潍坊学院
信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。
A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。
A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。
（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。
（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。
（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。
A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。
A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。
A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。
B:以2为底时，单位是比特。
C:以10为底时，单位是奈特。
D:以e为底时，单位是比特答案:以2为底时，单位是比特。
3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。
（）A:错 B:对答案:错5.概率大的事件自信息量大。
信息论基础1答案
信息论基础1答案LT计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P（“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P（4,3）=1/36 6=1/6则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit3.P（“两个点数没有一个是1”）=1-P （“两个点数中至少有一个是1”）=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log25/36=0.53bit三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算： 1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 解： 1.2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号Z=YX 而且X 和Y 相互独立∴1(1)(1)(1)P P X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 11122222⨯+⨯=2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)=11122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X与Y相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1102211022111424⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭1. 绘制状态转移图；P(Y,Z) Y=1 Y=-1Z=1 0.25 0.25 Z=-1 0.25 0.252. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)jiji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 该信道的转移概率矩阵P2. 信道疑义度H （X|Y ）3. 该信道的信道容量以及其输入概率分布 解：1.该转移概率矩阵为P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率P （XY ） Y Y X=0 9/40 1/40 X=13/4027/401 0.0.0.0.1P(Y=i) 12/40 28/40 由P （X|Y ）=P(X|Y)/P(Y)可得P(X|Y) Y=0 Y=1 X=0 3/4 1/28 X=1 1/427/28H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为： C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即0111()22X P X ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦六、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P试求：该信道的信道容量及其最佳输入概率分布。
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
信息论第一章答案
《信息论基础》习题答案第一章信息与信息的度量-1 解：根据题意，“没有不及格”或“pass”的概率为因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）的概率相同：为确定自己的成绩，甲还需信息1-2 解：该锁共可设个数值，开锁号码选取每一个值的概率都相同，所以-3 解：由于每个汉字的使用频度相同，它们有相同的出现概率，即因此每个汉字所含的信息量为每个显示方阵能显示种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是显示方阵的利用率或显示效率为-4 解：第二次发送无误收到，因此发、收信息量相等，均为第一次发出的信息量为第一次传送的信息量为两次发送信息量之差：-5 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-6 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-7 解：X和Y的信息熵分别为因传输无误，信宿收到的信息等于发送信息。
因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是平均每次（每个符号）发送（携带）的信息为-8 解：(a) 根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是(b) 在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要信息。
-9 解：一个二元信息所含的最大信息熵是确定的，所以当以2或5为底时，最大信息熵相同，即1 bit = (该信息量单位)或 1 (该信息量单位) = 2.33 bits同理， 1 nat = 0.62 (该信息量单位)或 1(该信息量单位) = 1.61 nats。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论基础及答案
《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为无穷大。
（或()()lg lim lg p x p x dx +¥-¥D ®¥--D ò）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 1 1 。
3、无记忆信源是指信源先后发生的符号彼此统计独立。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性有效性((传输速率或编码效率传输速率或编码效率) ) ) 。
5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。
6、八进制信源的最小熵为、八进制信源的最小熵为 0 0 0 ，最大熵为，最大熵为，最大熵为 3bit/ 3bit/ 3bit/符号符号。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布高斯分布((或()0,1x N 或2212x ep-)时，信源具有最大熵，其值为其值为 0.6155hart( 0.6155hart( 0.6155hart(或或1.625bit 或1lg 22e p )。
8、即时码是指任一码字都不是其它码字的前缀。
9、无失真信源编码定理指出平均码长的理论极限值为信源熵信源熵((或H r (S)(S)或或()lg H s r)，此时编码效率为时编码效率为 1 1 1 ，编码后的信息传输率为，编码后的信息传输率为，编码后的信息传输率为 lg lg r bit/ bit/码元码元。
1010、一个事件发生的概率为、一个事件发生的概率为0.1250.125，则自信息量为，则自信息量为，则自信息量为 3bit/ 3bit/ 3bit/符号符号。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。
（或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N22x-)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22e π)。
8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r)，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。
10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。
12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。
13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。
14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)《信息论基础》试卷第2页二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。
()()()1lgb c aH x p x dx p x =⎰------3分()lg b a =-bit/自由度-------2分三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz ，信道噪声为高斯白噪声。
(1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。
(2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？(3)如果信道带宽降为0.5MHz ，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？1) ()10lg 1NR c S =+------3分64.3910=⨯b/s---1分2) ()610 1.2710lg 1N R c S ==⨯+Hz---3分3) 21cwN R S =-=440----3分四、(16分)已知信源共7个符号消息，其概率空间为()12345670.20.170.20.170.150.100.01S s s s s s s s P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 试用霍夫曼编码法编成二进制变长码。
并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。
要求写出详细的编码过程和计算过程。
《信息论基础》试卷第3页2 01 S1 0.22 00 S3 0.23 111 S2 0.173 110 S4 0.173 101 S5 0.154 1001 S6 0.104 1000 S7 0.010.20.110.150.170.170.20.260.170.170.20.20.340.20.20.260.260.340.40.60.41.0------6分712.71iii L Pτ===∑位----2分()721log2.61ii i H s P P ===∑bit/符号--------2分2log 2.71R r τ==’bit/码字--------2分()20.963log H s r ητ==----------2分()0.963H s R τ==bit/码元--------2分五、(16分)设一个离散无记忆信源的概率空间为()120.50.5X a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 它们通过干扰信道，信道输出端的接收符号集为Y =[b 1,b 2]，已知信源传输概率如下图所示。
X1X2Y1Y20.980.80.020.2《信息论基础》试卷第4页试计算：(1)信源X 中事件x 1和x 2分别含有的自信息量；(2分) (2)收到y j (j =1,2)后，获得的关于x 1的信息量；(2分) (3)信源X 的信息熵；(2分)(4)条件熵H (Y ∣x 1)，H (Y ∣x 2)；(2分)(5)共商H (XY )、信道疑义度H (X ∣Y )和噪声熵H (Y ∣X )；(6分) (6)收到消息Y 后获得的关于信源X 的平均信息量。
(2分)P(x,y)X 1X 2Y 1Y 20.44 0.010.1 0.4(1)I(x 1)=-log0.5=1bit------1分 I(x 2)=-log0.5=1bit------1分(2)I(x 1;y 1)=lg0.831/0.5(或=lg0.98/0.59)=0.733-------1分 I(x 1;y 2)=lg0.024/0.5(或=lg0.02/0.41)=-4.38-------1分 (3)H(x)=H(0.5,0.5)=1bit/符号------2分(4)H(y ︱x 1)=H(0.98,0.02)=0.142bit/符号-----1分H(y ︱x 2)=H(0.8,0.2)=0.722bit/符号-----1分 (5)H(y)=H(0.59,0.41)=0.977H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/二符号------2分 H(x ︱y)=H(xy)-H(y)=0.455bit/符号------2分H(y ︱x)=H(xy)-H(x)=1.432-1=0.432bit/符号-----2分 (6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符号------2分六、(12分)设某信道的传递矩阵为 111236111623111362P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦(1)若输入符号P (x 1)=P (x 2)=1/4，P (x 3)=1/2，求H (X ∣Y )和I (X ;Y )。
(2)计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。
(1)-----写出公式2分《信息论基础》试卷第5页H(X ︱Y)=()()log i j i j ijp x y p x y -∑∑，I(X;Y)=H(X)-H(X ︱Y)()()()11xp y p x p y x =∑=1/3，同理：p (y 2)=7/24，p (y 3)=3/8--------计算过程4分 ()()()()11111111334218p x p y x p x y p y ==⨯⨯=同理：p (x 1︱y 2)=2/7，p (x 1︱y 3)=1/9p (x 2︱y 1)=1/8，p (x 2︱y 2)=3/7，p (x 2︱y 3)=2/3 p (x 3︱y 1)=1/2，p (x 3︱y 2)=2/7，p (x 3︱y 3)=2/3H(X)=-2×(1/4)log(1/4)-(1/2)log(1/2)=1.5 bit/symbol ------最终答案2分 H(X ∣Y)= ()()()log XYp x p y x p x y -≈∑∑1.383bit/symbolI(X;Y)=H(X)-H(X ∣Y)≈0.117 bit/symbol (2)对称离散信道C=logS-H(p 的行矢量)-----判断 公式3分=log3-H(1/2,1/3,1/6)≈0.126bit/symbol---答案1分输入等概时，达到信道容量。
-----说明2分七、(16分)有一个二元二阶马尔可夫信源，其信源符号集为{0,1}，初始概率大小为P(0)=1/3，P(1)=2/3。
条件概率定为 P(0∣00)= P(1∣11)=0.8P(1∣00)= P(0∣11)=0.2P(0∣01)= P(0∣10)= P(1∣01)= P(1∣10)=0.5 (1)画出该信源的状态转移图。
(2)计算达到稳定状态的极限概率。
(3)该马尔可夫信源的极限熵H ∞。
(4)计算达到稳定后符号0和1的概率分布。
解：(1)《信息论基础》试卷第6页1:0.8----------4分(2) ()0.80.200000.50.50.50.50000.20.8i i p E E ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P(E 1)=0.8P(E 1)+0.5P(E 3) P(E 2)=0.2P(E 1)+0.5P(E 3) P(E 3)=0.5P(E 2)+0.2P(E 4) P(E 4)=0.5P(E 2)+0.8P(E 4)P(E 1)+P(E 2)+P(E 3)+P(E 4)=1解得：P(E 1)=P(E 4)=5/14 P(E 2)=P(E 3)=2/14--------4分(3)()()()44211log iji j i i j H H p E p EE p E E ∞====-∑∑=0.801bit/符号-----公式2分，答案2分(4)()()()1qk iki i p Q p E p QE ==∑-----2分 p(1)=p(2)=1/2--------2分。