信息论离散信道及其容量习题
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
2012.信息论.第4章离散信道及其容量.习题
习题4.19 设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64% 是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是 0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多 少？ 建立数学模型
x 2 X阻值 1 0 .7 P(X )
b it / sy m b o l
(5) 接收到信息Y后获得的平均互信息量。
I ( X ; Y ) H ( X ) H ( X / Y ) 0 . 971 0 . 715 0 . 256 bit / symbol
5
习题4.20 设二元对称信道的传递矩阵为
2 3 1 3
2
0 .4
3 4
log log log
5/6
2
0 . 474 1 . 263 1 . 263 0 . 907
bit
p ( y1 ) p ( y 2 / x1 )
0 .6 1/ 6 bit
2
p( y2 ) p ( y1 / x 2 )
2
0 .4 1/ 4 bit
j i
4
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；
H (Y / X )
i
j
p ( x i ) p ( y j / x i ) lo g p ( y j / x i ) 5 lo g 5 0 .6 1 6 lo g 1 6 0 .4 1 4 lo g 1 4 0 .4 3 4 lo g 3 4 )
3 4
1 4
lo g 2
1 4
) 0 .8 1 1
b it / sy m b o l
H (Y / X )
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答第3章信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3??解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ?+?=+?=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-?-?=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为：1 0 0P=0 1 00 0 1??信道容量：()max (;)P X CI X Y bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333??第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1??，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴== H(Y)输出为等概率分布时可达到最大值，此值就是信道容量此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号第三种：有噪无损信道，由图可知：()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号输入最佳概率分布：11,22??3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
信息论习题
前三章习题选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、21 6、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论基础——信道容量的计算
p p1 p 1
将p=3/5代入（2），得到信道容为:C=0.32bit/sym.
20
信道容量的计算
2 达到信道容量输入分布的充要条件
令
I (xi ;Y )
s j 1
p( y j
|
xi ) log
p( y j | xi ) p( yj )
def
D(Q( y |
x) ||
p( y))
定理4.2.2 一般离散信道的互信息I(X；Y)达到极大值
1 信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：
I(X ;Y )
r i 1
s j 1
p(xi ) p( y j | xi ) log
p( y j | xi ) p(yj )
Lagrange乘子
法
17
信道容量的计算
例1、设某二进制数字传输系统接收判决器
6
数据可靠传输和信道编码
4.1 离散无记忆信道和信道容量 4.2 信道容量的计算
4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四
7
8
接入信道容量的分析与寻呼信道不一样，寻呼信道用于前 向链路，容量的分析主要在于对寻呼信道占用率的计算， 而接入信道用于反向链路，对 CDMA 系统来说，反向链 路容量主要用于干扰的分析。即使采用时隙化的随机接入 协议，接入信道也可能有较高的通过量，大量的接入业务 会在反向链路中产生无法接受的干扰。如前所述，第一个 接入试探失败后，下一个接入试探将增加一定量的功率， 最终的结果将导致小区接收功率的增加以及反向链路容量 的减少。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；
H (Y / X ) p( xi ) p( y j / xi )log p( y j / xi ) 5 5 1 1 1 1 3 3 (0.6 log 0.6 log 0.4 log 0.4 log ) 6 6 6 6 4 4 4 4 0.715 bit / symbol
11
i j
3 2 2 3 1 1 1 1 1 1 2 2 ( lg lg lg lg ) log 2 10 4 3 3 4 3 3 4 3 3 4 3 3 0.918 bit / symbol 3 2 1 1 p ( y1 ) p ( x1 ) p( y1 / x1 ) p( x2 ) p( y1 / x2 ) 0.5833 4 3 4 3 3 1 1 2 p ( y2 ) p ( x1 ) p( y2 / x1 ) p( x2 ) p( y2 / x2 ) 0.4167 4 3 4 3 6 H (Y ) (0.5833 log 2 0.5833 0.4167 log 2 0.4167) 0.980 bit / symbol
2 3 1 3
1 3 2 3
离散对称信道的信道容量为
C log s H ( p'1 , p'2 ,..., p's )
最佳信源为等概率分布信源。
1 2 C max I ( X ;Y ) log 2 ( l o g 3 l o g 3) 0.082bit 3 3 1 p( xi ) 2
1
（1）信源X中事件x1和事件x2分别包含的自信息量；
I ( x1 ) log2 p( x1 ) log2 0.6 0.737 bit I ( x2 ) log2 p( x2 ) log2 0.4 1.322 bit
2
(2) 收到消息yj 后，获得的关于xi 的信息量；
3
(3) 信源X和信宿Y的信息熵；
H ( X ) p( xi )log p( xi ) (0.6log0.6 0.4log0.4) 0.971bit H (Y ) p( y j )log p( y j ) (0.6log0.6 0.4log0.4) 0.971bit
3 3 1 1 H ( X ) p( xi ) log p( xi ) ( log 2 log 2 ) 0.811 bit / symbol 4 4 4 4 i H (Y / X ) p( xi ) p( y j / xi ) log p( y j / xi )
Y 瓦数 y1 1/ 8 y2 1/ 4 0.64 0.36 P(Y ; X )
I ( X ;Y ) H ( X ) H (Y ) H ( XY )
8
p( x1 y1 ) p( x1 ) p ( y1 / x1 ) 0.7 0.8 0.56 p( x1 y2 ) p( x1 ) p ( y2 / x1 ) 0.7 0.2 0.14 p( y1 ) p( x1 y1 ) p ( x2 y1 ) p( x2 y1 ) p ( y1 ) p ( x1 y1 ) 0.64 0.56 0.08 p( y2 ) p( x1 y2 ) p( x2 y2 ) p( x2 y2 ) p( y2 ) p( x1 y2 ) 0.36 0.14 0.22
X x1 x2 设信源 通过一干扰信道， P( X ) 0.6 0.4
5 6 接收符号为Y={y1,y2}，信道转移矩阵为 1 4 1 6 3 4
习题4.1
求： (1) 信源X中事件x1和事件x2分别包含的自信息量； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。
5 6 1 4
1 6 3 4
5 1 p( y1 ) p ( x1 ) p( y1 / x1 ) p ( x2 ) p ( y1 / x2 ) 0.6 0.4 0.6 6 4 1 3 p( y 2 ) p( x1 ) p ( y 2 / x1 ) p ( x2 ) p ( y 2 / x2 ) 0.6 0.4 0.4 6 4 p( y1 / x1 ) 5/ 6 I ( x1 ; y1 ) log2 log2 0.474 bit p( y1 ) 0.6 p ( y 2 / x1 ) 1/ 6 I ( x1 ; y 2 ) log2 log2 1.263 bit p( y2 ) 0.4 p ( y1 / x2 ) 1/ 4 I ( x2 ; y1 ) log2 log2 1.263 bit p( y1 ) 0.6 p ( y 2 / x2 ) 3/ 4 I ( x2 ; y 2 ) log2 log2 0.907 bit p( y2 ) 0.4
i j
H ( X ) H (Y / X ) H (Y ) H ( X / Y ) H ( X / Y ) H ( X ) H (Y / X ) H (Y ) 0.971 0.715 0.971 0.715 bit / symbol
(5) 接收到信息Y后获得的平均互信息量。
I ( X ; Y ) H ( X ) H ( X / Y ) 0.971 0.715 0.256 bit / symbol
5
习题4.20 设二元对称信道的传递矩阵为
2 3 1 3
1 3 2 3
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
7
习题4.19
设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64% 是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是 0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多 少？
建立数学模型
X 阻值 x1 2 x2 5 0.7 0.3 P( X ) p( y1 / x1 ) 0.8, p( y2 / x1 ) 0.2
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X / Y ) H ( X ) H (Y ) H (Y / X ) 0.811 0.980 0.918 0.749bit I ( X ;Y ) H ( X ) H ( X / Y ) 0.811 0.749 0.062bit
10
习题4.37
0.98 0.02 有一个二元对称信道，其信道矩阵为 0 . 02 0 . 98
设该信源以1500二元符号/秒的速度传输输入符号。现有一 消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2， 问从消息传输的角度来考虑，10秒钟内能否将这消息序列无 失真的传递完？ C max I ( X ;Y ) max H (Y ) H (Y / X )
9
H ( X ) 0.7 log 2 0.7 0.3 log 2 0.3 0.881 bit / symbol H (Y ) 0.64 log 2 0.64 0.36 log 2 0.36 0.943 bit / symbol H ( XY ) p ( xi y j ) log p( xi y j )
i j
0.56 log 0.56 0.14 log 0.14 0.08 log 0.08 0.22 log 0.22 1.638 bit / symbol I ( X ;Y ) H ( X ) H (Y ) H ( XY ) 0.881 0.943 1.638 0.186 bit / symbol
log2 2 (0.98 log 2 0.98 0.02 log 2 0.02) 0.859 bit / symbol
I1 1500symbol/ s 0.859bit / symbol 1288 bit / s
I 14000 (0.5 log2 0.5 0.5 log2 0.5) 14000 bit