信息论基础与编码复习2

信息论基础与编码复习一、已知信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡5.05.021x x P X 接到信道⎪⎪⎭⎫⎝⎛=8.02.002.098.0)|(X Y P 上，求在该信道上传输的平均互信息量);(Y X I 、疑义度)|(Y X H ，噪声熵)|(X Y H 和联合熵)(XY H 。

参考答案：不要求计算结果，只要与出公式，每份5分，共20分()()(|)P Y P X P Y X =)|(X Y H =-22211()log (|)i j j i i j p x y p y x ==∑∑)|(Y X H =-22211()log (|)i j i j i j p x y p x y ==∑∑)(XY H =-22211()log ()i j i j i j p x y p x y ==∑∑);(Y X I =()()()H X H Y H XY +-二、一维随机变量X 在区间],[b a 内均匀分布，试求此连续信源的熵)(x H c 。

参考答案：1222()()log ()log ()log ()bc b a aH X p x p x dx b a dx b a +∞--∞=-=-=-⎰⎰（bit ） （10分）三、一维随机变量X 的取值是),(+∞-∞，其概率密度函数为222)(221)(σμπσ--=x ex p (高斯信道)，试求此连续信源的熵)(x H c 。

参考答案：()EX xp x dx μ+∞-∞==⎰22()()DX x p x dx μσ+∞-∞=-=⎰ (5分)2122()()log ()log (2)c H X p x p x dx e πσ+∞-∞=-=⎰（bit ） （10分）五、一个三状态马尔可夫信源的转移概率矩阵为⎪⎪⎪⎭⎫ ⎝⎛=4121412121212100P ，请绘制状态转移图，并求该马尔可夫信源的稳态分布。

（ 10 分） 参考答案：1、绘制状态转移图 (5分) 2、稳态分布731)(=s P ，722)(=s P ，723)(=s P （5分）六、试求以下列信道矩阵代表的信道容量。

⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=100010001001001001][654321321x x x x x x y y y P 参考答案：归并信道，2max(;)max ()log 3()C I X Y H Y p x === /b i t s i g n （10分）七、设一四元对称信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡414141413210)(X P X ，接收符号{}3,2,1,0=Y ，其其失真矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0111101111011110D ，试求max D ，min D 及信息率失真函数)(D R 。

（15分） 参考答案：min D =1()min (,)0niijji p x d x y ==∑ （5分）max D =34min j jD = （5分）()ln ln (1)ln(1)DD D D R D n α=++--32ln (1)ln(1)D D D D =++-- （5分） 八、设有一单符号离散信源：1234()0.50.20.20.1X x x x x P X ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭，试求其信源熵、二进制哈夫曼编码（最优编码），并计算平均码长。

（15分）参考答案：画出最优二元树 （5分） 编码1234010110111x x x x ⎧⎫⎨⎬⎩⎭ （5分）平均码长：0.5*10.2*20.2*30.1*3 1.8K =+++= （5分）九、设有一单符号离散信源：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X ，试求其信源熵、二进制香农编码，并计算平均码长。

（15分） 参考答案：求信源熵 （5分） 按概率从大到小的排序,计算概率和 编码111111011101011000110010007654321x x x x x x x （5分）平均码长：14.37*01.04*1.03*)15.017.018.019.02.0(=++++++=K （5分）十、设1a ，2a 分别代表某工厂合格品和废品，设该厂产品的合格率)(1a p =99%，废品率)(2a p =1%，若合格品出厂、废品报废，则不会造成损失；若将一个合格品报废，则损失1元；若将一个废品出厂，则损失100元。

现检测系统把合格品误判为废品、废品误判为合格品的概率均为10%，试计算这种检测系统的信息价值率。

（15分） 参考答案： )01.099.0()(21a a X P =，)9.01.01.09.0()|(=X Y P()()(|)i i i i i p x y p x p y x =)010010(=D0min =D21()(,)j i i j i D p x d x y ==∑99.0}99.0,1{min min max ===jj jD D 元， （10分）D =0.199元，∴D D -max =0.791元，(|)()()min(;)j i p y x p D R D I X Y ∈=2222221111(|)(|)(;)()log ()log ()()i j j i i j i j i j i j i i p x y p y x I X Y p x y p x y p x p x =====-=-∑∑∑∑=0.025（sign bit /）所以信息价值率为：max ()D DV R D -==31.6元/比特。

（15分）十一、设某地区的“晴天”概率6/5)(1=a p ，“雨天”概率6/1)(2=a p ，把“晴天”预报为“雨天”、把“雨天”预报为“晴天”造成的损失均为a 元。

又设该预报系统把“晴天”预报为“雨天”、把“雨天”预报为“晴天”的概率均为0.1，把“晴天”预报为“晴天”、把“雨天”预报为“雨天”的概率均为0.9。

试计算这种预报系统的信息价值v （元比特） （15分）参考答案：由题意有：0.90.1(|)0.90.1P Y X ⎛⎫= ⎪⎝⎭12()5166x x P X ⎛⎫ ⎪= ⎪ ⎪⎝⎭()()(|)i i i i i p x y p x p y x =4.50.566()0.90.166P XY ⎛⎫ ⎪=⎪ ⎪ ⎪⎝⎭00a D a ⎛⎫= ⎪⎝⎭0a > （5分）21()(,)j i i j i D p x d x y ==∑1111221()(,)()(,)6a D p x d x y p x d x y =+=21122225()(,)()(,)6aD p x d x y p x d x y =+=max 12min 6j j aD D ≤≤==2211()(|)(,)0.1i j i i j i j D p x p y x d x y a ====∑∑ （10分）∴ max 15aD D -=(|)()()min(;)j i p y x p D R D I X Y ∈=2222221111(|)(|)(;)()log ()log ()()i j j i i j i j i j i j i i p x y p y x I X Y p x y p x y p x p x =====-=-∑∑∑∑所以信息价值率为：max ()D DV R D -=（15分）十二、设有一（7，4）循环码的生成多项式为3()1g x x x =++，试求其生成矩阵和一致校验矩阵，检验接收码字1110011=R 是否有错？ （15分） 参考答案：1)(3++=x x x g ，7()(1)/()h x x g x =+=421x x x +++ （5分）按()g x 的升幂()h x 降幂（或者按()g x 的降幂()h x 升幂）生成矩阵11010000110100()00110100001101G =一致校验矩阵1011100(0101110)0010111H = （5分）*T H R =(0,0,1)0T ≠，所以检验出有错误，第七个符号错。

（5分）十三、选择帧长64=N ，对0000000000000000000000000100000000000000000000000000000000000000编冗余位L —D 编码，并译码。

参考答案：264,[log (1)]7N N =+=，用七位编码表示Q （5分）编码：1Q =，126n =，2[log ]6QN c =，11225(11001)Qn T C -===所以，编码为0000001011001 （5分） 译码：前七位表示1Q =，后六位表示25T = 所以126n = （5分）十四、设有一线性分组码的生成多项式为⎪⎪⎪⎭⎫⎝⎛=110100011010101001G ，试求：1、 此分组码??,==k n ,共有多少码字?2、 求此分组码的较验矩阵H ；3、 接收到001001=R 是否有错？ （15分）参考答案：1、3,6==k n , 共有823=个码字 （5分）2、较验矩阵⎪⎪⎪⎭⎫⎝⎛=100101010110001011H （5分）*T H R =0)0,1,0(≠T ，所以检验出有错误，第第五个符号错。

（5分）。