信息论复习题
1、求基本高斯信源的差熵。
（10分）
2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。
试求该信源的相对熵。
3、黑白气象传真图的消息只有黑色和白色两种，即信源{}
黑，白=X ，设黑色的出现概率为3.0(=黑）P ，白色的出现概率为7.0(=白）P 。
（1）假设图上黑白消息出现前后没有关联，求熵)(X H 。
（2）假设消息前后有关联，其依赖关系为9.0/(=白）白P ，1.0/(=白）黑P ，
2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。
（3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。
4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
6、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则
∑=≤N
k k k Y X I Y X I 1
),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当
且仅当信源也是无记忆信源时等号成立。
7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2
i σ：
21σ=0.1，22σ=0.2，23σ=0.3，24σ=0.4，25σ=0.5，26σ=0.6，27σ=0.7，28σ=0.8，29σ=0.9，
210σ=1.0（W ）。
输入信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：
)(110
1
W P i i =∑=。
求各子信道的信号功率分配方案。
8、给定语音信号样值x 的概率密度函数为x
e x p λλ-=
2
1)(，∞<<∞-x ，求)(X H c ，并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。
9、某二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢
⎣⎡5.05.010)(x p X ，其失真矩阵定义为⎥
⎦
⎤⎢⎣⎡=00a a D ，求该信源的max D ，min D 和该信源的信息率失真函数)(D R 。
10、设连续信源X ，其概率密度函数为x
a e a x p -=2
)(，失真度为y x y x d -=),(，试求此信源的)(D R 函数。
11、一个二进制非等概信源，符号集}1,0{=A ，p p p ==1)0(，p p p -==1)1(2，试验信道输出符号集}1,0{=B ，失真函数为汉明失真。
求该信源的信息率失真函数)(D R 。
12、设一个四元等概信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢
⎣⎡25.025.025.025.03210
)(x p X ，接收符号集为}3,2,1,0{=Y A ，
失真矩阵定义为⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=01
11
10111101
1110
D ，求m a x D ，min D 及信源的)(D R 函数，并作出率失真函数曲线（取4到5个点）。
13、信源符号X 有6种字母，概率为0.3，0.24，0.20，0.14，0.08，0.04。
(1) 求符号熵)(X H 。
(2) 用香农编码法编成二进制变长码，计算其编码效率。
(3) 用费诺编码法编成二进制变长码，计算其编码效率。
(4) 用霍夫曼编码法编成二进制变长码，计算其编码效率。
(5) 用霍夫曼编码法编成三进制变长码，计算其编码效率。
14、信源符号X 有6种字母，概率为0.3，0.22，0.18，0.16，0.08，0.06。
a) 求符号熵)(X H 。
b) 用香农编码法编成二进制变长码，计算其编码效率。
c) 用费诺编码法编成二进制变长码，计算其编码效率。
d) 用霍夫曼编码法编成二进制变长码，计算其编码效率。
e) 用霍夫曼编码法编成三进制变长码，计算其编码效率。
15、有一个n 元等概率、平稳无记忆信源}1,,1,0{-=n X ，接收符号集为
}1,,1,0{-=n Y ，且规定失真矩阵为
⎥
⎥
⎥⎥⎦
⎤⎢⎢⎢
⎢⎣⎡=011
101110][ d 求率失真函数)(D R 。
16、设高斯信源X 的概率密度函数为
()⎥⎦
⎤⎢⎣⎡--=
2
22exp 21
)(σσπm x x p 且失真函数定义为差方失真，()22
),(z y x y x d =-=。
求该信源的率失真函数的香农下限。
17、设有多维无记忆加性连续信道，输入信号序列为：()L x x x x ,,,21
=，输出信号序列为：
()L y y y y ,,,21 =，
其噪声为高斯噪声，噪声序列()L n n n n ,,,21
=中的各分量是均值为0，方差为2i σ的高斯噪声，分两种情况计算其信道容量：
（1）在各单元时刻（L i ,,2,1 =）上的噪声都是均值为0、方差为2
σ的高斯噪声； （2）在各单元时刻（L i ,,2,1 =）上的噪声都是均值为0、方差为2i σ的高斯噪声，但
输入信号的总平均功率受限，其约束条件为：
[]
P P x E x E L
i i L i i L i i ===⎥⎦⎤⎢⎣⎡∑∑∑===11
2
12
18、设二进制对称信道的转移概率矩阵为
⎥
⎦
⎤
⎢⎣⎡=3/23/13/13/2P （1）若4/3)(0=x p ，4/1)(1=x p ，求)(X H ，)/(Y X H ，)/(X Y H 和);(Y X I ；
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
19、某信源发送端有两个符号：2,1,=i x i ，a x p =)(1，每秒发出一个符号。
接收端有三种符号：3,2,1,=j y j ，转移概率矩阵
⎥⎦
⎤
⎢⎣⎡=4/14/12/102/12/1P
（1）计算接收端的平均不确定性；
（2）计算由于噪声产生的不确定性)/(X Y H ；
（3）计算信道容量。
20、在干扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。
已知2/1)1()0(==p p ，信道每秒内允许传输1000个符号。
求此信道的容量。
21、发送端有三种等概率符号),,(321x x x ，3/1)(=i x p ，接收端收到三种符号),,(321y y y ，信道转移概率矩阵为
⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=09.01.03.03.04.02.03.05.0P
（1）计算接收端收到一个符号后得到的信息量)(Y H ；
（2）计算噪声熵)/(X Y H ；
（3）计算接收端收到一个符号2y 的错误概率； （4）计算从接收端看的平均错误概率； （5）计算从发送端看的平均错误概率； （6）从转移矩阵中能看出该信道的好坏吗？ （7）计算发送端的)(X H 和)/(Y X H 。
22、设无记忆信源⎥
⎦
⎤⎢⎣⎡-=⎥⎦⎤⎢
⎣⎡3/1,3/1,3/11,0,1)(x p X ，接收符号集⎭⎬⎫
⎩⎨⎧-=21,21Y ，失真矩阵⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡=121121D ，试求：
max D 和min D 及达到max D 、min D 时的转移概率矩阵。
23、已知二元信源⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢
⎣⎡p p x p X 1,1,0)(以及失真矩阵[]
⎥
⎦
⎤
⎢⎣⎡=0110ij d ，试求： （1）min D ；（2）max D ；（3）)(D R 。
24、某信源有8个符号{}8321,,,,a a a a ，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，试编成这样的码：000，001，010，011，100，101，110，111的码。
求
（1）信源的符号熵)(X H 。
（2）出现一个1或一个0的概率。
（3）这种码的编码效率。
（4）相应的香农码及其编码效率。
（5）相应的费诺码及其编码效率。
25、已知符号集合{} ,,,321x x x 为无限离散消息集合，它们出现的概率分别为2/1)(1=x p ，
4/1)(2=x p ，8/1)(3=x p ，i i x p 2/1)(=等。
（1）用香农编码方法写出各个符号消息的码字。
（2）计算码字的平均信息传输速率； （3）计算信源编码效率。
26、已知一信源包含8个消息符号，其出现的概率为
{}04.0,07.0,1.0,06.0,05.0,4.0,18.0,1.0)(=X P 。
（1）若该信源在每秒内发出一个符号，求该信源的熵和信息传输速率。
（2）对这8个符号作霍夫曼编码，写出相应码字，并求出编码效率。
（3）采用香农编码，写出相应码字，求出编码效率。
（4）采用费诺编码，写出相应码字，求出编码效率。
信息论复习题
信息论复习题1、求基本高斯信源的差熵。
（10分）2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。
试求该信源的相对熵。
3、黑白气象传真图的消息只有黑色和白色两种，即信源{}黑，白=X ，设黑色的出现概率为3.0(=黑）P ，白色的出现概率为7.0(=白）P 。
（1）假设图上黑白消息出现前后没有关联，求熵)(X H 。
（2）假设消息前后有关联，其依赖关系为9.0/(=白）白P ，1.0/(=白）黑P ，2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。
（3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。
4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
6、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则∑=≤Nk k k Y X I Y X I 1),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当且仅当信源也是无记忆信源时等号成立。
7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2i σ：21σ=0.1，22σ=0.2，23σ=0.3，24σ=0.4，25σ=0.5，26σ=0.6，27σ=0.7，28σ=0.8，29σ=0.9，210σ=1.0（W ）。
输入信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：)(1101W P i i=∑=。
求各子信道的信号功率分配方案。
8、给定语音信号样值x的概率密度函数为x e x p λλ-=21)(，∞<<∞-x ，求)(X H c ，并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。
9、某二元信源=5.05.010)(x p X ，其失真矩阵定义为??=00a a D ，求该信源的max D ，min D 和该信源的信息率失真函数)(D R 。
信息论复习资料
判断30名词解释4*5计算3道20分第一章1、自信息和互信息P6 公式2、信道P9 概念第二章1、离散平稳信源P18概念2、离散无记忆信源P19概念3、时齐马尔可夫信源P20概念4、自信息P22概念5、信息熵P25概念6、信息熵的基本性质P281)对称性2)确定性3)非负性4)扩展性5)可加性6)强可加性7)递增性8)极值性9)上凸性7、联合熵条件熵P42公式P43例题8、马尔克夫信源P54公式P55例题9、信源剩余度P5810、熵的相对率信源剩余度P5811、课后作业：2、4、13、21、22第三章1、有记忆信道P73概念2、二元对称信道BSC P743、前向概率、后向概率、先验概率、后验概率P764、条件熵信道疑义度、平均互信息P775、平均互信息、联合熵、信道疑义度、噪声熵计算公式P786、损失熵噪声熵 P797、平均互信息的特性P821)非负性2)极值性3)交互性4)凸状性8、信息传输率R P869、无噪无损信道P87概念10、有噪无损信道P88概念11、对称离散信道 P89概念12、对称离散信道的信道容量P90公式张亚威2012/06/20张亚威2012/06/2116、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9第五章1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。
2、 等长码 P172概念3、 等长信源编码定理 P1784、 编码效率 P1805、 克拉夫特不等式 P1846、 香农第一定理 P1917、 码的剩余度 P194第六章1、 最大后验概率准则 最小错误概率准则 P2002、 最大似然译码准则 P2013、 费诺不等式 P2024、 信息传输率（码率） P2055、 香农第二定理 P2156、 课后习题 3、第八章1、 霍夫曼码 最佳码 P2732、 费诺码 P2793、 课后习题 11、第八章1、 编码原则 译码原则 P3072、 定理9.1 P3133、 分组码的码率 P314公式4、 课后习题 3、一、 填空题1、 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。
信息论考试题
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
信息论 复习题
【】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：〔1〕接收到第一个数字0与M1之间的互信息；〔2〕接收到第二个数字也是0时，得到多少关于M1的附加互信息；〔3〕接收到第三个数字仍为0时，又增加了多少关于M1的互信息；〔4〕接收到第四个数字还是0时，再增加了多少关于M1的互信息。
解：各个符号的先验概率均为1/8(1)根据条件，有因此接收到第一个数字0与M1之间的互信息为：〔2〕根据条件，有因此接收到第二个数字也是0时，得到多少关于M1的互信息为：得到的附加信息为：〔3〕根据条件，有因此接收到第三个数字也是0时，得到多少关于M1的互信息为：此时得到的附加信息为：〔4〕根据条件，有因此接收到第四个符号为0时，得到的关于M1的互信息为此时得到的附加信息为【】设二元对称信道的传递矩阵为〔1〕假设P(0)=3/4，P(1)=1/4，求H(X )，H(X | Y )，H(Y | X )和I (X;Y)；〔2〕求该信道的信道容量及其到达信道容量时的输入概率分布。
解：〔1〕根据条件，有【】假设X 、Y 和Z 是三个随机变量，试证明：〔1〕I (X;YZ) = I(X;Y) + I(X;Z | Y) = I (X;Z) + I (X;Y | Z) 〔2〕I (X;Y | Z) = I (Y; X | Z) = H(X | Z) - H(X | YZ) 〔3〕I (X;Y | Z) ³0当且仅当(X, Z,Y)是马氏链时等式成立。
(3)【】求以下两个信道的信道容量，并加以比拟因此有【】在图片传输中，每帧约个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。
试计算每秒钟传送30帧图片所需信道的带宽〔信噪功率比为30dB〕。
信息论复习必考题
第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。
第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。
(完整word版)信息论试卷
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
信息论复习题
信息论复习题信息论复习题第一、二章一、填空1、 1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、信息、与信号，是通信理论中常用的三个既有联系又有区别的概念。
信息是系统中的对象，它包含在中。
消息是比较具体的概念，但不是物理的。
信号是表示的物理量。
在通信系统中，传送的本质内容是信息，发送时需要将信息表示成具体的消息，再将消息载至上，才能在实际的通信系统中传输。
3、不考虑加密处理，常用通信系统的物理模型包括信源、信源编码器、信道编码器、信道、和、、信宿七部分。
其中，信源负责向通信系统提供消息；，是消息传递的对象，即接收消息的人或机器；信道是传递消息的，是负责传送物理信号的设施。
4、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为。
5、自信息量的单位一般有。
6、必然事件的自信息是。
7、不可能事件的自信息量是。
8、两个相互独立的随机变量的联合自信息量等于。
9、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量。
10、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的。
11、若信源当前时刻发出的符号只与前m 个符号有关联，而与更前面的符号无关，则称这种信源为信源；若该信源的条件转移概率与时间起点无关，则进一步可称其为信源。
经过足够长时间，该信源处于什么状态已与初始状态无关，此时每种状态出现的概率达到了一种。
12、一维连续随机变量X 在[a ，b]区间内均匀分布时，其信源熵为。
13、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是。
14、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。
15、对于离散信源，当时其信源熵具有最大值。
16、对于限平均功率的一维连续信源，当概率密度时，信源熵有最大值。
二、判断1、必然事件和不可能事件的自信息量都是0 。
信息论复习题期末答案
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。