信息论习题集
信息论习题——精选推荐
选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、216、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
信息论习题集
信息论习题集1.有一离散无记忆信源12,31,44s s ??(1)构造出一个即时码,求出信息传输率和编码效率；(2)对其二次扩展信源编码,并求出信息传输率及编码效率,并与(1)的结果相比较。
解：（1）其信源熵为21()()log ()0.75log 0.750.25log 0.250.81127i i i H X P x P x ==-=--=∑比特现利用二进制符号（0，1）进行编码，令s1=0，s2=1，这时平均码长 211(/i i i L p l ===∑码元信源符号）信息传输率为：()0.811(/H S R bit L==码元符号）编码的效率为2()0.811log rH S L η==（2）为了提高传输效率，根据香农第一定理得物理概念，利用霍夫曼编码方法信源中每一个信源符号的码长信息传输率为：()0.811=0.961(/27/32H S R bit L==码元符号）编码的效率为2()0.961log rH S L η==。
结论：二次扩展信源编码复杂一些，但信息传输率和编码效率提高了。
2.设有一离散信道，其信道传递矩阵为0.50.30.20.20.30.50.30.30.4?并设123()0.4,()()0.3P x P x P x ===，分别按最小错误概率准则和最大似然译码准则确定译码规则，并计算相应的平均错误概率。
2*23/16*31/16*327/16/=＋＋（码元两个信源符号）227/32(/2L L ==码元信源符号）3.二元对称信道如图。
1）若32(0),(1)55p p ==，，求；2）求该信道的信道容量和最佳输入分布。
4. 信源空间为试构造二元最佳编码，计算其编码效率。
解：二元码的码字依序为：10，11，010，011，1010，1011，1000，1001（注必须要有编码过程）平均码长，编码效率5.设有一离散信道，其信道矩阵为，求：当，时，求平均互信息信道疑义度解：当，时，有则6.设有一个马尔可夫信源，其状态图如图所示：（1）求平稳状态下各状态极限概率Q(E （i ）)。
信息论习题
一、单项选择题1．信息就是 ( C ) A.消息 B.数字、数据、图形C.通信过程中，接受者所不知的知识（即不确定性）D.能量2. 下列关于交互信息量();i j I x y 的陈述中错误的是 （C ） A.();i j I x y 表示在接收端收到j y 后获得的关于i x 的信息量 B.();i j I x y 表示在发送端发送i x 后获得的关于j y 的信息量 C.();0i j I x y ≥D.当i x 和j y 统计独立时();0i j I x y =3. 设X 和Y 是两个信源，则下列关系式中正确的是 （C ） A.()()()H XY H X H X Y =- B.()()()H XY H X H X Y =+ C.()()()H XY H Y H X Y =+D.()()()H XY H Y H X Y =-4. 一个正常的骰子，也就是各面呈现的概率都是16，则“5出现”这件事件的自信息量为 （C ） A.16比特 B.6 比特 C.2log 6比特 D.2log 6-比特 5. 关于预测编码的描述错误的是 （ ） A.通过解除相关性压缩码率 B.通过对差值编码压缩码率 C.通过概率匹配压缩码率 D.不适用于独立信源 6. 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：0i p ≥，i ∀，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.熵的取值为一个非负数 B.熵表示信源的平均不确定度 C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.熵的取值小于等于信源的平均自信息量7. 算术编码将信源符号序列映射成哪个区间上的小数 （ C ）A. [0，1]B. [0，2]C. [1，2] D . [1，3]8. 非奇异码 （ C ） A.唯一可译 B.每个信源符号都有唯一的码字与之对应C.每个码符号序列都有唯一信源符号序列与之对应D.收到完整的码字后可即时译码9. 狭义信息论的创始人是 （ D ）A.HartlyB.NquistonD.C.E. Shannon10.单符号离散信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭的平均信息量为 （A ） A.1()log()niii H x p p ==-∑B.1()log()niii H x p p ==∑C.11()log()ni i i H x p p ==∑D. 11()log()ni i iH x p p ==∑ 11. 若信源X 中的某一符号出现的概率1i p =，则其()H X = （ B ） A.1B.0C.0.5D.0.712. 当(;)0I X Y =时，()H XY 应为 （B ） A.()()H X H Y =B.()()()H XY H X H Y =+C.(|)(|)H Y X H X Y =D.()()()H XY H X H Y <+13. 离散无记忆信道的概率转移矩阵的行和等于 （C ）A.2B.3C.1D.不确定14. 下列关于信息率失真函数()R D 的叙述错误的为 （ ）A. ()R D 为关于D 的严格递减函数 B.()R D 为关于D 的严格递增函数 C.()R D 为关于D 的下凸函数 D.当max D D > 时()0R D = 15. 设信源符号集{}123,,X x x x =，每一个符号发生的概率分别为()112p x =，()214p x =， ()314p x =，则信源熵为 （ A ） A.1.5 比特/符号 B.1.5 奈特/符号 C.1.5 哈特/符号 D.1.0比特/符号16. 设信源符号集{}1234,,,X x x x x =，每一个符号发生的概率分别为()1p x ，()2p x ，()3p x ，()4p x ，则信源熵的最大值为（ A ）A.2 比特/符号B.2 奈特/符号C.2 哈特/符号D.4比特/符号17. 下列关于联合熵()H XY 的陈述中错误的是 （ D ） A.当X 和Y 统计独立时，()()()H XY H X H Y =+ B.()()H XY H X ≥ C.()()H XY H Y ≥D.()()()H XY H X H X Y =+ 18． 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：i ∀，0i p ≥，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.()0H X ≥ B.()1,0,0,,00H =C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.设另外有一组概率矢量，()n q q q Q ,,,21 =，则 ()1log n i i i H X p q =≥-∑19. 在哈夫曼编码方法中 （ B ） A.概率大的信源符号给长码 B.概率小的信源符号给长码 C.自信息量大的信源符号给短码 D.根据信源的具体情况确定20. 二元离散信源{}0,1，以什么概率发每一个符号提供的平均信息量为最大 （ B ）A.{}0.4,0.6B.{}0.5,0.5C.{}0.99,0.01D.{}0.7,0.321. 若某字符离散信道的输入、输出符号集分别为{}12:,,,n X a a a 和{}12:,,,n Y b b b ，则其交互信息量(;)i j I a b 应为 （ A ） A.(|)log()i j i p a b p aB.(|)log()i j i p a b p a -C.1log(|)i j p a bD.log ()i p a -22. 唯一可译码和即时码具有哪种关系 （B ） A.唯一可译码就是即时码 B.即时码是唯一可译码的子集 C.唯一可译码是即时码的子集D.唯一可译码就是即时码与非奇异码之和23. 用哈夫曼码方法得到的码及其平均码长具有如下性质 （C ） A.不是唯一的，且其平均码长不相同 B.是唯一的，且平均码长也一样 C.不是唯一的，但平均码长相同 D.不能确定24. 设二进制对称信道的误传概率为p ，则下列陈述中错误的是 （C ） A.当输入等概分布时达到其信道容量 B.当输出等概分布时达到其信道容量 C.当0p =时，其信道容量为0 D.当12p =时，其信道容量为0 25. 对于离散对称信道，其输入、输出符号集分别为X 和Y ，下列叙述中错误的是（D ） A.当输入等概分布时达到信道容量 B.当输出等概分布时达到信道容量C.对称信道的条件熵()H Y X 与信道输入符号的概率分布无关D.何时达到对称信道的信道容量要根据具体信道具体确定26. 下述叙述错误的是 （ A ） A.非奇异码唯一可译 B.只有分组码才有对应的码表 C.即时码唯一可译 D.非延长码收到完整的码字后可即时译码 27. 哈夫曼编码属于哪一类编码 （ A ） A.统计 B.变换 C.预测 D.非分组 28．设信源{}621,,x x x X =，对信源X 进行二进制编码，根据Kraft 不等式，下列码中不是唯一可译码的是 ( D ) A ．000, 001, 010, 011, 100, 101 Ｂ． 0, 01, 011, 0111, 01111, 011111 C ．0, 10, 110, 1110, 11110, 111110 Ｄ． 0, 10, 110, 1110, 1011, 110129．若有一个二元序列为 000011011100000，可写成的游程序列是 （ A ） A.4 2 1 3 5 B.5 3 1 2 4 C.2 2 2 1 3 2 3 D.4 3 3 430. 在信道输出端接收到输出随机变量Y 后，对输入端的随机变量X 尚存在的平均不确定性表示为 ( B )A ．()X HＢ．()Y X H / C ．()Y HＤ．()X Y H /二、简答及名词解释1．名词解释：自信息量、熵、 2．简要描述离散信源熵的极值性 3．名词解释：离散无记忆信源4．写出冗余度的表达式并简述信源冗余度的来源 5. 简要描述平均互信息);(Y X I 的凸状性6．名词解释：对称离散信道试问：①码字中哪些是唯一可译码？②哪些是非延长码（即时码）？ ③哪些是奇异码；那些是非奇异码？ 8．名词解释：唯一可译码、即时码9．写出香农公式，解释其中各变量的含义 10．简述信源编码的两个基本途径 11. 伴随式 12. 对偶码 13. 试验信道三、计算1. 信源符号X 有6种字母，概率为(0.32, 0.22, 0.18, 0.16, 0.08, 0.04)。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论与编码习题集
第2章2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？2.2 平均互信息量(;)I X Y 与信源概率分布()p x 有何关系？与(/)p y x 又是什么关系？2.3 熵是对信源什么物理量的度量？2.4 设信道输入符号集是12{,,,}k x x x L ，则平均每个信道输入符号所能携带的最大信息量为什么？2.5 互信息量(;)i j I a b 有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？2.6 教材习题。
P70,2.19-2.22除外第3章3.1 设信源消息集为{0,1}X =，信宿消息集{0,1}Y =，信源等概率分布，通过二进制信道，信道转移概率矩阵为0.760.240.320.68⎛⎫ ⎪⎝⎭求：(1) 该系统的平均互信息量；(2) 接收到0y =后，所提供的关于x 的平均互信息量(;0)I X 。
3.2 教材 3.1,3.2,3.3,3.6,3.7(4),3.8,3.11,3.14,3.15,3.18,3.19第4章 信息率失真函数4.1 当信息率失真函数R (D )取什么值的时候，表示不允许有任何失真。
4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值时什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？4.3 给定二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡25.025.05.0)(321x x x X P X ，失真度测度矩阵[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011302120d ，求信息率失真函数的定义域和值域。
4.4 其他练习题见教材第5章5.1 请问即时码一定是唯一可译码码？反过来说唯一可译码一定是即时码吗？5.2 离散无记忆信源，熵为()H x ，对信源的L 长序列进行等长编码，码长是长为n 的m 进制符号串，问：(1)满足什么条件时，可实现无失真编码；(2)L 增大，编码效率η也随之增大吗？5.3 信源有4个消息，对其进行二进制编码，问：(1)若信源等概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/14/14/14/1)(4321x x x x X P X ，则每个消息至少需要几位二进制代码？ (2)若信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x X P X ，如何编码才能获得最佳码？5.4 已知一个离散无记忆信源，其概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡12/14/13/13/1)(4321x x x x X P X ，试： (1)对该信源进行二进制霍夫曼编码；(2)证明存在两个不同的最佳码长集合，即证明码长集合{1，2，3，3}和{2，2，2，2}都是最佳的。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
信息论习题集
信息论习题集一、名词解释（20道）1、“本体论”的信息（P2）2、“认识论”信息（P2）3、离散信源（P7）4、自信息量（P9）5、离散平稳无记忆信源（P39）6、信源冗余度 （P51）7、连续信源 （P52） 8、信道容量 （P73） 9、强对称信道 （P75-76）10、对称信道 （P78） 11、多符号离散信道（P83） 12、连续信道 （P95）13、平均失真度 （P105） 14、实验信道 （P107） 15、率失真函数 （P107）16、信息价值率 （P127） 17、BSC 信道 （P171） 18、码的最小距离 （P174）19、线性分组码 （P175） 20、循环码 （P188）二、填空（84道）1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
信息论习题集
信息论习题集信息论习题集⼀、填空题1、⼈们研究信息论的⽬的是为了⾼效、可靠安全地交换和利⽤各种各样的信息。
2、单符号离散信源输出的消息⼀般⽤随机变量描述，⽽符号序列离散信源输出的消息⼀般⽤随机⽮量描述。
3、两个相互独⽴的随机变量的联合⾃信息量等于两个⾃信息量之和。
4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
5、必然事件的⾃信息是 0 ，不可能事件的⾃信息量是 00 。
6、信道的输出仅与信道当前的输⼊有关，⽽与过去输⼊⽆关的信道称为⽆记忆信道。
7、若纠错码的最⼩距离为min d ，则可以纠正任意⼩于等于t= 个差错。
8、必然事件的⾃信息量是 0 ，不可能事件的⾃信息量是 00 。
9、⼀信源有五种符号{a ， b ， c ， d ， e}，先验概率分别为 a P =0.5， b P =0.25， c P =0.125，d P =e P =0.0625。
符号“a ”的⾃信息量为____1____bit ，此信源的熵为____1.875____bit/符号。
10、已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。
11、克劳夫特不等式是唯⼀可译码存在与否的充要条件。
{00，01，10，11}是否是唯⼀可译码？。
12、离散平稳⽆记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
13、对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为信源符号等概分布_ 。
⼆、选择题1、下⾯哪⼀项不属于最简单的通信系统模型：（ B ）A ．信源B ．加密C ．信道D ．信宿 2、信道编码的⽬的是（ A ）。
A 提⾼通信系统的可靠性B 提⾼通信系统的有效性C 提⾼通信系统的保密性D 提⾼通信系统的实时性3、给定x i 条件下随机事件y j 所包含的不确定度和条件⾃信息量I (y j /x i )，（C ）A 数量上不等，含义不同B 数量上不等，含义相同C 数量上相等，含义不同D 数量上相等，含义相同4、下⾯哪⼀项不是增加信道容量的途径：（C ）A 减⼩信道噪声功率B 增⼤信号功率C 增加码长D 增加带宽5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（“2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（“3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（W4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（M5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（V）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（V7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（X第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（V2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（X）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（X4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（X）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（X6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（V7、互信息的统计平均为平均互信息量，都具有非负性。
（X）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（X）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（X）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（X）11、在信息处理过程中，熵是不会增加的。
（V12、熵函数是严格上凸的。
（V13、信道疑义度永远是非负的。
（V14、对于离散平稳信源，其极限熵等于最小平均符号熵。
（V2-1同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”事件的自信息量；（2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2, 3,…，12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论习题集
一、填空题
1、人们研究信息论的目的是为了高效、可靠安全地交换和利用各种
各样的信息。
2、单符号离散信源输出的消息一般用随机变量描述，而符号序列离散信源输出
的消息一般用随机矢量描述。
3、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
5、必然事件的自信息是 0 ，不可能事件的自信息量是∞。
6、信道的输出仅与信道当前的输入有关，而与过去输入无关的信道称为
无记忆信道。
d，则可以纠正任意小于等于t= -1 7、若纠错码的最小距离为{ EMBED Equation.3 |min
个差错。
8、必然事件的自信息量是 0 ，不可能事件的自信息量是∞。
9、一信源有五种符号{a，b，c，d，e}，先验概率分别为=0.5，=0.25，=0.125，==0.0625。
符号“a”的自信息量为__1__bit，此信源的熵为____1.875____bit/符号。
10、已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出 2 个码元
错误，最多能纠正 1 个码元错误。
11、克劳夫特不等式是唯一可译码存在的充要条件。
{00，01，10，11}
是否是唯一可译码？是。
12、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
13、对于离散无记忆信源，当信源熵有最大值时，满足条件为信源符号等
概分布。
二、选择题
1、下面哪一项不属于最简单的通信系统模型：（B）
A．信源B．加密C．信道D．信宿
2、信道编码的目的是（ B ）。
A 提高通信系统的可靠性
B 提高通信系统的有效性
C 提高通信系统的保密性
D 提高通信系统的实时性
3、给定x i条件下随机事件y j所包含的不确定度和条件自信息量I(y j /x i)，（ C ）
A数量上不等，含义不同 B 数量上不等，含义相同
C 数量上相等，含义不同
D 数量上相等，含义相同
4、下面哪一项不是增加信道容量的途径：（D）
A 减小信道噪声功率
B 增大信号功率
C 增加码长
D 增加带宽
5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。
A B
C D
6、克劳夫特不等式是___A______的充要条件。
A判断唯一可译码 B 判断即时码
C判断即时码存在与否 D 判断唯一可译码存在与否
7、一个珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有
微小差异的假珠换掉1 颗。
一人随手取出3 颗，经测量恰好找出了假珠，不巧假珠又滑落进去，
那人找了许久却未找到，但另一人说他用天平最多6 次能找出，结果确是如此，这一事件给出的
信息量（ A ）。
A 0bit
B log6bit
C 6bit
D log240bit
8、率失真函数的下限为（ B ）。
A H(U)
B 0
C I(U; V)
D 没有下限
9、下面哪一项不属于熵的性质：（ D ）
A 非负性
B 确定性
C 对称性
D 完备性
10、香农编码方法是根据（A）推导出来的。
A 香农第一极限定理
B 香农第二极限定理
C 香农第三极限定理
D 香农第四极限定理
11、线性分组码不具有的性质是（ C ）。
A 任意多个码字的线性组合仍是码字
B 最小汉明距离等于最小非0重量
C 最小汉明距离为3
D 任一码字和其校验矩阵的乘积
12、率失真函数的下限为（ B ）。
A H(U)
B 0
C I(U; V)
D 没有下限
13、纠错编码中，下列哪种措施不能减小差错概率（ D ）。
A 增大信道容量
B 增大码长
C 减小码率
D 减小带宽
14、已知某无记忆三符号信源 a,b,c 等概分布，接收端为二符号集，其失真矩阵为 ,则信源的最大平均失真度为（ D ）。
A 1/3
B 2/3
C 3/3
D 4/3
15、设信道输入为，输出为y，若译码准则是当，对所有时，将y判为，则称该准则为（ D ）。
A 最大后验概率译码准则
B 最小错误概率准则
C 最大相关译码准则
D 最大似然译码准则
16、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。
A B
C D
17、下面编码方法惟一的是（ C ）。
A 费诺编码
B 哈夫曼编码
C 香农编码
D 游程编码
18、信源编码的目的是（ B ）。
A 提高通信系统的可靠性
B 提高通信系统的有效性
C 提高通信系统的保密性
D 提高通信系统的实时性
19、下面哪一项不属于熵的性质：（ B ）
A 非负性
B 完备性
C 对称性
D 确定性
20、下面哪一项不属于最简单的通信系统模型：（ A ）
A加密B信源C信道D信宿
三、判断题
1、若要求发现 2个独立随机错误，则要求最小码距。
（√）
2、信息率失真函数R(D)的定义域为，其中，是满足的所有D中最大的。
（×）
3、信源冗余度用来衡量信源的相关性程度，信源冗余度大说明信源符号间的依赖关系较小。
( ×)
4、对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（√）
5、对离散无记忆信源来说，当信源呈等概率分布情况下，信源熵取最大值。
( √ )
6、信源编码的目的是提高通信的可靠性。
（×）
7、概率大的事件自信息量大。
（√）
8、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。
（√）
9、当随即变量X和Y相互独立时，条件熵等于信源熵。
（√）
10、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。
( √)
11、冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。
( × )
12、当信道固定时，平均互信息I(X;Y)是信源分布的∪型凸函数。
（√）
13、一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它
码字的前缀。
（√）
14、信道容量随信源概率分布的变化而变化。
（√）
15、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（√）
16、信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（√）
17、互信息量可正、可负亦可为零。
( √ )
18、对于条件熵来说，条件多的熵大于条件少的熵。
（×）
19、校验矩阵的各行是线性无关的。
（√）
20、信息率失真函数R(D)是关于平均失真度D的上凸函数。
( ×)
四、简答题
1、写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
2、对于一个一般的通信系统，试给出其系统模型框图，并
结合此图，解释数据处理定理。
3、什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？
4、什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
5、解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
6、解释无失真变长信源编码定理。
五、计算题
1、有一稳态马尔可夫信源，已知转移概率为p(S1/ S1)=2/3，p(S2/ S1)=1/3，p(S1/ S2)=1，p(S2/ S2)=0。
求：
(1)画出状态转移图和状态转移概率矩阵。
(2)求出各状态的稳态概率。
(3)求出信源的极限熵
2、设有离散无记忆信源X，其概率分布为
P（X）={0.4，0.18，0.1，0.1，0.07，0.06，0.05，0.04}，求：（1）信源符号熵H（X）；（2分）
（2）用哈夫曼编码编成二元变长码，并计算其编码效率；（6分）
（3）在相同的信源、编码效率和译码差错的条件下，比较定长和变长编码。
（2分）
3、设一线性分组码具有一致监督矩阵
1）求此分组码n=?,k=?共有多少码字？
2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。
4、已知一个二元信源连接一个二元信道，如图所示。
其中
试求：1）,，；
2）求该信道的信道容量。
5、某线性分组码的生成矩阵为
求：（1）用系统码的形式表示G，并写出对应的系统码校验阵H；
（2）计算该码的最小距离；
（3）接收到的码字为R1=0010100，如何判断是否有错？
（4）接收码字R2=1010100对应的伴随式 S=？
6、信源空间为
，
试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效
率（要求有编码过程）。