信息论期末重点题
《信息论》期末考试试题(A卷)标准答案
（1） 每幅画面所含信息量： H log 2 10 信息传输速率：
9.97 105 bit
(2 分)
R 30 H 30 log 2 10300000 29.90 Mbps
（2） AWGN 信道容量：
(1 分)
C W log 2 (1 SNR) 6 106 log 2 (1 1000) 59.80 Mbps
(2+1 分) (3 分)
（3）求为实现电视信号可靠传输信道所需的最小带宽和对应的信号平均功率； (3+2 分) （4）求信息传输速率达到容量时的频谱利用率和对应的 Eb / N 0 (dB ) 。 解 信噪比换算： SNR 10
SNR[ dB ]/10
(3+2 分)
1030/10 1000
的符号熵为 (2/5)H(1/2,1/4,1/4)+ (3/5)H(1/3)=1.151 比特/符号。 4．设试验信道输入与输出符号集均为 {1, 2,3, 4} ，输入概率分别为 1/2，1/4，1/8，1/8，失 真测度为 d(i, j)= (i - j)2 ,1 i, j 4 ； 则 Dmin 0 ， Dmax 9/8=1.125 。
3 次扩展信源符号 000 001 010 100 011 101 110 111 平均码长 概 率 0.729 0.081 0.081 0.081 0.009 0.009 0.009 0.001 编 0 100 101 110 11100 11101 11110 11111 0.5327 码
(5 分)
个二元一一对应信道传输，且每秒只传送两个符号； (1) 若要求信息无失真传输，信源能否不进行编码而直接与信道相接？ (3 分) (2) 能否采用适当的编码方式然后通过信道进行无失真传输？为什么？ (2+3 分) (3) 确定一种编码方式并进行编码，使得传输满足不失真要求；同时请说明信源采用这 种编码后， 编码器输出与信道输入之间应设置何种装置？ (10+2 分) 解
信息论复习必考题
第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。
第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。
信息论与编码期末考试题
信息论与编码期末考试题（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(XH . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （）9. 率失真函数的最小值是0. （）10.必然事件和不可能事件的自信息量都是0. （）二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X =，其失真矩阵00a D a ??=，则该信源的max D = . 三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ??=. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。
(完整word版)信息论期末复习资料
书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。
因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之，若R>C,则传输总要产生失真。
又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。
故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。
8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念：信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
《信息论》期末考试试题( 卷)标准答案
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
《信息论》期末考试B卷答案
第1 页 共5 页北方民族大学试卷课程代码: 01100622 课程： 信息理论及编码 B 卷答案说明：此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源熵）与平均互信息的异同.答：平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。
答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………（3分） 当N 足够长，总可以实现无失真编码。
………………………………………(3分）3、简述唯一可译变长码的判断方法？答：将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时，码C 为唯一可译变长码。
构成集合F 的方法：…………………(2分)首先，观察码C 中最短的码字是否是其他码字的前缀.若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。
依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分） 接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。
…………………(2分)4、简述最大离散熵定理.第2 页 共5 页答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。
……（3分）对于有m 个符号的离散信源，其最大熵为log m 。
…………………………（3分)5、什么是汉明距离；两个二元序列1230210,0210210i j αβ==,求其汉明距离.答：长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。
信息论复习题期末答案
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。
1.设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。
（2）求其对应的一致校验矩阵H。
（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。
（4）若接收码字为000110，用伴随式法求译码结果。
1.答：1）n=6，k=3，由C=mG可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由G知，，则3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。
错误图样E 伴随式100000 101010000 110001000 011000100 100000010 010000001 0014）由知E＝010000，则信息传输率为则6.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？（2）当，时，求平均互信息信道疑义度（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此答：1）是准对称信道，因此其最佳输入概率分布为。
2）当，时，有则3）此时可用最大似然译码准则，译码规则为且有四（15分）设离散无记忆信道输入集合为X={0，1}，输出集合为{0,E,1}，信道转移概率矩阵为0103/41/81/811/81/83/4E⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，输入先验分布为Q(0)= 1/4，Q(1) =3/4。
（1）求信道容量C及其最佳分布。
（2）求采用最佳译码准则下的译码规则，并计算平均错误概率。
（3）设发送的消息只有两种0000和1111，若接收的序列为0E10，请根据最大似然准则给出译码结果，并计算此时的错误概率。
五（15分）设二元(5,2)线性分组码的生成矩阵为1101001111G ⎡⎤=⎢⎥⎣⎦（1） 求最小汉明距离。
（2） 求一致校验矩阵H 。
（3） 写出标准阵列译码表中与伴随式(111)对应的陪集。
（4） 若接收矢量01101，试根据最小距离译码准则确定发送的信息序列。
若通过转移概率为p=1/4的BSC 传送，试求该码的不可检错误概率p ud 。
2.二元对称信道如图。
3. ；1）若，，求和；2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
2.答：1）2），最佳输入概率分布为等概率分布。
3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。
2）某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ （1）求对应的生成矩阵和校验矩阵；（2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。
解：1. 1000110010001100101110001101G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦101110011100100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2. d min =33.4. RH T =[001] 接收出错E =0000001 R+E=C = 1110010 (发码)6二元(7，4)汉明码校验矩阵H 为：（10分）（1）写出系统生成矩阵G ，列出错误形式和伴随矢量表，你能发现他们之间有什么联系，若没有这个表怎么译码，（2）若收到的矢量0000011，请列出编码后发送矢量、差错矢量、和编码前信息矢量。
011111110100100110111010(|)101011101001T P I ⎫⎛⎫⎪ ⎪⇒=⎪ ⎪⎪ ⎪⎭⎝⎭列置换１． 设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/38/38/1),(),(),(),(22122111y x y x y x y x P XY XY 定义一个新的随机变量Y X Z ⨯=(普通乘积)（1） 计算熵H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ），以及H （XYZ ）； （2） 计算条件熵 H （X|Y ），H （Y|X ），H （X|Z ），H （Z|X ），H （Y|Z ），H （Z|Y ），H （X|YZ ），H （Y|XZ ）以及H （Z|XY ）；（3） 计算平均互信息量I （X ；Y ），I （X ：Z ），I （Y ：Z ），I （X ；Y|Z ），I （Y ；Z|X ）以及I （X ：，Z|Y ）。
解：（1）12log 2/12log 2/1)(12log 2/12log 2/1)(2222=+==+=Y H X H8/108/308/308/1111110101100011010001000XYZ8/18/710Z8log 8/1)7/8(log 8/7)(22+=Z H 8/18/302/111100100XZ8log 8/1)3/8(log 8/32log 2/1)(222++=XZ H 8/18/302/111100100YZ8log 8/1)3/8(log 8/32log 2/1)(222++=YZ H（2）))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=Y X H ))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=X Y H)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z X H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=X Z H)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z Y H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=Y Z H)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=YZ X H)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=XZ Y H 0)|(=XY Z H(3))|()();(Y X H X H Y X I -= )|()();(Z X H X H Z X I -= )|()();(Z Y H Y H Z Y I -=)|()|()|;(YZ X H Z X H Z Y X I -=)|()|()|;(ZY X H Y X H Y Z X I -=２． 设二元对称信道的输入概率分布分别为]4/14/3[][=X P ，转移矩阵为[]⎥⎦⎤⎢⎣⎡=3/23/13/13/2|XY P ， （１） 求信道的输入熵，输出熵，平均互信息量；（２） 求信道容量和最佳输入分布； （３） 求信道剩余度。
解：（1）信道的输入熵4log 4/1)3/4(log 4/3)(22+=X H ；⎥⎦⎤⎢⎣⎡=6/112/14/12/1][XY P ]12/512/7[][=Y P)5/12(log 12/5)7/12(log 12/7)(22+=Y H)6/1,12/1(4/1)4/1,2/1(4/3)|(H H X Y H += )|()();(X Y H Y H Y X I -=（2）最佳输入分布为]2/12/1[][=X P ，此时信道的容量为)3/1,3/2(1H C -=(3)信道的剩余度：);(Y X I C -。