信息论 复习题目(2017)
信息论复习必考题
第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。
第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。
信息论考试题(填空简答)
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
信息论复习题目（2017）
信息论复习题⽬（2017）信息论复习提纲（2017）第⼀章绪论1．通信系统模型；2．⾹浓信息的概念；3．信源、信道、信源编码和信道编码研究的核⼼问题。
第⼆章离散信源及信源熵1．离散信息量、联合信息量、条件信息量、互信息量定义；2．信源熵、条件熵、联合熵定义；3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最⼤信源熵定理及证明；5．本章所有讲过的例题；第三章离散信源的信源编码1．信息传输速率、编码效率定义；2．最佳编码定理（即3.2节定理：概率越⼤，码长越⼩；概率越⼩，码长越⼤）及证明；3．码组为即时码的充要条件；4．单义可译定理（Kraft不等式）及应⽤；5．费诺编码⽅法、霍夫曼编码⽅法应⽤（⼆进制，三进制，四进制）；6．本章所有讲过的例题；第四章离散信道容量1．利⽤信道矩阵计算信道容量（离散⽆噪信道、强对称离散信道、对称离散信道、准对称离散信道）；2．本章讲过的例题；第五章连续消息和连续信道1．相对熵的定义；2．均匀分布、⾼斯分布、指数分布的相对熵及证明；3．峰值功率受限条件下的最⼤熵定理及证明，平均功率受限条件下的最⼤熵定理及证明，均值受限条件下的最⼤熵定理及证明；4．⾹农公式及意义；5．本章所有讲过的例题；第六章差错控制1．重量、最⼩重量、汉明距离、最⼩汉明距离、编码效率的定义；2．最⼩距离与检错、纠错的关系（即6.3节定理）；3．本章所有讲过的例题；第七章线性分组码1．线性分组码定义；2．线性分组码的最⼩距离与最⼩重量的关系及证明；3．⽣成矩阵、⼀致校验矩阵定义，给出线性⽅程组求出⽣成矩阵和⼀致校验矩阵的标准形式，⽣成矩阵与⼀致校验矩阵的关系；4．制作标准阵列并利⽤标准阵列译码；5．本章所有讲过的例题；第⼋章循环码1．⽣成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明；2．⽣成矩阵、⼀致校验矩阵定义，如何获得⽣成矩阵、⼀致校验矩阵的典型形式；3．本章所有讲过的例题；习题：1.计算：。
(完整word版)信息论试卷
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论试题
信息论试题一、填空题（共15分，每空1分）1、当时，信源与信道达到匹配。
2、若高斯白噪声的平均功率为6 W，则噪声熵为。
如果一个平均功率为9 W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为。
3、信源符号的相关程度越大，信源的符号熵越，信源的剩余度越。
4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为，此时编码效率为。
4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<”（1）()()2212X X H H =X ()X 3H = ()3321X X X H（2）()XY H ()()Y X H Y H |+ ()()X H Y H +。
9、有一信源X ，其概率分布为=818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是。
11、当时，信源熵为最大值。
８进制信源的最大熵为。
二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
（）2）即时码可以在一个码字后面添上一些码元构成另一个码字。
（） 3）连续信源的熵可正、可负、可为零，（） 4）平均互信息始终是非负的。
（）5）信道容量C 只与信道的统计特性有关，而与输入信源的概率分布无关。
（）三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。
通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1）香农信道容量；2）无误码传输的最高符号速率。
四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。
此信源连至信道，信道接收端接收脉冲的幅度y 处在1b 和2b 之间。
北京邮电大学2016—2017学年第一学期《信息论》期末考试试题及答案
北京邮电大学2016—2017学年第一学期《信息论》期末考试试题及答案一、判断题（10分）1、事件的自信息是其概率的单调递减函数。
（√） 2、连续信源和离散信源的平均互信息都具有非负性。
（√）3、对于遍历的有限状态马氏链，如果初始状态概率分布不是平稳分布，当转移步数足够大时，状态概率分布一定趋于平稳分布。
（√） 4、离散信道的容量是关于输入符号概率分布的上凸函数。
（×） 5、码长满足Kraft 不等式的码一定是异前置码。
（×）6、平均功率受限的随机变量，当均匀分布时有最大的熵。
（×） 7、随着信源序列长度的增加，非典型序列出现的概率趋近于零。
（√）8、对于任意的二元对称信道，最小汉明距离准则等价于最大似然准则。
（×） 9、对任意的加性噪声信道，当信源是高斯分布时达到信道容量。
（×） 10、如果信息传输速率小于信道容量，信息传输差错任意小。
（×）二、填空题（20分）1. 已知某离散无记忆信源X 的数学模型为312413161414a a a a X P ⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭，则其三次扩展源的熵()3H X = 。
（5.877比特/扩展符号）2. 已知X 是均值为0、方差为1的高斯信源，Z 是均值为0、方差为2的高斯信源，X, Z 独立且Y =3X +2Z ，则h (Y )= , h (YZ )= 。
（1log(34)2e π，221log(72)2e π）3. 某信源S 共有32个信源符号，其实际的熵值为4.1=∞H 比特/信源符号，则该信源的剩余度为________。
（72.032log 4.112=-）4. 在一个离散时间平稳无记忆加性高斯噪声信道中进行信息传输，信道输入X 的方差为2x σ，零均值噪声方差为2z σ，进行可靠传输的速率上限是________。
（221log(1)2xzσσ+）5. AWGN信道下实现可靠通信的信噪比下界为-1.59 dB，此时对应的系统带宽为。
信息论复习题期末答案
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论复习提纲（2017）
第一章绪论
1．通信系统模型；
2．香浓信息的概念；
3．信源、信道、信源编码和信道编码研究的核心问题。
第二章离散信源及信源熵
1．离散信息量、联合信息量、条件信息量、互信息量定义；
2．信源熵、条件熵、联合熵定义；
3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明；
5．本章所有讲过的例题；
第三章离散信源的信源编码
1．信息传输速率、编码效率定义；
2．最佳编码定理（即3.2节定理：概率越大，码长越小；概率越小，码长越大）及证明；3．码组为即时码的充要条件；
4．单义可译定理（Kraft不等式）及应用；
5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；
6．本章所有讲过的例题；
第四章离散信道容量
1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；
2．本章讲过的例题；
第五章连续消息和连续信道
1．相对熵的定义；
2．均匀分布、高斯分布、指数分布的相对熵及证明；
3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；
4．香农公式及意义；
5．本章所有讲过的例题；
第六章差错控制
1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；
2．最小距离与检错、纠错的关系（即6.3节定理）；
3．本章所有讲过的例题；
第七章线性分组码
1．线性分组码定义；
2．线性分组码的最小距离与最小重量的关系及证明；
3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；
4．制作标准阵列并利用标准阵列译码；
5．本章所有讲过的例题；
第八章循环码
1．生成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明；
2．生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；
3．本章所有讲过的例题；
习题：
1.
计算：。
2. 具有归并性能的无噪信道的信道矩阵P=，求其信道容量及达到信道容量时
信源的概率分布。
3. 信道矩阵[P]=，计算[P]代表的信道的信道容量。
4. 设二元对称信道的传递矩阵为213
3123
3⎡⎤
⎢⎥⎢
⎥⎢⎥⎣⎦
(1) 若()()(0)34,(1)14,(),,(;)P P H X H X Y H Y X I X Y ==求和； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布。
5. 设有信源 （1） 对该信源编二进制费诺；
（2） 计算其平均码长。
6. 设有信源 （1） 对该信源编二进制霍夫曼码，计算其平均码长；
（2） 对该信源编三进制霍夫曼码，计算其平均码长； （3） 对该信源编四进制霍夫曼码，计算其平均码长；
7. 设有一个无记忆信源发出符号A 和B ，已知p (A) = 1/4, p (B) = 3/4。
（1）计算该信源熵； （2）该信源改为发出二重符号序列消息的信源，采用费诺编码，求其平均信息传输速率； （3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。
8. 设一个[7, 4]码的生成矩阵为10001110
10010100100110
00111
0⎡⎤⎢⎥⎢
⎥⎢⎥⎢⎥⎣⎦
（1） 求出该码的全部码字； （2） 求出该码的一致校验矩阵； (3) 作出该码的标准译码码表。
⎥⎥⎥⎥
⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣
⎡100
010*********⎥
⎦⎤
⎢⎣
⎡8/18/12/14/18/18/14/12/1⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣
⎡1.012.014.014.015.015.02.0(7654321
x x x x x x x X P X ）⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣
⎡128/1128/164/132/116/18/14/12/1(87654321
x x x x x x x x X P X ）
9. 设二元线性码L 的生成矩阵为110100
101
0⎛⎫
= ⎪⎝⎭
G ，建立码L 的标准阵并且对字11111和10000分别进行译码。
10. 令108542()1g x x x x x x x =++++++是 (15, 5)循环码的生成多项式，写出该码的系统码形式的G 和H 矩阵标准形式；
11. 给定X 的概率密度函数为拉普拉斯分布+∞
<<-∞=-x e x p x
,21)(λλ，求相对熵Hc(X)。
2014年《信息论与编码》研究生考试试题
注：满分100分，所有答案写在答题纸上，该试卷写上名字后交回． 姓名： 一． 叙述题（5分×4＝20分）
1．写出香农公式，并解释其意义． 2．叙述平均码长界定定理． 3．叙述香农第一定理．
4．分别叙述峰值功率受限和平均功率受限条件下的最大熵定理． 二． 计算题（共70分） １．（10分）设信源⎭
⎬⎫⎩⎨⎧=⎥
⎦⎤⎢
⎣⎡17.016.017.018.019.02.0)(654321
x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6，不满足最大熵定理．
2. （10分）利用最大后验概率译码准则，给出译码方案，并计算错误传输概率E P .
信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡414121x x x )X (p X 321，信道矩阵为⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡=2/13/16/16/12/13/13/16/12/1P ． 3．（15分）信源概率空间为⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.0654321
x x x x x x P X ， 分别进行二进制费诺编码，二进制霍夫曼编码和三进制霍夫曼编码．
4．（20分）()3,6 线性分组码的生成矩阵⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=011100110110011011G ． （1）写出一致校验矩阵．
（2）给出所有码字． （3）给出标准阵列表．
（4）如果接收1111001=R ，1000012=R ，0010113=R ，给出译码． 5．（15分）令10
8
5
4
2
()1g x x x x x x x =++++++是 (15, 5)循环码的生成多项式， 写出生成矩阵G 和一致校验矩阵H 的标准形式． 三． 证明题（共10分）
证明：),(k n 线性分组码构成n 维线性空间的k 维子空间．。