信息论基础及答案
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论基础智慧树知到课后章节答案2023年下潍坊学院
信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。
A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。
A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。
（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。
（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。
（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。
A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。
A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。
A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。
B:以2为底时，单位是比特。
C:以10为底时，单位是奈特。
D:以e为底时，单位是比特答案:以2为底时，单位是比特。
3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。
（）A:错 B:对答案:错5.概率大的事件自信息量大。
信息论基础智慧树知到答案章节测试2023年广东工业大学
第一章测试1.信息论由哪位科学家创立（）。
A:傅里叶B:香农C:奈奎斯特D:冯诺依曼答案:B2.点对点通信模型包含以下哪些部分（）。
A:译码器B:信源C:信宿D:信号答案:ABC3.信息就是消息。
（）A:对B:错答案:B4.连续信源分为，，。
答案:5.研究信息论的目的是：提高信息传输的_，_，、，达到信息传输的最优化。
答案:第二章测试1.某一单符号离散信源的数学模型为，则其信息熵为（）。
A:1比特/符号B:0.1比特/符号C:0.88比特/符号D:0.08 比特/符号答案:A2.单符号信源具有以下哪些特点（）。
A:无记忆B:连续C:有记忆D:平稳答案:AD3.熵函数具有以下哪些基本性质（）。
A:对称性B:随机性C:连续性答案:ACD4.信源要含有一定的信息，必须具有随机性。
（）A:错B:对答案:B5.信息熵表示信源X每发一个符号所提供的平均信息量。
（）A:错B:对答案:B第三章测试1.以下等式或不等式关系成立的是（）。
A:B:C:D:答案:A2.单符号离散无记忆的N次扩展信道，有以下哪两种特点（）。
A:无预感性B:无记忆性C:平稳性D:对称性答案:AB3.后向信道矩阵中任·一行之和为1。
（）A:错B:对答案:B4.信道容量指信道的最大信息传输率。
（）A:错B:对答案:B5.互信息量等于_与_比值的对数。
答案:第四章测试1.某信源输出信号的平均功率和均值均被限定，则其输出信号幅值的概率密度函数是以下哪种分布时，信源达到最大差熵值（）。
A:高斯分布B:均匀分布C:指数分布答案:A2.某信源的峰值功率受限，则概率密度满足以下哪个个条件时，差熵达到最大值（）。
A:均匀分布B:泊松分布C:高斯分布D:指数分布答案:A3.连续信道的平均互信息不具有以下哪些性质（）。
A:非负性B:连续性C:上凸性D:极值性答案:B4.差熵具有以下哪两个性质（）。
A:条件差熵值大于无条件差熵B:差熵必为负值C:条件差熵值小于无条件差熵D:差熵可为负值答案:CD5.一维高斯分布连续信源是瞬时功率受限的一类连续平稳信源。
信息理论基础智慧树知到课后章节答案2023年下浙江大学
信息理论基础智慧树知到课后章节答案2023年下浙江大学浙江大学第一章测试1.随机事件的互信息可小于0，随机变量的互信息也可小于0。
（）答案:错2.对于连续随机变量，其微分熵越大，说明不确定性越大。
（）答案:错3.必然事件和不可能事件的自信息量都是0。
（）答案:错4.自信息量是P(xi)的单调递减函数。
（）答案:对5.若离散变量X是离散变量Y的函数，则条件熵H(X|Y)恒为0。
（）答案:对第二章测试1. A 村有一半人说真话，3/10人总说假话，2/10人拒绝回答；B村有3/10人诚实，一半人说谎，2/10人拒绝回答。
现随机地从A村和B村抽取人，p为抽到A村人的概率，1–p为抽到B村人的概率，问通过测试某人说话的状态平均能获得多少关于该人属于哪个村的信息？通过改变p，求出该信息的最大值。
答案:null2.一个无偏骰子，抛掷一次，如果出现1，2，3，4 点，则把一枚均匀硬币投掷一次，如果骰子出现5，6 点，则硬币投掷二次，求硬币投掷中正面出现次数对于骰子出现点数所提供的信息?答案:null3.在某中学有3/4学生通过了考试，1/4学生没有通过。
在通过考试的同学中10%有自行车，而没有通过的学生中50%有自行车，所有有自行车的同学都加入了联谊会，无自行车的同学中仅有40%加入联谊会。
a. 通过询问是否有自行车，能获得多少关于学生考试成绩的信息?b. 通过询问是否参加联谊会，能获得多少关于学生成绩的信息?c. 如果把学生成绩情况，自行车拥有情况和是否参加联谊会用三位二进数字传输，问每位数字携带多少信息?答案:null4.随机掷三颗骰子，以X 表示第一颗骰子抛掷的结果，以Y 表示第一颗和第二颗骰子抛掷之和，以Z 表示三颗骰子的点数之和，试求H(X|Y)，H(Y|X)，H(Z|X,Y)，H(X,Z|Y)和H(Z|X)。
答案:null5.设一个系统传送10个数字：0，1，2，⋯，9，奇数在传送时以0.5概率等可能地错成另外的奇数，而其他数字总能正确接收。
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
信息论基础知识
选择题：
信息论的主要创立者是？
A. 牛顿
B. 爱因斯坦
C. 香农（正确答案）
D. 图灵
在信息论中，熵是用来衡量什么的？
A. 信息的不确定性（正确答案）
B. 信息的速度
C. 信息的长度
D. 信息的重量
下列哪个不是信息论中的基本概念？
A. 熵
B. 信道容量
C. 编码
D. 动力学（正确答案）
信道容量是指什么？
A. 信道能够无错误传输的最大信息率（正确答案）
B. 信道的物理长度
C. 信道的宽度
D. 信道的重量
在信息论中，什么是冗余信息？
A. 重复或无用的信息（正确答案）
B. 重要的信息
C. 加密的信息
D. 解密的信息
数据压缩的主要目的是什么？
A. 提高数据的传输速度
B. 减少存储空间的占用（正确答案）
C. 增加数据的安全性
D. 改变数据的格式
下列哪个不是信息编码的方式？
A. 哈夫曼编码
B. 游程编码
C. JPEG编码（正确答案）
D. 算术编码
在信息论中，什么是噪声？
A. 信号中的干扰或不需要的成分（正确答案）
B. 信号的强度
C. 信号的频率
D. 信号的相位
误码率是用来衡量什么的？
A. 信道传输信息的准确性（正确答案）
B. 信道传输信息的速度
C. 信道传输信息的数量
D. 信道传输信息的距离。
信息论第一章答案
《信息论基础》习题答案第一章信息与信息的度量-1 解：根据题意，“没有不及格”或“pass”的概率为因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）的概率相同：为确定自己的成绩，甲还需信息1-2 解：该锁共可设个数值，开锁号码选取每一个值的概率都相同，所以-3 解：由于每个汉字的使用频度相同，它们有相同的出现概率，即因此每个汉字所含的信息量为每个显示方阵能显示种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是显示方阵的利用率或显示效率为-4 解：第二次发送无误收到，因此发、收信息量相等，均为第一次发出的信息量为第一次传送的信息量为两次发送信息量之差：-5 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-6 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-7 解：X和Y的信息熵分别为因传输无误，信宿收到的信息等于发送信息。
因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是平均每次（每个符号）发送（携带）的信息为-8 解：(a) 根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是(b) 在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要信息。
-9 解：一个二元信息所含的最大信息熵是确定的，所以当以2或5为底时，最大信息熵相同，即1 bit = (该信息量单位)或 1 (该信息量单位) = 2.33 bits同理， 1 nat = 0.62 (该信息量单位)或 1(该信息量单位) = 1.61 nats。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论基础》试卷答案
一、填空题（共25分，每空1分）
1、连续信源的绝对熵为 无穷大。
（或()()lg lim lg p x p x dx +∞
-∞∆→∞
--∆⎰） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2
2
x
-)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22
e π)。
8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r
)，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。
10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。
12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同
的状态。
13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。
14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)
二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他
，计算信源的相对熵。
()()()
1lg b c a H x p x dx p x =⎰------3分 ()lg b a =-bit/自由度-------2分
三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz ，信道噪声为高斯白噪声。
(1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。
(2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？
(3)如果信道带宽降为0.5MHz ，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？
1) ()10lg 1NR c S =+------3分
64.3910=⨯b/s---1分
2) ()
610 1.2710lg 1NR c S ==⨯+Hz---3分 3) 21c w NR S =-=440----3分
四、(16分)已知信源共7个符号消息，其概率空间为()12
3
4
5
6
70.20.170.20.170.150.100.01S s s s s s s s P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦
⎣⎦ 试用霍夫曼编码法编成二进制变长码。
并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。
要求写出详细的编码过程和计算过程。