信息论第2章作业
2．居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
信息量：比特
有一信源输出X∈{0,1,2}，其概率为p0=1/4，p1=1/4，p2=1/2。设计两个独立实验去观察它，其结果为Y1∈{0,1}和Y2∈{0,1}。已知条件概率为
P(Y1|X) 0 1 P(Y2|X) 0 1
0 1 0 0 1 0
1 0 1 1 1 0
2 1/2 1/2 2 0 1 求：
1)I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。
2)I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关
于X的信息。
3)I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。
H(X)=
．若有二个串接的离散信道，它们的信道矩阵都是
00
10001????
11．有一个一阶平稳马尔可夫链X1，X2,……X r……，各X r取值于集合A={a1,a2,a3}。已知起始概率p(X r)为p1=1/2，p2=p3=1/4，转移概率如下。
j
1 2 3
21.0585
.1251
.11100=-=-
=∞H H R
信息论第二章答案
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1) bit x p x I x p i i i 170.418 1 log )(log )(181 61616161)(=-=-== ?+?= (2) bit x p x I x p i i i 170.536 1 log )(log )(361 6161)(=-=-== ?= (3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是36 16161=? 其他15个组合的概率是18 161612=?? symbol bit x p x p X H i i i / 337.4181log 18115361log 3616)(log )()(=??? ?? ?+?-=-=∑ (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： sym bol bit x p x p X H X P X i i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36 12 ) (log )()(36112181111211091936586173656915121418133612)(=? ?? ?? +?+?+?+?+?-=-=????????? ?=??????∑(5) bit x p x I x p i i i 710.136 11 log )(log )(3611116161)(=-=-== ??=
作业参考答案信息论
2.3 一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为 526752528.06610P =!≈? 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发 生概率为 ()681 1.241052P A -=≈?! 可得，该排列发生所给出的信息量为 ()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit （2）设事件B 为从中抽取13张牌，所给出的点数互不相同。 扑克牌52张中抽取13张，不考虑排列顺序，共有13 52C 种可能的组合。13张牌点数 互不相同意味着点数包括A ，2，…，K ，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为13 4。因为每种组合都是等概率发生的，所以 ()131341352441339 1.05681052P B C -?!! ==≈?! 则发生事件B 所得到的信息量为 ()()13 21352 4log log 13.208I B P B C =-=-≈ bit 3.976≈ dit 2.5 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况： (1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R ——“取到的是红球”，W ——“取到的是白球”， Y ——“取到的是黄球”，B ——“取到的是蓝球”。 （1）若布袋中有红色球和白色球各50只，即 ()()501 1002P R P W == = 则 ()()221 log log 212 I R I W ==-== bit （2）若布袋中红色球99只，白色球1只，即
信息论与编码第一章答案
第一章信息论与基础 1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学 模型。 解：设该信源符号集合为X
《信息论》(电子科大)复习资料
信息论导论参考资料 作者 龙非池 第一章 概论 ● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息 ● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数 2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法 ● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。 信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。 第二章 离散信源及离散熵 ● 单符号离散信源的数学模型：1 212 ()()()()n n x x x X P x P x P x P X ?? ??=???????? 自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley) 自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。 ● 单符号离散信源的离散熵： 1()[()]()()n i i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。 离散熵的性质和定理：H(X)的非负性；H(X)的上凸性； 最大离散熵定理：()H X lbn ≤ ● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：
信息论与编码习题与答案第二章
第一章 信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章 信源的分类？ 自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度? 具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )( y x y x i i i i p I -= 平均自信息量、平均不确定度、信源熵：∑-=i i i x x p p X H )(log )()( 条件熵：)(log ),()(),()(y x y x y x y x j i j ij i j i j ij i p p I p Y X H ∑∑-== 联合熵：),(log ),(),(),()(y x y x y x y x j i j ij i j i j ij i p p I p Y X H ∑∑-== 互信息：) ()(log )()() ()(log ),();(y x y x y x y x y y x j i j i j ij i j i j j ij i p p p p p p p Y X I ∑∑= = 熵的基本性质：非负性、对称性、确定性 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1) bit x p x I x p i i i 170.418 1 log )(log )(18 1 61616161)(=-=-== ?+?= (2) bit x p x I x p i i i 170.536 1 log )(log )(361 6161)(=-=-== ?=
信息论第二章答案
试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(= i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： (a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40= (b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413 。所以，抽取13张点数不同的牌的概率： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 13 52 13 =-=-== 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 已知：在女大学生中有75%是身高160厘米以上的
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴
bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： ！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解：
(完整版)信息论与编码概念总结
第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n
信息论大作业
信息论大作业 电子工程学院 班 号 1.Huffman编码 1． Huffman 编码原理： ①将信源符号按概率从大到小的顺序排列，令p(x1)≥ p(x2)≥…≥ p(xn) ②给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表示。
③将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含(n －2)个符号的缩减信源S2。 ④重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。 2. 霍夫曼编码优缺点： 1)编出来的码都是异字头码，保证了码的唯一可译性。 2) 由于编码长度可变。因此译码时间较长，使得霍夫曼编码的压缩与还原相当费时。 3) 编码长度不统一，硬件实现有难度。 4) 对不同信号源的编码效率不同，当信号源的符号概率为2的负幂次方时，达到100％的编码效率；若信号源符号的概率相等，则编码效率最低。 5) 由于0与1的指定是任意的，故由上述过程编出的最佳码不是唯一的，但其平均码长是一样的，故不影响编码效率与数据压缩性能。 3.编码流程： 读入一幅图像的灰度值; 1.将矩阵的不同数统计在数组c的第一列中; 2.将相同的数占站整个数组总数的比例统计在数组p中; 3.找到最小的概率,相加直到等于1,把最小概率的序号存在tree第一列中,次 小放在第二列,和放在p像素比例之后; 4.C数组第一维表示值,第二维表示代码数值大小,第三维表示代码的位数； 5.把概率小的值为1标识，概率大的值为0标识； 6.计算信源的熵； 7.计算平均码长； 8.计算编码效率'； 9.计算冗余度。 源程序： p=input('请输入数据:'); n=length(p); for i=1:n if p(i)<0 fprintf('\n 提示：概率值不能小于0!\n');
信息论
第一章概论 1.信息、消息、信号的定义及关系。 定义 信息：事物运动状态或存在方式的不确定性的描述。 消息：指包含有信息的语言、文字和图像等。 信号：表示消息的物理量，一般指随时间而变化的电压或电流称为电信号。 关系 信息和消息 信息不等于消息。消息中包含信息，是信息的载体。 同一信息可以用不同形式的消息来载荷。 同一个消息可以含有不同的信息量。 信息和信号 信号是消息的载体，消息则是信号的具体内容。 信号携带信息，但不是信息本身。 同一信息可用不同的信号来表示，同一信号也可表示不同的信息。 2. 通信系统模型，箭头上是什么？通信的目的及方法。 通信的目的：是为了提高通信的可靠性和有效性。 信源编码：提高信息传输的有效性。（减小冗余度） 信道编码：提高信息传输的可靠性。（增大冗余度）
第二章 信源及其信息量 ★信源发出的是消息。 信源分类 1、信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源。 2、根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。 单符号离散信源 离散无记忆信源 无记忆扩展信源 离散平稳信源 离散有记忆信源 记忆长度无限 记忆长度有限（马尔可夫信源） 一、单符号离散信源 单符号离散信源的数学模型为 定义：一个随机事件发生某一结果后所带来的信息量为自信息量。定义为其发生 概率对数的负值。 以 奇才 单位： ?对数以2为底，单位为比特 (bit ) （binary unit ） ?对数以e 为底，单位为奈特 (nat ) (nature unit) ?对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart) 物理含义： 在事件xi 发生以前，等于事件xi 发生的不确定性的大小； 在事件xi 发生以后，表示事件xi 所含有或所能提供的信息量。 性质: ①I(x i )是非负值. ②当p(x i )=1时，I(x i )=0. ③当p(x i )=0时，I(x i )=∞. ④I(x i ) 是p(x i )的单调递减函数. 联合自信息量 条件自信息量 自信息量、条件自信息量和联合自信息量之间有如下关系式： I(x i y j )= I(x i )+ I(y j / x i ) = I(y j )+ I(x i / y j ) ?? ????=??????)(,),(,),(),( ,, , , , )( 2121n i n i x p x p x p x p x x x x X P X )(log )( i i x p x I -= )(log )( j i j i y x p y x I -= 1)(,1)(01 =≤≤∑=n i i i x p x p
信息论第二章答案(南邮研究生作业)
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： (1)“3和5同时出现”这事件的自信息量。 (2)“两个1同时出现”这事件的自信息量。 (3)两个点数的各种组合（无序对）的熵或平均信息量。 (4)两个点数之和（即2，3，…，12构成的子集）的熵。 (5)两个点数中至少有一个是1的自信息。 解： (1) bit x p x I x p i i i 170.418 1log )(log )(18 161616161)(=-=-==?+?= (2) bit x p x I x p i i i 170.536 1log )(log )(36 16161)(=-=-==?= (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是36 16161=? 其他15个组合的概率是18 161612=?? symbol bit x p x p X H i i i / 337.4181log 18115361log 3616)(log )()(=??? ?? ?+?-=-=∑ (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
symbol bit x p x p X H X P X i i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 ) (log )()(361121811112 11091936 586 1736 569 1512 1418 1336 12)(=? ?? ?? +?+?+?+?+?-=-=?? ???? ????=???? ??∑(5) bit x p x I x p i i i 710.136 11log )(log )(36 11116161)(=-=-== ??= 2-2 设有一离散无记忆信源，其概率空间为 []?? ? ? ??=====8/14 /14 /18 /332104321x x x x P X （1） 求每个符号的自信息量； （2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。 解：12 2 118()log log 1.415() 3 I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit === 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为 87.81 1.9545 =bit/符号 2-3 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…，38数字标示，其中有 2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。 (1)若仅对颜色感兴趣，计算平均不确定度； (2)若仅对颜色和数字都感兴趣，计算平均不确定度； (3)如果颜色已知时，计算条件熵。 解：令X 表示指针指向某一数字，则X={1,2,……….,38} Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x =
信息论习题集
信息论习题集 第一章、判断题 1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√） 2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√） 3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√） 5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√） 6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√） 7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×） 第二章 { 一、判断题 1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√） 2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×） 5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×） 6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√） 7、互信息的统计平均为平均互信息量，都具有非负性。（×） 8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×） 9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×） | 10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×） 11、在信息处理过程中，熵是不会增加的。（√） 12、熵函数是严格上凸的。（√） 13、信道疑义度永远是非负的。（√） 14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√） 2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即2，3，…，12构成的子集）的熵； ~ (5)两个点数中至少有一个是1的自信息。 2-2 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为以 上，而女孩中身高以上的占总数一半。假如得知“身高以上的某女孩是大学 生”的消息，问获得多少信息量、
信息论第二次作业
3.5 AEP. Let ,,21X X be independent identically distributed random variables drawn according to the probability mass function {}m x x p ,2,1),(∈. Thus ∏==n i i n x p x x x p 1 21)(),,,( . We know that )(),,,(log 1 21X H X X X p n n →- in probability. Let ∏==n i i n x q x x x q 1 21)(),,,( , where q is another probability mass function on { }m ,2,1. (a) Evaluate ),,,(log 1 lim 21n X X X q n -, where ,,21X X are i.i.d. ~ )(x p . 8.1 Preprocessing the output. One is given a communication channel with transition probabilities )|(x y p and channel capacity );(max )(Y X I C x p =. A helpful statistician preprocesses the output by forming )(_ Y g Y =. He claims that this will strictly improve the capacity. (a) Show that he is wrong. (b) Under what condition does he not strictly decrease the capacity? 8.3 An addition noise channel. Find the channel capacity of the following discrete memoryless channel: Where {}{}2 1Pr 0Pr ====a Z Z . The alphabet for x is {}1,0=X . Assume that Z is independent of X . Observe that the channel capacity depends on the value of a .
信息论 复习题目(2017)
信息论复习提纲（2017） 第一章绪论 1．通信系统模型； 2．香浓信息的概念； 3．信源、信道、信源编码和信道编码研究的核心问题。 第二章离散信源及信源熵 1．离散信息量、联合信息量、条件信息量、互信息量定义； 2．信源熵、条件熵、联合熵定义； 3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明； 5．本章所有讲过的例题； 第三章离散信源的信源编码 1．信息传输速率、编码效率定义； 2．最佳编码定理（即3.2节定理：概率越大，码长越小；概率越小，码长越大）及证明；3．码组为即时码的充要条件； 4．单义可译定理（Kraft不等式）及应用； 5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）； 6．本章所有讲过的例题； 第四章离散信道容量 1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）； 2．本章讲过的例题； 第五章连续消息和连续信道 1．相对熵的定义； 2．均匀分布、高斯分布、指数分布的相对熵及证明； 3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明； 4．香农公式及意义； 5．本章所有讲过的例题； 第六章差错控制 1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义； 2．最小距离与检错、纠错的关系（即6.3节定理）； 3．本章所有讲过的例题； 第七章线性分组码 1．线性分组码定义； 2．线性分组码的最小距离与最小重量的关系及证明； 3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系； 4．制作标准阵列并利用标准阵列译码； 5．本章所有讲过的例题； 第八章循环码 1．生成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明； 2．生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式； 3．本章所有讲过的例题；
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间：
bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ
信息论作业答案
第二章 1 ■一阶齐次马尔柯夫信源消息集X ∈{321,,a a a }，状态集S ∈{321,,S S S }。且令3,2,1,==i a S i i , 符号条件转移概率为[] ??? ?????=21414141214113131)/(i j S a P (1) 画出该信源的状态转移图；(2)解：（1） []11 13331114 241114 42 (|)j i p S S ????=?????? （2）111123 1344111 1232324111 12333421 231w w w w w w w w w w w w w w w ++=??++=??++=??++=?3 11142114 311 w w w =??=??=? H(X|S 1)=H (1/3,1/3,1/3)=1.58bit/符号 H(X|S 2)=H (1/4,1/2,1/4)=1.5bit/符号= H(X|S 3) 3 34 11111 ()(|) 1.58 1.52 1.52i i i H X w H X S ∞===?+??=∑bit/符号 2 如果你确定你的朋友是6月的生日，但是不知道具体是哪一天。那么你问你的朋友“你的生日是6月哪一天?”，则答案中含有的信息量为4.91bit ； 3p42 2-12 4 p42 2-13 5 p43 2-19 6 p44 2-29 第三章 1. ■设信道的转移概率矩阵为P ＝0.90.10.10.9?? ???? （1）若p(x 0)=0.4，p(x 1)=0.6，求H(X ），H(Y ），H(Y|X ）和I(X ；Y ）；
信息论作业原题chapter2、3
第二、三章 习题 4.1 同时掷两个正常的骰子，也就是各面呈现的概率是 6 1，求： （1）“3和5同时出现”这一事件的自信息量。 （2）“两个1同时出现”这一事件的自信息量。 （3）两个点数的各种组合（无序对）的熵或平均信息量。 （4）两个点数之和（即2，3…12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。 4.2 消息符号集的概率分布和二进制代码如下表 （1）求消息的符号熵。 （2）每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这个结果求码序列中的一个二进制码的熵。 （3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率10110100,,,P P P P 。 4.3 某一无记忆信源的符号集为{0，1}，已知0p = 14 ，1p = 34 （1）求符号的平均信息熵。 （2）由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（m -100）个“1”）的自信息量的表达式。 （3）计算（2）中的序列的熵 4.6 有两个离散随机变量X 和Y ，其和为Y X Z +=（一般加法），若X 和Y 相互独立， 求证： （1）)()(Z H X H ≤ )()(Z H Y H ≤ （2）)()(Z H XY H ≥
4.7 对于任意的三个离散随机变量X ，Y ，Z ， 求证： （1） (;)(;)(;)(;)(;)(;)I X Y Z I X Y I Y Z X I Y Z I Z X Y I Z X -=-=- （2） ()()()(;)I XYZ H XZ H Y X I Z Y X =+- （3） )()()()(X H ZX H XY H XYZ I -≤- 4.9 一个等概率的信源符号有八种字母，分别是10000x = ，20011x = ，30101x = ， 40110x = ，51001x = ，61010x = ，71100x = ，81111x = ，用实验测定上述码字中的 每个二进制符号，可得二元输出y ，已知条件概率为00P =11P =1-ε 10P =01P =ε。实验结果得y =0000。求： （1）第一位码测定后所得的关于1x 的自信息。 （2）第二，第三，第四位码测定后各得多少关于1x 的自信息。 （3）全部结果y =0000关于1x 的自信息。 （4）讨论0=ε和2 1= ε时上述各自信息的情况。 4.12 两个n 元的随机变量X 和Y 。都取值于}{21n a a a A ?=定义(x )i i P a p ==， (y |x )j i ji P a a P ===以及∑ ∑≠= i j ji i i e P p P ； 求证：()log(1)(,1)e e e H X Y P n H P P ≤-+-其中H 是熵函数 4.14 有一个一阶平稳马尔柯夫链??r X X X ,,21，各r X 取值于集},,{321a a a A =。已知起始概率)(r X P 为11= p ，132= =p p ，转移概率为
信息论与编码第二章答案
2-1、一阶马尔可夫链信源有3个符号 {}123,,u u u ，转移概率为：1 112 ()u p u =， 2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。画出状态图并求出各符号稳态概率。 解：由题可得状态概率矩阵为： 1/21/2 0[(|)]1/302/31/32/30j i p s s ????=?? ???? 状态转换图为： 令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W = 121W +132W +133W ， 2W =121W +233W , 3W =2 3 2W 且：1W +2W +3W =1 ∴稳态分布概率为： 1W = 25，2W =925，3W = 6 25 2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=,P(0|11)=,P(1|00)=,P(1|11)=,P(0|01)=,p(0|10)=,p(1|01)=,p(1|10)=画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为： 令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。 111122133144113 211222233244213 311322333344324411422433444424 0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+??=+++=+?? =+++=+??=+++=+? 且12341w w w w +++=； 0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ?? ?? ? ?=??????