信息论简答题总结
信息论总结
D
香农编码：
二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki <1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率，
⑷将Pi用二进制表示,并取小数点后Ki位作为符 号ai的编码。
m元霍夫曼编码的编码方式类同于二元霍夫曼编码， 不同的是每次把m个符号合并成一个新的信源符号， 并分别用0,1，……，m-1等码元表示。 为了使短码得到充分利用，使平均码长为最短，必 须使最后一步缩减信源有m个信源符号。因此对于m 元编码，信源s的符号个数必须满足q=(m-1) θ+m, θ是 缩减的次数.
L →∞
5 马尔可夫信源的极限熵：
H ∞ = H m +1 = ∑ p ( si ) H ( X | si ) p( si ) = Wi
i
H ( X | si ) = −∑ p ( x j | si ) log p ( x j | si )
j
6
H∞ (X ) η 冗余度： = H ( X ) ０ ≤ η ≤１ m
游程编码：
若规定二元序列总是从“0”开始,第一个游程是“0”游 程,则第二个游程必为“1”游程,第三个又是“0”游程……。 对于随机序列,游程长度是随机的其取值可为1,2,3,…， 直至无穷。 游程长度序列/游程序列：用交替出现的“0”游程和“1” 游程长度表示任意二元序列。 游程变换： 是一种一一对应的变换,也是可逆变换。 例如：二元序列000101110010001… 可变换成如下游程序列 31132131
i i i =1 i =1 L L
Ｌ
信息论考试题(填空简答)
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
信息论复习知识点汇总
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。
人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
信息的 可度量性 是建立信息论的基础。
统计度量 是信息度量最常用的方法。
熵 是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论总结与复习
i 1 k 1
i 1
k 1
结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。
H lN iN 1 m H (X 1 X 2 X N 1 X N ) H (X N 1 |X 1 X 2 X N )
第一部分、信息论基础
1.1 信源的信息理论
[例1] 已知二阶马尔可夫信源的条件概率：
第一部分、信息论基础
1.1 信源的信息理论
（4）序列信息熵的性质：
《1》条件熵不大于无条件熵，强条件熵不大于弱
条件熵：H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ …
…… ≥H (XN|X1X2……XN-1)
《2》条件熵不大于同阶的平均符号熵:
HN ≥H (XN|X1X2……XN-1)
[例3]求对称信道
P00..32
0.3 0.2
0.2 0.3
00..23的信道容量。
解：C =log4-H(0.2,0.3,0.2,0.3)
=2+(0.2log0.2+0.3log0.3)×2 = 0.03 bit/符号；
第二部分、无失真信源编码
2.1 信源编码理论
第二部分、无失真信源编码
1.1 信源编码理论:
稳态方程组是：
QQ((EE32
) )
0.2Q(E1 0.6Q(E2
) )
0.6Q(E3 ) 0.2Q(E4 )
Q(E4 ) 0.4Q(E2 ) 0.8Q(E4 )
Q(E1) Q(E2 ) Q(E3 ) Q(E4 ) 1
第一部分、信息论基础
1.1 信源的信息理论
可解得：
Q (E1 )
[例5] 以下哪些编码一定不是惟一可译码？写出每 种编码克拉夫特不等式的计算结果。
信息论考试简答题
简答题：1.根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？答：3类，分别是：信源编码，信道编码，和加密编码。
2.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z 组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为:表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息:表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
4.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
5.熵的性质什么？答：非负性，对称性，确定性，香农辅助定理，最大熵定理。
6.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U 型凸函数。
7.信道疑义度的概念和物理含义？答：概念：)|(log )()|(j i j i j i b a p b a p Y X H ∑∑-=物理含义：输出端收到全部输出符号Y 以后，对输入X 尚存在的平均不确定程度。
8.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz ，信噪比为30dB 时求信道容量。
答：香农公式为 ，它是高斯加性白噪声信道在单位时 间内的信道容量，其值取决于信噪比和带宽。
由得，则9.解释无失真变长信源编码定理? 答：只要，当N 足够长时，一定存在一种无失真编码。
信息论期末总结
● 消息中包含信息，消息是信息的载体。
信息：信息是对事物运动状态或存在方式的不确定性的描述。
● 通信的过程就是消除不确定性的过程。
● 信息与概率的关系：● 事件发生的概率越大，该事件包含的信息量越小；● 如果一个事件发生的概率为1，那么它包含的信息量为0；●● 某个消息的不确定性（含有的信息量）可以表示为： ● 信源的平均不确定性：● 信源发出的消息的统计特性离散信源、连续信源、波形信源 有记忆信源和无记忆信源 平稳信源和非平稳信源● 编码器的功能：将消息变成适合信道传输的信号 ● 编码器包括：（1）信源编码器（2）信道编码器（3）调制器 ● 信源编码器：去除信源消息中的冗余度，提高传输的有效性● 信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。
● 调制器：功能：将信道编码后的符号变成适合信道传输的信号 目的： 提高传输效率 ● 信道的统计特性无噪声信道、有噪声信道离散信道、连续信道、波形信道 有记忆信道和无记忆信道恒参信道（平稳信道）和随参信道（非平稳信道） 单用户信道和多用户信道● 信道传输信息的最高速率：信道容量● 译码器的功能：从接收到的信号中恢复消息。
包括：（1）解调器（2）信道译码器（3）信源译码器 ● 提高有效性： （数据压缩）信源编码：无失真信源编码和限失真信源编码 ● 提高可靠性： （可靠传输） 信道编码● 香农第一定理： 如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。
∑=-=qi i i x p x p X H 1)(log )()(● 香农第二定理：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。
● 香农第三定理：对于任意的失真度 ，只要码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率 ，而码的平均失真度 。
信息论复习要点
信息论复习要点1. 非奇异码：若一个码子中各码子都不相同，则称非奇异码，否则称为奇异码；2. 唯一可以码：若任何有限长信源序列都能译成唯一的信源消息序列，则称为唯一可译码；3. 二元最优码：就某一信源，存在最优的二进制码，其中至少有两个最长的码子有相同长度且仅最后一个码位有别。
4. AWGN 信道的容量：一个加性高斯白噪声（AWGN ）信道的噪声功率谱为N 0/2,输入信号平均功率为P ，信道带宽为W ，那么信道每单位时间的容量为：0log 1P C W N W ⎛⎫=+ ⎪⎝⎭（容量单位为比特/秒）5. 对于输入平均功率受限的加性高斯噪声信道，当传输速率R<=C 时，总可以找到一种编码方式，使得差错率任意小；反之，找不到使译码错误概率任意小的编码。
6. 信息率失真理论是有损数据压缩的理论基础，该理论的核心是在保真度准则下的信源编码定理，即香农第三定理。
7. 限失真信源编码定理：()D R R D >→≤存在平均失真的信源编码8. 限失真信源信道编码定理：()D C R D >→≤存在平均失真的信源信道编码9. 和信道及其容量：若一个信道分为若干子信道，且各子信道输入之间互不相交，输出之间也互不相交，信道总的输出与输入集合分为各子信道输出与输入之并集，而且每次传输只能用某个子信道，则称此信道为和信道。
和信道容量：21log 2i NC i C ==∑其中，i C 为每个子信道的容量，第i 个子信道的使用概率为：1222ii iC C Ci NC i r -===∑达到容量时的输入概率为各子信道达到容量时的输入概率乘以i r ，N 为子信道的个数。
10. 各种信息的概率公式：自信息：()()log I x p x =-；联合自信息：()()log I xy p xy =-；条件自信息：()()|log |I x y p x y =-三者的关系：()()()()()||I xy I x I y x I y I x y =+=+； 互信息：()()()()()|,loglog|p x p x y I x y p x y p x =-=； 互信息与自信息和条件自信息的关系：()()(),|I x y I x I x y =-；11. 最佳判决与译码准则： MAP 准则：（输入不等概）（1）信道转移概率矩阵乘以信道输入符号概率得到联合概率矩阵； （2）联合概率矩阵每一列中找到一个最大的概率对应的输入符号就是译码； （3）正确概率是所有译码的概率和，错误概率是1与正确概率的差； ML 准则：（输入等概）（1）信道转移概率矩阵中最大的概率对应的输入符号作为译码输出； （2）正确概率是联合概率分布中译码概率的和，错误概率是1与之的差； 无记忆二元对称信道，最大似然准则等价于最小汉明距离准则；12. 并联高斯信道的容量，能量分布和输入概率分布：（输入均值为0） （1） 并联独立高斯信道：利用注水定理对能量进行分配，计算信道容量，达到容量时，两个信道的输入是独立的，所以输入的概率密度为：()2212122212,22x x p x x σσ⎛⎫=-- ⎪⎝⎭（2） 关联相关高斯信道：将噪声自协方差矩阵分解（如下公式所示），找出等价矩阵，利用注水定理计算信道容量，得到能量分配和输入概率密度公式；41501110122211⎛⎫⎫⎛⎫= ⎪⎪ ⎝⎭⎭⎝⎝ （3） 反推得到输入概率的协方差矩阵，进而得到输入概率的密度公式； （4） 对于独立并联高斯信道，达到容量时各子信道输入是独立的； （5） 对于相关并联高斯信道，达到容量时各子信道输入是相关的； （6） 在总噪声和输入平均能量约束都相同的条件下，相关并联高斯信道的容量大于独立并联高斯信道容量。
信息论知识点总结
信息论知识点总结信息论是一门研究信息传递和处理的科学，主要涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。
以下是信息论的一些重要知识点：1. 信息量度：信息量是对信息的度量，用于衡量信息的多少。
信息的大小与随机事件的概率有关，熵是衡量随机变量分布的混乱程度，即随机分布各事件发生的信息量的期望值。
2. 信道容量：信道容量是描述信道传输信息能力的指标，表示信道在每秒内所能传输的最大信息量。
对于有噪声的信道，需要通过编码技术来达到信道容量。
3. 条件熵：条件熵是在给定某个条件下的熵，用于衡量在已知某个条件的情况下，随机变量的不确定性。
4. 相对熵（KL散度）：相对熵是衡量两个概率分布之间的差异，也称为KL 散度。
如果两个分布相同，相对熵为0。
5. 信息传输速率：信息传输速率是指单位时间内传输的信息量，是评价通信系统性能的重要参数。
6. 干扰对信息传输的影响：在信息传输过程中，各种干扰因素会对信息传输产生影响，如噪声、失真、衰减等。
为了提高信息传输的可靠性和有效性，需要采取抗干扰措施。
7. 信息压缩：信息压缩是减少数据存储空间和提高数据传输效率的一种技术。
常见的压缩算法有Huffman编码、LZ77、LZ78等。
8. 纠错编码：纠错编码是一种用于检测和纠正错误的技术，广泛应用于通信和存储领域。
常见的纠错编码有奇偶校验、CRC等。
9. 加密编码：加密编码是一种保护信息安全的技术，通过对数据进行加密处理，防止未经授权的访问和泄露。
常见的加密编码有AES、RSA等。
以上是信息论的一些重要知识点，希望对您有所帮助。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一：数据处理定理：
（1）：I(X;Z)<=I(X;Y)表明从Z所得到的关于X的信息量小于等于从Y得到的关于X的信息量。
如果把Y-->Z看作数据处理系统，那么通过数据处理后，虽然可以满足我们的某种要求，但是从信息量来看，处理后会损失一部分信息，最多保持原有的信息，也就是说，对接收到的数据Y进行处理后，绝不会减少关于X的不确定性。
这个定理称为数据处理定理。
二：即时码，唯一可译码（充要条件）
（1）：一个唯一可译码成为即时码的充要条件是时钟任何一个码字都不是其他码字的前缀。
这个很好理解，因为如果没有一个码字是其他码字的前缀，则在接受到一个相当于一个完整码字的符号序列后便可以立即译码，而无须考虑其后的码符号。
反过来说，如果有一个码字是其他码字的前缀，假设Wj是Wj的前缀，则在接收到相当于Wj的码符号序列后还不能立即判使之定它是一个完整的码字，若想正确译码，还必须参考后续后续的码符号，这与即时码的定义相矛盾，所以即时码的必要条件是其中任何一个码字都不是其他的码字的前缀。
三：香农定理：
（1）第一定理：要做到无失真信源编码，每个信源符号平均所需最少得的r元码符号数就是信源的熵值（以r进制单位为信息量单位）
（2）第二定理：设有一个离散无记忆平稳信道，其信道容量为C。
当信息传输率R<C时，只要码长n足够长，则总存在一种编码，可以使译码错误概率PE任意小。
否则，如果R>C，则无论取多大，也找不到一种编码，使译码错误概率PE任意小。
四：差错控制和译码规则
(1）选择译码函数F（yi）=x*，使之满足条件p（x*/yi）>=p（xi/yi）称为最大后验概率译码规则，又称为最小错误概率准则，最优译码，最佳译码。
（2）选择译码函数F（yi）=x*，使之满足条件p（yi/x*）>=p（yi/x*）称为似然译码规则。
五：掌握信息的基本特点：
（1）：信息是可以度量，而且它具有不确定性。
六：了解信息论的发展及最新成果：
(1）：信息论创立的标志是1948年香农发表的论文。
信息论从诞生到现在，虽然只有短短的50多年，但它
的发展对学术界及人类社会的影响是相当广泛和深刻的。
如今，信息论的研究内容不仅仅包括通信，而且
包括所有与信息有关的自然和深灰领域，如模式识别，及其翻译，心理学，遗传学，神经生理学，语言学。
七：掌握熵的性质：
（1）对称性，确定性，非负性，扩展性，连续性，递推性，极值性，上凸性
八：掌握互信息及平均互信息的基本概念、定义，性质及其物理意义
（1）概念：互信息I（Xi;Yi)表示某一事件Yi所给出的关于另一个事件Xi的信息，他随Xi和Yi的变化而变化
，为了冲整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，定义互信息I（Xi;Yi)在XY的联合概率
空间中的统计平均值为随机变量X和Y间的平均互信息。
（2）定义：条件熵H(X/Y)表示给定随机变量Y后，对随机变量X仍然存在的不确定度。
所以Y关于X的平均互
信息是收到Y前后源于X的不确定度减少的量，也就是从Y所获得的关于X的平均信息量。
（3）性质:非负性，互易性，平均互信息和各类熵的关系，凸函数性
九：掌握信源编码的基本概念
（1）为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。
十：掌握几种常见的无失真信源编码方法，以及实际应用的其他编码方法
（1)香农编码，香农-费诺-埃利斯编码，霍夫曼编码，费诺编码
（2）实用编码：游程编码，算术编码，LZW编码
十一：掌握信道的数学模型和分类
（1）数学模型：信道的输入和输出时统计以来关系，信道的特性由{X,P(Y/X),Y}确定
如图示---{X,P(X)}---》信道P（Y/X）---{ Y,P(Y)}--》
十二：掌握信道容量的物理意义
（1）：信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性是已知的，这样信道就可以用抽象的数学模型来描述。
在信息论中，信道通常表示成：{X, P(Y|X), Y}，即信道输入随机变量X、输出随机变量Y 以及在输入已知的情况下，输出的条件概率分布P(Y|X)。
十三：掌握几种译码准则
（1）译码规则的选择准则，最小错误概率译码，最大似然译码准则，费诺不等式
十四：掌握香农第二定理的内容
（1）设有一个离散无记忆平稳信道，其信道容量为C，当信息传输率R<C时，只要码长n 足够长，则总存在一种编码，可以使译码错误概率PE任意小，否则，如果R>C,则无论取多大，也找不到一种编码，是译码错误概率PE任意小。
十五：差错控制方式
（1）反馈重传纠错，前向纠错和混合纠错。
十六：掌握线性分组码的编码方法
（1）线性分组码的编码方式是江新苑输出序列分组，魅族是肠胃K的信息序列，然后按照一定的编码规则插入n-k位的校验位，校验位是所有信息位的线性组合，组成n长的码子序列
十七：什么是熵
（1）：我们用平均自信息量来表征整个信源的不确定度，平均自信息量又称为信息熵。
信息熵，简称熵。