电子科大信息论与编码2016复习提纲
信息论复习提纲
信息论复习提纲第一章1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能（1）信息源：产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
（2）编码器：信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延第二章1、信源的分类，着重单符号信源。
信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：单消息（符号）信源－－离散信源单消息（符号）信源－－连续信源2、自信息的计算及物理含义，单位与底数的关系，含义。
计算：含义：当事件ai发生以前，表示事件ai发生的不确定性当事件ai发生以后表示事件ai所含有（所提供）的信息量单位与底数的关系：通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为哈特（Hart）。
它们之间可以引用对数换底公式进行互换。
信息论与编码复习题目
信息论复习提纲第一章绪论1．通信系统模型；2．香浓信息的概念；3．信源、信道、信源编码和信道编码研究的核心问题。
第二章离散信源及信源熵1．离散信息量、联合信息量、条件信息量、互信息量定义；2．信源熵、条件熵、联合熵定义；3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明；5．本章所有讲过的例题；第三章离散信源的信源编码1．信息传输速率、编码效率定义；2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明；3．码组为即时码的充要条件；4．单义可译定理（Kraft不等式）及应用；5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题；第四章离散信道容量1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；2．本章讲过的例题；第五章连续消息和连续信道1．相对熵的定义；2．均匀分布、高斯分布、指数分布的相对熵及证明；3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；4．香农公式及意义；5．本章所有讲过的例题；第六章差错控制1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）；3．本章所有讲过的例题；第七章线性分组码1．线性分组码定义；2．线性分组码的最小距离与最小重量的关系及证明；3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；4．制作标准阵列并利用标准阵列译码；5．本章所有讲过的例题；第八章循环码1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；2． 生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；3．本章所有讲过的例题； 习题：1.已知随机变量X 和Y 的联合分布如下：计算：、I(X;Y)。
电子科大信息论与编码第4章 离散信源无失真编码
信源编码的问题是：①怎样保证编码和译码过程不丢失信息，即怎样实现无失真编码？②怎样有效地利用码字的每一个比特携带信息，即在编码过程中怎样用最少的比特数去表示信源的信息熵？解决了这些问题后，介绍几种无失真编码的具体方法。
一、无失真编码的基本思路单符号离散信源：⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡05.015.03.05.0x x x x )X (P X 43214i i i 1H(X)p(x )logp(x )0.5log0.50.3log0.30.15log0.150.05log0.05==−=−−−−∑其信息熵)symbol /bit (648.1≈要做到无失真编码，就要保证符号元与码字一一对应，此时用码序列表示的信源信息熵保持不变。
最简单的无失真编码是对信源符号进行4-2进制变换，即11x ,10x ,01x ,00x 4321→→→→该编码的码长K=2，码字的每一个比特携带信息的效率即编码效率进一步，如果对该信源的二次扩展信源进行无失真编码，一种能保证符号元与码字一一对应的不等长编码为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡0025.00075.0015.0025.0x x x x x x x x 0075.00225.0045.0075.0x x x x x x x x 015.0045.009.015.0x x x x x x x x 025.0075.015.025.0x x x x x x x x )X (P X 4434241443332313423222124131211122111100x x ,0110x x ,010x x ,101x x 11100x x ,1100x x ,100x x ,00x x 4232221241312111→→→→→→→→与第二种编码相比，码字又压缩了约0.04个比特，编码效率提高了2.1%。
总结该例子，有以下几点结论与问题：①一般采用不等长编码，使平均码长接近信息熵，从而在无失真前提下提高编码效率；编码的基本原则是大概率符号元编成短码，小概率符号元编成长码。
电子科大信息论与编码第3章_离散信源及信息熵
其条件概率分布P(X2/X1)
求该信源的联合熵和平均符号熵。
解： H(X1 ) p(xi1 ) log p(xi1 )
3
H(X 2 / X1 ) p(x i1 xi2 )log p(xi 2 / log log log 4 4 9 9 36 36 1.542(bit / symbol)
1 H 2 ( X1 X 2 ) H ( X 1 X 2 ) H ( X1 ) 2
例1，已知二维离散平稳信源的符号 X1 , X 2 {x1 , x 2 , x 3 } ，其概率分布P(X1)
x2 x3 X1 x 1 P ( X ) 1 / 4 4 / 9 11 / 36 1
P( X k ) P( X l )
P( X k X k 1 ) P( X l X l 1 )
则称该多符号离散信源为二维离散平稳信源。 同理，如果除概率分布相同外，直到N维的各 维联合概率分布也都相同，也都与时间起点 无关，即
P( X k ) P( X l )
P( X k X k 1 ) P( X l X l 1 ) P( X k X k 1 X k N 1 ) P( X l X l 1 X l N 1 )
将多符号离散信源发出的符号序列记为
X1X 2 X 3
并设序列中任一符号都取值于同一集合
Xk {x1 , x 2 ,, xn }, k 1,2,
一般情况下，信源在不同时刻发出符号 的概率分布是不同的，即 P( Xk ) P( Xl ), k 1,2,, l 1,2, 这种情况分析起来比较困难，不作讨论。
log e p(xi1 xi2 )ln
信息论与编码2016(第4章)
§4.2 离散无记忆信道 对称DMC容量的计算
P的所有列都是第一列的一种置换，信 道是关于输出对称的
0 .8 0 .2 P 0 .5 0 .5 0 .2 0 .8
§4.2 离散无记忆信道
命题2 若DMC关于输出为对称的，则当输入分布等概时，输 出分布等概。 证明 此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。 设q(x)=1/K，x∈{0, 1, …, K-1}。则
q( z ) p( y | z )
都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)都 不大于此相同的值。 （2）此时此相同的值恰好就是信道容量C。
§4.2 离散无记忆信道
注解
如果对DMC信道没有任何简化，要计算最佳输 入分布并不容易。但是，通常使用的DMC是很简单 的（比如，以下的准对称信道和对称信道），最佳 输入分布很容易求出。
§4.2 ቤተ መጻሕፍቲ ባይዱ散无记忆信道
定理4.2.2(p91) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1
y 0 z 0 J 1
p( y | k )
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类 离散无记忆信道 信道的组合 时间离散的无记忆连续信道 波形信道
5
§4.1 信道分类
所有信道都有一个输入集A，一个输出集B以及 两者之间的联系，如条件概率P(y│x)，x∈A， y∈B。这些参量可用来规定一条信道。
电子科大信息论与编码第6章 离散信道纠错编码
15
N重复码当N很大时，使错误概率Pe降得很低 的同时，信息传输率R也大大降低—如3重复 码的信息率为原信息率的1/3，即该编码的 编码效率仅为1/3 。 需要找这样的纠错码： 足够小的平均译码错误概率Pe 较高的编码效率。
16
1.基本概念：
纠错方式——主要有检错重发(ARQ)、 前向纠错(FEC)和混合纠错(HEC)等。 纠错码——主要有分组码和卷积码两大 类，此外还有1982年提出的将编码与调制 结合在一起的网格编码调制和1993年提出 的将卷积码与随机交织器相结合的Turbo 码、LDPC码等。
p( y j / x*)p( x*)
p( y j / x*)p( x*) p( y j / x i )p( x i )
i 1,2, j 1,2, x* x i
i 1,2, j 1,2, x* x i
6
当信源等概率时，
p(y j / x*) p( y j / x i )
平均译码错误概率:
2 2 2 j 1 2 j 1
i 1,2, j 1,2, x* x i
最小错误概率准则可转换为最大似然译码准 则。
Pe p( y j )p(e / y j ) p( y j )[1 p( x * / y j )]
2 2 j 1 2 j 1 i 1 j 1
7 L 1
i , j 1,2, ,2 , i j
k
例：c1 1011110
d ( c 1 , c 2 ) c 1L c 2 L 3
20
码重(汉明重量):长度为n的码字中非零码 元的个数；对于二元码，码重可表示为：
w (c i ) c i L
n L 1
信息论与编码讲义第一讲
三、信息的度量
3.1 自信息量
随机事件 x i
出现概率
P xi
自信息量定义
Ixi logPxi
❖ 随机事件的不确定性
▪ 出现概率小的随机事件所包含的不确定性大， 它的自信息量大。
▪ 出现概率大的随机事件所包含的不确定性小， 它的自信息量小。
▪ 在极限情况下，出现概率为1的确定性事件， 其自信息量为零。
2.4 香农信息论
1948 年 ， 美 国 数 学 家 克 劳特·香农（C.E. Shannon） 发表了一篇著名论文“通信 的数学理论”。
该论文给出了信息传输 问题的一系列重要结果，建 立了比较系统的信息理论— —香农信息论。
信息论奠基人——香农
“通信的基本问题就是在一 点重新准确地或近似地再 现另一点所选择的消息”。 这是香农在他的惊世之著 《通信的数学理论》中的 一句铭言。正是沿着这一 思路,他应用数理统计的方 法来研究通信系统，从而 创立了影响深远的信息论。
❖ 若给定x条件下y的条件自信息量为I(y|x)，则它 在XY集合上的概率加权平均值H(Y|X)定义为：
H Y|X P xyIy|x X Y
❖ H(Y|X)为条件熵，也可直接定义为：
H Y |X P x y lo g P y|x
X Y
共熵
❖ 共熵（又称联合熵）是联合空间XY上的每个元素 对xy的自信息量的概率加权平均值，定义为：
计分方式
期终考试占60％ 专题报告占20％；个人报告占20％ 小论文占20%
二、信息概念、信息论
2.1 信息 信息、消息、信号 信息是抽象、复杂的概念，它包含在消息之中，
是通信系统中传递的对象。
2.2 信息定义 信息就是事物运动的状态和方式，就是关于事
[信息论与编码]知识点总结
![[信息论与编码]知识点总结](https://img.taocdn.com/s3/m/e8220c52326c1eb91a37f111f18583d049640f33.png)
[信息论与编码]知识点总结2021/12/02 from Xwhite这个是预习完之后，感觉应该掌握的⼀些知识的总结。
总共分成四个⼤部分吧信息量与信源熵 公式背住，然后套公式，冗余度的概念信道和信道容量 概念，互信息的计算，简单信道容量的计算信源编码 概念，定长编码，变长编码，哈夫曼编码（应该是必考），⾹农编码信道编码 挺难的，编码定理得看，纠错编译码的概念看看就⾏，线性分组码必会，循环码，汉明码。
卷积码应该不考知识点总结第⼀章的⼀些基本概念看书就完了，⽐如信息、消息、通信模型等。
信息量与信源熵背熟！背熟！背熟！因为是知识点总结，所以基本只给出公式，想加深了解可以看课本，当然也可以看看本博客的⽂章先验概率：⽐如，考完试你估算⾃⼰及格的概率是50%，这就是先验概率，你及格的概率。
后验概率：⽐如，你估算完之后，你找个最差的同学⼀问，他说他能及格，也就是在你已知他可能及格的条件下你及格的概率，就是后验概率。
总结如果做题过程中，题⽬问的是单个符号的⾃信息量，那么我们就⽤以下公式。
如果题⽬问的是离散信源的信息量，或者熵，就⽤以下公式。
各概念之间的关系补充⼀些概念我们从信息量的传输⾓度来看通信模型信源：发出信息量H(X)——>信道：信道中损失的信息量H(X|Y)——>信宿：接收端获得的信息量I(X;Y) H(X|Y)：疑义度，也可以叫损失熵，表⽰由于信道上存在⼲扰和噪声⽽损失掉的平均信息量。
H(Y|X)：噪声熵全损信道：⼲扰很⼤，难以从Y中提取X的有效信息，信源发出的所有信息都损失在信道中I(X;Y)=0 ⽐如：加密编码⽆损信道：没有⼲扰，接收端能完全收到信源发出的信息。
I(X;Y)=H(X)冗余度概念看看书。
想要对这⾥的深⼊理解可以看⼀下课本或者看⼀下博客中离散信道的⽂章。
信道和信道容量信道的概念请⾃⾏看书记忆。
总结信源编码定长码：若⼀组码中所有码字的码长相同，则称为定长码变长码：若⼀组码中所有码字的码长各不相同，则称为变长码奇异码：若⼀组码中存在相同的码字，则称为奇异码。