信息论基础复习
信息论复习提纲
信息论复习提纲第一章1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能（1）信息源：产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
（2）编码器：信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延第二章1、信源的分类，着重单符号信源。
信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：单消息（符号）信源－－离散信源单消息（符号）信源－－连续信源2、自信息的计算及物理含义，单位与底数的关系，含义。
计算：含义：当事件ai发生以前，表示事件ai发生的不确定性当事件ai发生以后表示事件ai所含有（所提供）的信息量单位与底数的关系：通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为哈特（Hart）。
它们之间可以引用对数换底公式进行互换。
信息论基础总复习
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
I(X ;Y |Z ) H (X |Z ) H (X |Y )Z
I(X;Y)ZI(X;Y)I(X;Z|Y) I(X;Z)I(X;Y|Z)
连续随机变量的互信息
I(X;Y) 0 I (X ;Y ) I (Y; X ) I (X ;Y | Z) I (Y; X | Z) I(X;Z) I(X;Y) I (XY; Z) I (X ; Z) I (Y; Z | X )
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R (D )p m i jpDi n i1n jm 1p(xi)p(yj/xi)lop(p g y (jy/jx )i)
输入 xX
信道模型
输入 y Y
转移概率矩阵
p(y/ x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量 考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
• 这个表达式平均错误译码概率的最小值， 是把每一个yj对应的后验概率排除后再连 续求和。
《信息论基础A》(清华)复习资料
信息论基础A 复习资料作者 郝仁第一章 概论● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。
目前，信息论中主要研究语法信息● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。
信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。
第二章 离散信源及离散熵● 单符号离散信源的数学模型：1212()()()()n n x x x X P x P x P x P X ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭L L自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。
● 单符号离散信源的离散熵：1()[()]()()ni i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。
离散熵的性质和定理：H(X)的非负性；H(X)的上凸性；最大离散熵定理：()H X lbn ≤● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：111111()()()()()()k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-===LL L则称该多符号离散信源为N 维离散平稳信源。
信息论基础复习题目PPT课件
22
则：H(XY)
p(xi y j ) log p(xi y j )
i1 j1
1.43比特/ 信源符号
.
15
N
由p( y j ) p(xi y j )得到Y集中各消息概率 i 1 2 p( y1) p(xi y1) p(x1 y1) p(x2 y1) 0.59 i 1
则该事件携带的信息量为：
I (xi | yj ) log p(xi | yj ) log(1/ 8) 3bit
由结果可知:
事件yj的出现降低了事件xi发生所携带的信息量
原因:
事件yj的出现带来了事件xi的部分的信息，导致对事件xi的
不确定性减小
.
6
例2-4
设一系统的输入符号集X=(x1,x2,x3,x4,x5)，输出符号集 Y=(y1,y2,y3,y4) 输入符号与输出符号间的联合分布为
x 0.98 1 0.02
y1
x 0.2
2
0.8
y2
.
13
解：由题意可知
p(x1 ) 0.5 p(x2 ) 0.5 p( y1 | x1 ) 0.98 p( y2 | x1 ) 0.02 p( y1 | x2 ) 0.2 p( y2 | x2 ) 0.8
2
则：H ( X ) p(xi ) log p(xi ) i 1
.
3
（2）此消息中平均每个符号携带的信息量为：
I2 87.81/ 45 1.95bit / symbol
信源的信息熵:
4
H ( X ) p(ai ) log p(ai ) i 1
3 log 3 1 log 1 1 log 1 1 log 1 8 84 44 48 8
信息论总结与复习
i 1 k 1
i 1
k 1
结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。
H lN iN 1 m H (X 1 X 2 X N 1 X N ) H (X N 1 |X 1 X 2 X N )
第一部分、信息论基础
1.1 信源的信息理论
[例1] 已知二阶马尔可夫信源的条件概率：
第一部分、信息论基础
1.1 信源的信息理论
（4）序列信息熵的性质：
《1》条件熵不大于无条件熵，强条件熵不大于弱
条件熵：H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ …
…… ≥H (XN|X1X2……XN-1)
《2》条件熵不大于同阶的平均符号熵:
HN ≥H (XN|X1X2……XN-1)
[例3]求对称信道
P00..32
0.3 0.2
0.2 0.3
00..23的信道容量。
解：C =log4-H(0.2,0.3,0.2,0.3)
=2+(0.2log0.2+0.3log0.3)×2 = 0.03 bit/符号；
第二部分、无失真信源编码
2.1 信源编码理论
第二部分、无失真信源编码
1.1 信源编码理论:
稳态方程组是：
QQ((EE32
) )
0.2Q(E1 0.6Q(E2
) )
0.6Q(E3 ) 0.2Q(E4 )
Q(E4 ) 0.4Q(E2 ) 0.8Q(E4 )
Q(E1) Q(E2 ) Q(E3 ) Q(E4 ) 1
第一部分、信息论基础
1.1 信源的信息理论
可解得：
Q (E1 )
[例5] 以下哪些编码一定不是惟一可译码？写出每 种编码克拉夫特不等式的计算结果。
信息论复习要点
信息论复习要点1. 非奇异码：若一个码子中各码子都不相同，则称非奇异码，否则称为奇异码；2. 唯一可以码：若任何有限长信源序列都能译成唯一的信源消息序列，则称为唯一可译码；3. 二元最优码：就某一信源，存在最优的二进制码，其中至少有两个最长的码子有相同长度且仅最后一个码位有别。
4. AWGN 信道的容量：一个加性高斯白噪声（AWGN ）信道的噪声功率谱为N 0/2,输入信号平均功率为P ，信道带宽为W ，那么信道每单位时间的容量为：0log 1P C W N W ⎛⎫=+ ⎪⎝⎭（容量单位为比特/秒）5. 对于输入平均功率受限的加性高斯噪声信道，当传输速率R<=C 时，总可以找到一种编码方式，使得差错率任意小；反之，找不到使译码错误概率任意小的编码。
6. 信息率失真理论是有损数据压缩的理论基础，该理论的核心是在保真度准则下的信源编码定理，即香农第三定理。
7. 限失真信源编码定理：()D R R D >→≤存在平均失真的信源编码8. 限失真信源信道编码定理：()D C R D >→≤存在平均失真的信源信道编码9. 和信道及其容量：若一个信道分为若干子信道，且各子信道输入之间互不相交，输出之间也互不相交，信道总的输出与输入集合分为各子信道输出与输入之并集，而且每次传输只能用某个子信道，则称此信道为和信道。
和信道容量：21log 2i NC i C ==∑其中，i C 为每个子信道的容量，第i 个子信道的使用概率为：1222ii iC C Ci NC i r -===∑达到容量时的输入概率为各子信道达到容量时的输入概率乘以i r ，N 为子信道的个数。
10. 各种信息的概率公式：自信息：()()log I x p x =-；联合自信息：()()log I xy p xy =-；条件自信息：()()|log |I x y p x y =-三者的关系：()()()()()||I xy I x I y x I y I x y =+=+； 互信息：()()()()()|,loglog|p x p x y I x y p x y p x =-=； 互信息与自信息和条件自信息的关系：()()(),|I x y I x I x y =-；11. 最佳判决与译码准则： MAP 准则：（输入不等概）（1）信道转移概率矩阵乘以信道输入符号概率得到联合概率矩阵； （2）联合概率矩阵每一列中找到一个最大的概率对应的输入符号就是译码； （3）正确概率是所有译码的概率和，错误概率是1与正确概率的差； ML 准则：（输入等概）（1）信道转移概率矩阵中最大的概率对应的输入符号作为译码输出； （2）正确概率是联合概率分布中译码概率的和，错误概率是1与之的差； 无记忆二元对称信道，最大似然准则等价于最小汉明距离准则；12. 并联高斯信道的容量，能量分布和输入概率分布：（输入均值为0） （1） 并联独立高斯信道：利用注水定理对能量进行分配，计算信道容量，达到容量时，两个信道的输入是独立的，所以输入的概率密度为：()2212122212,22x x p x x σσ⎛⎫=-- ⎪⎝⎭（2） 关联相关高斯信道：将噪声自协方差矩阵分解（如下公式所示），找出等价矩阵，利用注水定理计算信道容量，得到能量分配和输入概率密度公式；41501110122211⎛⎫⎫⎛⎫= ⎪⎪ ⎝⎭⎭⎝⎝ （3） 反推得到输入概率的协方差矩阵，进而得到输入概率的密度公式； （4） 对于独立并联高斯信道，达到容量时各子信道输入是独立的； （5） 对于相关并联高斯信道，达到容量时各子信道输入是相关的； （6） 在总噪声和输入平均能量约束都相同的条件下，相关并联高斯信道的容量大于独立并联高斯信道容量。
信息论基础复习提纲
第一章 绪论1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。
信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。
包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。
（5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。
③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。
④、要求信源为随机过程，不研究信宿。
第二章 信息的度量2.1 自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I是()i x p 的严格递减函数。
当()()21x p x p <时()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。
()()()i i i x p x p x I 1loglog =-=②、极限情况下，当()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。
信息论基础
信息论基础第一讲信息的基本概念与预备知识一、信息的基本概念1、信息论是通信的数学理论，是运用数理统计的方法研究信息的传输、存储与处理的科学。
2、物质、能量、信息是构成客观世界的三大要素，信息存在于任何事物中，有物质的地方就有信息。
3、信息具有的性质（1）无形————不具实体性；（2）共享————交流者不会失去原有信息，还可获得新的信息，可无限传播，也可限制传播，如设密码、安全措施；（3）信息是一种资源————永远在产生、更新、演变，取之不尽用之不竭；（4）可度量————信息的数量和质量可度量。
3、概率信息（香农信息或狭义信息）美国数学家香农（C.E.Shannan）提出，信息源具有随机性不定度，为了消除一定的不定度必须获得与此不定度相等的信息量。
（1）甲袋有100个球，50个红，50个人白，取出一个为红；（2）乙袋有100个球，25个红，25个白，25个蓝，25个黑，取出一个为红；概率大，不确定性小，信息量小，。
4、消息构成消息的条件：能被通信双方理解，可在通信中进行传递和交换。
消息具有不同的形式，如语言、文字、符号、数据、图片等。
消息是信息的载荷者，同一消息可以含不同的信息量，同一信息可以用不同形式的消息来载荷。
5、信号信号是消息的表现形式，消息是信号的具体内容。
信号是消息的载体。
6、信息的传输系统信源——编码——信道——译码器——信宿 二、预备知识 1、全概公式∑∑====nk k k nk k A B p A p B A p B p 11)()()()(2、贝叶斯公式)()()()()()(B p A B p A p B p B A p B A p k k k k == 3、条件概率)()()(B p AB p B A p =4、乘法公式)()()()()(B A p B p A B p A p AB p ==4、不等式1ln 110-≤≤-⇒>x x xx三、自信息的度量 1、自信息随机事件ix 发生概率为)(ix p ，则随机事件ix 的自信息量为)(log )(i i x p x I -= 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
上一页
下一页
4
定义6.4.1 有输入功率约束P的高斯信道容量定义为
C = max I ( X ; Y ) 2
f (x ):EX P
这个信道容量的计算并不是困难,事实上,取约束
条件为EX 2 P, 则:
I ( X ; Y ) h(Y ) h(Y X ) h(Y ) h( X Z X )
EY 2 = EX 2 + EZ 2 P N
由定理6.2.6知,有方差为P N的连续随机变量的最大熵
在正态分布N(0,P N )时到达,所以
1 h(Y ) log 2 e( P N ) 2
上一页 下一页 6
其中等号成立当且仅当Y N(0,P N ),从而
1 1 I ( X ; Y ) log 2 e( P N ) log 2 eN 2 2
H ( X 1 , X 2 , , X n ) H ( X i | X i 1 , , X 1)
i 1 n
二进熵函数：
h (p ) p log p (1 p ) log(1 p)
上一页
下一页
16
四、相对熵和互信息
相对熵：
D( p || q)
xX
p ( x) p ( x) p( x) log E p log q ( x) q ( x)
Z (t )
X (t ) Y (t )
上一页 下一页 1
根据随机信号的采样定理，可将随机信号离散化。 因此，对时间离散信道的输入和输出序列可分别表示为
X ( X1,X 2 , ,)和 Y (Y1 , Y2 ,)
随机噪声可表示为 Z (Z1,Z 2， )
则加性噪声信道可表示如下
1 h(Y ) h( Z X ) h(Y ) h( Z ) h(Y ) log 2 eN 2
上一页
下一页
5
于是计算信道容量的问题就转化为求h(Y )的极大值问题.
注意到Z 与X 独立,且EZ =0,EZ 2 N , 而Y =X + Z ,所以
EY = E ( X + Z ) = EX + EZ =0
yY
熵的简单性质：
1、H ( x) 0,
等号成立的充要条件是X有退化分布．
H ( X ) log || X ||
2、极值性
等号成立的充分必要条件是X服从均匀分布
上一页 下一页 15
3、链法则：
H ( X ,Y ) H ( X ) H (Y | X ) H (Y ) H ( X | Y ) H (Y , X )
正态分布N (0, N )有最大熵， 所以 1 h(Z ) log(2 eN ) 2 定义 1 2 h(Z ) Pe e 2 e 为具有可微熵h( Z )的熵功率
----它就是具有可微熵的高斯随机变量的功率
上一页 下一页 9
1 所以 C log 2 e( P N ) h(Z ) 就变为 2 1 1 C log 2 e( P N ) log(2 ePe ) 2 2
1 P C C X log(1 ) 2 N
－－下界
上一页 下一页 8
另方面，由于Y =X + Z，EY = E ( X + Z ) = EX + EZ =0
EY 2 = EX 2 + EZ 2 P N
所以
1 －－上界 C log 2 e( P N ) h(Z ) 2 进一步，因为与EZ 2 =N 有相同方差的分布中
平均错误概率： pe p( x) p( y | x)
xX x , y
上一页 下一页 30
生成矩阵、校验矩阵、相互关系
1 PN log 2 Pe
一般无记忆加性噪声信道容量的上、下界：
1 PN 1 PN log C log 2 N 2 Pe
上一页
下一页
10
复习提要
序论
一、信息论的形成及历史
——Claude Shannon及其主要贡献
二、通信系统的模型 ——信源、信道、信宿及相互关系 三、信息论的基本研究内容
上一页
下一页
27
第四章 数据可靠传输和信道编码 一、离散无记忆信道和信道容量 离散信道的数学模型：
X，Q ( y x )，Y
信道编码的定义、编码速率、错误概率 离散无记忆信道容量的定义：
C = max I ( X;Y )= max I ( p;Q )
p(x ) p(x )
几种特殊的信道容量的计算：
二进无噪信道、二进对称信道、一般对称信 道、弱对称信道、准对称信道
上一页 下一页 28
二、信道容量的计算 会用拉格朗日乘数法求信道容量
信道容量C的性质：
1) C ³ 0；
2) C £ log X ;
3) C £ log Y ；
了解信道容量的迭代算法的基本思想
上一页
下一页
29
三、线性分组码
信道的译码规则
上一页
下一页
11
第一章 随机变量的信息度量
一、信源的分类及数学模型
连续信源 单符号 无记忆信源 信源 符号序列 离散信源 有记忆信源 符号序列记忆无限 马尔科夫信源
上一页
下一页
12
二、自信息
定义
1 I ( x) log log p ( x) p( x)
1 P log(1 ) 2 N 1 P C max I ( X ; Y ) log(1 ) 2 N
由于达到信道容量当且仅当Y N(0,P N ),
又因为Z N(0,N ),所以由X = Y - Z ,可得,X N(0,P).
即达到信道容量的输入分布为正态分布N(0,P)
上一页 下一页 7
一般无记忆加性噪声信道
当加性噪声功率为EZ =N ,输入功率约束为EX P时 信道容量也可定义为：
2 2
C = max I ( X ; Y ) 2
f (x ):EX P
或等价地表示为： C = max ( h(Y ) h( Z )) 2
f (x ):EX P
由于有相同功率约束高斯信道是其特例，所以
最大后验概率译码规则:
选择译码函数F ( y ) = x ,使之满足条件 p( x | y ) p( x | y ) 对x X
极大似然译码规则：
选择译码函数F ( y ) = x ,使之满足条件 p( y | x ) p( x ) p( y | x) p ( x) 对x X
I ( X ;Y | Z )
互信息的简单性质： 1、非负性 2、链法则 3、数据处理不等式
上一页 下一页 18
各种熵及互信息的相互关系：
H ( X ,Y ) H(X | Y) H (Y | X )
X
Y
H(X )
I ( X ;Y )
H (Y )
注：此图表示了一些等式和不等式的关系，能 够写出并从信息的角度来解释它们。
上一页 下一页 23
四、信源编码定理 了解信源编码定理的内容(定理2.4.1)
上一页
下一页
24
第三章 数据压缩和信源编码
一、等长码 等长码的概念 码率:
k R = log2 D 比特/信源字母 n
编码方案(f ,j )的错误概率：
Pe = Pr {j ( f (x n ))
xn}
上一页 下一页 25
性质、单位、随机事件的不确定性
上一页
下一页
1) p (x ) log p (x )
x
信息含义（物理意义） 单位——bit、nat、hart、N进信息单位 联合熵：
H (X ,Y )
x
y
p (x , y ) log p (x , y )
def
n 特别 1、无记忆信源： H ( X ) H ( X 1 )
2、k阶平稳马氏信源：
H ( X ) H ( X k 1 | X1, X 2 ,, X k )
k＝1时： H ( X ) H ( X 2 | X1) 注：会计算平稳马氏信源的平稳分布及熵率
上一页 下一页 22
H ( X 1 , X 2 ,, X n )
上一页 下一页 14
条件熵：
H (Y | X x) p( y | x)log p( y | x)
H (Y | X )
xX
xX
yY
p ( x ) H (Y | X x )
p ( x, y ) log p ( y | x)
（1） 2- n ( H ( X ) + ) p( X n ) 2- n ( H ( X )- )，若X n W( n )
（2） Pr W( n ) 1 ，若n充分大
（3） (1 )2n ( H ( X ) - ) W( n ) 2n ( H ( X ) + )，若n充分大
上一页 下一页 19
五、信息量的一些性质
1、凸函数的定义
2、Jensen不等式，对数和不等式 3、D(p||q)是概率分布对(p,q)的凸函数(证明） 4、熵 H (p) 是概率分布p的凹函数(证明)
5、对任给的p( y | x), I ( X ; Y )是p(x)的凹函数(证明)；
对任给的p( x), I ( X ; Y )是p(y|x)的凸函数(证明)。
6、法诺不等式
上一页 下一页 20
第二章 随机过程的信息度量
一、信源和随机过程的基本概念 各种信源的数学模型： 无记忆信源 马尔科夫信源：