北邮,信息论课件chapter9资料
合集下载
信息论与编码课件910PPT
当以10为底时，单位为笛特Det（工程计算常用）
表
对数及常用公式
y=log10x y=logbx Example: log327 x=10y x=by log(xy)=log x+log y log(x/y)=log x-log y log(xp)=plog x log(1)=0 log(1/x)=-log x
（对于齐次马氏链） （对于齐次遍历马氏链）
常用的概率论的基本概念和性质1
无条件概率、条件概率、联合概率满足的一些性质和关系：
（1） 0 p( xi )、p( y j )、p( y j / xi )、p( xi / y j )、p( xi y j ) 1
（2）
p( x ) 1， p( y ) 1, p( x / y ) 1, p( y
离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1…Xi…Xn) 连续(模拟)消息，未知量，它可用随机过程来描述： X(t)
信息：它是更高层次哲学上的抽象，是信号与消 息的更高表达层次。
信息、消息和信号
信息、消息和信号是既有区别又有联系的三 个不同的概念。 消息中包含信息，是信息的载体。 信号携带着消息，它是消息的运载工具。
i 1 j 1
n
m
条件熵
定义：条件自信息量的概率加权平均值（数学期望） 定义为条件熵。定义式为：
H (V | U ) E[ I ( Pji )] E[ log Pji ] rij log Pji
i 1 j 1
n m
n
m
H (U | V ) E[ I (Qi j )] E[ logQi j ] rij logQi j
信息论PPt(叶中行)
• 信道编码：是以提高信息传输的可靠性为目的的编 码。通常通过增加信源的冗余度来实现。采用的一 般方法是增大码率/带宽。与信源编码正好相反。
• 信源编码理论是信息论的一个重要分支，其理论基础 是信源编码的两个定理。 –无失真信源编码定理：是离散信源/数字信号编码 的基础； –限失真信源编码定理：是连续信源/模拟信号编码 的基础。 • 信源编码的分类：离散信源编码、连续信源编码和相 关信源编码三类 –离散信源编码：独立信源编码，可做到无失真编码； –连续信源编码：独立信源编码，只能做到限失真信 源编码； –相关信源编码：非独立信源编码。
*
3.5 通用信源编码
本节将主要介绍 • LZ算法， • 改进的LZ-Welcn 算法 • Kieffer-Yang算法， • LZ算法基于符号串匹配的算法，而LZWelcn 算法是基于字典的算法，它们都是 利用信源输出符号自身的信息来进行压缩 编码。Kieffer-Yang算法（简称YK算法）则 兼顾了字符串匹配和算术码结构的优点。
0 11 00 11
0 10 00 01
1 10 100 1000
1 01 001 0001
6 、同价码: 每个码字占相同的传输时间
7.码的N 次扩展: 若码C :{W1 , W2 ,..., Wq }，B :{Bi (Wi1Wi 2 ...WiN )}，则 码B称为码C的N 次扩展码
8、唯一可译码： 若码的任意一串有限长的码符号序列只能被唯一的译成 所对应的信源符号序列，则称此码为唯一可译码。 9、即时码（瞬时编码）：没有一个码字是其他码字的前缀 的唯一可译码称为~。 10、码分类
信源
信源编码器
等效信源 等效信宿
信道编码器
等效干扰 信道
信 道
信息论与编码第9讲信道及其容量2精品PPT课件
量
j1
j1
I(X;Y )
n i 1
m j 1
p( xi y j )log2
p( y j / xi ) p( y j )
2020/10/20
第9页
3.2.3 离散信道容量的一般计算方法
3.2 (2) 用拉各朗日乘子法求信道容量
单
符 整理得：
号
离 散 信
m
j 1
p( y j
/
xi ) log2
p( y j / xi ) p( yj )
Electronics Engineering Department, NCUT Song Peng
第3页
第三章 信道及其容量
3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量 3.3 离散无记忆扩展信道 3.4 连续信道 3.5 信道编码定理 3.6 小结
2020/10/20
Electronics Engineering Department, XXXX Xxx Xxxx
信息论与编码
（第九讲）
──────────────
信道及其容量Ⅱ
XXX
2017年春
2020/10/20
E-mail：xxxxxx@
Department of Electronics and Information, NCUT Song Peng
第1页
2020/10/20
目录
第1讲：绪论 第2讲：信源及其信息量1—自信息与熵 第3讲：信源及其信息量2—平均互信息 第4讲：信源及其信息量3—多符号离散平稳信源 第5讲：信源及其信息量4—马尔科夫信源 第6讲：信源及其信息量5—连续信源 第7讲：信源及其信息量6—信源编码定理 第8讲：信道及其容量1 第9讲：信道及其容量2 第10讲：信息率失真函数1 第11讲：信息率失真函数2 第12讲：习题课1
信息论与编码第九章课件
+
0 1 ⎡ g0m g0m ⎢ 0 1 g1m ⎢ g1m +⎢ ⎢ 0 ⎢ g( n−1)m g(1n−1)m ⎣
9
9.2.1 卷积码的生成矩阵表示法
0 ⎡ g0l g10l ... g(0n −1) l ⎤ ⎢ 1 ⎥ 1 1 ⎢ g0l g1l ... g( n −1) l ⎥ Gl = ⎢ ⎥ (l = 0,1,..., m) ⎢ ⎥ 1 k ⎢ g0 l−1 g1kl−1 ... g(kn−−1) l ⎥ ⎣ ⎦
15
9.2.2 多项式及转移函数矩阵表示法
输入信息序列: M = (m0 , m1 , m2 , 输入多项式: M ( D) = m0 + m1D + mk D 2 + 第i路输入多项式:
M 0 ( D ) = m0 + mk D + m2 k D 2 + M 1 ( D ) = m1 + mk +1D + m2 k +1D 2 + , , .
第j路输出多项式: C j ( D ) = ∑ M i ( D ) g ij ( D ).
i =0
17
k −1
9.2.2 多项式及转移函数矩阵表示法
0 ⎡ g0 ( D ) g10 ( D ) ⎢ 1 1 ⎢ g0 ( D ) g1 ( D ) G 卷积码的转移函数矩阵： ( D) = ⎢ ⎢ k −1 ⎢ g0 ( D ) g1k −1 ( D ) ⎣ 0 gn −1 ( D ) ⎤ ⎥ 1 gn −1 ( D ) ⎥ , ⎥ ⎥ k −1 gn −1 ( D ) ⎥ ⎦
彭代渊 信息科学与技术学院 dypeng@ 2007年12月
2
第9章
北邮信息科学原理知识点
一、科学技术发展四大规律four major laws of science and technology辅人律：科学技术如何产生，辅助人类扩展认识世界和改造世界的能力，辅助人类扩展争取更好生存与发展条件的能力拟人律：产生后按照什么规律发展，科学技术的发展方向跟随着人类能力扩展的需求亦步亦趋，贯彻始终。
共生律：发展的结果与人类形成什么关系，人类的全部能力是自身能力加上科学技术产物的能力。
互动律：科学技术与经济社会的相互作用，信息科学和信息技术的发展无可避免地导致信息经济和信息社会的出现。
二、信息过程模型和原理model and principal of information process信息运动过程有：1、信息获取– 信息和感知和识别2、信息传递– 把事物的运动状态和运动方式从空间或时间上的一点传送到另一点3、信息处理– 对第一类认识论信息进行适当地加工和处理，获得知识，实现认知4、信息再生– 利用已有的信息来产生新信息，即制定决策（第二类认识论信息）的过程5、信息施效– 发挥信息的效用，其中最重要的形式是控制6、信息组织– 对整个系统的优化原理：本体论信息– 外部世界的问题与环境产生本体论信息信息的获取原理– 感知与识别，产生第一类认识论信息信息的传递原理– 通信与存储，传递第一类认识论信息信息的认知原理– 处理与计算，把第一类认识论信息转变为知识信息的再生原理– 综合决策，把知识激活为第二类认识论信息信息的施效原理– 控制与显示，把智能策略转化为智能行为信息的组织原理– 实施系统全过程的优化三、本体论信息与认识论信息分别是什么ontological information and epistemological information本体论信息：某个事物运动的状态及其变化方式的自我表述，是一种客观的存在，不以主体的存在而转移认识论信息：主体所感知（或所表述）的关于某事物的运动状态及其变化方式，包括这种状态/方式的形式，含义和效用，是同时计及语法信息、语义信息和语用信息的全信息。
《信息论方法》PPT课件
这个条件熵称为信道疑义度。它表示在输出端收到全部 输出符号V后，对于输入端的符号集U尚存在的不确定性 〔存在疑义〕。
从上面分析可知：条件熵小于无条件熵，即 H〔U|V〕<H〔U〕。 阐明接纳到符号集V的一切符号后，关于输入符号U的平均 不确定性减少了。即总能消除一些关于输入端X的不确定性， 从而获得了一些信息。
第7章 信息论方法
〔一〕
7.1 信息论原理 7.2 决策树方法
7.1 信息论原理
信息论是C.E.Shannon为处理信息传送 〔通讯〕过程问题而建立的实际，也称为 统计通讯实际。
1. 信道模型
一个传送信息的系统是由发送端〔信源〕
和接纳信端源〔信宿〕以信及道衔接两者信宿的通道
〔信道〕U 三者组成。
H〔U〕的性质: 〔1〕H〔U〕=0时，阐明只存在着独一的 能够性，不存在不确定性。 〔2〕假设n种能够的发生都有一样的概率， 即一切的Ui有P〔Ui〕=1/n，H〔U〕到达最 大值log n，系统的不确定性最大。
P〔Ui〕相互接近，H〔U〕就大。P〔Ui〕 相差大，那么H〔U〕就小。
7．互信息(增益)
ID3算法是由Quinlan首先提出的，该算法是 以信息论为根底，以信息熵和信息增益度 为衡量规范，从而实现对数据的归纳分类。
7.2.2 ID3方法根本思想
CLS原理： 首先找出最有判别力的特征，把数据
分成多个子集，每个子集又选择最有 判别力的特征进展划分，不断进展到 一切子集仅包含同一类型的数据为止。 最后得到一棵决策树。
P〔u1/v3〕=2/5， P〔u2/v3〕=3/5
H(U/V)=(5/14)((2/5)log(5/2)+(3/5)log(5/3))+(4/14)((4/4)log(4/4)
北邮通信原理PPT第20讲
消息A----“000”；消息B----“111” 传输中产生一位或是两位错码，都将变成禁用码组，具有检出 两位错码的能力 在产生一位错码情况下，收端可根据“大数”法则进行正确判 决，能够纠正这一位错码，该编码具有纠正一位错码的能力 在产生两位错码情况下，只具有检错能力
这表明增加两位冗余码元后码具有检出两位错码及纠正一位错 码的能力
若产生错码（“0”错成“1”或“1”错成“0”）收端无法发现， 该编码无检错纠错能力
增加一位冗余后具有 检出一位错码的能力
编码二：
消息A----“00”；消息B----“11”
若一位产生错码，变成“01”或“10”，因“01”“10”为禁用码组， 收端可发现有错，但无法确定错码位置，不能纠正，
编码三：
n表示码组长度，1表 示信息码元的个数 上述编码方法被称为重复码，记为(n, 1) ，编码方法：
把每个信息比特u重复n遍形成一个码组c = (u, u, …, u )
译码方法： 若译码器收到的一个n个比特码组y = (yn-1, yn-2,…, y0 )，判决码组 y中比特“1”和“0”的个数： 1）若比特“1”的个数多则判决发送的“1”码； 2）若比特“0”的个数多则判决发送的“0”码 仍然出错的概率（其中p为信道误码率）：
发现错误
与返回重发不同的是，发端并不重发错误码组后的所有码组， 而只重发有错的那个码组
差错控制方式—前向纠错
2. 前向纠错（FEC） 发
能够纠正错误的码
收
发送端将信息序列编码成能够纠正错误的码，接收端根据编码 规则进行检查，如果有错自动纠正，特点如下： 1. 不需要反馈信道，特别适合只能提供单向信道场合 2. 自动纠错，不要求检错重发，延时小，实时性好 3. 纠错码必须与信道的错误特性密切配合 4. 若纠错较多，则编、译码设备复杂，传输效率低
这表明增加两位冗余码元后码具有检出两位错码及纠正一位错 码的能力
若产生错码（“0”错成“1”或“1”错成“0”）收端无法发现， 该编码无检错纠错能力
增加一位冗余后具有 检出一位错码的能力
编码二：
消息A----“00”；消息B----“11”
若一位产生错码，变成“01”或“10”，因“01”“10”为禁用码组， 收端可发现有错，但无法确定错码位置，不能纠正，
编码三：
n表示码组长度，1表 示信息码元的个数 上述编码方法被称为重复码，记为(n, 1) ，编码方法：
把每个信息比特u重复n遍形成一个码组c = (u, u, …, u )
译码方法： 若译码器收到的一个n个比特码组y = (yn-1, yn-2,…, y0 )，判决码组 y中比特“1”和“0”的个数： 1）若比特“1”的个数多则判决发送的“1”码； 2）若比特“0”的个数多则判决发送的“0”码 仍然出错的概率（其中p为信道误码率）：
发现错误
与返回重发不同的是，发端并不重发错误码组后的所有码组， 而只重发有错的那个码组
差错控制方式—前向纠错
2. 前向纠错（FEC） 发
能够纠正错误的码
收
发送端将信息序列编码成能够纠正错误的码，接收端根据编码 规则进行检查，如果有错自动纠正，特点如下： 1. 不需要反馈信道，特别适合只能提供单向信道场合 2. 自动纠错，不要求检错重发，延时小，实时性好 3. 纠错码必须与信道的错误特性密切配合 4. 若纠错较多，则编、译码设备复杂，传输效率低
北邮,信息论课件chapter9资料
任意给定 0 ，总存在一种信源编码，
使得 R R(D) ，且平均失真 D
；
反之，如果R<R(D)，就不可能存在使平均失真 D 的编码。
ii）该定理是非构造性的，它仅指出了编码的存在性，并未 给出编码的实际方法。
iii）定理的含义是：在给定的保真度准则下，可对信源进行 压缩，所需的编码速率（或每信源符号所需的比特数） R≥R(D),即R(D)是满足D准则下传送每信源符号所需最小 的比特数。
解：失真测度为汉明测度，实际上要 求误码率为1/2。设Y为X的压缩编码， 符号集为{b1,b2,…,bn}，下面为压缩算 法和对应的试验信道转移概率矩阵：
XY ai bi (i 1,...,n 1)
... a j bn ( j n，...，2n)
b1 b2 ... bn1 bn
a1 1 0 ... ... 0
设
x
( x1 ,...,
xN
)
，其中x i
取自符号集A；y ( y1,...,
yN )
，其
中 yi 取自符号集B；
序列失真测度定义为：
dN (x, y)
1 N
N
d (xi , yi )
i 1
3．平均失真
（9. 1.3）
单符号平均失真：
D d p(ai ,bj )d(ai ,bj )
i, j
序列平均失真：
d
1 N
N
E[d (xi , yi )]
i 1
1 N
N
Di
i 1
（9. 1.4） （9. 1.5）
§9.2 离散信源信息率失真函数
9．2．1信息率失真函数
定义信息率失真函数为：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
以得到（ 9．11）式。 证毕。
例9．1 设试验信道输入符号 {a1, a2 , a3}，概率分别为1/3，1/3，
1/3，失真矩阵如下所示，求Dmin和Dmax和相应的试验信道的转移
概率矩阵。
1 2 3
[d ] 2 1 3
3 2 1
解
Dmin
x
p(x) min d (x, y) y
p(a1) min(1,2,3) p(a2 ) min( 2,1,3) p(a3 ) min( 3,2,1)
信息。
或
R(D) min pijPD
ij
pi pij log
pij pi
（
pij
9．8）
i
9．2．2 R(D)的性质
1． R(D)的定义域为：
且 证：
0 Dmin D Dmax
Dmin
p(x) min d (x, y) y
x
Dm a x
min y
x
p(x)d (x, y)
（ 9．9） （ 9．10）
第9章 信息率失真函数
§9.1 概 述
➢ 当信源信息以超过信道容量的速率传输时，必然产生 差错或失真；
➢ 由于信道噪声的干扰，信息在传输过程中也会产生差 错或失真；
➢ 信宿的灵敏度和分辨力都是有限的，无需要求在传输 过程中信息绝对无失真；
➢ 允许信息有某些失真，这样可以降低信息传输速率， 从而降低通信成本；
=1 令对应最小 d (ai , bj）的 p(b j | ai ) 1 ,其它为0。可得对应Dmin 的转移 概率矩阵为：
1 0 0 0 1 0 0 0 1
Dm a x
min y
p(x)d (x, y)
x
min{[ p(a1) 1 p(a2 ) 2 p(a3 ) 3] ,[ p(a1) 2 p(a2 ) 1 p(a3) 2],
设x( x1 ,..,xN)，其中x i
取自符号集A；y ( y1,...,
yN )
，其
中 yi 取自符号集B；
序列失真测度定义为：
dN (x, y)
1 N
N
d (xi , yi )
i 1
3．平均失真
（9. 1.3）
单符号平均失真：
D d p(ai ,bj )d(ai ,bj )
i, j
[ p(a1) 3 p(a2 ) 3 p(a3) 1]}
= 5/3 上式中第2项最小，所以令 （p b2） 1 ，（p b1） （p b3） 0 的转移概率矩阵为：
Dmax
min
x，y
x，y
p( x)q( y)d ( x,
y)
min
y
q( y)
x
p(x)d(x, y)
由于 p(x), d(x, y) 已给定，而且对不同y， p(x)d(x, y)
也可能有不同的值。所以，求 min p(x)d(x, y) x ，并使对
应的q(y)=1，其余为0。这样就可y 使x 平均失真最小。所
（ 9．11）
1） 定义域下界：
D p(x) p( y | x)d(x, y) x，y
p(x) p( y | x) min d(x, y) ( d(x, y) min d(x, y))
x，y
y
y
p(x) min d(x, y) p(y | x)
x
y
y
p(x) min d (x, y) 0 ( d (x, y) 0) y x
数字数）的条件下，使平均失真限制到最小；或者在平均失真不大于 某个值的条件下，使编码速率限制到最小（限失真信源编码）； ➢ 从信息论的观点处理数据压缩的学科称为信息率失真理论，信息率失 真理论是数据压缩的基本理论。
9. 1. 1 系统模型
研究限失真编码的系统模型如图9. 1. 1所示。 l 信源发出的消息X通过有失真的信源编码，通过理想无噪声信道传输，
经译码器的输出为Y，由于编码有失真，所以Y不是X的精确复现。 l 可以把信源编码器和信源译码器之间看成一个有噪声的信
道，这个信道称做试验信道。 l 通过研究试验信道输入与输出之间的互信息来研究限失真信源编码。
信源
信源 编码器
无噪信道
信源 解码器
信宿
试验信道
图9. 1. 1 限失真编码的系统模型
设试验信道的输入X，符号集A={a1,…,an}；信道的输出 Y，符号集 B={b1,…,bm}。
➢ 对信源无失真压缩的极限是熵，如果再继续压缩就要 失真；
结论：失真是不可避免的，有时甚至是必要的。
➢ 从信源的输出抽取重要信息并压缩冗余信息的装置称数据压缩算法； ➢ 通过压缩所得到的编码序列不能完全恢复原来信源的信息，是有失真
信源编码； ➢ 总希望在不大于一定编码速率（即传送每信源符号所需的平均的二进
（9. 1. 1）
其中，d (ai , bj ) 0 。
如果规定d
(ai
,
bj
)
0 1
i j i j
...
0 1 ... 1
[d ] 1 0 ... ... 1 ... ... 1
1 ... 1
0
，那么失真矩阵变为汉明失真矩阵 （9. 1.2）
特点：对角线上元素全为零，其他元素都为1。
2．序列失真测度：
序列平均失真：
d
1 N
N
E[d (xi , yi )]
i 1
1 N
N
Di
i 1
（9. 1.4） （9. 1.5）
§9.2 离散信源信息率失真函数
9．2．1信息率失真函数
定义信息率失真函数为：
R(D) min I (X ;Y )
p( y|x)PD
（ 9．7）
其中PD为使平均失真不大于D的p(y|x)的集合。 即，R(D)就是在满足保真度准则下，X,Y的最小平均互
9. 1. 2 失真测度
1．单符号失真测度 d(x, y) ，x X , y Y 。
定义失真矩阵
d (a1, b1) ... d (a1, bm ) [d ] d (a2 , b1) ... d (a2 , bm )
... ... ... d (an , b1) ... d (an , bm )
对x的每一取值 ai ，令对应最小的 d (ai , bj ) 条件概率p(bj|ai)为1 ,
其余条件概率为零，就得到Dmin 。
2）定义域上界：
R(D)为平均互信息，所以R(D)≥0。在较大范围内 求极小值一定不大于在所含小范围内求的极小值，所
以D1>D2 => R(D1) ≤R(D2)，即R(D)是D的非增函数。 当XY独立时，R(D) ≤I(X;Y)=0，当D继续增加，R(D) 仍然为0。所以，Dmax是使R(D)=0的最小平均失真。当 x,y独立时，p(x,y)=p(x)q(y) ，有