第四章离散信源编码

信息论与编码2016(第4章)

§4.2 离散无记忆信道对称DMC容量的计算

P的所有列都是第一列的一种置换，信道是关于输出对称的
0 .8 0 .2 P 0 .5 0 .5 0 .2 0 .8
§4.2 离散无记忆信道
命题2 若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。证明此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。设q(x)=1/K，x∈{0, 1, …, K-1}。则
q( z ) p( y | z )
都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)都不大于此相同的值。（2）此时此相同的值恰好就是信道容量C。
§4.2 离散无记忆信道
注解
如果对DMC信道没有任何简化，要计算最佳输入分布并不容易。但是，通常使用的DMC是很简单的（比如，以下的准对称信道和对称信道），最佳输入分布很容易求出。
§4.2 ቤተ መጻሕፍቲ ባይዱ散无记忆信道
定理4.2.2(p91) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1
y 0 z 0 J 1
p( y | k )
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类离散无记忆信道信道的组合时间离散的无记忆连续信道波形信道
5
§4.1 信道分类

所有信道都有一个输入集A，一个输出集B以及两者之间的联系，如条件概率P(y│x)，x∈A， y∈B。这些参量可用来规定一条信道。

信息论与编码第四章

4. 信息率失真函数 R（D）
R( D) = min I ( X ; Y )
PD '
�
说明:
n pij ∈pD ' m
对于离散无记忆信源， R（D）函数可写成
R(D) = min ∑∑ p(xi ) p( y j / xi ) log
i=1 y j )
例4－1－2
�
说明: Dk是第k个符号的平均失真。
4.1.3 信息率失真函数 R（D）
�
1. 信息率失真函数R（D）问题产生? 对于信息容量为 C 的信道传输信息传输率为 R的信源时，如果R＞C，就必须对信源压缩，使其压缩后信息传输率R 小于信道容量 C ，但同时要保证压缩所引人的失真不超过预先规定的限度,信息压缩问题就是对于给定的信源，在满足平均失真
■
2. R(D)函数的下凸性和连续性
定理 R（D）在定义域内是下凸的证明: 令
�
D = αD'+(1 − α)D' ' , 0 ≤α ≤1 R(D' ) = min I ( pij ) = I ( p'ij )
pij∈pD'
α
其中： p 是使I（Pij）达到极小值的证D≤D’。
' ij
p ij ，且保
说明: (1) 由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真。
�
�
(2) p（xi,yj）, i=1,2,…,n， j=1,2,…,m是联合分布； p（xi）是信源符号概率分布； p（yj ／xi），i= l， 2，…，n，j＝ l，2，…，m是转移概率分布；d（xi,yj），i=1，2，…， n,j=1，2，… ，m是离散随机变量的失真函数. (3)平均失真 D是对给定信源分布 p（xi）在给定转移概率分布为 p（yj／xi）的信道中传输时的失真的总体量度。

《信号处理原理》第4章信息失真率

d(0,2)=d(1,2)=0.5
则得失真矩阵
d

0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应用情况，用 yj代替xi, 所导致的失真大小是人为决定的。比如上例中，用y=2代替x=0和x=1所导致的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种转移概率分布为p(bj|ai)的有失真信源编码器后产生失真的总体量度。
13
4.1 平均失真和信息率失真函数

信息论基础与编码课件第四章信息率失真函数

同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用不同，传递的信息量也不同。可以证明这样一个结论：P(x)一定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数，即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1

信息论.第4章无失真信源编码

S N
1
P
p(1 )
2 ... p(2 ) ...
qN
p(qN )
扩展信源熵为H(SN)，
5
用码符号集X=(x1,…,xr)对SN 编码，则总可以找到
一种编码方法，构成唯一可译码，使信源S中的一
个信源符号所需要的码字平均长度满足
H (S) 1 LN H (S) log r N N log r
N log r 则当N足够大时，译码错误概率趋于1。
3
信源编码效率编码速率：对于定长编码，编码速率定义为
R L log r N
编码效率：
H(S)
R
4
变长无失真信源编码定理（香农第一定理）
设离散无记忆信源
S
P
s1 p( s1 )
s2 p(s2 )
... ...
sq
p(
sq
)
其信源熵为H(S)，它的N次扩展信源SN为
l log q log r
2
定长信源编码定理
设有离散无记忆信源，熵为H(S) ，若对信源的长为N 的符号序列进行定长编码，设码字是从r个码符号集中选取L个码元构成，对于 > 0 只要满足
L H(S)
N log r 则当N足够大时，可实现译码错误概率任意小的等长编
码，近似无失真编码。
反之，若满足 L H (s) 2
i 1
克拉夫特证明不等式为即时码存在的充要条件；麦克米伦证明不等式为唯一可译码存在的充要条件。
1
简单信源S存在唯一可译定长码的条件为：
q r l l log q
log r
N次扩展信源SN存在唯一可译定长码的条件为：
qN rL
L log r N log q来自L log q N log r

4-第四章-多符号离散信源与信道

P(Xi ) P(X j )
P( X i X i1) P( X j X j1)
P( X i X i1 X i2 X iN ) P( X j X j1 X j2 X jN )
信源
信道
信宿
X X1X2 X3...
X k X :{a1, a2 ,..., ar} (k=1,2,…)
p( X k ) { pk (a1), pk (a2 ),..., pk (ar )}
p(a3a1)
p(a3) p(a1)
1 4
1 4
1 16
p(8 )
p(a3a2 )
p(a3) p(a2 )
1 4
1 2
1 8
p(9 )
p(a3a3 )
p(a3) p(a3)
1 4
1 4
1 16
信源X2的信源空间：
X2: a1a1 a1a2 a1a3 a2a1 a2a2 a2a3 a3a1 a3a2 a3a3
rN
rr
r
p(i )
... p(ai1ai2...aiN )
i1
i11 i21 iN 1
rr
r
... p(ai1) p(ai2 )... p(aiN )
i11 i 21 iN 1
r
r
r
p(ai1) p(ai2 )... p(aiN )
i11
i 21
iN 1
1
记：X N X1X 2... X N
p( X Q ai1, X Q1 ai2 ,...,X QN 1 aiN ) p( XW ai1, XW 1 ai2 ,...,XW N 1 aiN ) p(ai1ai2...aiN )
(ai1, ai2,...,aiN {a1, a2,...,ar}; i1,i2,...,iN 1,2,...,r)

第四章信息率失真函数

即:离散无记忆信源的N次扩展信源，通过离散无记忆信的N次扩展信道的平均失真度是单符号信源，通过单符号信道的N倍。相应的保真度准则为：
D (N ) ND
例:设信源X取值于{0,1},失真函数数分别
为d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1.其N=3次
扩展信源的输入X=X1X2X3,经信道传导输后,输出为Y=Y1Y2Y3,求失真矩阵[D(N)].
译码必定出错。
K L
log 2
m
H
(X
)
2
• 变长编码定理
– 若一离散无记忆信源的符号熵为H(X)，对信源符号进行m元变长编码，一定存在一种无失真
编码方法，其码字平均长度满足下列不等式
1 H(X) K H(X)
log 2 m
log 2 m
信道编码定理
• 信道编码定理：若有一离散无记忆平稳信道，其
那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。
1、失真函数
信源
信源编码
信道信道编码
信道译码
信源译码
信宿
干扰
根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可
(N)
I
(X
;Y
)
RN (D) NR(D)
§4.1.3 率失真函数性质
R(D)
连续
H(X)
离散
D D Dmax D
1 定义域：0, Dmax
D=0 R(D)=H(X)

第4章_无失真信源编码-zuoye

第一节引言

信源编码理论是信息论的一个重要分支，其理论基础是信源编码的两个定理。从编码结果使信源消息的信息量有无损失角度无失真信源编码定理：香农第一定理是离散信源/数字信号编码的基础；限失真信源编码定理：香农第三定理是连续信源/模拟信号编码的基础。信源编码的分类：离散信源编码、连续信源编码和相关信源编码三类。离散信源编码：独立信源编码，可做到无失真编码；连续信源编码：独立信源编码，只能做到限失真信源编码；相关信源编码：非独立信源编码。
l •定理5.3的条件式也可写成： N log r H ( S ) l ' R log r 称之为编码信息率。可见，编码信息令： N
率大于信源的熵，才能实现无失真编码。
第三节等长信源编码定理

H (S ) H (S ) l R' log r N
为了衡量编码效果，引进
最佳编码效率为： R'
第四节变长信源编码定理
定理5.8 无失真变长信源编码定理（香农第一定理）离散无记忆信源S的N次扩展信源 S N ，其熵为 H (S N ) ，并且
{1 , 2 ,..., q } 对信源 S N 进行编编码器的码元符号集为A：
码，总可以找到一种编码方法，构成唯一可译码，使信源S 中每个符号si所需要的平均码长满足 H ( S ) L N H ( S ) 1
li r 1 i 1 q
反之，若码长满足上式，则一定存在这样的即时码。可以根据即时码的树图构造法来证明。后来，B.McMillan证明了对于唯一可译码也必须满足上面的不等式，
第四节变长信源编码定理
定理5.6 若存在一个码长为 l1 , l2 , , lq 唯一可译码，则一定存在一个同样长度的即时码。这说明，其他唯一可译码在码长方面并不比即时码占优。所以在讨论唯一可译码时，只需要讨论即时码就可以了。

第四章 离散信源编码

信息论与编码2016(第4章)

信息论与编码 第四章

《信号处理原理》 第4章 信息失真率

信息论基础与编码课件第四章 信息率失真函数