离散无记忆信源RD的计算
合集下载
信息论基础总复习
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
I(X ;Y |Z ) H (X |Z ) H (X |Y )Z
I(X;Y)ZI(X;Y)I(X;Z|Y) I(X;Z)I(X;Y|Z)
连续随机变量的互信息
I(X;Y) 0 I (X ;Y ) I (Y; X ) I (X ;Y | Z) I (Y; X | Z) I(X;Z) I(X;Y) I (XY; Z) I (X ; Z) I (Y; Z | X )
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R (D )p m i jpDi n i1n jm 1p(xi)p(yj/xi)lop(p g y (jy/jx )i)
输入 xX
信道模型
输入 y Y
转移概率矩阵
p(y/ x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量 考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
• 这个表达式平均错误译码概率的最小值， 是把每一个yj对应的后验概率排除后再连 续求和。
3.2_离散无记忆信源及其扩展源解析
1. 该信源输出的消息数是有限的。
2. 该信源每次只输出一个消息，出现 哪一种消息是随机的。 3. 6个不同的消息构成了互不相容的基 本事件集合，不可能出现这个集合 以外的消息。
【引例－例3.1】
【说明】 1. 利用离散型随机变量X来描述这个信 源输出的消息X= (x1,x2, …,x6)，其样 本空间即为符号集A。 2. 根据大量试验结果可得：各个消息 是等概率出现的，均为1/6。 因此， X的概率分布就是信源发出各种不同 符号的先验概率，即p(x1)=1/6， p(x2)=1/6，…，p(x6)=1/6。
X 1 P( X ) p( 1)
2 3 4 p( 2 ) p( 3 ) p( 4 )
N 2
且
p( i ) p(ai 1 ai 2 ) p(aik ) p(aik )
k 1 k 1
序列长度 N=2
例如：投硬币、书信、电报符号等
② 用离散随机变量的概率分布，表示 信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q种不 同的符号{a1,a2,…,aq}，相应的先验概率分别 为p(a1)，p(a2)，…，p(aq)，用随机变量X表 示这个信源，其信源的数学模型就是离散型 的概率空间: X a1 a2 aq
P( X ) P(a1a2 aq ) p(ai )
q
p(a ) 1,
i 1 i
q
0 p(ai ) 1 (i 1,2,, q)
i 1
则称该信源X为离散无记忆信源。
3.2.1 离散无记忆信源
3. 【数学模型】离散无记忆信源可用 信源空间[X,P(X)]来描述：
2. 该信源每次只输出一个消息，出现 哪一种消息是随机的。 3. 6个不同的消息构成了互不相容的基 本事件集合，不可能出现这个集合 以外的消息。
【引例－例3.1】
【说明】 1. 利用离散型随机变量X来描述这个信 源输出的消息X= (x1,x2, …,x6)，其样 本空间即为符号集A。 2. 根据大量试验结果可得：各个消息 是等概率出现的，均为1/6。 因此， X的概率分布就是信源发出各种不同 符号的先验概率，即p(x1)=1/6， p(x2)=1/6，…，p(x6)=1/6。
X 1 P( X ) p( 1)
2 3 4 p( 2 ) p( 3 ) p( 4 )
N 2
且
p( i ) p(ai 1 ai 2 ) p(aik ) p(aik )
k 1 k 1
序列长度 N=2
例如：投硬币、书信、电报符号等
② 用离散随机变量的概率分布，表示 信源发出不同符号可能性的大小
三、数学模型
若单符号离散无记忆信源可能发出q种不 同的符号{a1,a2,…,aq}，相应的先验概率分别 为p(a1)，p(a2)，…，p(aq)，用随机变量X表 示这个信源，其信源的数学模型就是离散型 的概率空间: X a1 a2 aq
P( X ) P(a1a2 aq ) p(ai )
q
p(a ) 1,
i 1 i
q
0 p(ai ) 1 (i 1,2,, q)
i 1
则称该信源X为离散无记忆信源。
3.2.1 离散无记忆信源
3. 【数学模型】离散无记忆信源可用 信源空间[X,P(X)]来描述：
失真度和平均失真度
i=1 j=1
若平均失真度 D 不大于我们所允许的失真D，我们 称此为保真度准则，即
D≤D
凡满足保真度准则的这些试验信道称为D失真许可的试验 信道。把所有D失真许可的试验信道组成一个集合，用符 号 BD 表示。
7.2 信息率失真函数及其性质
7.2.1 信息率失真函数
当信源和失真函数给定后，我们总希望在满足保真 度准则下寻找平均互信息的最小值。也就是在 BD 中找 一个信道，使平均互信息取极小值。这个最小值就是 在 D ≤ D 的条件下，信源必须传输的最小平均信息 量。
d (ui , v j ) ≥ 0 称为单个符号的失真度（或称失真函数）
失真函数用来表征信源发出一个符号 ui ，而在接收 端再现成符号 v j 所引起的误差或失真。d 越小表示失真 越小，等于0表示没有失真。
可以将所有的失真函数排列成矩阵的形式：
⎡ d (u1, v1) d (u1, v2 ) ... d (u1, vs )⎤
1、符合实际信源的R(D)函数的计算相当困难。 1）需要对实际信源的统计特性有确切的描述 2）需要对符合主客观实际的失真给予正确的描述 3）即使满足了前两条，R(D)的计算也比较困难
2、即使求得很好的R(D)函数，还需要研究采取何种编 码方法才能达到极限值R(D)。
5
这种编码方法，可以看成是一种特殊的试验信道
⎧1 P(vj / ui ) = ⎨⎩0
vj ∈C,vj = f (ui ) vj ≠ f (ui )
4
单个符号的平均失真度
d (C) = 1 ∑ P(U )P(V /U )d[u, f (u)] NU
= 1 ⋅ 1 [0 + 1 + 1 + 1 + 0 + 1 + 1+ 1] = 1
4.2 离散无记忆信源R(D)的计算解析
Dmax min p( xi )d ij
Y X
因为离散信源：
均方失真的连续信源的R(D)
R( D)
1 Dmax ln( ) 2 D
可直接当结论来应用
2018/10/12
8
例：设某连续信源X服从高斯分布，均值μ=0， 方差σ2，失真函数为均方失真即d(x,y)=(y-x)2
求它的信息率失真函数R(D)和Dmax。
例：已知离散无记忆信源
x2 X x1 0 1 ，求 P( X ) p 1 p ，其中p 2 ，失真矩阵为D 0 , 输出Y 0,1 Dmax，率失真函数R( D)。
2018/10/12
3
4.2 离散无记忆信源R(D)的计算
y
min[ x 2 p( x)dx 2 y xp( x)dx y 2 p( x)dx]
y
D
min[ 2 0 y 2 ]
y
2
2018/10/12 9
上题的扩展：若连续信源服从（μ，σ2）的高 斯分布，则再求上题。
解：先求Dmax：
服从(0, 2 )的高斯分布的概率密度 函数为： p ( x) 1 e 2
2、
（1）信道容量C一旦求出来，则与信源分布无关（只是 证明存在这样的满足信道容量的信源分布），只和信道 转移概率分布p(yj/xi)有关。即信道容量和信源特性无 关，反映信道特性。 （2）信息率失真函数R(D)一旦求出来，则与信道转移 概率分布无关（只是证明存在达到最小信息率的试验信 道），只和信源概率分布p(xi)有关。即信息率失真函数 和信道特性无关，反映信源特性。
信息论与编码第三版 第4章
C max H ( X ) log 3
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
第5讲离散无记忆信源
尤为重要的是：
一类重要的符号序列有记忆离散信源----马尔可夫 信源： 某一个符号出现的概率只与前面一个或有限个 符号有关，而不依赖更前面的那些符号。
2.2 离散无记忆扩展信源
1. 单个符号的离散信源----每次只发出一个符号代表一 个消息，且消息数量有限。
a1 X P p ( a1 ) a2 p ( a2 ) p ( ar ) ar
则称此信源为离散平稳信源。 注：平稳信源既是指在发出符号不变的前提下，发出符号 概率不依时间而改变，今后不特别说明时，我们提到的信 源都是平稳信源。
2、平稳信源等价条件
p ( xk ) p ( xt ) p( x x ) p( x x ) k k 1 t t 1 (1) p ( xk xk N ) p ( xt xt N )
符号集
X {a1 , a2 ,
r
, ar },
i
p ai 0
p(a ) 1
i 1
2. 发出符号序列离散信源－－每次发出一组 含两个以上的符号序列来代表一个消息
信源X输出用N维随机序列（随机矢量）
X X 1 X2 Xl X N 来描述信源输出的消息，
用联合概率分布来表示信源特性。在上述随机矢量 中，若每个随机变量 X i (i 1, 2,
中每个符号才能使得X i 有r N 个，因此相当如后式中的i1 ,
, iN 都从
注2、
H(XN)=NH(X):每个消息所能提供的平均信息量为每个信源
符号平均信息量的N倍。
X a1 例1、设信源空间 1 P 4 信源的熵？
解：X 2的概率空间为
a2 1 2
第三章 信源编码-离散无记忆源等长编码
第三章 信源编码——离散信源无失真编码本章分析问题：在信宿要求无失真接收时，或所有信源信息无损的条件下，离散信源输出的表示——即信源编码问题。
内容：信源分类，信息速率的计算，编码定理，有效编码方法等。
一、信源及其分类 1． 离散信源和连续信源离散信源表示：…Ｕ－２Ｕ－１Ｕ０Ｕ１Ｕ２…其中ＵＬ随机变量，取值范围：Ａ＝｛ａ１，ａ２，…ａｋ｝ ２．无记忆源和有记忆源无记忆源：各ＵＬ彼此统计独立简单信源：各ＵＬ彼此统计独立且服从同一概率分布 Ｐ（ＵＬ＝ａｋ）＝Ｐｋ，ｋ＝１，２，…，Ｋ∑=Kk 1Ｐｋ＝１有记忆源：各ＵＬ取值相关。
ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ）∈ＵＬ，其概率分布由Ｌ维随机矢量表示，Ｐ（ＵＬ＝ａ）＝Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ） ３．平稳信源：概率分布与起始下标无关Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ）＝Ｐ（Ｕｔ＋１＝ａｋ１，…，ＵＬ＝ａｋＬ）４．各态历经源：信源输出的随机序列具有各态历经性。
５．有限记忆源：用条件概率Ｐ（ＵＬ，ＵＬ－１，ＵＬ－２，ＵＬ－ｍ）表述。
ｍ为记忆阶数。
６．马尔可夫源：有限记忆源可用有限状态马尔可夫链描述，当ｍ＝１时为简单马尔可夫链。
７．时间离散的连续源：各随机变量ＵＬ取值连续。
８．随机波形源：时间和取值上均连续的信源；由随机过程ｕ（ｔ）描述，时间或频率上有限的随机过程可展开成分量取值连续的随机矢量表示，即时间上离散，取值连续的信源。
９．混合信源二、离散无记忆源的等长编码离散无记忆源：ＤＭＳＬ长信源输出序列：ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ），Ｕｌ取值｛ａ１，ａ２，…ａｋ｝，共ＫＬ种不同序列。
对每个输出序列用Ｄ元码进行等长编码，码长为Ｎ，则可选码共有ＤＮ个。
１．单义可译码或唯一可译码：条件：ＤＮ≥ＫＬ＝Ｍ，即Ｎ≥ＬｌｏｇＫ／ｌｏｇＤＮ／Ｌ：每个信源符号所需的平均码元数；Ｎ／Ｌ→３．３２２；２．信息无损编码要求：设每个信源符号的信息量为Ｈ（Ｕ），则Ｌ长信源序列的最大熵值为ＬＨ（Ｕ），编码时由于Ｄ个码元独立等概时携带信息量最大，使码长最短。
信息论第三章离散信源无失真编码讲解
2.等长码
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码 长都相同，则称这组码C为等长码。
3.变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不 都相同，称码C为变长码。
4.奇异码
对奇异码来说，从信源消息到码 字的影射不是一一对应的。奇异码 不具备惟一可译性。
变长码分为即时码和延长码，为保证即时译码，要求变长 惟一可译码采用即时码。
对于变长码，要求整个码集的平均码长力求最小，此 时编码效率最高。
对于给定信源，使平均码长达到最小的编码方法，称 为最佳编码，得到的码集称为最佳码。
3.3.2 克拉夫特不等式
定理3.2
D进制码字集合C ={c1, c2,…, cM }，码集中
码C中每个码字cm( m = 1, 2, …，M)其码长的概率加权平均值为
M
n
nm p(c m )
(3-1)
m 1
式中nm是码字cm所对应的码字的长度，p ( cm )是码字cm出现的 概率。
对于等长码，由于码集C中的每个码字的码长都相同，平
均码长就等于每个码字的码长
n nm p(c m ) n p(c m ) n
信源编码包括两个功能： （1） 将信源符号变换成适合信道传输的符号； （2） 压缩信源冗余度，提高传输效率。
一般来说，信源编码可归纳为如图3-1所示的模型。
消息
信源
ui = ui1 ui2 … uiL
信源编码器
码字ci = ci1 ci2 … cin
信源符号 {a1,a2, …, aK}
图3-1
信道符号（码符号）{b1, b2, …, bD} 信源编码器模型
{a1, a2, …, aK}为信源符号集，序列中每一个符号uml都 取自信源符号集。
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码 长都相同，则称这组码C为等长码。
3.变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不 都相同，称码C为变长码。
4.奇异码
对奇异码来说，从信源消息到码 字的影射不是一一对应的。奇异码 不具备惟一可译性。
变长码分为即时码和延长码，为保证即时译码，要求变长 惟一可译码采用即时码。
对于变长码，要求整个码集的平均码长力求最小，此 时编码效率最高。
对于给定信源，使平均码长达到最小的编码方法，称 为最佳编码，得到的码集称为最佳码。
3.3.2 克拉夫特不等式
定理3.2
D进制码字集合C ={c1, c2,…, cM }，码集中
码C中每个码字cm( m = 1, 2, …，M)其码长的概率加权平均值为
M
n
nm p(c m )
(3-1)
m 1
式中nm是码字cm所对应的码字的长度，p ( cm )是码字cm出现的 概率。
对于等长码，由于码集C中的每个码字的码长都相同，平
均码长就等于每个码字的码长
n nm p(c m ) n p(c m ) n
信源编码包括两个功能： （1） 将信源符号变换成适合信道传输的符号； （2） 压缩信源冗余度，提高传输效率。
一般来说，信源编码可归纳为如图3-1所示的模型。
消息
信源
ui = ui1 ui2 … uiL
信源编码器
码字ci = ci1 ci2 … cin
信源符号 {a1,a2, …, aK}
图3-1
信道符号（码符号）{b1, b2, …, bD} 信源编码器模型
{a1, a2, …, aK}为信源符号集，序列中每一个符号uml都 取自信源符号集。