信息论与编码 第四章 (1)
信息论与编码 第四章
4. 信息率失真函数 R（D）
R( D) = min I ( X ; Y )
PD '
�
说明:
n pij ∈pD ' m
对于离散无记忆信源， R（D）函数可写成
R(D) = min ∑∑ p(xi ) p( y j / xi ) log
i=1 y j )
例4－1－2
�
说明: Dk是第k个符号的平均失真。
4.1.3 信息率失真函数 R（D）
�
1. 信息率失真函数R（D）问题产生? 对于信息容量为 C 的信道传输信息传输率为 R的信源时，如果R＞C，就必须对信源压缩， 使其压缩后信息传输率R 小于信道容量 C ，但 同时要保证压缩所引人的失真不超过预先规定 的限度,信息压缩问题就是对于给定的信源，在 满足平均失真
■
2. R(D)函数的下凸性和连续性
定理 R（D）在定义域内是下凸的 证明: 令
�
D = αD'+(1 − α)D' ' , 0 ≤α ≤1 R(D' ) = min I ( pij ) = I ( p'ij )
pij∈pD'
α
其中： p 是使I（Pij）达到极小值的 证D≤D’。
' ij
p ij ，且保
说明: (1) 由于xi和yj都是随机变量，所以失真函 数d(xi,yj)也是随机变量，限失真时的失真 值，只能用它的数学期望或统计平均值，因 此将失真函数的数学期望称为平均失真。
�
�
(2) p（xi,yj）, i=1,2,…,n， j=1,2,…,m是联合分布； p（xi）是信源 符号概率分布； p（yj ／xi），i= l， 2，…，n，j＝ l，2，…，m是转移概率 分布；d（xi,yj），i=1，2，…， n,j=1，2，… ，m是离散随机变量的 失真函数. (3)平均失真 D是对给定信源分布 p（xi） 在给定转移概率分布为 p（yj／xi）的信 道中传输时的失真的总体量度。
信息论与编码第三版 第4章
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
信息论与编码课件(第四章)
• 信源编码基本思想：尽可能缩短出现概率大的信 源符号的码字
电气信息工程学院
4.1 编码器及码的分类
• 码的分类 • 二元码：若码符号集X＝{0，1}，所得码字为一
些二元序列，则称二元码。[在二元信道中传输]
• 允许错误概率越小，编码效率要求越高，则信源 序列长度N就必须越长。
• 实际情况下，要实现几乎无失真的等长编码，N 需要非常大。
电气信息工程学院
4.4 等长信源编码定理
• 例 设离散无记忆信源
S P(s)
s1 3
4
, ,
s2 1 4
• 信源熵 H (S)1lo4 g3lo4g 0.81 (b1istym ) bol • 自信息方差 4 4 3
• 编码的意义： • 通信的基本问题：如何高速、高质地传送信息。 • 高速和高质＝鱼和熊掌。 • 编码讨论的问题： • （1）质量一定，如何提高信息传输速度（提高
编码效率或压缩比）---- 信源编码（本章讨论 问题） • （2）信道传输速度一定，如何提高信息传输质 量（抗干扰能力）----信道编码（下一章讨论）
• 当进行二元编码时，r＝2，则：
等长编码时平均每个 信源符号所需的二元 码符号的理论极限
l H(S)
N
信源等 概分布
l log q N
时
• 一般情况下，信源符号并非等概率分布，且符号
之间有很强的关联性，故信源的熵H(S)<<logq。
电气信息工程学院
4.4 等长信源编码定理
• 从定理4.3可知，在等长编码中每个信源符号平 均所需的二元码符号可大大减少，从而使编码效 率提高。
信息论与编码(第四章PPT)
变长编码
l p( si )li (码元 / 信源符号).
i 1
编码速率:编码后每个信源符号所能承载的的最大信 息量
R l log m(比特 / 码符号).
编码效率:
H(X ) H(X ) . R l log m
码的多余度（剩余度）:
l H ( X ) / log m 1 . l
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
0
w2 w3 w4 w8
w5
2
2级节点
1
0 1
3级节点
w6 w7
w9
w10
w11
26
4.3
r
变长编码
克拉夫不等式( L.G.Kraft, 1949) 长度为l1, l2,…,lr的m元 即时码存在的充分必要条件是：
li m 1 i 1
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00 或10, 0, 01, 00
麦克米伦定理(麦克米伦: B. McMillan, 1956). 长度为l1, l2,…,lr的m元唯一可译码存在的充分必要条件是:
li m 1 i 1 r
27
4.3
变长编码
例 对于码长序列1,2,2,2, 有 + + + = >1,
1 1 1 1 5 2 4 4 4 4 不存在这样码长序列的唯一可译码, 如码2,码3 1 1 1 1 15 对于码长序列1,2,3,4, 有 + + + = <1, 2 4 8 16 16 存在这样码长序列的唯一可译码！ 码4与码5都是唯一可译码！码5是即时码，但码4不是即时码！
信息论与编码第四章课后习题答案
∫ =
− log λe−λx
∞ 0
+ log e
ln e−λx de−λx
∫ =
− log
λ
+
log
et
ln
t
0 1
−
log
e
dt
= −log λ + log e
= log e λ
（2）
h( X )
= −∫ p(x)log p(x)dx
∫ = − ∞ 1 λe−λ x log 1 λe−λ x dx
−∞ 2
2
∫ = − ∞ λe−λx log 1 λe−λxdx
0
2
∫ ∫ = − ∞ λe−λx log 1 dx − ∞ λe−λx log λe−λxdx
0
2
0
= log 2 + log e λ
= log 2e λ
注：（2）题直接借用了（1）的结论。
【4.3】设有一连续随机变量，其概率密度函数为：
sin
x
=
1 2
log
e∫
ln(1
+
sin
x)d
sin
x
+
1 2
log
e∫
ln(1
−
sin
x)d
sin
x
∫ ∫ ln(1+ sin x)d sin x
π
= (1 + sin
x) ln(1+ sin
x)
2 −π
−
2
1 + sin x d sin x 1 + sin x
= 2ln 2 − 2
∫ ln(1− sin x)d sin x
《信息论与编码》第四章习题解答
习题 4.4（3）图
（3）N 个相同 BSC 的积信道，求这时积信道容量 C N ，且证明 lim C N = ∞
N →∞
［证明］ （1）见例 4.3.2 （2）首先因为
I ( X ; Y1 , Y2 ,L , YN ) = H ( X ) − H ( X | Y1 , Y2 LYN )
≤ H(X )
利用切比雪夫不等式
1 P[ Z N = 1| X = 0] = P Z ' N > | X = 0 2 1 = P Z ' N − p > − p | X = 0 2 1 ' ≤ P| Z N − p |> − p p 2 p(1 − p ) = 1 N ( − p )2 2
2
2
二元对称信道C2
4
退化信道容量为 C1 = 0 ，二元对称信道容量为 C2 = 1 − H (ε ) ， 所以和信道的容量为
C = log 1 + 21− H ( ε )
达到信道容量的输入分布为
[
]
p ( X = 0) = 2 C1 − C 1 = 1 + 21− H (ε ) p ( X = 1) = p( X = 2)
所以满足定理 4.2.2 所规定的达到信道容量的充要条件，信道容量为
C=
（e）
3 bit/次 4
1 3 P = 0 1 3
1 3 1 3 0
0 1 3 1 3
1 3 1 3 1 3
信道是准对称信道，当输入分布为均匀分布时达到信道容量，即
p ( X = 0) = p( X = 1) = p ( X = 2) =
0 1
0 1
信息论与编码技术第四章课后习题答案
''
a − a | x| 2 e − D a e− a|x| , (6) 2 2
s
R( D) ≥ R L( D) = h(u ) − h( g )
2 1 = a log e − log (2eD) 2
当（5）式大于零时， R ( D ) = a log e − 4.8
2 1 log (2eD) 2
4.10
X ⎤ ⎡0 1 ⎤ 一二元信源 ⎡ ，每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某二元 ⎢ p( x) ⎥ = ⎢0.5 0.5⎥ ⎣ ⎦ ⎣ ⎦
无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 (2)若此信源失真度测定为汉明失真，问允许信源平均失真多大时，此信源就可以在信道中传输。 解：（1）此信源的熵 H(s)=1 （比特/符号） 所以信源输出的信息传输率为 Rt=2.66 （比特/秒） 将此信源输出符号送入二元无噪无损信道进行传输，此信道每秒钟只传送两个二元符号。 此信道的最大信息传输速率：Ct=2 比特/秒 因为 Rt>Ct 根据信道编码定理， 不论进行任何编码此信源不可能在此信道中实现无错误地传输， 所以信源在此 信道中传输会引起错误和失真。 （2）若设此信源的失真度为汉明失真。因为是二元信源，输入是等概率分布，所以信源的信息率 失真函数 R(D)=1-H(D) 若当 Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误， 也就是不会因信道而增加信源新的失真。 总的信源的失 真是信源压缩编码所造成的允许失真 D 所以有 2=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真 D ≈ 0.0415 时，此信源就可以在此信道中传输。 比特/信源符号 比特/秒 Rt(D)=2.66*R(D)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码 第四章
4.5判断以下几种信道是不是准对称信道
（1）⎥⎦
⎤⎢⎣⎡3.02.05.05.03.02.0不是
（2）⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡7.03.06.04.03.07.0不是 （3）⎥⎦
⎤⎢⎣⎡7.01.02.02.01.07.0是
（4）⎥⎦
⎤⎢⎣⎡6/13/13/16/16/16/13/13/1 是 4.7计算以下离散无记忆信道DMC 的容量及最佳分布
（1）P=⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡---p p p p p p 101001
解：
此为对称信道，达到C 需要等概，则该信道的最佳分布为：
X q （X ） = x1 x2 x313 13 13
所以该信道的容量为：C=log 3+（1-p ）log(1−p)+p log p =log3-H 2（p ）
(2)P=⎥⎦⎤⎢⎣⎡----2/)1(2/)1(2/2
/2/2/2/)1(2/)1(p p p p p p p p
解:
易得该信道为一个准对称信道，假定最佳分布为：
X q （X ） = x1 x2 13 13
s1= (1−p)/2p/2p/2(1−p)/2 s2= (1−p)/2p/2p/2(1−p)/2
C=log k - N s *log M s -H
=log 2-(1/2*log 1/2+1/2*log 1/2)+(1-p)log(1−p)/2+p log p =log2+(1-p)log(1−p)/2+p log p
=log2-H 2（p ）
(5)P= 132323
13
解:
C=log 2+13×log 13+23×log 23 =0.083
4.10给定离散信道的信道转移概率矩阵P=⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡----q q q q p p p p 100100001001,计算其信道容量C
解:
s1= 1−p p p 1−p s2= 0000
S3= 0000
s4= 1−q q q 1−q C=log 4+(1-p)log(1−p)+p log p +(1-q)log(1−q)+q log q
4.11给定离散信道P=
0.30.70.50.5
，计算信道容量C 解：
P −1= −2.5 3.52.5−1.5 H(Y ｜x 1)=-0.3ln 0.3-0.7ln 0.7=0.6
H(Y ｜x 2)=-ln 0.5=0.7
C=ln e {− p −1H}2i=12k=1
=ln[e 2.5∗0.6−3.5∗0.7+e −2.5∗0.6+1.5∗0.7]
=0
4.18 N 个同样的二进制对称信道BSC 级联，如图所示，各信道的转
移概率矩阵为P= p 1−p 1−p p
,证明它等价于一个转移概率为12[1-(1−2p)n ]的BSC ，且当n →∞时，信道容量C →0
图见P98
证明：P N =(1-P N −1)*P+P N −1*(1-P)=P N −1*(1-2P)+P
P N −1=P N −2*(1-2P)+P
P N −2=P N −3*(1-2P)+P
…
P 2=P 1*(1-2P)+P
P 1=P
=>P N =P N −1*(1-2P)+P
=[P N −2*(1-2P)+P]*(1-2P)+P =P N −2*(1−2P)2+P*(1-2P)+P =P N −3*(1−2P)3+P*(1−2P)2+P*(1-2P)+P
=P ∗(1−2P)N −1+P* (1−2P)I N −2I=0
=P (1−2P)I N −1I=0
=P*
1−(1−2P)N 1−(1−2P) =1−(1−2P)N 2
Q N =P{X N =0}=P{X 0=0}*(1-P N )+P{X 0=1}*P N C=0。