信息论与编码8----限失真信源编码2
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
(信息论)第7章限失真信源编码
(7.5)
BD p y | x : D D
i 1, 2, , n ; j 1, 2, , m
7.2.2 信息率失真函数的定义 在 D 允许信道 BD 中可以寻找一个信道 pY | X ，使 给定的信源经过此信道传输时，其信道传输率 I X , Y 达到 最小，定义为信息率失真函数 RD ，也称为率失真函数， 即
1 n d n xi , y j d xik , y jk n k 1
信源编码过程是这样进行的：当信源发送序列 xi 时， 就从分组码 Y 中选取一个码字 y j，使失真最小，即
d n xi | Y min d n xi , y j
y j Y
(7.7)
所以分组码 Y 的平均失真度为
当采用随机编码方法时，考虑到接收端输出序列分
布q yj
，则分组码 Y 的平均失真度为
p xi q y j d n xi | Y (7.9)
N M i 1 j 1
dn Y E dn Y
对于分组码 M , n ，其最大速率为
7.2 信息率失真函数
7.2.1 D 允许信道(试验信道)
问题的提出 对于信息容量为 C的信道传输信息传输率为 R 的信 源时，如果 R C ，就必须对信源进行压缩，使其压缩 后信息传输率 R 小于信道容量 C，但同时要保证压缩 所引入的失真不超过预先规定的限度。 保真度准则
如果预先规定的平均失真度为 D ，则称信源压缩后 的失真度 D 不大于 D 的准则为保真度准则，即保真度 准则满足
，则平均失真度为
第5章 限失真信源编码
R(D) min I(X ;Y) min
Pij PD
Pij PD
n i1
m j 1
p(xi
)
p( y
j
/
xi
) log
p(y j / p( y j
xi） )
其单位是比特/信源符号。
应当注意，在研究R(D)时，我们引用的条件概 率 p(y / x)并没有实际信道的含义，只是为了求
平均互信息的最小值而引用的、假想的可变试
第5章 限失真信源编码
1. 信息率失真函数
2. 限失真信源编码定理
3. 常用信源编码方法
第三章我们讨论了无失真信源编码。但是，在很多 场合，特别是对于连续信源，因为其绝对熵为无限 大，若要求无失真地对其进行传输，则要求信道的 信息传输率也为无限大，这是不现实的。因此也就 不可能实现完全无失真传输。
显然或者是最小值不变，或者是变小了，所以 R(D)是非增的。
关于R(D)的连续性，这里我们就不再证明了。 所以，R(D)有如下基本性质： • R(D) 0，定义域为 0 ~ Dma，x 当 D Dm时ax ，
R(D)=0。 • R(D)是关于D的连续函数。 • R(D)是关于D的严格递减函数。
因此，当规定了允许失真，又找到了适当的失真
函数 dij ，就可以找到该失真条件下的最小信息
率R(D)，用不同的方法进行数据压缩时（在允 许的失真限度D内），其压缩的程度如何，可以 用R(D)来衡量。由它可知是否还有压缩潜力， 有多大的压缩潜力。因此，有关R(D)的研究也 是信息论领域的一个研究热点。
0 1
1 0
求 Dmax
解：Dmax min d ' ( y) min p(x)d (x, y)
第5章限失真信源编码.
第5章 限失真信源编码
例 题：
0 1 1/2 删除信道 X {0 ， 1} ， Y {0 ， 1， 2} ， D ，求 Dmin 1 0 1/2
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（ 5-3） ， D 就只与信道特性有关，把所有满足保真度 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ，即：
PD = p( y j | xi ); D ≤ D ; i = 1 , 2 , , m ; j = 1 , 2 , ，n
yn p( y 2 ) p( y n ) y2
对于每一对 ( xi , y j ) ，指定一个非负的函数 d ( xi , y j ) ≥ 0, i 1 , 2 , , m ; j 1 , 2 , , n ， 称 d ( xi , y j ) 为单位符号的失真度或失真函数，用它来表示信源发出一个符号 x i ，而在接收端再 现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真，而 d ( xi , y j ) 0 表示没 有失真。由于信源 X 有 m 个符号，信道传输 Y 有 n 个符号，所以 d ( xi , y j ) 有 m n 个，这 m n 个非负的函数可以排列成矩阵形式，即：
第5章 限失真信源编码
汉明失真矩阵 D 通常为方阵，且对角线上的元素为 0。即：
0 1 D 1
D 是 m m 阶方阵。
例 题：
1 1 1 0 1 1 1 1 0
设信道输入 X {0 , 1} ，输出 Y {0 , 1 , 2} ，规定失真函数 d (0 , 0) d (1 , 1) 0 ， d (0 , 1) d (1 , 0) 1 ， d (0 , 2) d (2 , 0) 0.5 ，求 D 。 解：由失真函数和失真矩阵可得出：
简述限失真信源编码定理
简述限失真信源编码定理
限失真信源编码定理是信息论中的一个重要定理，它指出，在给定的信息源和编码器的情况下，可以通过编码器将信息源的信息编码成一个符合某种失真度要求的信号，从而实现信息的传输。
限失真信源编码定理的具体表述是：设X是一个有限的信息源，Y是一个有限的编码器，D是一个失真度函数，则存在一个编码器Y，使得对任意的X，都有：
D(X,Y(X))≤D0
其中D0是一个给定的失真度阈值。
这个定理表明，在给定的失真度阈值D0的情况下，可以通过编码器Y将信息源X的信息编码成一个符合失真度要求的信号，从而实现信息的传输。
限失真信源编码定理的重要性在于，它提供了一种有效的方法来传输信息，即在给定的失真度阈值D0的情况下，可以通过编码器Y将信息源X的信息编码成一个符合失真度要求的信号，从而实现信息的传输。
因此，限失真信源编码定理在信息论中具有重要的意义。
信息论_限失真信源编码
信息论的旅程本章将着重讨论允许一定失真的条件下可把信源信 息压缩到什么程度。
第七章 限失真信源编码三、信源的输出中含 有多少信息？四、传输信息的最高速 率（信道容量）2009-12-22五、无失真信源编码 六、有噪信道编码 九、实际信道编码方法七、限失真信源编码2主要内容1.1 概述 失真产生的原因信道噪声的干扰使得信息传输过程会产生差错； 当信息传输率超过信道容量时，必然产生差错； 信源熵是信源无失真压缩的极限，若再继续压缩 则会带来失真。
基本概念1. 概述 1. 概述 2. 系统模型 2. 系统模型失真测度 信息率失真函数 限失真信源编码定理3失真存在的合理性信宿的灵敏度和分辨率是有限的，不要求绝对无 失真； 允许失真的存在，可以提高信息传输率，从而降 低通信成本。
41.1 概述（续）1.2 系统模型 – 只讨论信源编码问题信源 编码 信道 编码 信道 干扰 信道 译码 信源 译码无失真信源压缩的极限：信源的信息熵 本章的研究内容在允许一定程度失真的条件下，能够把信 源信息压缩到什么程度，即最少需要多少 比特才能描述信源。
研究方法用研究信道的方法，来研究有失真信源压 缩问题。
5信源X 试验信道P(Y | X )Y 失真信源无失真 信源编码信道 编码61主要内容失真函数 d (x, y )2.1 失真测度 – 失真函数基本概念非负函数；函数形式可根据需要定义 1. 失真函数 1. 失真函数 2. 平均失真 2. 平均失真 定量描述发出符号与接收符号之间的差异 （失真）x2 L ⎡ X ⎤ ⎡ x1 ⎢ P ⎥ = ⎢ p(x ) p(x ) L ⎣ ⎦ ⎣ 1 2 xn ⎤ p(xn )⎥ ⎦失真测度信息率失真函数 限失真信源编码定理7Y : {y1 , y 2 , L , y m }失真矩阵⎡ d (x1,y1 ) d ( x1,y2 ) L d ( x1,ym )⎤ ⎢d ( x ,y ) d ( x ,y ) L d ( x ,y )⎥ 2 2 2 m ⎥ D=⎢ 2 1 ⎢ M ⎥ M M ⎢ ⎥ d (xn ,y1 ) d ( xn ,y2 ) L d ( xn ,ym )⎦ ⎣82.1 失真测度 – 失真函数（续）常用的失真函数有： （1） 汉明失真2.1 失真测度 – 失真函数 – 例题例7.1 设信道输入 X = {0,1}，输出 Y = {0, ?,1} ，规定失 真函数 d(0, 0) = d(1, 1) = 0， d(0, 1) = d(1, 0) = 1， d(0, ?) = d(1, ?) = 0.5，求 D 。
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
信息论：第8章 无失真的信源编码讲解
9
8.1 霍夫曼码
香农编码 • 香农编码严格意义上来说不是最佳码。 • 香农编码是采用信源符号的累计概率分布函数来
分配码字。
10
香农编码方法如下： (1)将信源消息符号按其出现的概率大小依次排列：
• 一般情况下，按照香农编码方法编出来的码，其平 均码长不是最短的，也即不是紧致码(最佳码)。只有 当信源符号的概率分布使不等式左边的等号成立时， 编码效率才达到最高。
19
8.1.1 二元霍夫曼码
1952年霍夫曼提出了一种构造最佳码的方法。它是一 种最佳的逐个符号的编码方法。其编码步骤如下： (1) 将信源消息符号按其出现的概率大小依次排列
上式。
36
注意: 对于r元码时，不一定能找到一个使式 q (r 1) r 成立。在不满足上式时，可假设一些信源符号： sq1 , sq2 ,..., sqt 作为虚拟的信源，并令它们对应 的概率为零，即：pq1 pq2 ... pqt 0
而使 q t (r 1) r 能成立，这样处理后得到
21
例8.1:
对离散无记忆信源 进行霍夫曼编码。
S p(si
)
s1 0.4
s2 0.2
s3 0.2
s4 0.1
s5 0.1
解:编码过程如表所示，
1)将信源符号按概率大小由大至小排序。
2)从概率最小的两个信源符号和开始1”，上面的信源符号（大概率）为“0”。若两 支路概率相等，仍为下面的信源符号为“1” 上面的 信源符号为“0”。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码-限失真信源编码
这种编码方法无需计算出所有信源序列的概率分 布及编出码表,可以直接对输入的信源符号序 列进行编码输出. 算术编码的主要编码方法就是计算信源符号序列 所对应的小区间.下面我们讨论如何找出信源 符号序列所对应的区间. 设信源符号集 A = {a1 , a2 ,, aq },其相应的概率分布 为 p(ai ),p(ai ) > 0(i = 1,2,, q) .定义信源符号的累 积分布函数为
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.
1 l = log p(s)
信息论与编码-限失真信源编码
设 C = 0.z1 z 2 zl ,zi 取0或者1,得符号s的码字为 z1 z 2 z l . 这样选取的数值C,根据二进制小数截去位数的 影响,得
C F ( s) < 1 2l
当F(s)在l位以后没有尾数时,C=F(s).另外,由 1 1 l = log 可知, p ( s ) ≥ l ,则信源符号序列
信息论与编码-限失真信源编码
F(s1)=F(0111)=F(s="011")+p(011)p(0) =F(s="01")+p(01)p(0)+p(011)p(0) =F(s="0")+p(0)p(0)+p(01)p(0)+p(011)p(0) =0+p(00)+p(010)+p(0110) 其对应的区间宽度为 A(s1)=A(s="011")p(1)=p(011)p(1)=p(0111) 由于累积分布函数和子区间宽度都是递推公式, 因此在实际应用中,只需要两个存储器,把p(s) 和F(s)存下来,然后随着符号的输入,不断地
综合上述几个式子,可得二元信源符号序列的累 计分布函数的递推公式为 F(sr)=F(s)+p(s)F(r) (r=0,1) 其中sr表示已知前面信源符号序列为s,接着再输 入符号为r.同样,可得信源符号序列所对应区 间宽度的递推公式为 A(sr)=p(sr)=p(s)p(r) 因此,当已输入的二元信源符号序列为s="011", 若接着输入符号为"1",得累积分布函数为
p(s)
2
信息论与编码-限失真信源编码
S对应区间的上界
F ( s) + p( s) = F ( s) + 1 2l >C
可见,数值C在区间[F(s),F(s)+p(s))内.不同的 信源序列对应的不同区间(左封右开的区间) 式不重叠的,所以编得的码是即时码.符号序 列s的平均码长满足:
∑ p(s) log p(s) ≤ L = ∑ p(s)l (s) < ∑ p(s) log p(s) + 1
信息论与编码-限失真信源编码
当输入符号序列中第三个符号为"1"时,因前面 已输入序列为s="01",所以可记做输入序列为 s1="011"(若第三个符号输入为"0",可记做 s0="010").现在,输入序列s1="011"所对应 的区间是对区间[F(s),F(1))进行分割.序列 s0="010"对应的区间宽度为 A(s0="010")=A(s="01")p(0)=A(s)p(0),其对 应的区间为[F(s),F(s)+A(s)p(0)),而序列 s1="011"对应的区间宽度为 A(s1="011")=A(s)p(1)=A(s="01")-A(s0="010),
信息论与编码-限失真信源编码
通过关于信元符号序列的累计分布函数计算,F(s) 可以把区间[0,1)分割成许多小区间,不同的 信元符号序列对应于不同的区间为 [F(s),F(s)+p(s)).可取小区间内的一点来代表 这序列.如何选择这个点? 将符号序列的累计分布函数写成二进制小数,取 小数点后l位,若后面有尾数,则进位到第l位, 这样得到的一个数C,并使l满足:
信息论与编码-限失真信源编码
分布函数.根据前面的分析,可归纳出: 当已知前面输入符号序列s,若接着输入一个符号 "0",序列s0的累计分布函数为 F(s0)=F(s) 对应区间宽度为 A(s0)=A(s)p(0) 若接着输入的一个符号是"1",序列s1的累计分 布函数为
信息论与编码-限失真信源编码
信息论与编码-限失真信源编码
场合下也是比较困难的. 为了解决这个问题,需要跳出分组码的局限,研 究非分组码.算术编码就是一种非分组编码方 法.其基本思路是:从全序列出发,将不同的 信源序列的累计概率映射到[0,1]区间上,使 每个序列对应区间上的一点,也就是说,把区 间[0,1]分成许多互不重叠的小区间,不同的 信源序列对应不同的小区间,可以证明,只要 这些小区间互不重叠,就可以编得即时码.
信息论与编码-限失真信源编码
只讨论二元无记忆信源,结果可推广到一般情况. 初始时,在[0,1)区间内由F(1)划分成二个子区 间[0,F(1))和[F(1),1),F(1)=p(0).子区 间[0,F(1)]的宽度为A(0)=p(0),子区间[F(1), 1)的宽度为A(1)=p(1).子区间[0,F(1)]对应 于信源符号"0",子区间[F(1),1)对应于信 源符号"1".若输入符号序列的第一个符号为 s="0",即落入相应的区间为[0,F(1)),得 F(s="0")=F(0)=0.即某序列累积概率分布函数 为该序列所对应区间的下界值.
转换成二进制小数为:
�
A(s="010")=A(s="01")p(0)=p(01)p(0)=p(010);
A("011")=A(s="01")-A(s="010") =A(s="01")p(1)=p(01)p(1)=p(011); … 由此可得,信源符号序列s对应的区间宽度等于符 号序列s的概率p(s).
信息论与编码-限失真信源编码
信息论与编码-限失真信源编码
更新两个存储器中的数值.因为在编码过程中, 没输入一个符号要进行乘法和加法运算,所以 称这种编码方法为算术编码 算术编码. 算术编码 很容易将其推广到多元信源序列.可以得到一般 信元序列的累计分布函数和区间宽度的递推公 式为
F ( sa k ) = F ( s ) + p ( s ) F (a k ) A( sa k ) = p ( sa k ) = p ( s ) p (a k )
信息论与编码-限失真信源编码
F (ak ) =
∑ p(a )
i i =1) = 0, F (a 2 ) = p (a1 ), F (a3 ) = p (a1 ) + p (a 2 ), F (0) = 0, F (1) = p (0)
对二元序列有: 现在,来计算信源序列 s = {si1 si2 sin }, sik ∈ A(k = 1,2,, n) 的累积分布函数.
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
p ( s = 11111100) = p 2 (0) p 6 (1) = (1 / 4) 2 (3 / 4) 6
1 l= =7 log p ( s )
信息论与编码-限失真信源编码
于是
F ( s = 11111100) = F (111111) = F (11111) + p (11111) p(0) = F (1111) + p (1111) p(0) + p (11111) p (0) = F (111) + p (111) p (0) + p (1111) p (0) + p (11111) p (0) = F (11) + p (11) p (0) + p (111) p (0) + p (1111) p (0) + p (11111) p (0) = F (1) + p (1) p(0) + p (11) p (0) + p (111) p (0) + p (1111) p (0) + p (11111) p (0) = p (0) + p (10) + p (110) + p (1110) + p (11110) + p (111110) = 0.82202