第七章：信息率失真函数与限失真信源编码-2014-dy

第四章_信息率失真函数-习题答案

4.1 一个四元对称信源? ?????=??????4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为????? ???????0111 101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 函数曲线： D 其中： symbol nat D R D symbol nat D R D symbol nat D R D symbol nat R D /0)(,4 3/12ln 2 14ln )(,21/3 16ln 214ln )(,41/4ln )0(,0==-==-==== 4.2 若某无记忆信源??????-=??????3/113/13/101)(X P X ，接收符号??????-=21,21Y ，其失真矩阵???? ??????=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。

第四章 信息率失真函数-习题答案

4.1 一个四元对称信源? ?????=??????4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为????? ???????0111 101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 函数曲线： D 其中： sym bol nat D R D sym bol nat D R D sym bol nat D R D sym bol nat R D /0)(,4 3/12ln 2 14ln )(,21/3 16ln 214ln )(,41/4ln )0(,0==-==-==== 4.2 若某无记忆信源??????-=??????3/113/13/101)(X P X ，接收符号??????-=21,21Y ，其失真矩阵???? ??????=112211D 求信源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。 4.3 某二元信源??????=??????2/12/110)(X P X 其失真矩阵为?? ????=a a D 00求这信源的D max 和D min 和R(D)

第八章 限失真信源编码

第八章 限失真信源编码 8.1设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d (αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明: ∑==r i j i j i b a d a p D 1 min )},(min ){( 并写出取得min D 的试验信道的传输概率选取的原则,其中 ))}/(,),/(),/({min ),(min 21i S i i j j i j a b p a b p a b p b a d = (证明详见:p468-p470) 8.2设信源X 的概率分布P(X):{p(α1), p(α2), …,p(αr ) },失真度为d(αi , βj )≥0,其中 (i=1,2,…,r;j=1,2,…,s).试证明: }),()({min 1 max ∑==r i j i i j b a d a p D 并写出取得max D 的试验信道传递概率的选取原则. (证明详见:p477-p478) 8.5设二元信源X 的信源空间为: -1 )( 1 0X :][X ????ωωX P P 令ω≤1/2,设信道输出符号集Y:{0,1},并选定汉明失真度.试求: (1) D min ,R(D min ); (2) D max ,R(D max ); (3) 信源X 在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解： {}{}{}{}0 )()(0);()1()}0();1({min )1,1()1()1,0()0(;)0,1()1()0,0()0(min ),()(min )2() ()()/()(min );(min )0()(0 )/(),2,1(1)/(0)/(100110][1 0 00 0)1(0)0(),(min )()1(max 21min max min min 2 1 min ==∴====++=? ?? ???=' ===-===∴====?? ?? ??===?+?==∑∑==ωω ωR D R Y X I p p p d p d p d p d p b a d a p D D H X H Y X H X H Y X I R D R Y X H i a b p a b p P D D p p b a d a p D j j i j i i j i j i j i j i j i 此时故此时或的信道矩阵 则满足保真度＝最小允许失真度：

信息率失真函数.doc

第四章信息率失真函数（第九讲） （2课时） 主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R（D）计算重点：失真函数、平均失真、信息率失真函数R（D）、信息率失真函数的计算。 难点：信息率失真函数R（D）、信息率失真函数的计算。 作业：4、lo 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 §4-1引言 （一）引入限失真的必要性： 失真在传输中是不可避免的； 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的； 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D,及其相应的信源最小信息率R（D）. 对限失真信源，应该传送的最小信息率是R（D）,而不是无失真情况下的信源爛H（U）. 显然H（U）2R（D）. 当且仅当D=0时，等号成立； 为了定量度量D,必须建立信源的客观失真度量，并与D建立定量关系； R（D）函数是限失真信源信息处理的理论基础； （二）R（D）函数的定义 信源与信宿联合空间上失真测度的定义：d （见叩:t/xV^/r[0,oo） 其屮：u*U（单消息信源空I'可） v y eV （单消息信宿空间） 则有 万=Y工〃（吧 称7为统计平均失真，它在信号空I'可屮可以看作一类“距离”，它有性质 1〉= 0,当比=Vj 2〉min 〃（吧）=°

3〉05〃(比/匕)<00 对离散信源：i=j=l,2............. n , d(upj) = djj, 则有： d 」0,当；可(无失真) 厂］〉0,当iHj (有失真) 若取冷为汉明距离，则有： Jo,当i = j (无失真) 厂［1,当iHj (有失真) 对连续信源，失真可用二元函数d(u,v)表示。 推而广之，d(u,v)可表示任何用V 表达U 时所引进的失真，误差，损失，风险，甚至是 主观感觉 上的差异等等。 进一步定义允许失真D 为平均失真的上界: D>d =工=工工〃￡皿???对离散 ? ? ? ? 在讨论信息率失真函数时，考虑到信源与信宿之I'可有一个无失真信道，称它为试验信 道，对离散信源可记为p 〃，对限失真信源这一试验信道集合可定义为： P D =\P ji -D>d = YLP ：P J^ 根据前面在互信息中已讨论过的性质: 1(U\ I,p ；j\ 且互信息是门的上凸函数，其极限值存在且为信道容量：C = max/(卫: p< ? 这里，我们给出其对偶定义： R(D)= mi 1Y U # ) m"pQp2,_ D P j f P D 陆 j i P D 即互信息是◎的下凸函数。其极限值存在且为信息率失真函数。 它还存在下列等效定义： D(R) = minD>d =工工门叽 < P 泸 P R i J P R = {? : /(t/；V) < R (给定速率)} 称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大 失真Do 至此，我们已给定R(D)函数一个初步描述。 则有: d(u. v)= (w-仍 H = \u-v

第7章 限失真信源编码

7.1 设输入符号集为}1 ,0{=X ，输出符号集为}1 ,0{=Y 。定义失真函数为 1 )0,1()1,0(0)1,1()0,0(====d d d d 试求失真矩阵D 。 解： 041 041041041),(min )(43 0411********),()(min min min max =?+?+?+?=== ?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 7.2 设输入符号集与输出符号集为}3 ,2 ,1 ,0{==Y X ，且输入信源的分布为 )3 ,2 ,1 ,0( 4 1 )(===i i X p 设失真矩阵为 []????? ???? ???=01 11 101111011110d 求D max 和D min 及R(D)。 解： 041 041041041),(min )(43 0411********),()(min min min max =?+?+?+?=== ?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ?? ? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13 ln 4ln )( 7.3 利用R(D)的性质，画出一般R(D)的曲线并说明其物理含义？试问为什么R(D)是非负且非增的？ 解： 函数曲线：

信息论与编码[第五章无失真信源编码定理与编码]山东大学期末考试知识点复习

第五章无失真信源编码定理与编码 5．1．1 信源编码和码的类型 1．信源编码 2．码的类型 若码符号集中符号数r=2称为二元码，r=3称为三元码，……，r元码。 若分组码中所有码字的码长都相同则称为等长码，否则称为变长码。 若分组码中所有码字都不相同则称为非奇异码，否则称为奇异码。 若每个码符号x i∈X的传输时间都相同则称为同价码，否则称为非同价码。 若分组码的任意一串有限长的码符号只能被唯一地译成所对应的信源符号序列则称为唯一可译码，否则称为非唯一可译码。 若分组码中，没有任何完整的码字是其他码字的前缀，则称为即时码(又称非延长码或前缀条件码)，否则称为延长码。 本章主要研究的是同价唯一可译码。 5．1．2 即时码及其树图构造法 即时码(非延长码或前缀条件码)是唯一可译码的一类子码。 即时码可用树图法来构造。构造的要点是： (1)最上端为树根A，从根出发向下伸出树枝，树枝总数等于r，树枝的尽头

为节点。 (2)从每个节点再伸出r枝树枝，当某节点被安排为码字后，就不再伸枝，这节点为终端节点。一直继续进行，直至都不能伸枝为止。 (3)每个节点所伸出的树枝标上码符号，从根出发到终端节点所走路径对应的码符号序列则为终端节点的码字。 即时码可用树图法来进行编码和译码。 从树图可知，即时码可以即时进行译码。 当码字长度给定，即时码不是唯一的。 可以认为等长唯一可译码是即时码的一类子码。 5．1．3 唯一可译码存在的充要条件 (1)对含有q个信源符号的信源用含r个符号的码符号集进行编码，各码字的码长为l1，l2，…，l q的唯一可译码存在的充要条件是，满足Kraft不等式 5．1．4 唯一可译码的判断法 唯一可译码的判断步骤： 首先，观察是否是非奇异码。若是奇异码则一定不是唯一可译码。 其次，计算是否满足Kraft不等式。若不满足一定不是唯一可译码。 再次，将码画成一棵树图，观察是否满足即时码的树图的构造，若满足则是唯一可译码。 或用Sardinas和Patterson设计的判断方法：计算出分组码中所有可能的尾

【免费下载】第四章 信息率失真函数 习题答案

4.1 一个四元对称信源，接收符号Y = {0, 1, 2, 3}，其失??????=??????4/14/1324/14/110)(X P X 真矩阵为，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。????????????0111101111011110解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数：??? ??-??? ??-+-+=a D a D n a D a D n D R 1ln 11ln ln )(其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13ln 4ln )(函数曲线： D 其中：symbol nat D R D symbol nat D R D symbol nat D R D symbol nat R D /0)(,43/12ln 214ln )(,21/316ln 214ln )(,41/4ln )0(,0==-==-====4.2 若某无记忆信源，接收符号，其失真矩阵求信??????-=??????3/113/13/101)(X P X ??????-=21,21Y ??????????=112211D 源的最大失真度和最小失真度，并求选择何种信道可达到该D max 和D min 的失真度。

4.3 某二元信源其失真矩阵为求这信源的D max 和D min 和R(D)??????=??????2/12/110)(X P X ?? ????=a a D 00函数。解：0021021),(min )(202121),()(min min min max =?+?===?+?===∑∑i j i j i i j i i j j y x d x p D a a y x d x p D D 因为二元等概信源率失真函数：??? ??-=a D H n D R ln )(其中n = 2, 所以率失真函数为： ????????? ??-??? ??-+-=a D a D a D a D D R 1ln 1ln 2ln )(4.4 已知信源X = {0, 1}，信宿Y = {0, 1, 2}。设信源输入符号为等概率分布，而且失真函数，求信源的率失真函数R(D)。??????∞∞=1100D 4.5 设信源X = {0, 1, 2, 3}，信宿Y = {0, 1, 2, 3, 4, 5, 6}。且信源为无记忆、等概率分布。失真函数定义为 证明率失真函数R(D)如图所示。???????∞ ======且且且且53,21 41,010),(j i j i j i y x d j i log22log2D 4.6 设信源X = {0, 1, 2}，相应的概率分布p (0) = p (1) = 0.4，p (2) = 0.2。且失真函数为)2,1,0,(10),(=???≠==j i j i j i y x d j i (1) 求此信源的R(D)； (2) 若此信源用容量为C 的信道传递，请画出信道容量C 和其最小误码率P k 之间的曲线关系。 4.7 设0 < α, β < 1, α + β = 1。试证明：αR(D’) +βR(D”) ≥ R(αD’ +βD”) 4.8 试证明对于离散无记忆N 次扩展信源，有R N (D) = NR(D)。其中N 为任意正整数，D ≥ D min 。 4.9 设某地区的“晴天”概率p (晴) = 5/6，“雨天”概率p (雨) = 1/6，把“晴天”预报为“雨天”，把“雨天”预报为“晴天”造成的损失为a 元。又设该地区的天气预报系统把“晴天”预报为“晴天”，“雨天”预报为“雨天”的概率均为0.9；把把“晴天”预报为“雨天”，把“雨天”预报为“晴天”的概率均为

第6章 限失真信源编码

第6章 限失真信源编码 一、例题： 【例6.1】 二元对称信源，信源{0,1}U =，接收变量{0,1}V =，在汉明失真定义下，失真函数为： (0,0)(1,1)0d d ==，(0,1)(1,0)1d d == 其失真矩阵为 011 0??=? ??? D 容易看出：对于离散对称信源，其汉明失真矩阵D 为一个方阵，且对角线上的元素为零，即： 011110111 1011 1 1 0?? ??????=???????? D 【例6.2】 信源U ＝{0,1,2}，接收变量V ＝{0,1,2},失真函数为2 (,)()i j i j d u v u v =-，求失真矩阵。由失真定义得： d (0,0)＝d (1,1)＝d (2,2)＝0 d (0,1)＝d (1,0)＝d (1,2)＝d (2,1)＝1 d (0,2)＝d (2,0)＝4 所以失真矩阵D 为 141 014 1 4?? ??=?????? D 【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ，其中(1,2)i U i =取自符号集 {0,1}，通过信道传输到信宿，接收N 维随机序列12()V V =V ，其中(1,2)i V i =取自符号集

{0,1}，定义失真函数 (0,0)(1,1)0(0,1)(1,0)1 d d d d ==== 求符号序列的失真矩阵。 解： 由N 维信源序列的失真函数的定义得 1 1(,)(,)(,) ,k k N N N i j i j k d d d u v N αβ=== ∈∈∑u v u U v V 所以 [][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)2 2 N N d d d d d d =+== += 类似计算其他元素值，得到信源序列的失真矩阵为 11012211012211102211102 2 N ??????????=? ?????????? ? D 【例6.4】 设信源符号有8种，而且等概率，即1()8 i P u = 。失真函数定义为 0(,)1i j i j d u v i j =?=?≠? 假如允许失真度12 D =，即只要求收到的符号平均有一半是正确的。我们可以设想这 样的方案： 方案一：对于1234,,,u u u u 这四个信源符号照原样发送，而对于5678,,,u u u u 都以4u 发送。如图6.1(a )所示。 方案二：对于1234,,,u u u u 这四个符号照原样发送，而对于5678,,,u u u u 分别以 1234,,,u u u u 发送。如图6.1(b )所示。

第4章 信息率失真函数

第四章 信息率失真函数 无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率 R 小于信道容量 C ，总能找到一种编码方法,使得在该信道上的信息传输的差错概率 P e 任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。但是，无失真的编码并非总是必要的。无失真的编码并非总是可能的。在实际信息传输系统中，失真是不可避免的，有时甚至是必须的。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D 的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。 1 失真测度 1.1 失真度 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。 离散无记忆信源U ，信源变量U ＝{u1,u2,…ur}，概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接收变量V ＝ {v1,v2,…vs} 。 对应于每一对(u,v)，我们指定一个非负的函数： 称为单个符号的失真度(或失真函数)。 通常较小的d 值代表较小的失真，而d(ui,vj)＝0表示没有失真。 若信源变量U 有r 个符号，接收变量V 有s 个符号，则d(ui,vj)就有r ×s 个,它可以排列成矩阵形式，即： 它为失真矩阵D ，是 r ×s 阶矩阵。 须强调: 这里假设U 是信源，V 是信宿，那么U 和V 之间必有信道。实际这里U 指的是原始的未失真信源，而V 是指失真以后的信源。因此，从U 到V 之间实际上是失真算法，所以这里的转移概率p(vj/ui)是指一种失真算法，有时又把p(vj/ui) 称为试验信道的转移概率，如图所示： j i j i v u d j i ≠=???>=)0(0),(α????????????=),(...),(),(:...::),(...),(),(),(...),(),(212221212111s r r r s s v u d v u d v u d v u d v u d v u d v u d v u d v u d D

信息率失真函数

第四章 信息率失真函数（第九讲） （2课时） 主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R(D)计算 重点：失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的计算。 难点：信息率失真函数R(D)、信息率失真函数的计算。 作业：4、1。 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 §4-1 引言 （一） 引入限失真的必要性： 失真在传输中是不可避免的; 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos 要求下的最大允许（容忍）失真D ，及其相应的信源最小信息率R(D). 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； 为了定量度量D ，必须建立信源的客观失真度量，并与D 建立定量关系； R(D)函数是限失真信源信息处理的理论基础； （二） R(D)函数的定义 信源与信宿联合空间上失真测度的定义：()i j d u v : [0,)U V R + ?→∞ 其中： i u U ∈ （单消息信源空间） j v V ∈ （单消息信宿空间） 则有 ()()i j i j i j u v d p u v d u v =∑∑ 称d 为统计平均失真，它在信号空间中可以看作一类“距离”，它有性质 1〉()0i j d u v =, 当i j u v = 2〉 ,()0min i j i j u U v V d u v ∈∈=