信息论自学报告

第二部分 信源编码或信道编码典型案例的实现方案
基于 matlab 的香农编码的实现： 我们从课本上了解香农编码是信源编码的一种方式。 香农第一定理指出了平 均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值， 这是一个很重要的极限定理。香农第一定理指出，选择每个码字的长度 K i 满足 下式： I ( xi ) K i I ( xi ) 1, i 。香农编码法冗余度稍大，实用性不大，但有重要 的理论意义。编码步骤如下： 1、将信源消息符号按其出现的概率大小依次排列； 2、令 p (a0 ) =0，用 pa (a j )( j i 1) 表示第 i 个码字的累加概率：
则认为没有失真；如果 xi y j ，那么就产生了失真。失真的大小，用一个量来表 示，即失真函数 d( xi , y j )，以衡量用 y j 代替 xi 所引起的失真程度。一般失真函数 定义为
xi y j 0 d(xi ,y j ) α α 0 xi y j
最常用的失真函数:
PD
，反映了信源可压缩的程度。信息率失真函数的性质可以总结为以下几点： 1.R(D)是非负的实数，即 R(D) 0 。 2.定义域为 0～ Dmax ，其值为 0～H(X)。 3.当 D> Dmax 时， R(D) 0 。 4.R(D)是关于 D 的下凸函数，因而也是关于 D 的连续函数。 5.R(D)是关于 D 的严格递减函数。 二、离散信源信息率失真函数的参量表达式 我们通过引入拉格朗日乘数 S 和 i (i=1,2,…,n)并计算能够得到以 S 为参量的 平均失真函数 D(S)和 R(S)，即
n m
D( S ) p (ai ) p (b j )d (ai , b j )i e
i 1 j 1
Sd ( ai ,b j )
R ( S ) SD ( S ) p( ai ) ln i
i 1
n
可以证明 S 就是 R(D)函数的斜率： dR S ；斜率 S 必然负值；S 是 D 的递增函
p=q; end C=B(:,j); D=find(C==-1); [e,f]=size(D); if e==n j=0; else j=j+1; end end B A END for i=1:n [u,v]=size(char(END(i))); L(i)=v; end avlen=sum(L.*A)
pa (a j ) p (ai ), j 1,2, , n
i 0
j 1
3、确定满足下列不等式整数码长 ki ： log 2 p (ai ) ki 1 log 2 p (ai ) 4、将 pa (a j ) 用二进制表示，并取小数点后 ki 位作为符号 ai 的编码。 程序： clc; clear; A=[0.4,0.3,0.1,0.09,0.07,0.04]; A=fliplr(sort(A));%降序排列 [m,n]=size(A); for i=1:n B(i,1)=A(i);%生成 B 的第 1 列 end %生成 B 第 2 列的元素： a=sum(B(:,1))/2; for k=1:n-1 if abs(sum(B(1:k,1))-a)<=abs(sum(B(1:k+1,1))-a) break; end end for i=1:n%生成 B 第 2 列的元素 if i<=k B(i,2)=0; else B(i,2)=1; end end %生成第一次编码的结果 END=B(:,2)'; END=sym(END); %生成第 3 列及以后几列的各元素 j=3; while (j~=0) p=1;
dD
数，D 从 0 变到 Dmax ，S 将逐渐增加；当 D=0 时(R(D)的斜率)，S 的最小值趋于 负无穷；当 D= Dmax 时，S 达到最大；这个最大值也是某一个负值，最大是 0； 当 D> Dmax 时，在 D= Dmax 处，除某些特例外，S 将从某一个负值跳到 0，S 在此 点不连续。在 D 的定义域[0, Dmax ]内，除某些特例外，S 将是 D 的连续函数。 三、二元及等概率离散信源的信息率失真函数 我们先讨论二元离散信源的率失真函数。设二元信源
四、保真度准则下的信源编码定理 设一离散平稳无记忆信源的输出随机序列为 X=( X 1 X 2 X L )，若该信源的 信息率失真函数为 R(D)，并选定有限的失真函数。对于任意允许平均失真度 D 和任意小的变量满足：D 0, 0, 0 ，当信息率 R>R(D)时，只要信源序列长 度 L 足够长，一定存在一种编码方式 C，使编码后的平均失真度: D(C ) D 。 D(C ) D ，即译码平均失真 反之，若 R<R(D)，则无论用什么编码方式，必有： 度必大于允许失真度。 以上是我对第四章自学的整理， 下面是信源编码或信道编码典型案例的实现 方案。
1 Dmax min D j D2 2 D 1 2(1 D ) 1 1 2 D 1 2(1 D ) 2 1 1 1 2
1 D 2 1 p ( y1 ) 2D 2 1 1 p( y ) p( y ) 2 1 2
2 均方失真： d ( x i , y j ) x i y j 绝对失真： d ( x i , y j ) x i y j 相对失真： d ( x i , y j ) x i y j / x i
误码失真： d ( x i , y j ) ( x i , y j )
运行结果： B =
参考文献： 赵静，张瑾，高新科．基于 Matlab 的通信系统仿真［J］．北京：北京航空航天大学出版社， 2007
i 1 j 1 i 1 j 1 n m n m
（它是失真函数 d( xi , y j )的数学期望） 保真度准则：规定其平均失真度 D 不能超过某一限定值 D： D D 。对于离散无 记忆信道的 N 次扩展信道，它的平均失真度： D( N ) DK N D 。且根据保
k 1 N
X x1 p ( x ) p i
x2 1 1 ，其中 p ，所以 1 p 1 p 2 2
0 失真矩阵为 D 0 , 输入符号集 X x1 0, x 2 1 0 输出符号集 Y y1 0, y 2 1
while(p<=n) x=B(p,j-1); for q=p:n if x==-1 break; else if B(q,j-1)==x y=1; continue; else y=0; break; end end end if y==1 q=q+1; end if q==p|q-p==1 B(p,j)=-1; else if q-p==2 B(p,j)=0; END(p)=[char(END(p)),'0']; B(q-1,j)=1; END(q-1)=[char(END(q-1)),'1']; else a=sum(B(p:q-1,1))/2; for k=p:q-2 if abs(sum(B(p:k,1))-a)<=abs(sum(B(p:k+1,1))-a); break; end end for i=p:q-1 if i<=k B(i,j)=0; END(i)=[char(END(i)),'0']; else B(i,j)=1; END(i)=[char(END(i)),'1']; end end end end
0, 1，
xi y j 其它
前三种失真函数适用于连续信源，后一种适用于离散信源。 由于 d( xi , y j )只能表示两个特定符号 xi , y j 之间的失真，为了能在平均的意 义上表示信道每传递一个符号所引起的失真的大小，我们定义：平均失真度
D p (ai b j )d (ai , b j ) p (ai ) p (b j / ai )d (ai , b j )
可以得到 Dmax min D j D2 p
j
所以 D( S ) p ( x1 ) p ( y1 )d ( x1 , y1 )1e
Sd ( x1 , y1 )

e S
1 e S
，
R( S )
Se S Se S p ln ( 1 p ) ln p ln p (1 p ) ln(1 p ) ln(1 e S ) 1 2 S S 1 e 1 e 1
令 Dmax p ，则可得： S max

ln
p 。 1 p
R( D)
D

ln
D


D D D ln1 p ln p (1 p ) ln(1 p ) ln1 H ( p ) H ( ) 。 D
当上述二元信源是等概率分布时，上面式子分别化为：
PD p(bj / ai ) : D D

i 1,2,, n; j 1,2,, m

称为 D 允许试验信道。互信息取决于信源分布和信道转移概率分布，当 P( xi )一 定时， 互信息 I 是关于 p( y j / xi ) 的 U 型凸函数， 存在极小值。 在上述允许信道 PD 中，可以寻找一种信道 pij ，使给定的信源 p( xi )经过此信道传输后，互信息 I(X； Y)达到最小。该最小的互信息就称为信息率失真函数 R(D)，即R(D) minI ( X ;Y )
《信息论与编码》课程自学报告
题 学 姓
目： 来自百度文库： 名：
信息率失真函数自学报告
12122224
王斌 钱振兴
13817100562
任课教师： 联系方式：
二零一四年十二月二十日
一、信息率失真函数的定义和性质
xi { a1 ,… 本章首先要了解什么是失真函数。 假如某一信源 X， 输出样值为 xi ， an }， 经过有失真的信源编码器， 输出 Y， 样值为 y j , y j { b1 ,… bm }。 如果 xi y j ，
真准则：D( N ) ND 。 接下来我们来讨论信息率失真函数的定义。平均失真由信源分布 p( xi )、假 想信道的转移概率 p( y j / xi )和失真函数 d( xi , y j )决定，若 p( xi )和 d( xi , y j )已定， 则可给出满足 x 下式条件的所有转移概率分布 pij ，它们构成了一个信道集合 PD