信息熵平均互信息信道容量

《信息论与编码》

实验1 绘制熵函数曲线

一、实验目的

熟悉工作环境及Matlab 软件 掌握绘图函数的运用 理解熵函数表达式及其性质 二、实验原理

信息熵

自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。 ➢ 熵的表示

[]()()()()()log ()i i i i i

i

H X E I X p x I x p x p x ===-∑∑

➢ 注意的问题

熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r 进制单位/符号。

特殊公式：某个pk=0时，0log0=0 (0

lim log 0→=x x x )在熵的定义中忽略零概

率事件。

➢ 平均互信息

平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之

差，是互信息量的统计平均:

,,(/)

()(;)()(/)log

()(/)

()log

()(;)===∑∑∑i j j j j i j j i j

i i j i j i j

i p x y p y I X y p y p x y p x p x y p x y p x I X Y

()()()()()()

;/;/=-=-I X Y H X H X Y I Y X H Y H Y X

三、实验内容

1.用 Matlab 软件绘制二进熵函数曲线。

➢ 二元信源

101

1⎛⎫⎛⎫=≤≤ ⎪ ⎪-⎝⎭⎝⎭

X p P p p

➢ 二元信源的熵为

(,1)log (1)log(1)-=----H p p p p p p

绘制当p 从0到1之间变化时的二元信源的信息熵曲线.

Matlab 程序： p=0.00001:0.001:1;

h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h);

title('二进熵函数曲线'); ylabel('H(p,1-p)') 2．绘制三元信源的熵

➢ 三元信源

123

121

2

120,1

1()⎛⎫⎛⎫=≤≤ ⎪

⎪--⎝⎭⎝⎭

x x x X p p p p p p P x

➢ 三元信源的熵为

111111221212(,,1)log log (1)log(1)

--=-------H p p p p p p p p p p p p 绘制当12,p p 从0到1之间变化时的三元信源的信息熵曲线.

[p1,p2]=meshgrid(0.00001:0.001:1);

h=-p1.*log2(p1)-p2.*log2(p2)-(1-p1-p2) .*log2(1-p1-p2); meshc(p1,p2,h);

title('三进熵函数曲线');

3．绘制平均互信息量图形

对于二元对称信道的输入概率空间为0,1(),1ωωω⎡⎤⎡⎤

=⎢⎥⎢⎥

=-⎣⎦⎣⎦

X P x

平均互信息：

根据：1

()()(|)1===∑r

j i j i i P b P a P b a

所以：

2

1(0)()(0|)(0)(0|0)(1)(0|1)ωω====+=+∑i i i P y P a P a P P P P p p

21

(1)()(0|)(0)(1|0)(1)(1|1)ωω====+=+∑i i i P y P a P a P P P P p p

(;)()(/)

=-I X Y H Y H Y X 1()()(/)log

(/)

=-∑∑X

Y

H Y P x P y x P y x 11()()[log

log ]=-+∑X

H Y P x p p p p

11

()[log

log ]()()=-+=-H Y p p H Y H p p p

1111

(;)()()()log ()log [log log ]

()()()

ωωωωωωωωωω=-=+++-+++=+-I X Y H Y H p p p p p p p p p p p p p

H p p H p 绘制当

,ωp 从0到1之间变化时的平均互信息熵曲线.

[w,p] = meshgrid(0.00001:0.001:1);

h=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log2(w.*p+(1-w).*(1-p))+(p.*log2(p)+(1-p).*log2(1-p)) meshz(w,p,h) title('互信息'); ylabel('H(w,p,h)')

四、实验报告要求 简述实验目的； 简述实验原理；

分别绘制二元信源和三元信源的熵及平均互信息量图形。 通过图形分析他们的特点。

实验2 信道容量仿真

一、实验目的

熟悉工作环境及Matlab 软件； 理解信道容量的含义。 二、实验原理

➢ 离散信道的数学模型

离散信道的数学模型一般如图6.1所示。图中输入和输出信号用随机矢量表示，输入信号为X= (X1, X2,…, XN)，输出信号为Y= (Y1, Y2,…, YN)；每个随机变量Xi 和Yi 又分别取值于符号集A={a1, a2, …, ar}和B={b1, b2, …, bs}，其中r 不一定等于s ；条件概率P(y|x) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。

21N 21N

∑=1

)|(x y P

离散信道模型

➢ 二元对称信道

这是很重要的一种特殊信道（简记为BSC ），。它的输入符号X 取值于{0,1}，输出符号Y 取值于{0,1}，r=s=2， a1=b1=0，a2=b2=1，传递概率为

p p P a b P =-==1)0|0()|(11, p p P a b P =-==1)1|1()|(22

p P a b P ==)1|0()|(21, p P a b P ==)0|1()|(12

其中，)0|1(P 表示信道输入符号为0而接收到的符号为1的概率，)1|0(P 表示信道输入符号为1而接受到的符号为0的概率，它们都是单个符号传输发生错误的概率，通常用p 表示。而)0|0(P 和)1|1(P 是无错误传输的概率，通常用p p =-1表示。

X 1-p Y 01=a 10b =

p

p

12=a 21b =

二元对称信道