信息论讲义(2讲)

信息论第2讲北京航空航天大学201教研室陈杰buaa201gcss@ PWD:buaaf6152第一章小结1.信息论：经典信息论工程信息论广义信息论2.信息的概念：通俗信息概念广义信息概念概率信息概念3.信息：抽象概念，研究对象，含于消息消息：比较具体，非物理量，信息的载荷者信号：最具体，表示消息的物理量，可测量、可显示、可描述，消息的载荷者4.通信系统的模型：第一章小结（续）通信系统干扰源窃听者模型32.5 连续随机变量的互信息和相对熵2.5.1 连续随机变量的互信息⎯定义⎯熵的性质2.5.2 连续随机变量的相对熵⎯连续随机变量的自信息量⎯相对熵、联合熵、条件熵⎯性质45•连续随机变量的互信息连续随机变量集XY ，事件x , p (x ) ≥0和事件y , p (y ) ≥0之间的互信息定义为00()() lim log ()()x y p x y p y x y p x xp y y Δ→Δ→ΔΔ=ΔΔ00()(;)lim log ()def x y p x y x I x y p x xΔ→Δ→Δ=Δ() log ()()p xy p x p y =6•连续随机变量的平均互信息连续随机变量集合X 和Y 之间的平均互信息量(Mutual Information)定义为()(;)()log ()()def p xy I X Y p xy dxdy p x p y ∞−∞=∫∫7•连续随机变量的平均互信息的性质（１）非负性当且仅当连续随机变量X 和Y 统计独立时等号成立。

（２）对称性(;)0I X Y ≥(;)(;)I X Y I Y X =8•连续随机变量令随机变量X 的取值区间是(a ,b )，a <b ，把它分成n 段，等间隔，那么X 处于第i 个小区间的概率为事件x i <x i +Δ的自信息量为b a n −Δ=()i i p p x Δ=⋅Δlog log[()]i i p p x −Δ=−⋅Δ9•连续r.vX 的平均自信息量为•当n →∞,Δi →0时，定义绝对熵()()log[()]i i iH X p x p x Δ=−⋅Δ⋅⋅Δ∑()H X Δ→∞0()log H X Δ＝-()[log ()]()[log ]i i i i ip x p x p x =−⋅⋅Δ−⋅Δ⋅Δ∑∑10•连续随机变量的相对熵(Differential Entropy)称为连续随机变量的相对熵，或微分熵，简称为熵。

()()log ()C H X p x p x dx ∞−∞=−∫11•连续r.v.的联合熵(Joint Entropy)•连续r.v.的条件熵(Conditional Entropy)()()log ()C H XY p xy p xy dxdy∞−∞=−∫∫(|)()log (|)C H X Y p xy p x y dxdy∞−∞=−∫∫•性质（1）（2）（3）()()()C C CH XY H X H Y X=+()()()C C CH XY H Y H X Y=+(;)(;)()(|)()(|)C CC CI X Y I Y XH X H X YH Y H Y X==−=−(|)()(|)()C CC CH X Y H XH Y X H Y≤≤1213例2.10连续随机变量X ，其概率密度函数(1) 试求信源X 的熵H c (X )；(2) 试求Y = X + A (A > 0)的熵H c (Y)；(3) 试求Y = 2X 的熵H c (Y )。

⎩⎨⎧≤≤=其他0)(2a x bxx p14解:(1)2()()log ()()log c R RH X f x f x dx f x bx dx=−=−∫∫2log ()()log RRb f x dx f x x dx=−⋅−∫∫2log 2log Rb b x xdx=−−∫332 log log9ba ab e =−−33(),()133X X bx baF x F a ===∵32()log log 3c aH X b bite∴=−−⋅15解:(2)00, x a y A a ≤≤⇒≤−≤∵()()Y F y P Y y =≤2()()()f y F y b y A ′∴==−2()log ()R f y b y A dy=−−∫()()log ()c RH Y f y f y dy =−∫332log log 9ba ab bite=−− A y a A∴≤≤+2log 2()log()()Rb b y A y A d y A =−−−−−∫3()13Y ba F a A ⇒+==32log log 3ab bite=−−⋅23()3y A A b bx dx y A −==−∫()P X A y =+≤()P X y A =≤−16解:(3)002yx a a ≤≤⇒≤≤∵()()Y F y P Y y =≤2()()8b f y F y y′∴==2()log8Rb f y y dy=−∫()()log ()c RH Y f y f y dy =−∫333292log log 93ba a bab bite −=−−+02y a∴≤≤2log ()()log 8R R b f y dy f y y dy=−⋅−∫∫3(2)13Y ba F a ⇒==32()log log 1 3c aH Y b bite∴=−−⋅+2320 24yb bx dx y ==∫(2)P X y =≤()2yP X =≤17第二章小结⎯信息的描述1.自信息量：简单事件联合事件2.条件自信息量：3.互信息量：4.条件互信息量：()()log defi i I x p x =−()()log defi j i j I x y p x y =−()()|log |defi j i j I x y p x y =−(|)log()defi j i p x y p x =(|)(;|)log(|)i j k i j k i k p x y z I x y z p x z =I (x i ;y j )11log log()(|)i i j p x p x y =−自信息量条件信息量(;)(;)i j k i j I x y z I x y =−18第二章小结⎯信息的度量1.信息熵：2.条件熵：3.联合熵：4.平均互信息量：()1()log ()qdefi i i H X p x p x ==−∑(,)()()defi j i j XYH X Y p x y I x y =∑(;)()(;)defj j YI X Y p y I X y =∑()()()defi j j i XYH Y X p x y I y x =∑()log()def i j j i XYp x y y x =−∑()log ()def i j i j XYp x y p x y =−∑ ()(;)defi j i j XYp x y I x y =∑19⎯信息的度量1.信息熵数学性质•对称性:H (p 1, p 2, …p q )= H (p 2, p 1,…p q )•非负性: H (p 1, p 2, …p q ) ≥0•扩展性: •可加性•极值性:•确定性:•上凸性: H (X )是(p 1, p 2, …p q )的上凸函数112120lim (,,,,)(,,,)q q q q H p p p H p p p εεε+→−= 12(,,,)log n H p p p n≤ (1,0)(1,0,0)(1,0,0,0)(1,0,,0)0H H H H =====20⎯信息的度量1.平均互信息量的性质：•非负性•互易性(对称性)•极值性•凸函数性(;)0I X Y ≥(;)()(;)()I X Y H X I X Y H Y ≤≤(;)(;)I X Y I Y X =21⎯信息的度量各种熵的关系：•联合熵与信息熵、条件熵的关系•共熵与信息熵的关系•条件熵与通信熵的关系(,)()()H X Y H X H Y X =+()()H Y H X Y =+(,)()()H X Y H X HY ≤+()()()()HY X HY H XY H X ≤≤22⎯信息的度量(;)()()()()I X Y H X H X Y H Y H Y X =−=−(;)()()(,)I X Y H X H Y H X Y =+−平均互信息和各类熵的关系23第二章小结⎯连续型随机变量的熵1.平均互信息：(Mutual Information)2.平均自信息量：绝对熵：相对熵：3.联合熵：(Joint Entropy)4. 条件熵：(Conditional Entropy)()(;)()log ()()defp xy I X Y p xy dxdyp x p y ∞−∞=∫∫()()log ()C H X p x p x dx∞−∞=−∫()()log ()C H XY p xy p xy dxdy∞−∞=−∫∫0()()()C H X H X H X Δ=+0()log H X Δ＝-(|)()log (|)C H X Y p xy p x y dxdy ∞−∞=−∫∫24第三章离散信源•内容提要3.1 信源的数学模型及其分类3.2 离散无记忆信源3.3 离散无记忆信源的扩展信源3.4 离散平稳信源3.5 马尔可夫信源3.6 信源的相关性和剩余度253.1 信源的数学模型及其分类•3.1.1 信源及其数学模型•3.1.2 信源的分类⎯无记忆信源⎯有记忆信源26信源信源是信息的发源地，其输出称作消息。

信源的数学模型用概率场描述其中即信源的概率空间是完备的。

1212()()()n n x x x X p x p x p x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1()0 1,2,,()1i qii p x i q p x =≥==∑271.离散信源信源输出是离散的消息符号，用离散随机变量描述。

最简单的离散信源可用一维离散随机变量来描述的，其数学模型为其中且通常q 为有限正整数，也可为可数无穷大.1212()()()q q a a a X p a p a p a P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦()() 1,2,,i i p a P X a i q===...()0 1,2,,i p a i q ≥= (1)()1qi i p a ==∑282. 连续信源信源输出为连续信号形式，可用连续随机变量来描述。

最简单的连续信源可用一维连续随机变量来描述，其数学模型为其中p (x )为连续随机变量的概率密度函数，(a,b ) 为X 的存在域，且(,)()X a b P p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦()0,()1bap x p x dx ≥=∫293.1.2 信源分类随机变量X⎧⎨⎩连续信源离散信源随机序列X ⎧⎨⎩平稳信源非平稳信源⎧⎨⎩离散平稳信源连续平稳信源⎧⎨⎩离散无记忆信源的N 次扩展信源有限记忆信源随机过程X (t )采样定理特例马尔可夫信源1212()()()n n x x x X p x p x p x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 1()0 , 1,2,,()1i q i i p x i q p x =≥==∑ (,)()X a b P p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦()0,()1ba p x p x dx ≥=∫301. 定义设信源X 输出符号集X=(x 1 ,x 2 , …,x q )，q 为信源发出的消息符号个数，每个符号发生的概率为p (x i )。