信息论基础及应用第2章信源及其信息的统计度量(2)_2.4~2
合集下载
信息论基础2012-第二章
事件Y=y和Z=z联合提供的有关事件X=x 的信息量
事件联合互信息的链式法则
I ( x; y, z ) I ( x; y ) I ( x; z | y ) I ( y ; x ) I ( z ; x | y ) I ( y , z; x )
事件Y=y和Z=z联合提供的有关事件X=x的信息量，等于 Y=y提供的有关事件X=x的信息量再加上事件Y=y已知的 条件下事件Z=z所提供的有关X=x的新信息量。
I ( X xk ) I ( xk ) log a q( xk )
公理化的定义
当对数的底a取为2时，自信息的单位为比特（bit）； 当对数底取为e时，单位称为奈特（nat）。
事件自信息的本质
事件发生后对外界（观察者）所提供的信 息量，也是观察者所获得的信息量 事件发生前外界（观察者）为确证该事件 的发生所需要的信息量，也是外界为确证 该事件所需要付出的代价 事件的自信息并不表示事件的不确定性， 事件本身没有不确定性可言，它要么是观 察的假设和前提，要么是观察的结果
变量的平均自信息——熵
我们更关心变量在其取值集合总体上平均 每次观测所能获得的信息量
H ( X ) E[ I ( X )]
q( x ) log a q( x )
xX
x
q( x ) I ( x ) X
熵的本质（I）
H(p) 1
x2 x1 X ~ p 1 p
(1 )
x
f ( x ) 0, if f ( x )在x x * 处取极小值 x x x*
凹函数（上凸函数, Concave Function）
f ( x)
f (1 ) f ( ) (1 ) f ( ), [0,1] f (1 )
事件联合互信息的链式法则
I ( x; y, z ) I ( x; y ) I ( x; z | y ) I ( y ; x ) I ( z ; x | y ) I ( y , z; x )
事件Y=y和Z=z联合提供的有关事件X=x的信息量，等于 Y=y提供的有关事件X=x的信息量再加上事件Y=y已知的 条件下事件Z=z所提供的有关X=x的新信息量。
I ( X xk ) I ( xk ) log a q( xk )
公理化的定义
当对数的底a取为2时，自信息的单位为比特（bit）； 当对数底取为e时，单位称为奈特（nat）。
事件自信息的本质
事件发生后对外界（观察者）所提供的信 息量，也是观察者所获得的信息量 事件发生前外界（观察者）为确证该事件 的发生所需要的信息量，也是外界为确证 该事件所需要付出的代价 事件的自信息并不表示事件的不确定性， 事件本身没有不确定性可言，它要么是观 察的假设和前提，要么是观察的结果
变量的平均自信息——熵
我们更关心变量在其取值集合总体上平均 每次观测所能获得的信息量
H ( X ) E[ I ( X )]
q( x ) log a q( x )
xX
x
q( x ) I ( x ) X
熵的本质（I）
H(p) 1
x2 x1 X ~ p 1 p
(1 )
x
f ( x ) 0, if f ( x )在x x * 处取极小值 x x x*
凹函数（上凸函数, Concave Function）
f ( x)
f (1 ) f ( ) (1 ) f ( ), [0,1] f (1 )
第2章 信息度量-本科生
2.2 单符号离散信源的熵(离散熵)
2.2.1 信息量
2.2.1.1 2.2.1.2 2.2.1.3 2.2.1.4 2.2.1.5 信息量 条件信息量 联合信息量 互信息量 信息量、条件信息量和联合信息量关系
2.2.2 平均信息量（熵）
1.互信息量 从通信的角度引出互信息量的概念 信源符号X={x1，x2，…，xI} ，xi∈{a1,a2,…,ak}，i = 1, 2 ,…, I。 经过信道传输，信宿方接收到符号 Y = {y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j = 1, 2, …,J。 {x1，x2，…xI} {y1，y2，…yJ}
2.2 单符号离散信源的熵(离散熵)
2.2.1.1 信息量
4．信息量的性质
（1）非负性 I(xi)≥0 因为概率p(xi)取值于[0,1] 说明随机事件发生后总能提供一些信息量，最差是零 （2）确定性 若存在某个消息xi 的发生概率p(xi)=1，则其信息量=0 说明该事件是必然事件，因此不含有任何不确定性
1 （2）在二维联合集X Y上的条件分布概率为 p( y j xi ) ，这一事 12 件提供给甲的信息量为条件自信息量 I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2.2 单符号离散信源的熵(离散熵)
2.2.1 信息量
2.2.1.1 2.2.1.2 2.2.1.3 2.2.1.4 2.2.1.5 信息量 条件信息量 联合信息量 互信息量 信息量、条件信息量和联合信息量关系
自信息量 I(xi) 代表两种含义 ： 1.事件xi发生以前，表示事件发生的先验不确定性
2.当事件xi发生以后，表示事件xi所能提供的最大 信息量（在无噪情况下）
2_信源及其熵
离散信源 连续信源
平稳随机序列信源： 平稳随机序列信源：信源输出的消息由一系列符号序列
所组成，可用 维随机矢量 描述， 所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机 描述 平稳stationary 矢量X 的各维概率分布都与时间起点无关--平稳 平稳 离散平稳信源 连续平稳信源 无记忆（独立） 无记忆（独立）离散平稳信源 有记忆信源 m阶马尔可夫信源 阶马尔可夫信源
a2 a3 ... ... aq X a1 P( x) = P(a ) P(a ) P(a ) ... ... P(a ) 1 2 3 q
问题：这样的信源能输出多少信息? 问题：这样的信源能输出多少信息? 每个消息的出现携带多少信息量? 每个消息的出现携带多少信息量?
1 I (ai ) = f [ P(ai )] = log r = − log r P(ai ) P(ai )
∑ P(a ) = 1
i =1 i
q
称事件a 自信息量： 称事件 i发生含有的信息量为 ai 的自信息量：
I(ai)有两种含义： 有两种含义 有两种含义： （1）当ai发生前，表示 i发生的不确定性 发生前，表示a
第一章的几个推论 章的几个推论
通信系统模型： 通信系统模型：
信源 消息 编码器 信道 信号 干扰 译码器 消息 信宿
信号＋干扰
噪声源
对信息论的学习可从信源开始 消息是信息的载荷者。信息是抽象的， 消息是信息的载荷者。信息是抽象的，消息是 具体的。要研究信息，还得从研究消息入手。 具体的。要研究信息，还得从研究消息入手。 由于信源发送什么消息预先是不可知的， 由于信源发送什么消息预先是不可知的，只能 用概率空间来描述信源
数学模型：连续型的概率空间。 数学模型：连续型的概率空间。即：
平稳随机序列信源： 平稳随机序列信源：信源输出的消息由一系列符号序列
所组成，可用 维随机矢量 描述， 所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机 描述 平稳stationary 矢量X 的各维概率分布都与时间起点无关--平稳 平稳 离散平稳信源 连续平稳信源 无记忆（独立） 无记忆（独立）离散平稳信源 有记忆信源 m阶马尔可夫信源 阶马尔可夫信源
a2 a3 ... ... aq X a1 P( x) = P(a ) P(a ) P(a ) ... ... P(a ) 1 2 3 q
问题：这样的信源能输出多少信息? 问题：这样的信源能输出多少信息? 每个消息的出现携带多少信息量? 每个消息的出现携带多少信息量?
1 I (ai ) = f [ P(ai )] = log r = − log r P(ai ) P(ai )
∑ P(a ) = 1
i =1 i
q
称事件a 自信息量： 称事件 i发生含有的信息量为 ai 的自信息量：
I(ai)有两种含义： 有两种含义 有两种含义： （1）当ai发生前，表示 i发生的不确定性 发生前，表示a
第一章的几个推论 章的几个推论
通信系统模型： 通信系统模型：
信源 消息 编码器 信道 信号 干扰 译码器 消息 信宿
信号＋干扰
噪声源
对信息论的学习可从信源开始 消息是信息的载荷者。信息是抽象的， 消息是信息的载荷者。信息是抽象的，消息是 具体的。要研究信息，还得从研究消息入手。 具体的。要研究信息，还得从研究消息入手。 由于信源发送什么消息预先是不可知的， 由于信源发送什么消息预先是不可知的，只能 用概率空间来描述信源
数学模型：连续型的概率空间。 数学模型：连续型的概率空间。即：
第二章 离散信源及其信息测度_02
信息熵与信源的消息数q和消息的概率分布P(x)有关。 当信源消息集的个数q给定，H(X)就是P(x)的函数。
2.3 信息熵的基本性质
概率矢量P = (p1, p2,…,pq)满足：
p
i 1
q
i
1 和 pi 0 (i 1,2,...,q)
信息熵H(X)是概率矢量P的q-1元函数。
H ( X ) P(ai ) log P(ai ) pi log pi
1 1 1 1 , ) 的数值。 3 3 6 6
2.3 信息熵的基本性质
——极值性
8、极值性
H ( p1, p2 ,..., pq ) H (1 q ,1 q ,...,1 q) log q
在离散信源情况下，信源各符号等概率分布时， 熵值最大。即等概率分布信源的平均不确定性最 大。这一重要结论称为最大离散熵定理。
2.3 信息熵的基本性质
对称性
确定性
非负性 扩展性
可加性
强可加性 递增性 极值性 上凸性
2.3 信息熵的基本性质
——对称性
1、对称性
H ( p1, p2 ,... pn ) H ( pn , p1, p2 ,... pn1 )
根据加法交换律可以证明，当变量交换顺序时熵函 数的值不变。 信源的熵只与概率空间的总体结构有关，即与信源 的总体的统计特性有关（含有的消息数和概率分布）， 而与每个概率分量对应的状态顺序无关。
2.3 信息熵的基本性质
——极值性
特例：二元信源 该信源的消息只有两个， 设为0和1，其概率空间为
1 X 0 P( x) 1
极值性
信息论：第2章离散信源及其信息测度
4
Copyright ©赵越 ise_zhaoy1@
概率
概率是事件发生可能性的数量指标。 即在多次重复后，某结果出现的比率。 1、古典型概率
定义1 若试验结果一共有n个基本事件组成，且这些事 件的出现具有相同的可能性，且事件A由其中某m个基 本事件组成，则事件A的概率为
有利于A的基本事件数 m P(A) ＝ 试验的基本事件总数 n
联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率
条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率
15
Copyright ©赵越 ise_zhaoy1@
无条件概率、条件概率、联合概率满足下 面一些性质和关系：
信源分类有多种方法，根据信源输出的消息在时间和 取值上是离散或连续进行分类：
时间（空间) 取值 离散 离散 信源种类 离散信源 （数字信 源） 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
离散
连续
跳远比赛的结果、 连续随机变量序列 连续信号 语音信号抽样以 后 波形信源 （模拟信 源） 语音、音乐、热 噪声、图形、图 象 不常见 信源的分类
23
Copyright ©赵越 ise_zhaoy1@
例：掷一个六面均匀的骰子，每次出现朝上一面
的点数是随机的，以朝上一面的点数作为随机实 验的结果，并把实验结果看作一个信源的输出， 试建立数学模型。
24
Copyright ©赵越 ise_zhaoy1@
A：{1，2，3，4，5，6}——样本(状态)空间 离散随机变量X P：{p(X=1)=1/6，p(X=2)=1/6，…， p(X=6)= 1/6} 信源的数学模型：
Copyright ©赵越 ise_zhaoy1@
概率
概率是事件发生可能性的数量指标。 即在多次重复后，某结果出现的比率。 1、古典型概率
定义1 若试验结果一共有n个基本事件组成，且这些事 件的出现具有相同的可能性，且事件A由其中某m个基 本事件组成，则事件A的概率为
有利于A的基本事件数 m P(A) ＝ 试验的基本事件总数 n
联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率
条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率
15
Copyright ©赵越 ise_zhaoy1@
无条件概率、条件概率、联合概率满足下 面一些性质和关系：
信源分类有多种方法，根据信源输出的消息在时间和 取值上是离散或连续进行分类：
时间（空间) 取值 离散 离散 信源种类 离散信源 （数字信 源） 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
离散
连续
跳远比赛的结果、 连续随机变量序列 连续信号 语音信号抽样以 后 波形信源 （模拟信 源） 语音、音乐、热 噪声、图形、图 象 不常见 信源的分类
23
Copyright ©赵越 ise_zhaoy1@
例：掷一个六面均匀的骰子，每次出现朝上一面
的点数是随机的，以朝上一面的点数作为随机实 验的结果，并把实验结果看作一个信源的输出， 试建立数学模型。
24
Copyright ©赵越 ise_zhaoy1@
A：{1，2，3，4，5，6}——样本(状态)空间 离散随机变量X P：{p(X=1)=1/6，p(X=2)=1/6，…， p(X=6)= 1/6} 信源的数学模型：
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
信息论第二章
2021/7/30
2.2.2 离散信源熵
例2－2－2
一个布袋内放100个球，其中80个球是红色的， 20个球是白色的，若随机摸取一个球，猜测其颜 色，求平均摸取一次所能获得的自信息量。
解: 依据题意这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
2021/7/30
其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事 件
2021/7/30
几个概念
1. 条件熵
定义： 在 给 定 yj 条 件 下 ， xi 的 条 件 自 信 息 量 为 I(xi/yj)
，X 集合的条件熵H（X/yj）为
H（X/yj）=
p(xi/yj)I(xi/yj)
i
2021/7/30
在给定Y（即各个yj）条件下，X集合的条件 熵
H(X/Y)定义为
2021/7/30
3. 联合自信息量
定义：两个消息xi，yj同时出现的联合自信息量
I(xiyj)lop(g xiyj)
注意: a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那 么就有 I(xiyj)=I(xi)+I(yj)。 b. xiyj所包含的不确定度在数值上也等于它们的 自信息量。
1) 自信息量I（x1）和I（x2）只是表征信源中各个符号的不确 定度，一个信源总是包含着多个符号消息，各个符号消息
又按概率空间的先验概率分布，因而各个符号的自信息量
就不同。所以自信息量不能作为信源总体的信息量。
2021/7/30
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0p（xi）1，故信源的平均不确定度H（X ）也是非负量。
2.2.2 离散信源熵
例2－2－2
一个布袋内放100个球，其中80个球是红色的， 20个球是白色的，若随机摸取一个球，猜测其颜 色，求平均摸取一次所能获得的自信息量。
解: 依据题意这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
2021/7/30
其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事 件
2021/7/30
几个概念
1. 条件熵
定义： 在 给 定 yj 条 件 下 ， xi 的 条 件 自 信 息 量 为 I(xi/yj)
，X 集合的条件熵H（X/yj）为
H（X/yj）=
p(xi/yj)I(xi/yj)
i
2021/7/30
在给定Y（即各个yj）条件下，X集合的条件 熵
H(X/Y)定义为
2021/7/30
3. 联合自信息量
定义：两个消息xi，yj同时出现的联合自信息量
I(xiyj)lop(g xiyj)
注意: a. 当xi,yj相互独立时，有P(xiyj)=P(xi)P(yj)，那 么就有 I(xiyj)=I(xi)+I(yj)。 b. xiyj所包含的不确定度在数值上也等于它们的 自信息量。
1) 自信息量I（x1）和I（x2）只是表征信源中各个符号的不确 定度，一个信源总是包含着多个符号消息，各个符号消息
又按概率空间的先验概率分布，因而各个符号的自信息量
就不同。所以自信息量不能作为信源总体的信息量。
2021/7/30
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0p（xi）1，故信源的平均不确定度H（X ）也是非负量。
信息论讲义_第二讲
B C D E F G H
2.1.2 条件自信息量（续）
Answer:
p xi y j 1/ 64
1） I xi y j log p xi y j 6 bit 2）I xi | y j log p xi | y j log
p xi y j p yj 3 bit
A（新闻） 2
H 2台（天津） p( H 2 ) 0.4
A（体育） 3
求：当接收信号为A2时，哪个电台发射的可能性大？
2.2.1 互信息量（续）
解：从概率论角度分析，根据贝叶斯公式
（H1 | A2）＝ p （H 2 | A2）＝ p p( H1 ) p( A2 | H1 ) 0.6 0.2 3 ＝ p( H1 ) p( A2 | H1 ) p( H 2 ) p( A2 | H 2 ) 0.6 0.2 0.4 0.4 ＝ 7
3离散集的平均自信息量231平均自信息量熵entropy?熵的定义?熵的性质232条件熵和联合熵233各种熵的关系234加权熵?加权熵定义?加权熵性质?一个布袋内放100个球其中80个球是红色的20个球是白色的若随机摸取一个球猜测其颜色求平均摸取一次所能获得的自信息量
信息理论基础
授课教师：于
泽
电子信息工程学院201教研室
p(A) = 1/36 ×2=1/18
（2）甲1乙1
I(A)=-log p(A) =4.17 bit I(B)=-log p(B) =5.17 bit I(C)=-log p(C) =1.71 bit
p(B) = 1/36
（3）扣掉 甲、 乙都不是1的概率
p(C) = 1-6/5 × 5/6=11/36
第二章 信息的度量
McMillan 1956
率失真理论 Shannon Gallager Berger
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
压缩编码 JPEG MPEG
纠错码 编码调制理论
网络最佳码
第二章 信息的度量
? 2.1 度量信息的基本思路 ? 2.2 信源熵和条件熵 ? 2.3 互信息量和平均互信息量 ? 2.4 多维随机变量的熵
? 它与日常生活中关于信息的理解不矛盾； ? 它排除了对信息一词某些主观性的含义，是纯粹形
式化的概念；
仙农关于信息定义和度量的局限
? 局限
? 这个定义的出发点是假设事物的状态可以用一个以 经典集合论为基础的概率模型来描述，然而实际存 在的某些事物运动状态很难用一个合适的经典概率 模型来描述，甚至在某些情况下不存在这样的模型；
自信息量
? 自信息量的单位
? 自信息量的单位取决于对数的底； ? 底为2，单位为“比特（bit）”； ? 底为e，单位为“奈特（nat）”； ? 底为10，单位为“哈特（hat）”； ? 1 nat = 1.44bit , 1 hat = 3.32 bit；
仙农关于信息定义和度量的优点
? 优点
? 它是一个科学的定义，有明确的数学模型和定量计 算；
? ? En
?
m
Fk
k?1
, pn
?
m
qk , p{Fk } ?
k?1
qk； 则有 q1 ?
q2 ? .. ? qm pn
?1
这时构成的三个概率空间分别具有熵函数：
H1( p1, p2 ,..., pn ); H 2 ( p1,..., pn?1; q1,..., qm ); 它们之间具有关系： H 2 ? H1 ? pn * H 3
率失真理论 Shannon Gallager Berger
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
压缩编码 JPEG MPEG
纠错码 编码调制理论
网络最佳码
第二章 信息的度量
? 2.1 度量信息的基本思路 ? 2.2 信源熵和条件熵 ? 2.3 互信息量和平均互信息量 ? 2.4 多维随机变量的熵
? 它与日常生活中关于信息的理解不矛盾； ? 它排除了对信息一词某些主观性的含义，是纯粹形
式化的概念；
仙农关于信息定义和度量的局限
? 局限
? 这个定义的出发点是假设事物的状态可以用一个以 经典集合论为基础的概率模型来描述，然而实际存 在的某些事物运动状态很难用一个合适的经典概率 模型来描述，甚至在某些情况下不存在这样的模型；
自信息量
? 自信息量的单位
? 自信息量的单位取决于对数的底； ? 底为2，单位为“比特（bit）”； ? 底为e，单位为“奈特（nat）”； ? 底为10，单位为“哈特（hat）”； ? 1 nat = 1.44bit , 1 hat = 3.32 bit；
仙农关于信息定义和度量的优点
? 优点
? 它是一个科学的定义，有明确的数学模型和定量计 算；
? ? En
?
m
Fk
k?1
, pn
?
m
qk , p{Fk } ?
k?1
qk； 则有 q1 ?
q2 ? .. ? qm pn
?1
这时构成的三个概率空间分别具有熵函数：
H1( p1, p2 ,..., pn ); H 2 ( p1,..., pn?1; q1,..., qm ); 它们之间具有关系： H 2 ? H1 ? pn * H 3
第二章 信息量
信源数学模型与分类
• 信源的数学模型： 信源发出消息具有随机性 －在信源发出消息之前，消息是不确定 的 用随机量表示信源发出的消息，随 机量可以是随机变量、随机序列、随机 过程。
信息论基础 李富年
武汉科技大学
信源数学模型与分类
信源的数学模型：
为了表示一个随机量，用随机量的的样本 空间及其概率空间来描述 – 可能输出的所有消息 – 各种消息的可能性
信息论基础 李富年 武汉科技大学
信息熵及其性质
信息量是指某一个信源发出某一消息（事件） 的消息大小，信源可以发出的消息有很多，发 出的消息不同，所携带的信息量也不同，如：
晴 多云 阴 1 1 1 2 4 8
雨 1 8
发出的消息有4个：晴、多云、阴、雨。发出 晴时，信息量是1bit，发多云时信息量是2bit， 发阴或雨时信息量是3bit，发出的消息不一样， 所携带的信息量也不一样。
信息论基础 李富年 武汉科技大学
信源数学模型与分类
说明：
① 不同的信源，对应与不同的数学模型。 即不同的信源概率空间。 ② 用概率空间来表示信源的数学模型，有 一个必要的前提，这就是信源可能发出 的各种不同符号的概率必须是先验可知 的，或是事先可测定的。这是香农信息 论的一个基本假说。
信息论基础 李富年 武汉科技大学
信息论基础 李富年 武汉科技大学
条件自信息量和联合自信息量
p 解：住在某一单元的概率是：( y j ) 15 p ( xi | y j ) 1 12 知道单元，住在某一户的条件概率为 既不知道单元，也不知道哪一户，一次能够到 朋友家的概率为 p( xi y j ) p( y j ) p( xi | y j ) 1
信息论基础 李富年 武汉科技大学