信息论 基础理论与应用第三版(傅祖芸) 第六章 讲义
合集下载
信息论第六章
信息论第六章第六章：线性分组码§6.1分组码的概念(与主教材标题不同)§6.2线性分组码§6.3线性分组码的校验矩阵(与主教材标题不同)§6.5译码方法和纠错能力(与主教材标题不同)§6.4、§6.6、§6.7、§6.8一些特殊的线性分组码§6.1分组码的概念设信道是一个D元字母输入/D元字母输出的DMC 信道，字母表为{0,1,…,D-1}。
其信道转移概率矩阵为D×D矩阵传输错误的概率为p。
信道容量为C=logD-H(p)-plog(D-1)。
§6.1分组码的概念对随机变量序列X1X2…进行的信道编码为(N,L)码：(X1X2…XL)→(U1U2…UN)=C(X1X2…XL)。
这个(N,L)码又称为(N,L)分组码。
已经有结论：当设备所确定的编码速率R速率(信息率L/N)任意接近R，译码错误的概率任意接近0。
问题是：怎样构造这样的分组码？这样的分组码的编码、译码计算量会不会太大？（这才是研究分组码的含义）§6.1分组码的概念预备知识1：有限域设D是一个素数。
于是字母表{0,1,…,D-1}中的所有字母关于(modD)加法、(modD)乘法构成了一个封闭的代数结构，称作有限域，又称作Galois域，记作GF(D)：GF(D)=({0,1,…,D-1},(modD)加法,(modD)乘法)。
即（1）({0,1,…,D-1},(modD)加法)构成交换群（Abel群）。
（2）({1,…,D-1},(modD)乘法)构成交换群（Abel群）。
（3）分配率成立：a(b+c)(modD)=ab+ac(modD)。
§6.1分组码的概念注1：如果D不是素数，({0,1,…,D-1},(modD)加法,(modD)乘法)不是有限域，只是有限环。
注2：有限域GF(D)上的线性代数完全类似于实数域上的线性代数，线性代数的所有内容都在“加法”和“乘法”基础上得到。
信息论+傅祖芸+答案
因此，必须称的次数为
因此，至少需称 3 次。
I1 = log 24 ≈ 2.9 次 I 2 log 3
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？
6 6 36 I = log 36 ≈ 2.85 比特 5
“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P = 1 × 1 × 2 = 1 ， 6 6 18
因此该事件的信息量为： I = log18 ≈ 4.17 比特
【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解：
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + pL log pL
− q1 log q1 − q2 log q2 − K − qm log qm
= − p1 log p1 − p2 log p2 − K − pL−1 log pL−1 − pL log pL + (q1 + q2 + q3 + L + qm ) log pL
第二章课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，
但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪
信息论课件第六章
根据这样一个信道矩阵，设计 一个译码规则A，即 F (b1 ) = a1 A : F (b2 ) = a2 F (b3 ) = a3
由于S个输出符号中的每一个都可以译成r个输入符号 r s 种译码规则可供选择。 中的任何一个，所以共有
译码规则的选择应该根据什么准则?一个很自然的 准则当然就是要使平均错误概率最小. 为了选择译码规则,首先必须计算平均错误概率. 在确定译码规则F(bj)=ai后,若信道输出端接收到的 符号为bj,则一定译成ai,如果发送端发送的就是ai,这 就为正确译码;如果发送的不是ai,就认为错误译码. 那么收到bj 条件下译码的条件正确译码概率为 P[F(bj)|bj]=P(ai|bj) 令P(e|bj)为条件错误译码概率,其中e表示除了F(bj)=ai 以外的所有输入符号的集合. 条件错误译码概率与条件正确译码概率之间有关系 (6.3) P(e|bj)=1-P(ai|bj)=1-P[F(bj)|bj]
一般P(b j ) ≠ 0, b j ∈ B, 这样，最大后验概率准则就可 表示为：选择译码函数 F (b j ) = a * a * ∈ A, b j ∈ B
使满足P(b j | a * ) P(a * ) ≥ P(b j | ai ) P(ai ) ai ∈ A, ai ≠ a * (6.7)
若输入符号的先验概率 P ( ai )均相等，则上式可以写 成 选择译码函数 F (b j ) = a * a * ∈ A, b j ∈ B ( 6 .8 a ) (6.8b) 并满足 P (b j | a * ) ≥ P (b j | ai ) ai ∈ A, ai ≠ a *
6.2 错误概率与编码方法
从(6.10)可知，消息通过有噪信道传输时会发生错 误，而错误概率与译码规则有关。 但一般当信道给定即信道矩阵给定，不论采用什 么译码规则，PE总不会等于或趋于0。 而要想进一步减少错误概率PE，必须优选信道编 码方法。
信息论讲义_第六讲
23
3.5.2 有限状态马尔可夫链
p00=p(Y2=0|Y1=0)=p(X=0)=p
p01=p(Y2=1|Y1=0)=p(X=1)=q
p10=p(Y2=0|Y1=1)=p(X=1)=q
p11=p(Y2=1|Y1=1)=p(X=0)=p
说明:
转移矩阵为
p q
q p
，它与r无关，因而是齐次的。
信息理论基础
（第六讲）
授课教师：于 泽 电子信息工程学院201教研室
第三章 离散信源
内容提要 3.1 信源的数学模型及其分类 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源
2
3.4 离散平稳信源（续）
④ N次扩展信源熵的性质
(1) 条件熵 H XN | X1X2L XN1随N的增加是非递增的
q
22
3.5.2 有限状态马尔可夫链
• 输入的码Xr(r=1,2,…)是相互独立的，取值0或1， 且已知p(X=0)=p，p(X=1)=1-p=q，输出的码是Yr， 显然有
Y1= X1，Y2＝X2Y1… 其中 表示模2加，那么Yr就是一个马氏链，因
Yr确定后，Yr+1分布只与Yr有关，与Yr-1、Yr-2… 等无关，且知Yr序列的条件概率为
pikm p jkr
i, j S
kS
注意：P(n)是经过n步的转移矩阵。
25
3.5.2 有限状态马尔可夫链
3.初始分布
定义：设P(X0=Si)=pi , 且
pi 0
i
pi 1
则称它为马尔可夫链的初始分布
26
3.5.2 有限状态马尔可夫链
3.5.2 有限状态马尔可夫链
p00=p(Y2=0|Y1=0)=p(X=0)=p
p01=p(Y2=1|Y1=0)=p(X=1)=q
p10=p(Y2=0|Y1=1)=p(X=1)=q
p11=p(Y2=1|Y1=1)=p(X=0)=p
说明:
转移矩阵为
p q
q p
，它与r无关，因而是齐次的。
信息理论基础
（第六讲）
授课教师：于 泽 电子信息工程学院201教研室
第三章 离散信源
内容提要 3.1 信源的数学模型及其分类 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源
2
3.4 离散平稳信源（续）
④ N次扩展信源熵的性质
(1) 条件熵 H XN | X1X2L XN1随N的增加是非递增的
q
22
3.5.2 有限状态马尔可夫链
• 输入的码Xr(r=1,2,…)是相互独立的，取值0或1， 且已知p(X=0)=p，p(X=1)=1-p=q，输出的码是Yr， 显然有
Y1= X1，Y2＝X2Y1… 其中 表示模2加，那么Yr就是一个马氏链，因
Yr确定后，Yr+1分布只与Yr有关，与Yr-1、Yr-2… 等无关，且知Yr序列的条件概率为
pikm p jkr
i, j S
kS
注意：P(n)是经过n步的转移矩阵。
25
3.5.2 有限状态马尔可夫链
3.初始分布
定义：设P(X0=Si)=pi , 且
pi 0
i
pi 1
则称它为马尔可夫链的初始分布
26
3.5.2 有限状态马尔可夫链
信息论基础理论与应用第三版傅祖芸绪论
认证性：接受者能正确判断所接收的消息的正确性， 验证消息的完整性，而不是伪造和窜改的。
23
信息论研究的内容
? 狭义信息论：
? 主要研究信息的测度、信道容量以及信源和信道编码理论 等问题。
? 一般信息论：
? 主要也是研究信息传输和处理问题，除香农信息论，还包 括噪声理论、信号滤波和预测、统计检测和估计、调制理 论、信息处理理论以及保密理论等。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
?X ??P(
? x)??
?
? a1 ??p(a1)
a2 ? p(a2) ?
an ? p(an )??
样本空间 概率测度
? 先验概率p(xi)：
选择符号 xi作为消息的概率。
11
? 例：气象预报
甲
?X ? ??p(x)??
?
?晴 ??1/ 2,
? 1948 年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949 年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
? 此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
27
信息论的发展
? 香农信息理论的数学严格化 ? 无失真信源编码定理和技术的发展 ? 信道纠错编码的发展 ? 限失真编码的提出和发展 ? 多用户、网络信息化的发展 ? 信息保密与安全理论的提出和发展
谢谢
32
28
信息论的研究成果举例
? 语音编码
CCITT G.722 ，G.723.1 ， G.728
? 图像编码
JPEG, MPEG-4
? 视频编码
H.261,H.263
29
信息论的发展
23
信息论研究的内容
? 狭义信息论：
? 主要研究信息的测度、信道容量以及信源和信道编码理论 等问题。
? 一般信息论：
? 主要也是研究信息传输和处理问题，除香农信息论，还包 括噪声理论、信号滤波和预测、统计检测和估计、调制理 论、信息处理理论以及保密理论等。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
?X ??P(
? x)??
?
? a1 ??p(a1)
a2 ? p(a2) ?
an ? p(an )??
样本空间 概率测度
? 先验概率p(xi)：
选择符号 xi作为消息的概率。
11
? 例：气象预报
甲
?X ? ??p(x)??
?
?晴 ??1/ 2,
? 1948 年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949 年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
? 此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
27
信息论的发展
? 香农信息理论的数学严格化 ? 无失真信源编码定理和技术的发展 ? 信道纠错编码的发展 ? 限失真编码的提出和发展 ? 多用户、网络信息化的发展 ? 信息保密与安全理论的提出和发展
谢谢
32
28
信息论的研究成果举例
? 语音编码
CCITT G.722 ，G.723.1 ， G.728
? 图像编码
JPEG, MPEG-4
? 视频编码
H.261,H.263
29
信息论的发展
信息论 基础理论与应用第三版(傅祖芸) 第5章 讲义
编码后信源的信息传输率 令： R ' l log r
N
l log r H ( S ) N
(编码后，平均每个信源 符号承载的信息量)
R' H ( S )
可见，只有编码后信息传输率 R' H ( S ) ，才能实现无失真编码。
编码效率
H (S ) H (S ) ' l R log r N
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
5、码的N次扩展
《信息论》—基础理论与应用 傅祖芸 课后答案
【解释】
当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
L
m
∑ ∑ 【2.11】试证明：若 pi = 1， q j = pL ，则
i=1
j q1 , q2 ,K, qm )
=
H ( p1,
p2 ,K,
pL−1 ,
pL )
+
pL H (
q1 pL
第二章课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，
但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪
一枚是假币，试问至少必须称多少次？
解：从信息论的角度看，
“12 枚硬币中，某一枚为假币”该事件发生的概率为 P = 1 ； 12
熵是增加的，并用熵的物理意义加以解释。
解：
设新的信源为 X ′ ，新信源的熵为：
∑ H ( X ′) = − pi log pi = −( p1 − ε ) log( p1 − ε ) − ( p2 + ε ) log( p2 + ε ) − L − pq log pq
原信源的熵
因此有，
∑ H ( X ) = − pi log pi = − p1 log p1 − p2 log p2 − L − pq log pq
p1
− 2
p2
，则
f ′(x) = log p2 + x ≤ 0 p1 − x
本页已使用福昕阅读器进行编辑。 福昕软件（Ｃ）２００５－２０１０，版权所有， 仅供试用。
即函数 f (x) 为减函数，因此有 f (0) ≥ f (ε ) ，即
( p1 − ε ) log( p1 − ε ) + ( p2 + ε ) log( p2 + ε ) ≤ p1 log p1 + p2 log p2 因此 H ( X ) ≤ H ( X ′) 成立。
信息论与编码傅祖云讲义
p( y 1 x 0) p( y 0 x 1) 0 是较合理旳。
单符号离散信道旳数学模型
由此可见，一般单符号离散信道旳转移概率可用
信道转移矩阵P来表达：
b1
b2
a1 a2
p(b1 a1)
p(b1
a2
)
p(b2 a1) p(b2 a2 )
ar p(b1 ar ) p(b2 ar )
3.1信道旳数学模型及分类
在广义旳通信系统中，信道是很主要旳一部分。
信道旳任务是以信号方式传播信息和存储信息。
研究信道旳目旳就是研究信道中能够传送或存储 旳最大信息量，即信道容量问题。
本章首先讨论离散信道旳统计特征和数学模型， 然后定量地研究信道传播旳平均互信息及其性质 ，并导出信道容量及其计算措施。
4、平均互信息旳凸状性（两个定理）
定理3.1 平均互信息I (X ;Y ) 是信源概率分布p(x)旳 ∩型凸函数。
平均互信息旳特征
定理3.1旳意义：对于每一种固定信道，一定存在 一种信源（某一概率分布P(X)），使输出端取得 旳平均信息量为最大Imax（∩型凸函数存在极大 值）。这时称这个信源为该信道旳匹配信源。
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
二元对称信道BSC旳平均互信息
I
(
X
;Y
)
(
p
p)
log
p
1
p
(p
p)
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
单符号离散信道旳数学模型
由此可见，一般单符号离散信道旳转移概率可用
信道转移矩阵P来表达：
b1
b2
a1 a2
p(b1 a1)
p(b1
a2
)
p(b2 a1) p(b2 a2 )
ar p(b1 ar ) p(b2 ar )
3.1信道旳数学模型及分类
在广义旳通信系统中，信道是很主要旳一部分。
信道旳任务是以信号方式传播信息和存储信息。
研究信道旳目旳就是研究信道中能够传送或存储 旳最大信息量，即信道容量问题。
本章首先讨论离散信道旳统计特征和数学模型， 然后定量地研究信道传播旳平均互信息及其性质 ，并导出信道容量及其计算措施。
4、平均互信息旳凸状性（两个定理）
定理3.1 平均互信息I (X ;Y ) 是信源概率分布p(x)旳 ∩型凸函数。
平均互信息旳特征
定理3.1旳意义：对于每一种固定信道，一定存在 一种信源（某一概率分布P(X)），使输出端取得 旳平均信息量为最大Imax（∩型凸函数存在极大 值）。这时称这个信源为该信道旳匹配信源。
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
二元对称信道BSC旳平均互信息
I
(
X
;Y
)
(
p
p)
log
p
1
p
(p
p)
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
根据贝叶斯定理，上式可写成
P(bj /a*)P(a*)P(bj /ai)P(ai)
P(bj)
P(bj)
P (b j/a * )P (a * ) P (b j/a i)P (a i)
即
P(a*bj)P(aibj)
最大似然译码准则
当信源等概分布时，则最小错误概率准则变为
P(bj /a*)P(bj /ai) 这称为最大似然译码准则，方法是收到一个 b j 后，在信道矩
0.3 0.3 0.4
F (b1) a1
1）若根据最大似然准则选择译码函数为B：
F
(b2 )
a3
若输入等概率，则平均错误概率为
F ( b 3 ) a 2
P E 1 3 Y ,X a * P ( b /a ) 1 3 [ ( 0 .2 0 .3 ) ( 0 .3 0 .3 ) ( 0 .2 0 .4 ) ] 0 .5 6 7
（选讲）当然，也可以对联合概率矩阵[P(ai)P(bj/ai)]中： 1）先求每一行中除去F(bj)=ai*所对应的P(aibj)以外的元素之和; 2）然后，对各行的和求和。
具体计算如下：
P E P ( a i) P ( b j|a i)
P ( a i) P ( b j|a i)
Y ,X a *
X Y ( a * 对 b j) 应的
即： P E P ( a i) P ( b j/a i) F ( b j) a
X
Y
P(ai)Pe(i) X
如果先验概率相等，则：PE
1 r
X
P(i) e
某个输入符号ai传输引起的 错误概率
例：某信道
0.5
P
0
.2
0.3 0.3
0.2
0
.5
j1
条件正确概率
s
s
P(bj)mi1n P ((ai/bj)) P(bj)1maP(xai/bj)
j1
j1
因此应选择译码规则 F(bj ) a* 满足关系：
i为待定
P (a * /b j) P (a i/b j)
a i a * a*,ai A,bj B
也即收到一个符号以后译成具有最大后验概率的那个输入符号。
若输入不等概分布 P(a1)1 4,P(a2)1 4,P(a3)1 2，则错误概率为：
P E '' P (a)P (b|a) Y,X a*
1/4 (0 .30 .2 ) 1/4 (0 .30 .3 ) 1/2 (0 .20 .5 )0 .6
2）采用最小错误概率译码准则，则联合矩阵为：
P E P (0 )P e (0 ) P ( 1 )P e (1 ) 3 2 (P (0 ) P ( 1 ) )2 /3
反之，若收到“0”译P E P ( 0 ) 1 P e ( 0 ) P ( 1 ) 1 P e ( 1 ) 1 3 ( P ( 0 ) P ( 1 ) ) 1 /3
j1
它表示经过译码后平均每收到一个符号所产生错误的大小， 也称平均错误概率。
最小错误概率准则（最大后验概率准则）
如何设计译码规则 F(bj ) ai ，使平均错误概率最小？
s
决定于译码规则
P EEP(e/bj) P(bj)P(e/bj)
j1
s
miPE n P(bj)miPn(e/bj) 条件错误概率
F(b1) a1 F(b2) a3 F(b3) a2
总的译码规则数目 r s
信道的s个输出符号的每一个译码输出有 r 种选择，因此，总的
r 译码规则总数为 s
译码规则的选择依据
一个自然的依据就是使平均错误概率最小。 为了选择译码规则，需要计算平均错误概率。
平均错误概率分析：
译码规则确定后，设信道输出端收到 b j 时一定译为 a i 。 如果发送端刚好发送的就是 a i ，则为正确译码，译码的条件正
可见错误概率与译码规则有关。
译码规则： 输入符号集 输出符号集 译码规则
A{ai}i,1,2,.r.. B{bj},j1,2,.s..
F(bj ) ai
例：某信道转移矩阵
0.5 0.3 0.2
P
0
.2
0.3
0.5
0.3 0.3 0.4
可以设计译码准则： A： 和
B：
F(b1) a1 F(b2) a2 F(b3) a3
确概率为：
P (F(bj)/bj)P (ai/bj)
而错误译码的概率为收到 b j 后翻译为 a i ，但发送端实际上
发送的却不是
a
，则为错误译码，其条件错误概率为：
i
P(e/bj)1P(ai/bj)
e表示：除了 F(bj ) ai 以外的所有输入符号的集合。
则可得平均错误译码概率：
s
P EEP(e/bj) P(bj)P(e/bj)
前面已经从理论上讨论了，对于无噪无损信道 只要对信源进行适当的编码，总能以信道容量无差 错的传递信息。但是一般信道总会存在噪声和干扰， 信息传输会造成损失。
那么在有噪信道中怎样能使消息传输发生的错误 最少？进行无错传输的可达的最大信息传输率是多 少呢？
这就是本章所要讨论的问题。本章的核心是香农 第二定理。
阵的第j列元素中选择最大的值所对应的输入符号作为译码输出。
平均错误概率的计算
当译码规则确定后，可进一步计算平均错误概率：
P E P ( b j) P ( e / b j) { 1 P [ F ( b j) / b j] } P ( b j)
Y
Y
1 P[F(bj)bj] p(aibj) P[F(bj)bj]
6.1 错误概率与译码规则
为了减少传输错误，提高通信的可靠性，就必须分 析错误概率与哪些因素有关，有没有办法控制？能控制 到什么程度？
一般地，错误概率与如下因素相关： ➢信道的统计特性 ➢译码规则
例：有一个BSC信道，如图所示
P(0)
信源
P(1)
0
1/3
2/3
2/3 1
1/3
0译码 0
1
1
若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为：
Y
X,Y
Y
p(aibj) P[a*bj]
X,Y
Y
平均正确概率
P (a ib j) P (a i)P (b j|a i)
Y ,X a *
Y ,X a *
信道传递概率
上式中，平均错误概率计算是在联合概率矩阵[P(ai)P(bj|ai)]中： 1）先求每一列除去F(bj)=a*所对应的P(a*bj)以外的元素之和； 2）然后，对所有列求和。