信息论基础理论与应用第三版傅祖芸第5章讲义
合集下载
《信息论》第五章
(1)
=1 3
7
结论:错误概率不仅与信道的统计特性有关,而且与译 结论:错误概率不仅与信道的统计特性有关, 码规则有关. 码规则有关. 我们来定义译码规则 设信道的输入符号集为X =1, 设信道的输入符号集为X={ ai},i =1,2,…,r ; 输出符号集为Y =1, 输出符号集为Y= {bj},j =1,2,…,s. 制定译码规则就是设计一个单值函数F ),它对于 制定译码规则就是设计一个单值函数F(bj),它对于 每一个输出符号b 确定一个唯一的输入符号a 每一个输出符号bj确定一个唯一的输入符号ai与其对应 . F(bj)= ai 即 i =1,2,…,r =1, j =1,2,…,s =1, 种译码规则可供选择. 注:对于同一有噪信道共有 r s 种译码规则可供选择.
15
编码1 编码1:将每个码元重复三次 纠正任一位上的错误 设码字记为 (c8c7c6c5c4c3c2c1c0 ) 由编码方法知
c8 = c7 = c6 c5 = c4 = c3 c2 = c1 = c0
纠错: c c 位出错. 纠错:如果 8 = c6 ≠ c7,则 7位出错.在同一组中以 相同二 — ( ). 元数多的为正确 — — —大数判决法 择多译码"规则 "择多译码"
3×10-4 2×10-2 2.23×10-2 7.8×10-4 3×10-2 × × × × ×
14
错误概率与编码方法
重复发送——大数判决规则 重复发送——大数判决规则 信息数据 000 001 010 011 100 101 110 111 编码1 编码1 000000000 000000111 000111000 000111111 111000000 111000111 111111000 111111111 编码2 编码2 000000000 001001001 010010010 011011011 100100100 101101101 110110110 111111111
=1 3
7
结论:错误概率不仅与信道的统计特性有关,而且与译 结论:错误概率不仅与信道的统计特性有关, 码规则有关. 码规则有关. 我们来定义译码规则 设信道的输入符号集为X =1, 设信道的输入符号集为X={ ai},i =1,2,…,r ; 输出符号集为Y =1, 输出符号集为Y= {bj},j =1,2,…,s. 制定译码规则就是设计一个单值函数F ),它对于 制定译码规则就是设计一个单值函数F(bj),它对于 每一个输出符号b 确定一个唯一的输入符号a 每一个输出符号bj确定一个唯一的输入符号ai与其对应 . F(bj)= ai 即 i =1,2,…,r =1, j =1,2,…,s =1, 种译码规则可供选择. 注:对于同一有噪信道共有 r s 种译码规则可供选择.
15
编码1 编码1:将每个码元重复三次 纠正任一位上的错误 设码字记为 (c8c7c6c5c4c3c2c1c0 ) 由编码方法知
c8 = c7 = c6 c5 = c4 = c3 c2 = c1 = c0
纠错: c c 位出错. 纠错:如果 8 = c6 ≠ c7,则 7位出错.在同一组中以 相同二 — ( ). 元数多的为正确 — — —大数判决法 择多译码"规则 "择多译码"
3×10-4 2×10-2 2.23×10-2 7.8×10-4 3×10-2 × × × × ×
14
错误概率与编码方法
重复发送——大数判决规则 重复发送——大数判决规则 信息数据 000 001 010 011 100 101 110 111 编码1 编码1 000000000 000000111 000111000 000111111 111000000 111000111 111111000 111111111 编码2 编码2 000000000 001001001 010010010 011011011 100100100 101101101 110110110 111111111
信息论 基础理论与应用第三版 傅祖芸113页PPT
END
16、业余生活要有意义，不要越轨。——华盛顿 17、一个人即使已登上顶峰，也仍要自强不息。——罗素·贝克 18、最大的挑战和突破在于用人，而用人最大的突破在于信任人。——马云 19、自己活着，就是为了使别人过得更美好。——雷锋 20、要掌握书，莫被书掌握；要为生而读，莫为读而生。——布尔沃
信息论 基础理论与应用第三版 傅祖芸
16、人民应该为法律而战斗，就像为 了城墙 而战斗 一样。 ——赫 拉克利 特 17、人类对于不公正的行为加以指责 ，并非 因为他 们愿意 做出这 种行为 ，而是 惟恐自 己会成 为这种 行为的 牺牲者 。—— 柏拉图 18、制定法律法令，就是为了不让强 者做什 么事都 横行霸 道。— —奥维 德 19、法律是社会的习惯和思想的结晶 。—— 托·伍·威尔逊 20、人们嘴上挂着的法律，其真实含 义是财 富。— —爱献 生
信息论第5章-1
log m K log m
L
K log m
K log m
22
二元编码：编码效率=编码后的信息传输率
定长编码
基本源编码：
对单个符号X进行编码， X∈{x1 ,x2 ,…, xn}，输入符号 总共有 n 种 若对信源进行定长编码 Ki=K，实现无失真编码 (存在 唯一可译码)的条件——Kraft不等式
码 表 码0 00 01 10 11 码1 0 11 00 11 码2 0 10 00 01 码3 1 10 100 1000 码4 1 01 001 0001
11
信源符号 x1 x2 x3 x4
码的分类
奇异码 → 非唯一可译码
非奇异码中既有唯一可译码也有非唯一可译码
等长码：非奇异 → 唯一可译码 变长码：任意N次扩展码（ N ≥ 1）均为非奇异码
第五章
信源编码
信源编码
5.1 信源编码的定义 5.2 无失真信源编码 5.3 限失真信源编码
5.4 常用信源编码方法简介
2
信源编码
5.1 信源编码的定义 5.2 无失真信源编码 5.3 限失真信源编码
5.4 常用信源编码方法简介
3
信源编码的定义
例：英文电报信源符号X={a,b,c…z,空格符,…}，n=32。数字信道只允 许{0, 1}两种状态的信号，因此为了在数字信道中传输，需要对信源符 号进行编码
i i
i
码元符号/信源符号
L长符号序列编码： K K L L
p(x ) K
i i
Li
L
码元符号 /信源符号
编码后的信息传输率R：编码后平均每个码元传送的 信息量 H L ( X) H(X )
信息论 基础理论与应用第三版(傅祖芸) 第5章 讲义
l H ( S ) 2 N log r
则不可能实现无失真编码，当N趋向于无穷大时，译码错误 率接近于1。
•分析：定理中的条件式可写成
l log r NH (S )
左边: 长为 l 的码符号（码字）所能载荷的最大信息量； 右边: 长为N的信源符号序列平均携带的信息量。 因此，定理说明了：只要码字传输的最大信息量大于信源序 列携带的信息量，则可以实现无失真编码 。
第5章 无失真信源编码定理
5.1 编码器 5.2 等长码 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
则不可能实现无失真编码，当N趋向于无穷大时，译码错误 率接近于1。
•分析：定理中的条件式可写成
l log r NH (S )
左边: 长为 l 的码符号（码字）所能载荷的最大信息量； 右边: 长为N的信源符号序列平均携带的信息量。 因此，定理说明了：只要码字传输的最大信息量大于信源序 列携带的信息量，则可以实现无失真编码 。
第5章 无失真信源编码定理
5.1 编码器 5.2 等长码 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
《信息论》—基础理论与应用(傅祖芸)课后答案
X a1 = 0 a 2 = 1 a 3 = 2 a 4 = 3 【 2.5 】 设 离散 无 记 忆 信 源 ， 其 发 出 的消 息 为 = 1/ 4 1/ 4 1/ 8 P ( x) 3 / 8 （202120130213001203210110321010021032011223210） ，求 （1） 此消息的自信息是多少？ （2） 在此消息中平均每个符号携带的信息量是多少？ 解： 信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息 即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为： I (a 0 = 0) = log 8 = 1.415 比特 3
本页已使用福昕阅读器进行编辑。 福昕软件（Ｃ）２００５－２０１０，版权所有， 仅供试用。
即函数 f ( x ) 为减函数，因此有 f (0) ≥ f (ε ) ，即 ( p1 − ε ) log( p1 − ε ) + ( p 2 + ε ) log( p 2 + ε ) ≤ p1 log p1 + p 2 log p 2 因此 H ( X ) ≤ H ( X ′) 成立。 【解释】 当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。 【2.11】试证明：若 ∑ pi = 1 ， ∑ q j = p L ，则
本页已使用福昕阅读器进行编辑。 福昕软件（Ｃ）２００５－２０１０，版权所有， 仅供试用。
P( A | B) =
P( AB) P( A) P( B | A) 0.25 × 0.75 = = = 0.375 P( B) P( B) 0.5
已知该事件所能获得的信息量为 I = log 1 ≈ 1.415 比特 0.375
问女同志回答“否”所获昨的信息量为： I = log 1 ≈ 7.23 × 10 −3 比特/符号 0.995
信息论与编码理论基础(第五章)
2012-5-10
15
两种典型的译码规则
[解答 最佳译码判决指的是最大后验概率译码。记(Q(x1), Q(x2), 解答] 最佳译码判决指的是最大后验概率译码。 解答 Q(x3))信道的输入随机变量 的概率向量，又称为先验概率向 信道的输入随机变量X的概率向量 信道的输入随机变量 的概率向量， 为信道的输出随机变量Y的分布概率 量， (W(y1), W(y2), W(y3))为信道的输出随机变量 的分布概率 为信道的输出随机变量 向量。则 向量。 (Q(x1), Q(x2), Q(x3))=(1/2,1/4, 1/4)， ，
2012-5-10
20
两种典型的译码规则
2012-5-10 7
k0长信息段 信息段 纠错编码器
n0长码段
• (n0, k0)卷积码 (Convolutional codes)：各分组 卷积码 ： 相关，约束长度L为 相关，约束长度 为(m+1) k0
….
n0长码段
(N, L)分组码 (Block codes)：分组之间独立， 分组码 ：分组之间独立， 约束长度L为 约束长度 为k0
2012-5-10
3
11
译码规则
例：有一个离散信道，其转移概率矩阵P为
根据该转移概率矩阵可以设计一个译码规则A如 上; 也可以设计一个译码规则B如下：
2012-5-10
12
译码规则
制定译码规则就是设计一个函数它对于每一个输出符 号确定一个唯一的输入符号与其对应。 号确定一个唯一的输入符号与其对应。 若信道有r个输入符号，s个输出符号，则共有多少种 若信道有 个输入符号， 个输出符号 个输入符号 个输出符号， 译码规则？ 译码规则？ 由于s个输出符号中的每一个都可以翻译成 个输入符 由于 个输出符号中的每一个都可以翻译成r个输入符 个输出符号中的每一个都可以翻译成 号中的任何一个，所以共有r 种译码规则可供选择。 号中的任何一个，所以共有 s种译码规则可供选择。 译码规则的选择应该根据什么准则？ 译码规则的选择应该根据什么准则？ 一个很自然的准则当然就是要使错误概率为最小。 一个很自然的准则当然就是要使错误概率为最小。
信息论基础理论与应用第三版傅祖芸绪论
认证性：接受者能正确判断所接收的消息的正确性， 验证消息的完整性，而不是伪造和窜改的。
23
信息论研究的内容
? 狭义信息论：
? 主要研究信息的测度、信道容量以及信源和信道编码理论 等问题。
? 一般信息论：
? 主要也是研究信息传输和处理问题，除香农信息论，还包 括噪声理论、信号滤波和预测、统计检测和估计、调制理 论、信息处理理论以及保密理论等。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
?X ??P(
? x)??
?
? a1 ??p(a1)
a2 ? p(a2) ?
an ? p(an )??
样本空间 概率测度
? 先验概率p(xi)：
选择符号 xi作为消息的概率。
11
? 例：气象预报
甲
?X ? ??p(x)??
?
?晴 ??1/ 2,
? 1948 年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949 年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
? 此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
27
信息论的发展
? 香农信息理论的数学严格化 ? 无失真信源编码定理和技术的发展 ? 信道纠错编码的发展 ? 限失真编码的提出和发展 ? 多用户、网络信息化的发展 ? 信息保密与安全理论的提出和发展
谢谢
32
28
信息论的研究成果举例
? 语音编码
CCITT G.722 ，G.723.1 ， G.728
? 图像编码
JPEG, MPEG-4
? 视频编码
H.261,H.263
29
信息论的发展
23
信息论研究的内容
? 狭义信息论：
? 主要研究信息的测度、信道容量以及信源和信道编码理论 等问题。
? 一般信息论：
? 主要也是研究信息传输和处理问题，除香农信息论，还包 括噪声理论、信号滤波和预测、统计检测和估计、调制理 论、信息处理理论以及保密理论等。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
?X ??P(
? x)??
?
? a1 ??p(a1)
a2 ? p(a2) ?
an ? p(an )??
样本空间 概率测度
? 先验概率p(xi)：
选择符号 xi作为消息的概率。
11
? 例：气象预报
甲
?X ? ??p(x)??
?
?晴 ??1/ 2,
? 1948 年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949 年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
? 此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
27
信息论的发展
? 香农信息理论的数学严格化 ? 无失真信源编码定理和技术的发展 ? 信道纠错编码的发展 ? 限失真编码的提出和发展 ? 多用户、网络信息化的发展 ? 信息保密与安全理论的提出和发展
谢谢
32
28
信息论的研究成果举例
? 语音编码
CCITT G.722 ，G.723.1 ， G.728
? 图像编码
JPEG, MPEG-4
? 视频编码
H.261,H.263
29
信息论的发展
最新信息论-第五章教学讲义ppt
当d(y,u(0)) min d(y,u)时， u跑遍所有码字
将输出 y译 值为码 u(0字 )。
2021/3/12
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
其中d是y与u的Hamming距离。 注意到p/(D-1)<(1-p)。所以 pN(y|u)达到最大，当且仅当y与u的Hamming距离达到最小。 得证。
2021/3/12
15
§5.1 离散信道编码问题
命题 如果每个码字是等概出现的，则最大后验概率准则等价 于最大似然概率准则。
证明
max b(u| y) max q(u)pN(y|u)
（4）过程 (Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’)
称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正 确译码（实际上就是正确接收）。
2021/3/12
8
§5.1 离散信道编码问题
（5）N比L大得越多，1/DN-L份额越小，码字的分布越 稀疏，信道传输错误不在这1/DN-L份额之内的可能 性越大，即信道传输错误越容易被检测到。但N比L 大得越多，信道传输的浪费越大。
简记率b。(u|y)=P((U1U2…UN)=u|(Y1Y2…YN)=y)。称b(u|y)为后验概 最大后验概率准则：
当b(u(0) | y) maxb(u| y)时， u跑遍所有码字
将输出 y译值为码 u(0)。 字
2021/3/12
10
§5.1 离散信道编码问题
将输出 y译 值为码 u(0字 )。
2021/3/12
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
其中d是y与u的Hamming距离。 注意到p/(D-1)<(1-p)。所以 pN(y|u)达到最大，当且仅当y与u的Hamming距离达到最小。 得证。
2021/3/12
15
§5.1 离散信道编码问题
命题 如果每个码字是等概出现的，则最大后验概率准则等价 于最大似然概率准则。
证明
max b(u| y) max q(u)pN(y|u)
（4）过程 (Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’)
称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正 确译码（实际上就是正确接收）。
2021/3/12
8
§5.1 离散信道编码问题
（5）N比L大得越多，1/DN-L份额越小，码字的分布越 稀疏，信道传输错误不在这1/DN-L份额之内的可能 性越大，即信道传输错误越容易被检测到。但N比L 大得越多，信道传输的浪费越大。
简记率b。(u|y)=P((U1U2…UN)=u|(Y1Y2…YN)=y)。称b(u|y)为后验概 最大后验概率准则：
当b(u(0) | y) maxb(u| y)时， u跑遍所有码字
将输出 y译值为码 u(0)。 字
2021/3/12
10
§5.1 离散信道编码问题
信息论与编码傅祖云讲义
p( y 1 x 0) p( y 0 x 1) 0 是较合理旳。
单符号离散信道旳数学模型
由此可见，一般单符号离散信道旳转移概率可用
信道转移矩阵P来表达：
b1
b2
a1 a2
p(b1 a1)
p(b1
a2
)
p(b2 a1) p(b2 a2 )
ar p(b1 ar ) p(b2 ar )
3.1信道旳数学模型及分类
在广义旳通信系统中，信道是很主要旳一部分。
信道旳任务是以信号方式传播信息和存储信息。
研究信道旳目旳就是研究信道中能够传送或存储 旳最大信息量，即信道容量问题。
本章首先讨论离散信道旳统计特征和数学模型， 然后定量地研究信道传播旳平均互信息及其性质 ，并导出信道容量及其计算措施。
4、平均互信息旳凸状性（两个定理）
定理3.1 平均互信息I (X ;Y ) 是信源概率分布p(x)旳 ∩型凸函数。
平均互信息旳特征
定理3.1旳意义：对于每一种固定信道，一定存在 一种信源（某一概率分布P(X)），使输出端取得 旳平均信息量为最大Imax（∩型凸函数存在极大 值）。这时称这个信源为该信道旳匹配信源。
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
二元对称信道BSC旳平均互信息
I
(
X
;Y
)
(
p
p)
log
p
1
p
(p
p)
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
单符号离散信道旳数学模型
由此可见，一般单符号离散信道旳转移概率可用
信道转移矩阵P来表达：
b1
b2
a1 a2
p(b1 a1)
p(b1
a2
)
p(b2 a1) p(b2 a2 )
ar p(b1 ar ) p(b2 ar )
3.1信道旳数学模型及分类
在广义旳通信系统中，信道是很主要旳一部分。
信道旳任务是以信号方式传播信息和存储信息。
研究信道旳目旳就是研究信道中能够传送或存储 旳最大信息量，即信道容量问题。
本章首先讨论离散信道旳统计特征和数学模型， 然后定量地研究信道传播旳平均互信息及其性质 ，并导出信道容量及其计算措施。
4、平均互信息旳凸状性（两个定理）
定理3.1 平均互信息I (X ;Y ) 是信源概率分布p(x)旳 ∩型凸函数。
平均互信息旳特征
定理3.1旳意义：对于每一种固定信道，一定存在 一种信源（某一概率分布P(X)），使输出端取得 旳平均信息量为最大Imax（∩型凸函数存在极大 值）。这时称这个信源为该信道旳匹配信源。
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
二元对称信道BSC旳平均互信息
I
(
X
;Y
)
(
p
p)
log
p
1
p
(p
p)
log
p
1
p
p
log
1 p
p
log
1 p
H ( p p) H ( p)
信息论--傅祖芸课后题解答
N
lim H N ( X ) H ( X ) 0.97
(3)
H ( X ) 2 H ( X ) 4 0.97 3.88
2
0000,0001,0010,0011,0100,0101,0110,0111
1000,1001,1010,1011,1100,1101,1110,1111
PE
1 24
1 12
第五章 5.3 （1）最小距离为3 （2）
5 5 （3） F (1000) 10010, F (01100) 11100, F (00100) 不确定 R log 4 2
（4）能纠正一位错误 5.15 (1)最小汉明距离准则 （2） 7 6 PE p 5 p p （3） （4） P 1 (0.99 7 0.99
p 2
当p＝0： H p log p p log 2 0 当p＝1： H p log p p log 2 1
p
p
第二章习题
a1 : 1 2
a2 : a3 :
a1 : 1
a2 : 1 4 1 4 a3 :
1 2
2.23 图应改为：
s1
s2
1 2
s3
（1）
Q ( s1 ) 0.5Q ( s1 ) Q ( s 3 ) Q ( s 2 ) 0.25Q ( s1 ) 0.5 Q ( s 2 ) Q ( s3 ) 0.25Q ( s1 ) 0.5Q ( s 3 ) Q ( s ) Q ( s ) Q ( s ) 1 1 2 3
第二章习题 2.21 (1)
Q ( E i ) P ( ai )
p p P (0) pP (0) P (1) P (2) 2 2 p p P (1) pP (1) P (0) P (2) 2 2 p p P (2) pP (2) P (1) P (0) 2 2
lim H N ( X ) H ( X ) 0.97
(3)
H ( X ) 2 H ( X ) 4 0.97 3.88
2
0000,0001,0010,0011,0100,0101,0110,0111
1000,1001,1010,1011,1100,1101,1110,1111
PE
1 24
1 12
第五章 5.3 （1）最小距离为3 （2）
5 5 （3） F (1000) 10010, F (01100) 11100, F (00100) 不确定 R log 4 2
（4）能纠正一位错误 5.15 (1)最小汉明距离准则 （2） 7 6 PE p 5 p p （3） （4） P 1 (0.99 7 0.99
p 2
当p＝0： H p log p p log 2 0 当p＝1： H p log p p log 2 1
p
p
第二章习题
a1 : 1 2
a2 : a3 :
a1 : 1
a2 : 1 4 1 4 a3 :
1 2
2.23 图应改为：
s1
s2
1 2
s3
（1）
Q ( s1 ) 0.5Q ( s1 ) Q ( s 3 ) Q ( s 2 ) 0.25Q ( s1 ) 0.5 Q ( s 2 ) Q ( s3 ) 0.25Q ( s1 ) 0.5Q ( s 3 ) Q ( s ) Q ( s ) Q ( s ) 1 1 2 3
第二章习题 2.21 (1)
Q ( E i ) P ( ai )
p p P (0) pP (0) P (1) P (2) 2 2 p p P (1) pP (1) P (0) P (2) 2 2 p p P (2) pP (2) P (1) P (0) 2 2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础理论与应用第三版 傅祖芸第5章讲义
引言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码:
在不失真或允许一定失真条件下，提高信息传输率. 信道编码:
在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码
5、码的N次扩展
若某码 C，它把信源S中的符号si 一一变换成码C中的码
字 wi ，则码C的N次扩展码是所有N个码字组成的码字序列
的集合B:
S C :{W1,W2 ,...,Wq}
扩展 B :{Bi (Wi1Wi2...WiN )}
C {W1,W2 ,L ,Wq}
码C
si N次扩展
Wi (xi1 xi2 ...xili ) N次扩展
i (si1 si2 ...siN )
Bi (Wi1Wi2 ...WiN )
(i 1,2,...,qN )
扩展信源
码B 扩展码
vi Bi (Wi1 ,Wi2 ,L ,WiN ), vi S N ,Wil C
[例] 设信源S的概率空间为：
S
0
s2
P(s2)
01
s3
P(s3)
001
s4
P(s4)
111
试求码的二次扩展码。
信源S的二次扩展信源： S 2 [1 s1s1,2 s1s2 ,3 s1s3,..., 16 s4s4 ] 则码的二次扩展码为：
信源 符号
α1 α2 α3 α4
码字
00: W1W1=B1 001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
编码2 0 01 001 101
3、非奇异码与奇异码 非奇异码: 一组码中所有码字都不相同。
si s j Wi Wj ; si , s j S Wi ,Wj C
奇异码: 一组码中有相同的码字。
si s j Wi Wj ; si , s j S
Wi ,Wj C
信源符号
➢ 研究信道编码时，将信源编码与译码看成是信源与信宿的 一部分，从而突出信道编码。
编码器：
对信源的符号按一定的数学规则进行的变换。 它可以看作这样一个系统，它的输入端为原始信源S，其符 号集为
S {S1, S2 ,..., Sq}
而信道所能传输的符号集为
X {x1, x2 ,..., xr}
或：
i (si1 si2 ...siN ) Wi (xi1 xx2 ...xili ),
sik S, (k 1,2,...N ); xik X (k 1,2,...li )
若要实现无失真编码，这种映射应是一一对应的可逆 映射。
码的分类及定义
1、二元码与r元码 2元码: 码符号集X={0,1}. 如果将信源通过二元信道传输，必
Or: 码符号序列的反变换也唯一的（扩展码非奇异）
原因： 若要使某一码为惟一可译码，则对于任意有限长的码
符号序列，必须只能被惟一地分割成一个个的码字，才能 实现唯一的译码。
须将信源编成二元码，这是最常用的一种码。 r元码: 码符号集有r个符号的编码。
2、等长码与变长码 等长码: 一组码中所有码字的长度都相同。 变长码: 一组码中所有码字的长度各不相同。
信源符号si s1 s2 s3 s4
符号出现概率p(si) p(s1) p (s2) p (s3) p (s4)
编码1 00 01 10 11
只可唯一地划分为1,00,01,1,01，因此是惟一可译码； 而对另一个二元码 C2 {0,10, 01} ，当码字序列为
…01001… 可划分为0,10,01或01,0,01，所以是非惟一可译的。
唯一可译码的条件
1）不同的信源符号变换成不同的码字(非奇异码)；
2）任意有限长的信源序列所对应的码元序列各不相同. 即: 码的任意有限长N次扩展码都是非奇异码。
s1
P(
s1
)
s2 P(s2 )
s3 P(s3 )
sq P(sq )
q
p(si ) 1
i 1
若通过—个二元信道进行传输，须把信源符号变换成 0，1 符 号组成的码符号序列(二元序列)。采用如下二元码， 如下表所示 （q=4）：
信源符号si 符号出现概率P(si)
编码器功能：用符号集X中的元素，将原始信源的符
号 si变换为相应的码字符号 wi，编码器输出符号集为
C :{W1,W2,...,Wq} (码或码书)
wi 称为码字，li 为码字 wi 的码元个数（码字长度，码
长）。码字集合C称为码或码书。
编码的形式化描述： 从信源符号到码符号的一种映射
si (i 1,2,...,q) Wi (xi1 xi2 ...xili ), xik X , (k 1,2,...li )
定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。
信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号
之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
研究方法
5.1 编码器
➢ 研究信源编码时，将信道编码与译码看成是信道的一部分， 从而突出信源编码；
信源 符号
α5 ：
码字
010:W2W1=B5
：
：
：
：
：
信源 符号
： ： ： α16
码字
： ： ：
111111:W4W4=B16
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。
否则,就为非惟一可译码或非单义可译码。
例：对于二元码 C1 {1, 01, 00} ，当任意给定一串码字 序列，例如 …10001101…
a1
p(ai )
1/2
编码1 00
编码2 0
a2
1/4
01
0
a3
1/8
10
1
a4
1/8
11
10
4、同价码
同价码: 码符号集 X {x1, x2,..., xr} 中每个码符号所占的 传输时间都相同(大多数情况)。
变长码中每个码字的传输时间就不一定相同。 （摩尔斯电报码，点-划 所占传输时间不同）
引言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码:
在不失真或允许一定失真条件下，提高信息传输率. 信道编码:
在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码
5、码的N次扩展
若某码 C，它把信源S中的符号si 一一变换成码C中的码
字 wi ，则码C的N次扩展码是所有N个码字组成的码字序列
的集合B:
S C :{W1,W2 ,...,Wq}
扩展 B :{Bi (Wi1Wi2...WiN )}
C {W1,W2 ,L ,Wq}
码C
si N次扩展
Wi (xi1 xi2 ...xili ) N次扩展
i (si1 si2 ...siN )
Bi (Wi1Wi2 ...WiN )
(i 1,2,...,qN )
扩展信源
码B 扩展码
vi Bi (Wi1 ,Wi2 ,L ,WiN ), vi S N ,Wil C
[例] 设信源S的概率空间为：
S
0
s2
P(s2)
01
s3
P(s3)
001
s4
P(s4)
111
试求码的二次扩展码。
信源S的二次扩展信源： S 2 [1 s1s1,2 s1s2 ,3 s1s3,..., 16 s4s4 ] 则码的二次扩展码为：
信源 符号
α1 α2 α3 α4
码字
00: W1W1=B1 001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
编码2 0 01 001 101
3、非奇异码与奇异码 非奇异码: 一组码中所有码字都不相同。
si s j Wi Wj ; si , s j S Wi ,Wj C
奇异码: 一组码中有相同的码字。
si s j Wi Wj ; si , s j S
Wi ,Wj C
信源符号
➢ 研究信道编码时，将信源编码与译码看成是信源与信宿的 一部分，从而突出信道编码。
编码器：
对信源的符号按一定的数学规则进行的变换。 它可以看作这样一个系统，它的输入端为原始信源S，其符 号集为
S {S1, S2 ,..., Sq}
而信道所能传输的符号集为
X {x1, x2 ,..., xr}
或：
i (si1 si2 ...siN ) Wi (xi1 xx2 ...xili ),
sik S, (k 1,2,...N ); xik X (k 1,2,...li )
若要实现无失真编码，这种映射应是一一对应的可逆 映射。
码的分类及定义
1、二元码与r元码 2元码: 码符号集X={0,1}. 如果将信源通过二元信道传输，必
Or: 码符号序列的反变换也唯一的（扩展码非奇异）
原因： 若要使某一码为惟一可译码，则对于任意有限长的码
符号序列，必须只能被惟一地分割成一个个的码字，才能 实现唯一的译码。
须将信源编成二元码，这是最常用的一种码。 r元码: 码符号集有r个符号的编码。
2、等长码与变长码 等长码: 一组码中所有码字的长度都相同。 变长码: 一组码中所有码字的长度各不相同。
信源符号si s1 s2 s3 s4
符号出现概率p(si) p(s1) p (s2) p (s3) p (s4)
编码1 00 01 10 11
只可唯一地划分为1,00,01,1,01，因此是惟一可译码； 而对另一个二元码 C2 {0,10, 01} ，当码字序列为
…01001… 可划分为0,10,01或01,0,01，所以是非惟一可译的。
唯一可译码的条件
1）不同的信源符号变换成不同的码字(非奇异码)；
2）任意有限长的信源序列所对应的码元序列各不相同. 即: 码的任意有限长N次扩展码都是非奇异码。
s1
P(
s1
)
s2 P(s2 )
s3 P(s3 )
sq P(sq )
q
p(si ) 1
i 1
若通过—个二元信道进行传输，须把信源符号变换成 0，1 符 号组成的码符号序列(二元序列)。采用如下二元码， 如下表所示 （q=4）：
信源符号si 符号出现概率P(si)
编码器功能：用符号集X中的元素，将原始信源的符
号 si变换为相应的码字符号 wi，编码器输出符号集为
C :{W1,W2,...,Wq} (码或码书)
wi 称为码字，li 为码字 wi 的码元个数（码字长度，码
长）。码字集合C称为码或码书。
编码的形式化描述： 从信源符号到码符号的一种映射
si (i 1,2,...,q) Wi (xi1 xi2 ...xili ), xik X , (k 1,2,...li )
定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。
信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号
之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
研究方法
5.1 编码器
➢ 研究信源编码时，将信道编码与译码看成是信道的一部分， 从而突出信源编码；
信源 符号
α5 ：
码字
010:W2W1=B5
：
：
：
：
：
信源 符号
： ： ： α16
码字
： ： ：
111111:W4W4=B16
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。
否则,就为非惟一可译码或非单义可译码。
例：对于二元码 C1 {1, 01, 00} ，当任意给定一串码字 序列，例如 …10001101…
a1
p(ai )
1/2
编码1 00
编码2 0
a2
1/4
01
0
a3
1/8
10
1
a4
1/8
11
10
4、同价码
同价码: 码符号集 X {x1, x2,..., xr} 中每个码符号所占的 传输时间都相同(大多数情况)。
变长码中每个码字的传输时间就不一定相同。 （摩尔斯电报码，点-划 所占传输时间不同）