信息论基础PPT.ppt
合集下载
信息论基础ppt
X q(X
)
x 1 q(x
1
)
x2 q(x 2 )
xm q(x m )
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。
X q(
X
)
x1 q(
x1
)
x2 q(x2 )
xI q(xI )
q(xi )：信源输出符号消息xi的先验概率; I 满足：0 q(xi) 1，1 i I q(xi ) 1 i 1
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
P
p( p(
y1 y1
x1 ) x2 )
p( y1 xI )
p( y2 x1 ) p(y2 x2 )
p( y2 xI )
p( y J p( yJ
x1 x2
) )
p( yJ xI )
p (yjxi )对应为已知输入符号为xi，当输出符号为yj时的信道
转移概率，满足0 p (yjxi ) 1，且
波形信道 信道的输入和输出都是时间上连续， 并且取值也连续的随机信号。 根据统计特性，即转移概率p (yx )的不同，信道又可分类为：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
信息论基础第二章PPT
8
则用转移概率矩阵表示为 0.25 0.75 p 0.6 0.4
也可用状态转移图表示为
0.75
0.25
0
1
0.4
0.6
9
其n长序列的联合分布为：
Pr { X n x n } Pr {( X 1 X 2 X n ( x1 x2 xn )} ( x1 )i 1 Pr ( X i 1 xi 1 | X i xi )
Pr {( X1 , X 2 , X n ) ( x1 , x2 xn )}
( x1, x2 xn ) n , n 1, 2
p( x1 , x2 xn )
唯一决定
4
无记忆信源
当 X1, X 2 X n 为相互独立的随机变量， 且服从相同的分布：
Pr ( X i x) p( x)
P(0 | 00) 0.8, P (1|11) 0.8, P (1| 00) P (0 |11) 0.2 P(0 | 01) P(0 |10) P (1| 01) P (1|10) 0.5
用转移概率矩阵表示为
11
0 0.8 0.2 0 0 0 0.5 0.5 P 0.5 0.5 0 0 0 0.2 0.8 0
1 k
1 k
Pr {( X t1 , X t2 , , X tm ) ( x1 , x2 ,, xm )} Pr {( X t1 k , X t2 k , , X tm k ) ( x1 , x2 xm )}
14
如果一个马氏过程是平稳的，则
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1} Pr {X 2 xm | X1 xm1}
《信息论基础》课件
2
信息论与数学中的概率论、统计学、组合数学等 学科密切相关，这些学科为信息论提供了重要的 数学工具和理论基础。
3
信息论与物理学中的量子力学、热力学等学科也 有密切的联系，这些学科为信息论提供了更深层 次的理论基础。
信息论未来发展趋势
信息论将继续深入研究量子信 息论和网络信息论等领域，探 索更高效、更安全的信息传输
和处理技术。
随着人工智能和大数据等技 术的快速发展，信息论将在 数据挖掘、机器学习等领域
发挥更大的作用。
信息论还将继续关注网络安全 、隐私保护等问题，为构建安 全可靠的信息社会提供重要的
理论支持。
2023
REPORTING
THANKS
感谢观看
海明码（Hamming Code）： 一种能够纠正一位错误的线性 纠错码。
里德-所罗门码（ReedSolomon Code）：一种广泛 应用于数据存储和通信领域的 强纠错码。
差错控制机制
前向纠错（FEC）
01
在发送端采用纠错编码，使得接收端能够自动纠正传输过程中
的错误。
自动重传请求（ARQ）
02
接收端检测到错误后请求发送端重传数据，直到接收正确为止
常见信道编码技术
线性分组码
将信息序列划分为若干组，对每组进行线性 编码，常见的有汉明码、格雷码等。
循环码
将信息序列进行循环移位后进行编码，常见的有 BCH码、RS码等。
卷积码
将信息序列进行卷积处理后进行编码，常见 的有Convolutional Code等。
2023
PART 04
信息传输与错误控制
。
混合纠错（HEC）
03
结合前向纠错和自动重传请求，以提高数据传输的可靠性和效
信息论基础线性分组码PPT
设码字x5 (x0 , x1, x2 , x3, x4 )， 可得 信息位 码字
00 00000 01 01101 10 10111 11 11010
x2
x3
x0 x0
x1
x4 x0 x1
20
线性分组码的基本概念
改写为
1 1
x0 x0
1 0
x1 x1
1 x2 0 0 x2 1
二战期间在路易斯维尔大学当教授，1945年参加曼哈顿计划， 负责编写电脑程式，计算物理学家所提供方程的解。该程式 是判断引爆核弹会否燃烧大气层，结果是不会，于是核弹便 开始试验。
1946至76年在贝尔实验室工作。他曾和约翰·怀尔德·杜奇、 克劳德·艾尔伍德·香农合作。1956年他参与了IBM 650的程 式语言发展工作。
码字无关！
记S= en·HT ，称之为接收序列rn的伴随式.
36
线性分组码的译码
（n，k）线性分组码的校验矩阵，用列向量
表出：
h1,1
h1,2
H
h2,1
h2,2
h1,n
h2,n
h1
h2
hn
hnk
,1
hnk ,2
hnk
,n
其中，hn-i为H矩阵的第i列.
37
线性分组码的译码
设en=(e1， e2，…，en)=(0，…，ei1，0，…，ei2，0，…， ei3，0，…，eit，0，…，0)
信息位 码字
00 00000
1(01) 1(10) 11
01 01101 10 10111
f (11) 11010
11 11010
1(01101) 1(10111) 11010
f (1(01) 1(10)) 1(01101) 1(10111)
信息论基础 ppt课件
他认为“信息是事物运动状态或存在 方式的不确定性的描述”。
ppt课件
(2)信息与消息和信号的区别
在通信中对信息的表达分为三个层次：信号、消息、信 息。
信号：是信息的物理表达层，是三个层次中最具体的层 次。它是一个物理量，是一个载荷信息的实体，可测量、
可描述、可显示。如电信号、光信号等。
消息：(或称为符号)是信息的数学表达层，它虽不是一 个物理量，但是可以定量地加以描述，它是具体物理信 号的进一步数学抽象，可将具体物理信号抽象为两大类 型： 1) 离散(数字)消息，是一组未知量，可用随机序列来 描述：U=(U1…Ui…UL) 2) 连续(模拟)消息，也是未知量，它可用随机过程来 描述：U(t,ω)
ppt课件
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不要 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
信息论--基础理论与应用
北京理工大学 信息与电子学院 2014年3月
ppt课件
课程类型：专业选修课 学 时：32学时 授课时间：第一周----第八周 考试时间：第九周 教 材：《信息论—基础理论与应用》,傅祖芸,电子工业出版社 参考教材：
①《信息论与编码》,陈运,电子工业出版社 ②《应用信息论基础》,朱雪龙，清华大学出版社 ③《信息论与编码学习辅导及习题详解》傅祖芸,电子工业出版社
ppt课件
信息论
信息论已经成为现代信息科学的一个重要组成部分，它 是现代通信和信息技术的理论基础。现代信息论又是数 学概率论下的一个分支，与遍历性理论、大偏差理论以 及统计力学等都有密切关系，因此信息论已成为大学诸 多专业的必修课和选修课，并不再局限于已有的通信工 程、电子工程、信息工程等专业。
ppt课件
(2)信息与消息和信号的区别
在通信中对信息的表达分为三个层次：信号、消息、信 息。
信号：是信息的物理表达层，是三个层次中最具体的层 次。它是一个物理量，是一个载荷信息的实体，可测量、
可描述、可显示。如电信号、光信号等。
消息：(或称为符号)是信息的数学表达层，它虽不是一 个物理量，但是可以定量地加以描述，它是具体物理信 号的进一步数学抽象，可将具体物理信号抽象为两大类 型： 1) 离散(数字)消息，是一组未知量，可用随机序列来 描述：U=(U1…Ui…UL) 2) 连续(模拟)消息，也是未知量，它可用随机过程来 描述：U(t,ω)
ppt课件
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不要 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
信息论--基础理论与应用
北京理工大学 信息与电子学院 2014年3月
ppt课件
课程类型：专业选修课 学 时：32学时 授课时间：第一周----第八周 考试时间：第九周 教 材：《信息论—基础理论与应用》,傅祖芸,电子工业出版社 参考教材：
①《信息论与编码》,陈运,电子工业出版社 ②《应用信息论基础》,朱雪龙，清华大学出版社 ③《信息论与编码学习辅导及习题详解》傅祖芸,电子工业出版社
ppt课件
信息论
信息论已经成为现代信息科学的一个重要组成部分，它 是现代通信和信息技术的理论基础。现代信息论又是数 学概率论下的一个分支，与遍历性理论、大偏差理论以 及统计力学等都有密切关系，因此信息论已成为大学诸 多专业的必修课和选修课，并不再局限于已有的通信工 程、电子工程、信息工程等专业。
第一章信息论基础PPT课件
2021
43
信息传输和传播手段经历了五次重大 变革：
1 语言的产生。
2 文字的产生。
3 印刷术的发明。
4 电报、电话的发明。
5 计算机技术与通信技术相结 合，促进了网络通信的发展。
2021
44
1.3 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括的统计模型： 信息传输系统模型
2021
17
语法信息
仅仅考虑其中形式因素的部分。
语义信息
考虑其中含义因素的部分。
语用信息
考虑其中效用因素的部分。
2021
18
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。 信息是物质和能量在空间和时间上分 布的不均匀程度，或者说信息是关于 事物运动的状态和规律。
2021
19
信息存在于自然界，也存在于人类社会，
2021
15
认识论比本体论的层次要低，因为
认识主体具有感觉能力、理解能力和 目的性，所以从认识论层次上研究信 息“事物的运动状态及其变化方式”就 不再像本体论层次上那样简单，他必 须考虑到形式、含义和效用。
2021
16
全信息
同时考虑事物运动状态及其变化方式的 外在形式、内在含义和效用价值的认识 论层次信息。
信源
信源译码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信20道21 译码器
45
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信息论基础课件2[1][1].1.1- 2
![信息论基础课件2[1][1].1.1- 2](https://img.taocdn.com/s3/m/5d523fd3360cba1aa811da2f.png)
r i 1
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指 的是信源整体，带下标的小写字母代表随机事件的 某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定 性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、 设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采 用天平比较两边轻重的方法来测量（因无法码）。问至 少需要称多少次才能称出假币？ 解：用天平每称一次能获得一定的信息量，能消除部分的不 确定性。测量若干次后，能消除全部不确定性，获得全部信 息，也就能确定出假币。 设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指 的是信源整体，带下标的小写字母代表随机事件的 某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定 性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、 设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采 用天平比较两边轻重的方法来测量（因无法码）。问至 少需要称多少次才能称出假币？ 解：用天平每称一次能获得一定的信息量，能消除部分的不 确定性。测量若干次后，能消除全部不确定性，获得全部信 息，也就能确定出假币。 设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )
信息论基础教学课件ppt信息论基础概述信息论基础概论
33
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p(x, q(x,
y) y)
1 log
1 4
1
log
1 12
1 log
1 4
5
log
5 12
4
1 6
12
1 精选 6
4
1 3
12
1 3
1 log 3 1 log 1 1 log 3 5 log 5 4 2 12 2 4 4 12 4
1 log 3 5 log 5 3 0.26bits
精选
解： (a)
H (X ,Y ) 1 log 1 1 log 1 1 log 1 5 log 5 4 4 4 4 12 12 12 12
3 1 1 log 3 5 log 5
222
12
1.5 0.51.585 0.96 1.32bits
H(X ) 1 log 2 log 2 log 2 log3 2 0.918bits
单位为奈特（nat）若对数以10为底时，则熵的单位为哈特（hartley）。
注意熵只是概率分布 p的函数，与 X 的取值无关。用 E 表示数学期
望，E
表示关于分布
p
p的数学期望，即
Epg(X ) g(x) p(x)
x
则熵可以表示为随机变量 log 1 p(X
的数学期望，即H
)
(X
)
Ep
log
1 p(X
2.644
平均码长L 3 0.7 2 0.3 2.7 2.644
冗余度 2.7 - 2.644 0.0056bit
精选
8 已知信源 X 有以下概率分布
x1 x2 x3 x4 x5 x6
2
12
2
D(q ||
p)
1 log 6
1 6
1 4
1 log 6
1 6
1 12
1 log 3
1 3
1 4
1 log 3
1 3
5 12
1 log 2 1 log 2 1 log 4 1 log 4
6 36
3 33 5
5 1 log 3 1 log 5 0.1bits
32
3 精选
6 设随机变量 X ,Y , Z 有联合分布 p(x, y, z)，证明一下不等式，
精选
13 令 X 为掷一枚均匀硬币直至其正面向上所需的次数，求 X 的概率分布和 H ( X ) 。
解：设正面第一次向上时已经搓硬币次数为X，则X的分布如下：
P(X
1)
1 2
P(
X
2)
1 4
1
P(X
k)
2k
H (X ) P(X k) log P(X k) k 1
1 log 1
I (x) log 1 。 p(x)
精选
1.2 熵、联合熵、条件熵
X 定义 1.2.1 离散随机变量 的熵定义为
H(X ) p(x)log p(x) x
e 我们也用 H ( p) 表示这个熵，有时也称它为概率分布 p的熵，其中对
数函数以2为底时，熵的单位为比特（bit），若对数以 为底时，则熵的
p(x, y) Pr X x,Y y, x, y
则 定义 ( X ,Y ) 的联合熵 H (X ,Y ) 为
H(X ,Y) p(x, y)log p(x, y) x y 或写成数学期望形式：
H ( X ,Y ) E log p(x, y)
精选
定理 1.2.2 （链法则）
H (X ,Y ) H (X ) H (Y | X )
3333
3
H (Y ) 1 log 1 1 log 1 1bits 2 22 2
精选
H (X | Y ) H (X ,Y ) H (Y ) 0.32bits H (X | Y ) H (X ,Y ) H (Y ) 0.402bits I (X :Y ) H (X ) H (Y ) H (X ,Y ) 0.598bits
(iii) 如 p(x) 1, 则 I(x) 0;
(iv) 严格单调性：如果p(x) p( y),
则 I(x) I(y);
(v) 如果p(x, y) p(x)p(y), 则 I(x, y) I(x) I(y)
则 I (x) C log 1 p(x)
其中C 为常数。
x 设 x 有概率 p(x)，则 的自信息定义为
定义一 称唯一可以编码 f 为即时编码（瞬时编码），如果 f 出现的码
字集中，没有一个码字的前缀。
定义二 设码树上最长得路长为 k ，如果 D进码树上k 的路的终结点 k 都被用作码字时共有D k个码字，这时每个码字长都是 ，即是定长码，
这种树称满树。
定字理长分（别克为莱l夫1, 特l2 ,不等lm式）时必码须字满字足母取值D于li
2k
k 1
2k
1
2k
k精选1
k
()
要求上述级数之和，先由 xk
x
k 1
1 x
两边求导：
f
(x)
k 1
k
x k 1
(x 1
) x
1 (1 x)2
x
f
(x)
k 1
k
xk
x (1 x)2
1 带入()得H (X ) 2 2bit
( 12)2
精选
第二章 随机过程的信息度量和渐 进等分性
概念
证明： H ( X ,Y ) p(x, y)log p(x, y) x y
p(x, y)log p(x) p y | x x y
p(x, y)log p(x) p(x, y)log p y | x
x y
x y
p(x)log p(x) p(x, y)log p y | x
并说明等号成立的条件：
(a)H ( X ,Y | Z ) H ( X | Z );
(b)I ( X ,Y; Z ) I ( X ; Z );
(c)H ( X ,Y , Z ) H ( X ,Y ) H (X , Z ) H (X );
(d )I ( X ; Z | Y ) I (Z;Y | X ) I (Z;Y ) I ( X ; Z ).
I (X ,Y : Z ) I (X : Z ) I (Y : Z | X )且I (Y : Z | X ) 0 所以I (X ,Y : Z ) I (X : Z ) 等号成立 I (Y : Z | X )=0即给定X 条件下Y与Z独立
精选
(c)
H(X ,Y, Z) H(X |Y) H(Z | X,Y) H(Z | X ) H(X , Z) H(X )
0.23 log 0.23 0.27 log 0.27
1.423bit
精选
U 6 已知信源 有以下概率分布
U
~
u1 u2 u3 u4 u5 u6 u7
0.3
0.2
0.10.10.10.10.1
(a)构造一个二进即时码；
(b)计算信源熵 H (U ) 和平均码字长。
解：
精选
精选
熵H () 0.3 log0.3 0.2 log0.2 5 log0.1
图1.1 通信系统模型
精选
第一章 随机变量的信息度量
1.1 自信息 1.2 熵、联合熵、条件熵 1.3 相对熵和互信息
精选
1.1 自信息
定理1.1.1
定义 1.1.1
若自信息I (x)满足一下5个条件：
(i) 非复性：I (x) 0;
(ii) 如 p(x) 0, 则 I (x) ;
即冗余度 L H (或X ) l * H精选(。X )
习题三选做
5 一个信源有以下概率分布
U
~
u1 0.05
u2 0.10
u3 0.15
u4 0.20
u5 u6 0.230.27
(a) 对该信源构造一个二进即时码；
(b) 计算信源熵 H (U ) 和平均码字长。
精选
精选
(b)
H () 0.05 log 0.05 0.1log 0.1 0.15 log 0.15 0.24 log 0.24
（a）求该信源的平稳分布。 （b）求该信源的熵率。
精选
解：(a) 一步转移概率矩阵为
P
设平稳分布为( ，1
00..26500..745
),则(，1 )P
( ，1
)解得
4
，所以
9
平稳分布为( 4 , 5). 99
(b) 信源熵率
H(X ) H(X2 | X1)
(x1)p(x精选2 | x1) log p(x2 | x1)
信息论基础
张松松
080803129 南京林业大学理学院
精选
目录
前言 第一章 随机变量的信息度量 第二章 随机过程信息度量和渐进等分性 第三章 数据压缩和信源编码 第四章 数据可靠传输和信道编码
精选
绪论
信息论20世纪40年代后期在通讯
工程实践中，由通讯技术与概率论随机过 程和数理统计相结合而发展起来的一门科 学，是专门研究信息的有效处理和可靠传 输的一般规律的科学。
进字母集的即时码，其码
1 。
反之，对给定的满足上述不等式i的一组 们为码字长的一个即时码。
(l1, l2 ,lm ) ，必存在以他
注1 成立。
定理的结论对构成即时码的任何可列无穷码长集 l1, l2 也
注 2 克莱夫特不等式对唯一可译码也成立。
定义三 一个 进唯一可译码的冗余度定义为其平均长度与信源熵的差，
(b) p(x 0) 1 , p(x 1) 2 , p(Y 0) 1 , p(Y 1) 1
3
3
2
2
q(x 0, y 0) 1 , q(x 0, y 1) 1 , q(x 1, y 0) 1 , q(x 1, y 1) 1