2-1 第2章 信源的数学模型和分类
11
HUST FurongWang --- Information and Coding Theory
信源的分类—无记忆信源 信源的分类
如果信源发出的消息符号间彼此是统计独立的，并且它们具有 相同的概率分布，且N维随机矢量的联合概率分布为：
p ( X ) = ∏ p ( X k = a ik ) = ∏ p ik
实际中经常是它们的组合
如离散无记忆信源等。
10
HUST FurongWang --- Information and Coding Theory
信源的分类—离散平稳信源 信源的分类
信源
X1, X2, X3, ……
A为 {a1, a2, a3, …am}或(a,b) 为 或
如果随机序列中各个变量具有相同的概率分布，则称为离散 离散 平稳信源。 平稳信源 如果离散平稳信源的输出序列中各个变量是相互独立的，即 前一个符号的出现不影响以后任何一个符号出现的概率，则 称为离散无记忆平稳信源 离散无记忆平稳信源，否则称为离散有记忆平稳信源 离散无记忆平稳信源 离散有记忆平稳信源
信源的数学模型及其分类
通信的根本问题是将信源的输出在接收端尽可能精 确地复现出来，所以需要讨论如何描述信源的输出 如何描述信源的输出， 如何描述信源的输出 即如何计算信源产生的信息量 如何计算信源产生的信息量。 如何计算信源产生的信息量 信源的数学模型
信源概念、数学模型 离散信源ang --- Information and Coding Theory
2.1.1 单符号离散信源的数学模型
定义：单符号离散信源的数学模型
设信源X 输出符号集 x = ( x1 , x2 ,...xn )，n为消息符号个数， 每个符号发生的概率为p( xi ) ≥ 0 i = 1, 2,..., n， 消息符号彼此互不相关，且有
14
HUST FurongWang --- Information and Coding Theory
信源的分类
随机 变量 连续信源：可能输出的消息数是无限的或不可数的 X = (a, b) P p( x)
X x1 离散信源：可能输出的消息数有限 P = p( x1 )
有限状态马尔可夫链
无限记忆信源
13
HUST FurongWang --- Information and Coding Theory
混合信源
按信源输出时间和取值划分： 时间连续，取值连续或随机的，称之为随机 波形信源，表示为X(t)。 输出既有连续分量又有离散分量，称之为混 合信源。 重点研究离散信源产生消息的不确定性， 不研究信源的内部结构和消息的如何产生
记忆性：有记忆和无记忆信源 有记忆信源：马尔可夫信源
2
HUST FurongWang --- Information and Coding Theory
信源的概念
信源－信息的发源地，如人、生物、机器等等。 由于信息是十分抽象的东西，所以要通过信息载荷 者，即消息来研究信源，这样信源的具体输出称作 消息。 消息的形式可以是离散消息（如汉字、符号、字母） 或连续消息（如图像、语音） 信源消息中的信息是一个时变的不可预知的函数， 因此，描述信源消息或对信源建模，随机过程是一 个有效的工具，随机过程的特性依赖于信源的特性。
有限记忆信源：输出的平稳随机序列
X中各随机变量之间有 依赖关系，但记忆长度有限
15
HUST FurongWang --- Information and Coding Theory
第2章 信源熵
2.0 2.1 2.2 2.3 2.4 信源的数学模型及其分类 单符号离散信源 多符号离散平稳信源 连续信源 离散无失真信源编码定理
12
HUST FurongWang --- Information and Coding Theory
信源的分类—有记忆信源
通常情况下，信源发出的符号间是彼此相互 依存和关联的（如小说文字），是有记忆信 源。通常用联合概率或条件概率来描述这种 关联性。 按记忆长度划分有：
有限记忆信源（马尔可夫信源）
连续平稳信源 连续平稳信源
离散无记忆信源的N次扩展信源 离散无记忆信源的 次扩展信源：输出的
平稳随机序列X中各随机变量统计独立。 每个随机变量xi取值于同一概率空间。 每N个符号构成一组，等效为一个新的信源
随机过程{x(t)}：随机波形信源 随机过程
信源输出的消息是时间（或空间）上 和取值上都是连续的函数
9
HUST FurongWang --- Information and Coding Theory
信源的分类
对信源的分类主要基于两方面的考虑： 一是信源消息取值的集合以及消息取值时刻的集合
由此可分为离散信源、连续信源 或 数字信源、模拟信源（波形信源）
二是信源消息的统计特性
由此可分为无记忆信源、有记忆信源、 平稳信源、非平稳信源、 高斯信源、马尔可夫信源等。
k =1 k =1
N
N
i = 1, 2, ..., n
k = 1, 2, ..., N
我们称之为离散无记忆信源 离散无记忆信源。 离散无记忆信源 同样，若N维随机矢量中X每个变量Xk是连续随机变量，且相互 独立，则X的联合概率密度函数 为
p( X ) =
∏p
k =1
N
k
，这种信源叫连续型无记忆信源 连续型无记忆信源
第2章 信源熵 章
2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 一、信息量
1、自信息量；2、联合自信息量；3、条件自信息量 自信息量； 联合自信息量；
二、互信息量和条件互信息量
1、互信息量；2、互信息的性质；3、条件互信息量 、互信息量； 、互信息的性质； 、
如自然语言信源就是把人类的语言作为信源，以汉字为 例，就是随机地发出一串汉字序列。 我们可以把这样信源输出的消息视为时间上或空间上离 散的随机变量序列，即随机矢量。 于是，信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来 描述，N一般为有限正整数。
8
HUST FurongWang --- Information and Coding Theory
∑ p( x ) = 1
i =1 i
n
即信源的概率空间是完备的。
6
HUST FurongWang --- Information and Coding Theory
信源的数学模型
离散信源的数学模型： x2 ... X x1 P = p ( x ) p ( x ) ... 1 2 其中 p ( xi ) = P ( X = xi ) 且 p ( xi ) ≥ 0,
a b
7
HUST FurongWang --- Information and Coding Theory
单/多符号信源 多符号信源
单符号信源：信源输出的是单个消息符号，用一维 离散或连续随机变量X及其概率分布P来描述。 多符号信源：信源输出的是多个消息符号，用N维 随机矢量，N重离散概率空间的数学模型来描述。
16
HUST FurongWang --- Information and Coding Theory
第2章 信源熵 章
2.1 单符号离散信源
2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 单符号离散信源的数学模型 自信息和信源熵 信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
HUST FurongWang --- Information and Coding Theory
第2章 信源熵
2.0 2.1 2.2 2.3 2.4 信源的数学模型及其分类 单符号离散信源 多符号离散平稳信源 连续信源 离散无失真信源编码定理
1
HUST FurongWang --- Information and Coding Theory
多符号信源的数学模型—N重离散概率空间 重离散概率空间 多符号信源的数学模型
a2 ... an N X a1 P = p ( a ) p ( a ) ... p ( a ) 1 2 nN 其中 X = { X k , k = 1, 2, 3,..., N }为随机序列 X k ∈ A = [ x1 , x2 ,..., xn ] k = 1, 2,..., N ai = ( xi1 , xi 2 ,..., xiN ) ∈ A N i = 1, 2,..., n N A N＝ xik , i = 1, 2,..., n; k = 1, 2,..., N 可见，随机序列 X = ( X 1 , X 2 ,..., X N )的取值 x = a j , j = 1, 2,..., n N 的个数n N，取决于序列长度 N 和 符号集 A = ( xi , i = 1, 2,..., n )的符号个数n。
∑ p( x ) = 1,
i =1 i
n
p( xi ) ≥ 0 i = 1, 2,..., n
则称X 为离散无记忆信源，可用下面的概率场来描述 X x1 P = p( x ) 1 x2 ... xn p( x2 ) ... p( xn )
18
HUST FurongWang --- Information and Coding Theory
n i =1 i
xn p ( xn ) i = 1, 2,..., n
∑ p( x ) = 1
连续信源的数学模型： X ( a, b) P = p ( x) 其中 p ( x)为连续随机变量X的概率密度函数， (a, b)为X的存在域,且 p ( x) ≥ 0， p ( x)dx = 1 ∫
HUST FurongWang --- Information and Coding Theory
信源的分类—无记忆信源 信源的分类
如果信源发出的消息符号间彼此是统计独立的，并且它们具有 相同的概率分布，且N维随机矢量的联合概率分布为：
p ( X ) = ∏ p ( X k = a ik ) = ∏ p ik
实际中经常是它们的组合
如离散无记忆信源等。
10
HUST FurongWang --- Information and Coding Theory
信源的分类—离散平稳信源 信源的分类
信源
X1, X2, X3, ……
A为 {a1, a2, a3, …am}或(a,b) 为 或
如果随机序列中各个变量具有相同的概率分布，则称为离散 离散 平稳信源。 平稳信源 如果离散平稳信源的输出序列中各个变量是相互独立的，即 前一个符号的出现不影响以后任何一个符号出现的概率，则 称为离散无记忆平稳信源 离散无记忆平稳信源，否则称为离散有记忆平稳信源 离散无记忆平稳信源 离散有记忆平稳信源
信源的数学模型及其分类
通信的根本问题是将信源的输出在接收端尽可能精 确地复现出来，所以需要讨论如何描述信源的输出 如何描述信源的输出， 如何描述信源的输出 即如何计算信源产生的信息量 如何计算信源产生的信息量。 如何计算信源产生的信息量 信源的数学模型
信源概念、数学模型 离散信源ang --- Information and Coding Theory
2.1.1 单符号离散信源的数学模型
定义：单符号离散信源的数学模型
设信源X 输出符号集 x = ( x1 , x2 ,...xn )，n为消息符号个数， 每个符号发生的概率为p( xi ) ≥ 0 i = 1, 2,..., n， 消息符号彼此互不相关，且有
14
HUST FurongWang --- Information and Coding Theory
信源的分类
随机 变量 连续信源：可能输出的消息数是无限的或不可数的 X = (a, b) P p( x)
X x1 离散信源：可能输出的消息数有限 P = p( x1 )
有限状态马尔可夫链
无限记忆信源
13
HUST FurongWang --- Information and Coding Theory
混合信源
按信源输出时间和取值划分： 时间连续，取值连续或随机的，称之为随机 波形信源，表示为X(t)。 输出既有连续分量又有离散分量，称之为混 合信源。 重点研究离散信源产生消息的不确定性， 不研究信源的内部结构和消息的如何产生
记忆性：有记忆和无记忆信源 有记忆信源：马尔可夫信源
2
HUST FurongWang --- Information and Coding Theory
信源的概念
信源－信息的发源地，如人、生物、机器等等。 由于信息是十分抽象的东西，所以要通过信息载荷 者，即消息来研究信源，这样信源的具体输出称作 消息。 消息的形式可以是离散消息（如汉字、符号、字母） 或连续消息（如图像、语音） 信源消息中的信息是一个时变的不可预知的函数， 因此，描述信源消息或对信源建模，随机过程是一 个有效的工具，随机过程的特性依赖于信源的特性。
有限记忆信源：输出的平稳随机序列
X中各随机变量之间有 依赖关系，但记忆长度有限
15
HUST FurongWang --- Information and Coding Theory
第2章 信源熵
2.0 2.1 2.2 2.3 2.4 信源的数学模型及其分类 单符号离散信源 多符号离散平稳信源 连续信源 离散无失真信源编码定理
12
HUST FurongWang --- Information and Coding Theory
信源的分类—有记忆信源
通常情况下，信源发出的符号间是彼此相互 依存和关联的（如小说文字），是有记忆信 源。通常用联合概率或条件概率来描述这种 关联性。 按记忆长度划分有：
有限记忆信源（马尔可夫信源）
连续平稳信源 连续平稳信源
离散无记忆信源的N次扩展信源 离散无记忆信源的 次扩展信源：输出的
平稳随机序列X中各随机变量统计独立。 每个随机变量xi取值于同一概率空间。 每N个符号构成一组，等效为一个新的信源
随机过程{x(t)}：随机波形信源 随机过程
信源输出的消息是时间（或空间）上 和取值上都是连续的函数
9
HUST FurongWang --- Information and Coding Theory
信源的分类
对信源的分类主要基于两方面的考虑： 一是信源消息取值的集合以及消息取值时刻的集合
由此可分为离散信源、连续信源 或 数字信源、模拟信源（波形信源）
二是信源消息的统计特性
由此可分为无记忆信源、有记忆信源、 平稳信源、非平稳信源、 高斯信源、马尔可夫信源等。
k =1 k =1
N
N
i = 1, 2, ..., n
k = 1, 2, ..., N
我们称之为离散无记忆信源 离散无记忆信源。 离散无记忆信源 同样，若N维随机矢量中X每个变量Xk是连续随机变量，且相互 独立，则X的联合概率密度函数 为
p( X ) =
∏p
k =1
N
k
，这种信源叫连续型无记忆信源 连续型无记忆信源
第2章 信源熵 章
2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 一、信息量
1、自信息量；2、联合自信息量；3、条件自信息量 自信息量； 联合自信息量；
二、互信息量和条件互信息量
1、互信息量；2、互信息的性质；3、条件互信息量 、互信息量； 、互信息的性质； 、
如自然语言信源就是把人类的语言作为信源，以汉字为 例，就是随机地发出一串汉字序列。 我们可以把这样信源输出的消息视为时间上或空间上离 散的随机变量序列，即随机矢量。 于是，信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来 描述，N一般为有限正整数。
8
HUST FurongWang --- Information and Coding Theory
∑ p( x ) = 1
i =1 i
n
即信源的概率空间是完备的。
6
HUST FurongWang --- Information and Coding Theory
信源的数学模型
离散信源的数学模型： x2 ... X x1 P = p ( x ) p ( x ) ... 1 2 其中 p ( xi ) = P ( X = xi ) 且 p ( xi ) ≥ 0,
a b
7
HUST FurongWang --- Information and Coding Theory
单/多符号信源 多符号信源
单符号信源：信源输出的是单个消息符号，用一维 离散或连续随机变量X及其概率分布P来描述。 多符号信源：信源输出的是多个消息符号，用N维 随机矢量，N重离散概率空间的数学模型来描述。
16
HUST FurongWang --- Information and Coding Theory
第2章 信源熵 章
2.1 单符号离散信源
2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 单符号离散信源的数学模型 自信息和信源熵 信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
HUST FurongWang --- Information and Coding Theory
第2章 信源熵
2.0 2.1 2.2 2.3 2.4 信源的数学模型及其分类 单符号离散信源 多符号离散平稳信源 连续信源 离散无失真信源编码定理
1
HUST FurongWang --- Information and Coding Theory
多符号信源的数学模型—N重离散概率空间 重离散概率空间 多符号信源的数学模型
a2 ... an N X a1 P = p ( a ) p ( a ) ... p ( a ) 1 2 nN 其中 X = { X k , k = 1, 2, 3,..., N }为随机序列 X k ∈ A = [ x1 , x2 ,..., xn ] k = 1, 2,..., N ai = ( xi1 , xi 2 ,..., xiN ) ∈ A N i = 1, 2,..., n N A N＝ xik , i = 1, 2,..., n; k = 1, 2,..., N 可见，随机序列 X = ( X 1 , X 2 ,..., X N )的取值 x = a j , j = 1, 2,..., n N 的个数n N，取决于序列长度 N 和 符号集 A = ( xi , i = 1, 2,..., n )的符号个数n。
∑ p( x ) = 1,
i =1 i
n
p( xi ) ≥ 0 i = 1, 2,..., n
则称X 为离散无记忆信源，可用下面的概率场来描述 X x1 P = p( x ) 1 x2 ... xn p( x2 ) ... p( xn )
18
HUST FurongWang --- Information and Coding Theory
n i =1 i
xn p ( xn ) i = 1, 2,..., n
∑ p( x ) = 1
连续信源的数学模型： X ( a, b) P = p ( x) 其中 p ( x)为连续随机变量X的概率密度函数， (a, b)为X的存在域,且 p ( x) ≥ 0， p ( x)dx = 1 ∫
合集下载
信息论第二章(2)
5 联合自信息量：
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
若有两个消息xi，yj 同时出现，它们所带有的信息量， 称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自 信息量
I ( xi y j ) log p( x｜y j ) （bit） ｜ i
i
j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右 边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分 代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征 信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,
信息论与编码,曹雪虹,课件第2章-2
信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
信源和信息熵
且：I(X1;X2)＝I(X2;X1)
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
一、信源输出是单个符号的消息
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
H（1,0）＝H（0,1）＝H（1,0,0, ‥）＝‥＝0 说明：从熵的不确定概念来说，确知信源的不确定度 应该为0。
5、可加性： 二个随机变量X和Y不独立时： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 二个随机变量X和Y独立时： H(XY)=H(X)+H(Y) 6、极值性：
H(p1,p2, ‥,pq) ≤－∑pilogqi，当pi＝1/q时，
解：数学模型为：
且满足：
§离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。
一维离散信源数学模型就是离散型的概率空间：
且满足：
§连续信源的无
限
数学模型是连续型的概率空间： 值。
实数集（－∞，＋∞）
X的概率 密度函数
r进制信息熵与二进制信息熵的关系：
熵的物理含义： 信息熵H(x)是表示信源输出后，每个消息(或符号)所提 供的平均信息量；信息熵H(x)是表示信源输出前，信源 的平均不确定性；用信息熵H(x)来表征变量X的随机 性。 注意：信息熵是信源的平均不确定的描述。一般情况 下，它并不等于平均获得的信息量，获得的信息量是两 熵之差，并不是信息熵本身。
信息论第2章(2010)
ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示 这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的 平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计 平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上 的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消 息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息 量应为零。如果一个几乎不可能事件发生了（概率趋 于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件 构成的消息，那么我们得到的信息量就是若干个独立 事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？
信息论与编码2-信源及信源熵1
9
信息论与编码-信源及信源熵
又例如对离散化的平面图像来说,从 空间上来看是一系列离散的符号,而空间 每一点的符号(灰度)又都是随机的,由此 形成了不同的图像.所以我们可以把一般 信源输出的消息看作为时间或空间上离 散的一系列随机变量,即随机矢量.这样,信 源 描的述输,其出中可N可用为N维有随限机正矢整量数(或x1,可x2,数…的xN)无来 限值.
25
信息论与编码-信源及信源熵
2.2.2 离散信源熵
前面定义的自信息是指某一信源发出某一消 息所含有的信息量.所发出的消息不同,它们所含 有的信息量也就不同.所以自信息I(ai) 是一个 随机变量,不能用它来作为整个信源的信息测度.
我们定义自信息的数学期望为信源的平均信 息量,即
H ( X ) E [ I ( X ) ]p ( x i) I ( x i) p ( x i) lo p ( x i) g
7
信息论与编码-信源及信源熵
离散信源的数学模型就是离散型的概率空间：
X P
x1
p(x1)
x2
xn
p(x2) p(xn)
其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概 率,应满足∑p(xi)=1
它表示信源可能取的消息(符号)只有n 个:x1,x2,…xn,而且每次必定取其中一个.
当xi和yj相互独立时,有p(xi,yj)=p(xi)p(yj) 于是有
I(xi,yj)= I(xi)+ I(yj)
24
信息论与编码-信源及信源熵
条件自信息量： 当xi和yj相互联系时,在事件yj 出现的条件下,xi 的
自信息量称为条件自信息量,定义为 I(xi|yj)=－logp(xi|yj)
信息论与编码-信源及信源熵
又例如对离散化的平面图像来说,从 空间上来看是一系列离散的符号,而空间 每一点的符号(灰度)又都是随机的,由此 形成了不同的图像.所以我们可以把一般 信源输出的消息看作为时间或空间上离 散的一系列随机变量,即随机矢量.这样,信 源 描的述输,其出中可N可用为N维有随限机正矢整量数(或x1,可x2,数…的xN)无来 限值.
25
信息论与编码-信源及信源熵
2.2.2 离散信源熵
前面定义的自信息是指某一信源发出某一消 息所含有的信息量.所发出的消息不同,它们所含 有的信息量也就不同.所以自信息I(ai) 是一个 随机变量,不能用它来作为整个信源的信息测度.
我们定义自信息的数学期望为信源的平均信 息量,即
H ( X ) E [ I ( X ) ]p ( x i) I ( x i) p ( x i) lo p ( x i) g
7
信息论与编码-信源及信源熵
离散信源的数学模型就是离散型的概率空间：
X P
x1
p(x1)
x2
xn
p(x2) p(xn)
其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概 率,应满足∑p(xi)=1
它表示信源可能取的消息(符号)只有n 个:x1,x2,…xn,而且每次必定取其中一个.
当xi和yj相互独立时,有p(xi,yj)=p(xi)p(yj) 于是有
I(xi,yj)= I(xi)+ I(yj)
24
信息论与编码-信源及信源熵
条件自信息量： 当xi和yj相互联系时,在事件yj 出现的条件下,xi 的
自信息量称为条件自信息量,定义为 I(xi|yj)=－logp(xi|yj)
信息论第二章
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：天气预报
第一节 信源的数学模型及分类 2、连续信源 数学，模型如下：
离散信源的进一步分类
发出单个符号的无记忆信源 离散无记忆信源指信源每次只发出 发出符号序列的无记忆信源 离散信源 一个符号 代表一 发出符号序列的有记忆信源 个消息． 离散有记忆信源 发出符号序列的马儿可夫信源
H( p1, p2 ,..., pq ) H(1/ q,1/ q,...,1/ q) log q
上式表明，对于具有q个符号的离散信源，只有在q 个信源符号等可能出现的情况下，信源熵才能达到最 大值，这也表明等概分布的信源的平均不确定性最大， 这是一个很重要得结论，称为最大离散熵定理 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit
H ( X 2 ) 2H ( X )
第五节 离散平稳信源 1、离散平稳信源的数学定义 一般来说，信源的前后消息之间有前后依赖关系， 可以用随机矢量描述：
第五节 离散平稳信源 2、二维平稳信源及其信息熵 最简单的平稳信源——二维平稳信源，信源发出序列 中只有前后两个符号间有依赖关系，我们可以对其二维 扩展信源进行分析。 信源的概率空间:
n
n是指发出在时间和幅度上都是离散分布的
离散信源 连续信源
符号都是离散消息。 是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、 图像、图形等都是连续消息。
n
第一节 信源的数学模型及分类 1、离散信源
信源种类 离散信源 （数字信源） 连续信号 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
2-1 第2章 信源的数学模型和分类
将方格按行和列编号，甲将棋子所在方格的行（或列）编号告 诉乙之后，再令乙猜测棋子所在列（或行）的位置。
解：
如图所示棋子所在“位置”可用联合集XY上的 元素( xi y j )描述, 其中xi , i 1,2,..., 8; y j , j 1,2,..., 8 。 由于甲是将一粒棋子随意地放在棋盘中某一方格内， 因此棋子在棋盘中所处的行（或列）位置为一维等概率分布。 一维概率分布函数p ( xi ) 1 / 8，p ( y j ) 1 / 8， 同时，有二维概率分布函数p ( xi y j ) 1 / 64，故 在二维联合集XY上，元素xi 相对y j的条件自信息量为 I ( xi | y j ) log 2 p ( xi | y j ) log 2 p ( xi y j ) p( y j ) log 2 1 / 64 3 比特 1/ 8
8
2.1.1 单符号离散信源的数学模型
定义：单符号离散信源的数学模型
设信源X 输出符号集 x ( x1 , x2 ,...xn )，n为消息符号个数， 每个符号发生的概率为p( xi ) 0 i 1, 2,..., n， 消息符号彼此互不相关，且有
p( x ) 1,
i 1 i
I ( xi y j ) log p( xi y j )
p 式中 xi y j为积事件； ( xi y j )为元素 xi y j 的二维 联合概率。
当X和Y相互独立时，
I ( xi y j ) log p( xi y j ) log[ p( xi ) p( y j )] I ( xi y j ) log p( xi ) log p( y j ) I ( xi ) I ( y j ) 说明两个随机事件相互独立时，同时发生得到的自信息量， 等于这两个随机事件各自独立发生得到的自信息量之和。19
解：
如图所示棋子所在“位置”可用联合集XY上的 元素( xi y j )描述, 其中xi , i 1,2,..., 8; y j , j 1,2,..., 8 。 由于甲是将一粒棋子随意地放在棋盘中某一方格内， 因此棋子在棋盘中所处的行（或列）位置为一维等概率分布。 一维概率分布函数p ( xi ) 1 / 8，p ( y j ) 1 / 8， 同时，有二维概率分布函数p ( xi y j ) 1 / 64，故 在二维联合集XY上，元素xi 相对y j的条件自信息量为 I ( xi | y j ) log 2 p ( xi | y j ) log 2 p ( xi y j ) p( y j ) log 2 1 / 64 3 比特 1/ 8
8
2.1.1 单符号离散信源的数学模型
定义：单符号离散信源的数学模型
设信源X 输出符号集 x ( x1 , x2 ,...xn )，n为消息符号个数， 每个符号发生的概率为p( xi ) 0 i 1, 2,..., n， 消息符号彼此互不相关，且有
p( x ) 1,
i 1 i
I ( xi y j ) log p( xi y j )
p 式中 xi y j为积事件； ( xi y j )为元素 xi y j 的二维 联合概率。
当X和Y相互独立时，
I ( xi y j ) log p( xi y j ) log[ p( xi ) p( y j )] I ( xi y j ) log p( xi ) log p( y j ) I ( xi ) I ( y j ) 说明两个随机事件相互独立时，同时发生得到的自信息量， 等于这两个随机事件各自独立发生得到的自信息量之和。19
2-1-信源的描述和分类解析
j
• 若处信状源态处就于变某了一,任状何态时s候i ,当信它源发处出于一什个么符状号态后完,全所 由前一时刻的状态和发出符号决定。
• 系中统 的在 任任 意一 一时 个刻 状可态处,状于态状转态移空时间,转S移={概s1率,s2矩,…阵,sQ}
P
p(s j
|
si )
p11
p1Q
pQ1 pQQ
x2 1/ 6
x3 1/ 6
x4 1/ 6
x5 1/ 6
x6 1/ 6
10
离散无记忆信源
• 发出单个符号的信源
– 指信源每次只发出一个符号代表一个消息；
• 发出符号序列的信源
– 指信源每次发出一组含二个以上符号的符号 序列代表一个消息
X 1 2 3 4 5 6
P
1/
6
1/ 6
1/ 6
1/ 6
信息
6
信源的分类
• 按照信源发出的消息在时间上和幅度上的分布 情况可将信源分成离散信源和连续信源两大类
{ 信源 离散信源: 文字、数据、电报—随机序列 连续信源: 话音、图像—随机过程
• 连续信源
– 指发出在时间或幅度上是连续分布的连续消 息（模拟消息）的信源，如语言、图像、图 形等都是连续消息。
1/ 6
1/ 6
11
信源的描述
• 一个离散信源发出的各个符号消息的集合为：
X {x1, x2,, xn}
a,b,c,…z
• 它们的概率分别为
P {p(x1), p(x2),, p(xn )}
• p(xi): xi的先验概率
• 单符号离散信源的数学模型—概率空间
X P
x1 p(x1
信息论与编码_曹雪虹_PPT第二章
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
引言
有效性和可靠性是通信系统中研究的中 心问题，信息论是在信息可度量基础上， 研究有效地和可靠地传递信息的科学。因 此，概率论、随机过程是信息论研究的基 础和工具。
信源的数学模型 正如绪论中所述，在通信系统中收信者在未收到 消息以前，对信源发出什么消息是不确定的， 所以可用随机变量或随机矢量来描述信源输出 的消息。或者说，用概率空间来描述信源。 离散信源的数学模型就是离散型的概率空间：
信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的 描述。那么 , 根据香农信息的定义，信息该如何度 量呢？ 当人们收到一封E_Mail，或看了电视，到底得 到多少信息量呢？显然，信息量与不确定性消除的 程度有关。消除多少不确定性，就获得多少信息量 。那么，不确定性的大小能度量吗？ 用数学的语言来讲，不确定性就是随机性，具 有不确定性的事件就是随机事件。因此，可以应用 研究随机事件的数学工具 —— 概率论来度量不确 定性的大小。简单地说，不确定性的大小可以直观 地看成是猜测某随机事件是否发生的难易程度。
连续参数马尔可夫链
马尔可夫过程
有限维概率分布(簇) 转移概率
绝对概率
极限分布
平稳分布
状态空间的性质
补1 马尔可夫过程的概念
补1.1 有关定义
随机过程马尔可夫性：（物理描述）
当随机过程在时刻 ti 所处的状态为已知的条件下，过 程在时刻 t(>ti)所处的状态，与过程在ti时刻以前的状态无 关，而仅与在ti时刻的状态有关。这种已知“现在”状态的 条件下，“将来”状态与“过去”状态无关的性质，称为 马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程，即是马尔可 夫过程。
引言
有效性和可靠性是通信系统中研究的中 心问题，信息论是在信息可度量基础上， 研究有效地和可靠地传递信息的科学。因 此，概率论、随机过程是信息论研究的基 础和工具。
信源的数学模型 正如绪论中所述，在通信系统中收信者在未收到 消息以前，对信源发出什么消息是不确定的， 所以可用随机变量或随机矢量来描述信源输出 的消息。或者说，用概率空间来描述信源。 离散信源的数学模型就是离散型的概率空间：
信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的 描述。那么 , 根据香农信息的定义，信息该如何度 量呢？ 当人们收到一封E_Mail，或看了电视，到底得 到多少信息量呢？显然，信息量与不确定性消除的 程度有关。消除多少不确定性，就获得多少信息量 。那么，不确定性的大小能度量吗？ 用数学的语言来讲，不确定性就是随机性，具 有不确定性的事件就是随机事件。因此，可以应用 研究随机事件的数学工具 —— 概率论来度量不确 定性的大小。简单地说，不确定性的大小可以直观 地看成是猜测某随机事件是否发生的难易程度。
连续参数马尔可夫链
马尔可夫过程
有限维概率分布(簇) 转移概率
绝对概率
极限分布
平稳分布
状态空间的性质
补1 马尔可夫过程的概念
补1.1 有关定义
随机过程马尔可夫性：（物理描述）
当随机过程在时刻 ti 所处的状态为已知的条件下，过 程在时刻 t(>ti)所处的状态，与过程在ti时刻以前的状态无 关，而仅与在ti时刻的状态有关。这种已知“现在”状态的 条件下，“将来”状态与“过去”状态无关的性质，称为 马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程，即是马尔可 夫过程。
《信息论与编码》课程教学大纲
《信息论与编码》课程教学大纲一、课程基本信息课程代码：16052603课程名称：信息论与编码英文名称：Information Theory and Coding课程类别：专业课学时：48学分：3适用对象:信息与计算科学考核方式：考试先修课程：数学分析、高等代数、概率论二、课程简介《信息论与编码》是信息科学类专业本科生必修的专业理论课程。
通过本课程的学习，学生将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。
本课程的主要内容包括：信息的度量、信源和信源熵、信道及信道容量、无失真信源编码、有噪信道编码等。
Information Theory and Coding is a compulsory professional theory course for undergraduates in information science. Through this course, students will understand and master the basic concepts of information measurement and channel capacity, source and channel characteristics, coding theory, etc., lay the foundation for the future in-depth study of information and communication courses, for the future to engage in information processing in the actual work.The main contents of this course include: information measurement, source and source entropy, channel and channel capacity, distortion-free source coding, noisy channel coding, etc。