01信息论基础共24页PPT资料

Xq(X)xq(1x1)
x 2
q(x2)
x m
q(xm)
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。
N
(1)某一时刻信源的输出只与当时的信源状态有关，而与以
前p (的xr 状= a态l无er关=。si)p，(满xr =足alker
= si ,
p(xr
er-1 = st
al er
, er-2 = sn ,
si)1
…) 。
=
l1
(2)某一时刻信源所处的状态只由当前的输出符号和前
一时刻的状态唯一决定。 0
对于信息论的研究，一般划分为三个不同的范畴：
狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码定理。
实用信息论，研究信息传输和处理问题，也就是 狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
序列的概率q (x) = q (x1x2 … xN) = q ( x i ) i1
1.3.3 离散平稳有记忆信源
中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依 赖性我们称作有记忆。
用联合概率空间{X , q (X )}来描述离散有记忆信源的输出。信源 在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条 件概率p (xixi-1 xi-2… )确定。
p (er+1 = sj xr = al , er = si) =
1
当时齐马尔可夫信源达到平稳分布时，满足
p(si ) t
p(st
)p(si
s t
)0
p(si ) 1
i
1.4 离散信道及其数学模型
信道是信息传输的通道，如图1-3，信道可看作一个变换器， 它将输入消息x变换成输出消息y，以信道转移概率p (yx ) 来描述信道的统计特性。
1/6
1/18
满足
p(xixj)q(x，i)由
j
p(xj
xi )
p(xi xj ) q(xi ) 可计算出当
已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：
表1-2 p (xjxi)
xj
0
1
2
xi
0
3/4
1/4
0
1
1/3
1/6
1/2
2
0
3/4
1/4
1.3.4 马尔可夫信源
马尔可夫信源输出的消息序列与信源的状态满足下列条件：
类型：
连续信
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
波形信源 时间连续 的信源。
源。
根据信源的统计特性，离散信源又分为两种：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
1.3.1 离散无记忆信源
离散无记忆信源(Discrete Memoryless Source，简记为 DMS)输出的是单个符号的消息，不同时刻发出的符号之间 彼此统计独立，而且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间，即：
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消息， 实质上传输的是信息，消息中包含信 息，消息是信息的载体。
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
【例1.4】
某离散平稳信源
X q( X )
0 4 9
1 3 9
2
2 9
，设信源发出的符号
只与前一个符号有关，其关联程度用表1-1所示联合概率p (xi xj ) 表示（xi为前一个符号，xj为后一个符号）：
表1-1 p (xi xj )
xj
0
1
2
xi
0
1/3
1/9
0
1
1/9
1/18
1/6
2
0
如果该条件概率分布与时间起点无关，只与关联长度有关，则该 信源为平稳信源。
对于离散平稳有记忆信源，有： p (x1 = a1) = p (x2 = a1) = … p (x2 = a2x1 = a1) = p (x3 = a2x2 = a1) = … p (x3x2 x1) = p (x4x3 x2) = … ┇ p (xi+Lxi+L-1 xi+L-2 … xi) = p (xj+Lxj+L-1 xj+L-2 … xj) = … ┇
q X (X)q x1 (x1)
x2 q(x2)
xI q(xI)
q(xi )：信源输出符号消息xi的先验概率; I 满足：0 q(xi) 1，1 i I q( xi ) 1 i 1
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
1.2 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统，一般可概括为图1.1所示的统计模型：
信源
图1-1 信息传输系统模型 信源编码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿
信源译码器 信道译码器
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3ห้องสมุดไป่ตู้离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
p ( y x)
x
y
信
道
图1-3 信道模型
信道可以按不同的特性进行分类，根据输入和输出信号的特 点可分为：
离散信道 信道的输入和输出都是时间上离散、取值 离散的随机序列。离散信道有时也称为数字信道。