香农信息论的基本理论探究

可能会改变。第
l
时间信源输出什么符号，不但与前一（
l
-1
）时刻信源所处的状态和所输
出的符号有关，
而且一直延续到与信源初始所处的状态和所输出的符号有关。
一般马尔可夫
信源的信息熵是其平均符号熵的极限值，它的表达式就是：
1
2
1
(
)
lim
(
)
N
N
H
H
X
H
X
X
X
N
.
二．平均互信息
信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息
来，
在通信系统的传输过程当中，
收信者在收到消息以前是不知道消息的具体内容的。
在收
到消息以前，
收信者无法判断发送者将会发来描述何种事物运动状态的的具体消息，
它也无
法判断是描述这种状态还是那种状态。
或者，
由于干扰的存在，
它也不能断定所得到的消息
是否正确和可靠。这样，收信者存在“不知”
，
“不确定性”
。那么通过消息的传递，收信者
连续信源的熵的定义与离散信源熵的定义方式一样，
只不过离散情况下
是每个信源符号的信值。
连续信源也可以称之为差熵。
接下来由两种特殊连续信源的差熵需要计算。
均匀分布连
续信源的熵值，和高斯信源的熵值。
连续信源的差熵具有以下的一些基本性质：
可加性，
即描述信源
X
输出长度为
2
的序列的平均不确定性，或者说所含有的信息量。可以用
1
1
2
2
(
)
H
X
X
作为二维离散平稳信
源
X
的信息熵的近视值。
除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊
的信源。
这种信源输出的符号序列中符号之间的依赖关系是有限的，
这种关系满足我们在随
机过程中讲到的马尔可夫链的性质，
对于串接信道
X
、
Y
、
Z
有
(
;
)
(
;
)
I
XY
Z
I
Y
Z
当且仅当
P(z|xy)=P(z|y)
时，等式成立。
串联信道的信道容量与串接的信道数有关，
串接的无源数据处理信道越多，
其信道容量
可能会越小，当串接信道数无限大时，信道容量就有可能接近零。
三．连续信道
前面讲到的离散信道其输出的消息是属于时间离散、
取值有限或可数的随机序列，
对于不同的连续信道和波形信道，
它们存
在的噪声形式不同，
信道带宽及对信号的各种限制不同，
所以具有不同的信道容量。
我们先
来讨论单符号高斯加性信道的信道容量，
单符号高斯加性信道是指信道的输入和输出都是取
值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为：
1
log(1
)
2
s
n
P
C
第二项是信道矩阵分布行矢量的熵
函数。比方说，前面提到的，二元对称信道的信道容量就是
1
(
)(
/
)
C
H
p
比
特
符
号
除了前面论述到得单符号离散信道之外，
还有独立并联信道和串联信道。
一般的独立并
联信道如下：
图
1
独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号
i
X
相互独
立，且输入符号
i
X
的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容
知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。因此，信息传输之后，
接收到一定的信息。
除非信道输入和
输出是统计独立时，
才接收不到任何信息。
因为在这样的统计独立信道中，
传输的信息全部
损失在信道中，
以致没有任何信息传输到终端，
但也不会失去已经知道了的信息。
第二，
平
均互信息量的大小不大于输入输出任一者的信息熵。即从一事件提取关于另一事件的信息
量，
最多只有另一事件的信息熵那么多，
因此可用马尔可夫链来处理。
马尔可夫信源是一种非常
重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件：
（
1
）
某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以
前的输出符号都无关。
（
2
）
信源某
l
时刻所处的状态由当前的输出符号和前一时刻（
l
-1
）信源的状态唯一
决定。
马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移
为离散信道，连续信道，半离散或半连续信道和波形信道。
为了能够引入平均互信息量的定义，
首先要看一下单符号离散信道的数学模型，
在这种
信道中，输出变量和输入变量的传递概率关系：
(
|
)
(
|
)
(
|
)(
1,
2,
,
;
1,
2,
,
)
j
i
j
i
P
y
x
P
y
b
x
a
P
b
a
i
r
j
s
传递概率所表达的意思是，在信道当输入符号为
a
，信道的输出端收到
它不会仅仅只发出一个消息，
这个消息发生的概率也不是
1
。
必然会有别的可能的情况发生。那么对于一个信源来讲，它所包含的信息量是什么样子的，
我们可以用平均自信息量来度量，
即对每个事件各自所携带的信息量做一个加权平均。
即可
以得到信源的平均自信息量。
信息熵的定义如下：
)
(
log
)
(
)
(
1
log
)
(
1
1
i
q
i
i
离散随机信源是一类最基本的信源，
信源输出是单个的符
号的消息，
并且消息之间是两两互不相容的。
假设有个一维离散无记忆信源，
它的概率分布
函数决定了他所携带的信息。该信源空间中共有
q
个符号，每个符号发生的概率是
Pi,
那么
发出某个符号所携带的信息量是
-logPi
,
由于概率是在
0
和
1
之间的，
使得每一事件的信息
量是非负的。如果该事件发生的概率是
P
其中，
i
n
P
是输入信号
X
的平均功率，
n
P
是高斯噪声的平均功率。只有当信道的输入信
号是均值为零，平均功率为
s
P
高斯分布的随机变量时。信息传输率才能达到这个最大值。
注水定理是对于多维无记忆高斯加性连续信道的个信道功率分配问题而提出来的，
对于
多维的情况，
因为输入的是平稳随机序列，
输出的也是平稳随机序列，
香农信息论的基本理论探究
摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以
及人类的生存方式都离不开信息的产生和传播。
人类每时每刻都在不停的接受信息，
传播信
息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，
信息技术在人类历史的进程当中随着生产力的进步而发展。
我们可以将它等价为
N
个独立并联加性信道。假如各单元时刻上的噪声仍是均值为零，方差为不同的
i
n
P
的高斯
5
噪声，
单输入信号的总体平均功率受限，
此时我们可以使用拉格朗日乘子法莱确定平均功率
的分配。
当
N
个独立并联的组合高斯加性信道，
各分信道的噪声平均功率不相等时，
为了达
到最大的信息传输率，
要对输入信号的总能量适当地进行分配。
Y
的
符号后，对于输入端的变量
X
尚存在的平均不确定性。即信道疑义度：
,
1
(
|
)
(
)
lo
g
(
|
)
X
Y
H
X
Y
P
x
y
P
x
y
这个信道的疑义度是由于干扰噪声引起的。
前面我们看到了输出端接收到输出符号前关
于变量
X
的先验熵，以及接收到输出符号后关于输入变量
X
的平均不确定性，通过信道传
输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量
的消息。
消息必须要转换成能在信道中传输或存储的信号，
然后通过信道传送到收信者。
并
且认为噪声或干扰主要从信道中引入。
信道根据用户的多少，
可以分为两端信道，
多端信道。
根据信道输入端和输出端的关联，
可以分为无反馈信道，
反馈信道。
根据信道的参数与时间
的关系信道可以分为固定参数信道，
时变参数信道。
根据输入和输出信号的统计特性可以分
其统
计特性可以用联合概率分布来描述。
但是语音信号，
电视信号都是连续波形信号。
在某一固
定的时刻，
这样的可能输出即是连续的又是随机的，
我们称之为随机波形信源。
它是用随机
过程描述输出消息的信源。用连续随机变量描述输出消息的信源就是连续信源。