信息处理与编码第3章

0
输入 Pe Pe
1 Pe 1
0
输出
x{0,1 }
y{0,1 }
1 Pe 1
1
1
且： X 0 , 1 P( p ( x) p ,p ， 0 1
1 , Y 0 , 1 ) q( y ) q ,q ,1 ， 0 1
（二） 信道描述
信道可以引用三组变量来描述： 信道输入概率空间： [ X K , p( x)] ; 信道输出概率空间： [Y K , q( y)] 信道概率转移矩阵： P( y x)
出 YK y1 ymk X K x1 xnk 入 p( x) p1 p k 信道 q( y ) q q k n m 1
n 1 ...... n 1 ...... ...... ...... 1 ......

（二）强对称信道 （续）:
它具备三个特征： 1> 矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一 列的重排列。 2> 错误分布是均匀的，为 n 1 3> 信道输入与输出消息（符号）数相等，即m=n。 显然，对称性基本条件是1>，而2>、3>是加强条件。 下面，我们放松对信道的约束，仅满足条件1>，就构成一般性对称信 道。 1 1 3 例： 6 1
§3-3 无干扰离散信道（略） §3-4 有干扰时单个消息（符号）信道及其容量
这里，仍类似于信源，从最基本、最简单的单个消息（符号）开始， 再逐步将其推广至消息序列信道以及多用户信道。
（一） 离散单消息信道与信道容量
输入 P [ X , p( x)]

输出 [Y , q( y)]
下面，我们首先将互信息表达成概率的函数：
（一） 信道分类 （续）
离散 无记忆 信号类型 连续 半离散 有记忆 半连续 无干扰：干扰少到可忽 略； 无源热噪声 2〉信号与干扰类型 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰
i j
qj Pji
pi Pji log
i j
pP
i i
ji
Pji
I ( pi ; Pji )
两种表达式中，这里选用 I ( X ;Y ) I ( pi ; Pji ) 。 0 一般当信道给定以后，p ji P（ ji 已知）
0 I ( X ;Y ) I ( pi ; Pji ) I ( pi ; Pji ) I ( pi )
第三章 信道与信道容量
§3-1 引言
1〉什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气 就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间 的空间就是信道。 2〉信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主 要用于传输。 3〉研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类 型信道，计算其容量，即极限传输能力，并分析其特性。
§3-2 信道的分类与描述
（一） 信道分类
信道可以从不同角度加以分类，但归纳起来可以分为： 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户； 等方面加以分类：
明线 对称平衡电缆（市内） 固体介质 电缆 小同轴（长途） 中同轴（长途） （一） 信道分类 （续） 长波 中波 短波 超短波 移动 1 传输媒介类型 空气介质 视距接力 微波 对流层 散射 电离层 卫星 光波 波导 混合介质 光缆
（一） 离散单消息信道与信道容量 （续）
I ( X ;Y ) H ( X ) H ( X Y ) p rij log i q j Qij log Qij i j i j
q Q
j j
ij
Qijห้องสมุดไป่ตู้
I (q j ; Qij )
I ( X ; Y ) H (Y ) H (Y X ) rij log
P( y1 x1 ) P( y1 x k ) n P P( y mk x1 ) P( y mk xnk )
（二） 信道描述 （续）
当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时， 退化为二进制单个消息信道。若它满足对称性，即构成最常用 的二进制单消息对称信道BSC：
（一） 信道分类 （续）
恒参信道（时不变信道 ） 3 〉信道参量类型 变参信道（时变信道）
二用户信道（点对点通 信） 4〉用户类型 多用户信道（通信网）
（一） 信道分类 （续）
信道划分是人为的，比如：
信源 编码 A 媒介 B 译码 信宿
干扰 c1 c2 c3 c4
其中：c1为连续信道，调制信道； c2为离散信道，编码信道； c3为半离散、半连续信道； c4为半连续、半离散信道。
（一） 离散单消息信道与信道容量 （续）
C max I ( X ; Y ) max I ( pi )
pi pi
（二）强对称信道:
其中：
1 n 1 P(/) n 1 1 ...... ...... n 1 n 1