信息论与编码第四章
合集下载
信息论与编码_曹雪虹__第4章
以得到（ 4.5）式。 证毕。
30
例4.3 设试验信道输入符号 {a1, a2 , a3} ，概率
分别为1/3，1/3，1/3，失真矩阵如下所示，
2°绝对误差失真函数 d ( xi , yj ) = | xi - yj |
3°相对误差失真函数 d ( xi , yj ) = | xi - yj |/ | xi |
4°误码失真函数
0 i j
d( xi , y j ) 1 其他
失真函数1°,2°,3°用于连续信源 , 失真函数4°用
于离散信源 , 失真函数4°也称Hanmming失真函数
min
R ( D )0
D
因此可以得到R(D)的定义域为
D 0, Dmax
n
Dmax min j 1,2, ,m
pi dij
i 1
25
Dmax是这样来计算的。R(D)＝0就是I(X;Y)＝0， 这时试验信道输入与输出是互相独立的，所以条 件概率p(yj/xi)与xi无关。即
pij p( y j / xi ) p( y j ) p j
存储容量(如各种数据库、电子出版物、多媒体娱乐)
、传输时间(如数据通信和遥测)、或占有带宽(如多媒
体通信、数字音频广播、高清晰度电视)，要想方设法
压缩给定消息 集合占用的空间域、时间域和频率域资
源。
3
4.1.1 引 言
4.1 实际生活中的需要
基
实际生活中，人们一般并不要求获得完全无失真的消息 ，通常只要求近似地再现原始消息，即允许一定的失真
凡满足保真度准则的这些试验信道称为D失真许 可的试验信道。把所有D失真许可的试验信道 组成一个集合PD。
20
（2）信息率失真函数R(D)
信息论与编码 第四章
4. 信息率失真函数 R（D）
R( D) = min I ( X ; Y )
PD '
�
说明:
n pij ∈pD ' m
对于离散无记忆信源， R（D）函数可写成
R(D) = min ∑∑ p(xi ) p( y j / xi ) log
i=1 y j )
例4－1－2
�
说明: Dk是第k个符号的平均失真。
4.1.3 信息率失真函数 R（D）
�
1. 信息率失真函数R（D）问题产生? 对于信息容量为 C 的信道传输信息传输率为 R的信源时，如果R＞C，就必须对信源压缩， 使其压缩后信息传输率R 小于信道容量 C ，但 同时要保证压缩所引人的失真不超过预先规定 的限度,信息压缩问题就是对于给定的信源，在 满足平均失真
■
2. R(D)函数的下凸性和连续性
定理 R（D）在定义域内是下凸的 证明: 令
�
D = αD'+(1 − α)D' ' , 0 ≤α ≤1 R(D' ) = min I ( pij ) = I ( p'ij )
pij∈pD'
α
其中： p 是使I（Pij）达到极小值的 证D≤D’。
' ij
p ij ，且保
说明: (1) 由于xi和yj都是随机变量，所以失真函 数d(xi,yj)也是随机变量，限失真时的失真 值，只能用它的数学期望或统计平均值，因 此将失真函数的数学期望称为平均失真。
�
�
(2) p（xi,yj）, i=1,2,…,n， j=1,2,…,m是联合分布； p（xi）是信源 符号概率分布； p（yj ／xi），i= l， 2，…，n，j＝ l，2，…，m是转移概率 分布；d（xi,yj），i=1，2，…， n,j=1，2，… ，m是离散随机变量的 失真函数. (3)平均失真 D是对给定信源分布 p（xi） 在给定转移概率分布为 p（yj／xi）的信 道中传输时的失真的总体量度。
信息论与编码第四章课后习题答案
p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
信息论与编码第三版 第4章
C max H ( X ) log 3
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
信息论与编码课件(第四章)
• 信源编码：把信源符号si映射为码字Wi的过程。 • 无失真编码：映射是一一对应、可逆的。
• 信源编码基本思想：尽可能缩短出现概率大的信 源符号的码字
电气信息工程学院
4.1 编码器及码的分类
• 码的分类 • 二元码：若码符号集X＝{0，1}，所得码字为一
些二元序列，则称二元码。[在二元信道中传输]
• 允许错误概率越小，编码效率要求越高，则信源 序列长度N就必须越长。
• 实际情况下，要实现几乎无失真的等长编码，N 需要非常大。
电气信息工程学院
4.4 等长信源编码定理
• 例 设离散无记忆信源
S P(s)
s1 3
4
, ,
s2 1 4
• 信源熵 H (S)1lo4 g3lo4g 0.81 (b1istym ) bol • 自信息方差 4 4 3
• 编码的意义： • 通信的基本问题：如何高速、高质地传送信息。 • 高速和高质＝鱼和熊掌。 • 编码讨论的问题： • （1）质量一定，如何提高信息传输速度（提高
编码效率或压缩比）---- 信源编码（本章讨论 问题） • （2）信道传输速度一定，如何提高信息传输质 量（抗干扰能力）----信道编码（下一章讨论）
• 当进行二元编码时，r＝2，则：
等长编码时平均每个 信源符号所需的二元 码符号的理论极限
l H(S)
N
信源等 概分布
l log q N
时
• 一般情况下，信源符号并非等概率分布，且符号
之间有很强的关联性，故信源的熵H(S)<<logq。
电气信息工程学院
4.4 等长信源编码定理
• 从定理4.3可知，在等长编码中每个信源符号平 均所需的二元码符号可大大减少，从而使编码效 率提高。
• 信源编码基本思想：尽可能缩短出现概率大的信 源符号的码字
电气信息工程学院
4.1 编码器及码的分类
• 码的分类 • 二元码：若码符号集X＝{0，1}，所得码字为一
些二元序列，则称二元码。[在二元信道中传输]
• 允许错误概率越小，编码效率要求越高，则信源 序列长度N就必须越长。
• 实际情况下，要实现几乎无失真的等长编码，N 需要非常大。
电气信息工程学院
4.4 等长信源编码定理
• 例 设离散无记忆信源
S P(s)
s1 3
4
, ,
s2 1 4
• 信源熵 H (S)1lo4 g3lo4g 0.81 (b1istym ) bol • 自信息方差 4 4 3
• 编码的意义： • 通信的基本问题：如何高速、高质地传送信息。 • 高速和高质＝鱼和熊掌。 • 编码讨论的问题： • （1）质量一定，如何提高信息传输速度（提高
编码效率或压缩比）---- 信源编码（本章讨论 问题） • （2）信道传输速度一定，如何提高信息传输质 量（抗干扰能力）----信道编码（下一章讨论）
• 当进行二元编码时，r＝2，则：
等长编码时平均每个 信源符号所需的二元 码符号的理论极限
l H(S)
N
信源等 概分布
l log q N
时
• 一般情况下，信源符号并非等概率分布，且符号
之间有很强的关联性，故信源的熵H(S)<<logq。
电气信息工程学院
4.4 等长信源编码定理
• 从定理4.3可知，在等长编码中每个信源符号平 均所需的二元码符号可大大减少，从而使编码效 率提高。
信息论与编码技术第四章课后习题答案
解：（1） D =
∑ P(u,υ )d (u,υ ) = (1 − p)q
UV
（2）根据题4.5，可知R(D)的最大值为H(p),此时q=0,平均失真D=0; （3）R(D)的最大值为0,此时q=1,平均失真D=（1-p）; 4.7 设连续信源 X ，其概率密度分布为
p ( x) =
a − a | x| e 2
达到
D
min
的信道为
⎡1 ⎡1 0 ⎤ ⎡1 0 ⎤ ⎢ ⎥ ⎢ ⎥ ⎢1 [ P (υ j | u i )] = ⎢ ⎢ 0 1 ⎥ , ⎢1 0 ⎥ 或 ⎢ 2 ⎢ ⎣0 1 ⎥ ⎦ ⎢ ⎣0 1⎥ ⎦ ⎢0 ⎣
4.2 已知二元信源 ⎢
0⎤ 1⎥ ⎥ 2⎥ 1⎥ ⎦
1 ⎤ ⎡ X ⎤ ⎡ 0, ⎡0 1⎤ =⎢ =⎢ 以及失真矩阵 ⎡ dij ⎤ ⎥ ⎥ ⎥ ，试求： ⎣ ⎦ ⎣ p ( x ) ⎦ ⎣ p, 1 − p ⎦ ⎣1 0 ⎦
g (θ ) 的傅立叶变换
G s(w) = ∫
+∞ −∞
g
s
(θ )e
− jwθ
dθ =
s
2
s
2 2
+w
, (3)
得: Q( w) = P ( w) + w2 P( w), (4)
2
s
求式（4）的傅立叶反变换，又根据式（2）得
p( y ) = p( x = y) − D 所以 p( y ) =
2
p ( x = y), (5)
⎡0 ⎢1 定义为 D = ⎢ ⎢1 ⎢ ⎣1
解：
1 0 1 1
1 1 0 1
1⎤ 1⎥ ⎥ ，求 Dmax , Dmin 及信源的 R ( D ) 函数，并作出率失真函数曲线(取4到5个点)。 1⎥ ⎥ 0⎦
《信息论与编码》习题解答第四章(新)new
《信息论与编码》习题解答第四章 信息率失真函数-习题答案4.1解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率⎥⎦⎤⎢⎣⎡--=εεεε11)|(i j a b p 平均失真：εεεεε=⨯-⨯+⨯⨯+⨯⨯+⨯-⨯==∑∑==0)1(2/112/112/10)1(2/1),()|()(2121j i i j i j i b a d a b p a p D4.2解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0210d ， 0min =D ,∑=⨯+⨯=⨯+⨯===ij i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=1001P当2/1max =D ，0)(max =D R因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=1010P 4.3解：0min =D0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010000100001P 当4/3max =D ，0)(max =D R因为任何一列的max D 值均为3/4，所以取输出符号概率:0)(,0)(,0)(,1)(4321====b p b p b p b p ，即14131211,,,b a b a b a b a →→→→因此编码器的转移概率为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001P 4.4解： 依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=4/1014/110d ， 0min =D∑=⨯+⨯===ij i i j j y x d x p D D )2/12(4/1)4/12/14/12/1min(),()(min min max 个均为其它当0min =D ，bit X H R D R 12log )()0()(min ====因为没有失真，此时的转移概率为⎥⎦⎤⎢⎣⎡=010001P 当4/1max =D ，0)(max =D R因为取的是第三列的max D 值为1/4，所以取输出符号概率:1)(,0)(,0)(321===b p b p b p ，即3231,b a b a →→因此编码器的转移概率为⎥⎦⎤⎢⎣⎡=100100P 4.5解：(1)依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡=0110d ，转移概率为：⎥⎦⎤⎢⎣⎡-=q q P 101 )1(0)1()1(1)1(1001),()|()(11p q q p q p p p y x d x y p x p D n i mj j i i j i -⨯=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑∑==(2) 0min =D因为)(D R 是D 的递减函数，所以)1log()1(log )()()())(m ax (min min p p p p D H p H D R D R ----=-==当0=q 时可达到))(max(D R ，此时0=D(3) ∑-=⨯+⨯===iji i j j ，p p p p y x d x p D D )1(10),()(min min max 舍去更大另一个 因为)(D R 是D 的递减函数，所以0)()()())(m in(max max =-==D H p H D R D R当1=q 时可达到))(min(D R ，此时p D -=1(图略，见课堂展示)4.6解：依题意可知：失真矩阵：⎥⎦⎤⎢⎣⎡∞∞=1010d ，信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2/12/110)(u p u 0min =D ，∑⨯+⨯⨯+∞⨯∞⨯+⨯===iji i j j y x d x p D D )12/112/1,02/12/1,2/102/1min(),()(min min max )(1]1,,m in[舍去另二个，∞=∞∞=10≤≤D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中1,2==a n ，所以率失真函数为：D D R -=1)(4.7解：失真矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110d ，按照P81页方法求解。
信息论与编码(第四章PPT)
q
变长编码
l p( si )li (码元 / 信源符号).
i 1
编码速率:编码后每个信源符号所能承载的的最大信 息量
R l log m(比特 / 码符号).
编码效率:
H(X ) H(X ) . R l log m
码的多余度（剩余度）:
l H ( X ) / log m 1 . l
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
0
w2 w3 w4 w8
w5
2
2级节点
1
0 1
3级节点
w6 w7
w9
w10
w11
26
4.3
r
变长编码
克拉夫不等式( L.G.Kraft, 1949) 长度为l1, l2,…,lr的m元 即时码存在的充分必要条件是：
li m 1 i 1
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00 或10, 0, 01, 00
麦克米伦定理(麦克米伦: B. McMillan, 1956). 长度为l1, l2,…,lr的m元唯一可译码存在的充分必要条件是:
li m 1 i 1 r
27
4.3
变长编码
例 对于码长序列1,2,2,2, 有 + + + = >1,
1 1 1 1 5 2 4 4 4 4 不存在这样码长序列的唯一可译码, 如码2,码3 1 1 1 1 15 对于码长序列1,2,3,4, 有 + + + = <1, 2 4 8 16 16 存在这样码长序列的唯一可译码！ 码4与码5都是唯一可译码！码5是即时码，但码4不是即时码！
变长编码
l p( si )li (码元 / 信源符号).
i 1
编码速率:编码后每个信源符号所能承载的的最大信 息量
R l log m(比特 / 码符号).
编码效率:
H(X ) H(X ) . R l log m
码的多余度（剩余度）:
l H ( X ) / log m 1 . l
0级节点
0 1 1 2 2
1级节点
2 0 1 2
w1
0
0
w2 w3 w4 w8
w5
2
2级节点
1
0 1
3级节点
w6 w7
w9
w10
w11
26
4.3
r
变长编码
克拉夫不等式( L.G.Kraft, 1949) 长度为l1, l2,…,lr的m元 即时码存在的充分必要条件是：
li m 1 i 1
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00 或10, 0, 01, 00
麦克米伦定理(麦克米伦: B. McMillan, 1956). 长度为l1, l2,…,lr的m元唯一可译码存在的充分必要条件是:
li m 1 i 1 r
27
4.3
变长编码
例 对于码长序列1,2,2,2, 有 + + + = >1,
1 1 1 1 5 2 4 4 4 4 不存在这样码长序列的唯一可译码, 如码2,码3 1 1 1 1 15 对于码长序列1,2,3,4, 有 + + + = <1, 2 4 8 16 16 存在这样码长序列的唯一可译码！ 码4与码5都是唯一可译码！码5是即时码，但码4不是即时码！
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
【例4.1】考虑二元无记忆对称信道的二次扩展信 道。二元对称信道如图所示。
Байду номын сангаас
对于二元无记忆信道的输入和输出随机变量 X 和 Y 都 取值于同一符号集0 , 1，因此，二次扩展信道的输 入、输出符号集为 00, 01, 10, 11 ，各有2 2 个。根据信 道的无记忆特性，求得二次扩展信道的传递转移概率
一般单符号信道的转移概率可用如下的信道转 移矩阵表示： b1 b2 … bs （输出）
若记 P(b j | ai ) pij 则信道转移矩阵可表示为：
P11 P P 21 Pr1 P12 P1s P22 P2 s Pr 2 Prs
p( k | h ) p( k h ) log p( k ) X NY N
p( h | k ) p( k h ) log p( k ) X NY N
N N ( k 1 , 2 , , r ) ( h 1 , 2 , , s ) 其中
说明信源符号经过有干扰信道传输后总要 残留一部分不确定性。根据条件熵总是不 大于无条件熵，因此同理有：
H(X | Y) H(X )
2、平均互信息 H(X ) 代表接收到输出符号以前关于信源 X 的 先验不确定性，而 H ( X | Y ) 代表接收到输出符号后 残存的关于X 的不确定性，两者之差即应为传输 过程获得的信息量。根据这个含义可得
且满足
Pij 0
及 Pij 1
j 1
s
(i 1,2,, r )
表示了转移矩阵 P中每一行之和等于1。 记信道输入与输出的联合概率为 P(ai b j )，则有：
P(ai b j ) P(ai ) P(b j | ai ) P(b j ) P(ai | b j )
1、信道疑义度
1 y f ( x) P( y | x ) 0 y f ( x)
（2）有干扰无记忆信道
这种信道存在干扰，为实际中常见的信道 类型，其输出符号与输入符号之间不存在 确定的对应关系，但信道任一时刻的输出 符号仅依赖于同一时刻的输入符号，是无 记忆信道。利用概率关系转换的方法可以 证明无记忆信道的条件概率满足：
X Y
定义 4.1 设离散信道的输入、输出分别为 X 和 Y 信道的后验概率为 P(ai | b j ),i 1,, r, j 1,, s， 定义条件熵为 H ( X | Y ) 该信道的信道疑义度。 如果信道是一一对应的无扰信道， H ( X | Y ) 0 一般情况下有 H ( X | Y ) 0
4.1 4.2 4.3
4.4 4.5
信道的数学模型及其分类 离散无记忆信道 信道的组合
信道容量 信源和信道的匹配
1〉什么是信道？
信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对 话，二人间的空气就是信道；打电话，电话线就 是信道；看电视，听收音机，收、发间的空间就 是信道。 2〉信道的作用 在信息系统中信道主要用于传输与存储 信息，而在通信系统中则主要用于传输。 3〉研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、 分析不同类型信道，计算其容量，即极限传输能力， 并分析其特性。
y(t)
根据信道输入、输出的随机变量个数的多少划分： （1）单符号信道： -指信道的输入和输出端都只用一个随机变 量表示。 （2）多符号信道： -指信道的输入和输出端用随机变量序列 或随机矢量表示。 根据信道的统计特性可将信道分为： （1）恒参信道： -信道的统计特性不随时间而变化，
（2）随参信道 -信道的统计特性随时间而变化 根据信道用户数量的不同，可将信道分为： （1）两端（单用户）信道： -这是只是一个输入端和一个输出端的单 向通信的信道。
XN
P( k | k )
N 根据信道的无记忆特性，有 p( y | x ) p( y1 y 2 y N | x1 x2 x N ) p( yi | xi )
其信道转移矩阵为： 11 12 1s N 21 22 2 s N rN rN rNSN 12 11 kh p( k | k ) p(bh bh bh | ak ak ak )
P( y | x) P( y1 y N | x1 x N ) P( yi | xi )
i 1 N
（3）有干扰有记忆信道 这是更一般的情况。这种信道某一时刻的 输出不仅与当时的输入有关，还与其他时 刻的输入及输出有关，对它的分析也更复 杂。 本章所讨论的信道仅限于无记忆、 恒参、单用户的离散信道。它是进一 步研究其他各种类型信道的基础。
最后求得二元对称信道德二次扩展信道的信 道矩阵为： 2 2
pp p p p2 p pp p p
2 2
pp p p
2 2
pp
pp
p p pp 2 p
p
二元对称信道的二次扩展信道如图所示：
定理 4.1 ：设离散信道的输入序列 X＝ (X1X2…XN) 通过信道传输，接收到的随机序列为 Y=( Y1Y2…YN)，而信道的转移概率为p(y∣x)。 若信道是无记忆的，则有：
4.2 离散无记忆信道
4.2.1单符号离散无记忆信道
信道条件概率：
P( y | x) P( y b j | x ai ) P(b j | ai ) i 1,2,, r , j 1,2,, s
此时 P( y | x) 称为信道转移概率，且满足：
P(b
j 1
s
j
| ai ) 1
（2）有记忆信道： -此种信道的输出不仅与当前的输入 有关，而与过去的输入和输出有关。
一个实际信道可同时具有多种属性，根据信 道的统计特性（即条件概率）的不同，离散 信道又可分为 （1）无干扰（无燥）信道 信道中没有随机性的干扰，输出的信号 Y 与输入 信号 X 之间有确定的对应关系，即 y f ( x) ，故 条件概率 P( y | x)满足：
I ( X ;Y ) H ( X ) H ( X | Y )
信息= 先验不确定性－后验不确定性 = 不确定性减少的量
因此，平均互信息有叫做信道的信息传输 率，可记为 R 。
通过信道传输消除了一些不确定性,获得了一定的 信息。 0 I ( X ; Y ) H ( X ) 信源X 有扰信道 干扰源 信宿Y
1 (i 1,2,, r )
且满足
P
j 1
s
ij
则此无记忆信道的 N 次扩展信道的数学模型
(a1 a1 a1 ) 1 (a1 a1 a 2 ) 2 : a r a r a r） （ rN N个 1 (b1 b1 ) 2 (b1 b2 ) Y N N s (bs bs ) N个
I ( X ;Y ) I ( X i ;Yi )
i 1 N
若信源是无记忆的，则有：
I ( X ;Y ) I ( X i ;Yi )
i 1 N
若信源与信道都是无记忆的，则有：
I ( X ;Y ) I ( X i ;Yi )
i 1 N
4.3 信道的组合
前面几节分析了离散信道。实际中常常会 遇到两个或更多个信道组合在一起使用的情况 。在研究较复杂的信道时，往往也可以将它们 分解成几个简单的，已经解决的信道的组合， 这样，可以使问题简化。
H ( X | Y ) P(b j )H ( X | b j )
j 1 s r s
P (b j ) P (ai | b j ) log P (ai | b j )
i 1 j 1 r s
P(ai b j ) log P(ai | b j )
i 1 j 1
P( xy) log P( x | y)
（2）多段（多用户）信道：
-这是在输入端或输出端中至少有一端有两个 以上上的用户，并且还可以双向通信的信道。 目前实际的通信信道绝大数都是多端信道。 多端信道又可分为多元接入信道与广播信道。
根据信道的记忆特性，又可将信道划分为：
（1）无记忆信道： -此种信道的输出仅与当前的输入有 关，而与过去的输入和输出无关。
H(XY)
4.2.2离散无记忆信道的扩展
1、N次扩展信道数学模型
简单的离散无记忆信道，其输入和输出实际上 是单个消息符号。这种模型是讨论 N次扩展信 道的基础。
信道矩阵为：
P11 P 21 P Pr1 P12 P1s P22 P2 s Pr 2 Prs
4.1 信道的数学模型及其分类
4.1.1信道的数学模型
输入量X
X ( X 1 , X N ) xi {a1 , , ar }
p(Y|X) 信 道
输出量Y
Y (Y1 , YN ) yi {b1 , , bs }
这个数学模型也可用数学符号表示为
X
P(Y | X ) Y
4.1.2信道的分类
•根据输入、输出信号的时间特性和取值特性 （1）离散信道： –输入和输出的随机序列取值都是离散的信道 （2）连续信道：
–输入和输出的随机序列取值都是连续的信道
（3）半离散(半连续)信道：
–输入变量取值离散而输出变量取值连续
–输入变量取值连续而输出变量取值离散
（4）波形信道： -输入和输出都是时间的实函数x(t),
i 1,2,, r
a1 P(b1 | a1 ) P(b2 | a1 ) P(bs | a1 ) （输入） a 2 P(b1 | a 2 ) P(b2 | a 2 ) P(bs | a 2 ) a r P(b1 | a r ) P(b2 | a r ) P(bs | a r )