第12讲——离散无记忆信道的容量
合集下载
离散信道及其信道容量
第2章 信道及其容量
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
信息论—离散信道及其信道容量
求统计平均，可得
I ( X ; Y | Z ) H ( X | Z ) H ( X | YZ )
I ( X ; YZ ) I ( X ; Y ) I ( X ; Z | Y ) I ( X ; Z ) I ( X ;Y | Z )
例题
四个等概率分布的消息 M1 , M 2 , M 3 , M 4 被送入一个二 元无记忆对称信道进行传送。通过编码使
已知y,z的条件下，总共获得关于x的互信息
P( x | yz) P( x | y ) P( x | yz) I ( x; yz) log log log P( x) P( x) P( x | y ) I ( x; y ) I ( x; z | y)
同样
I ( x; yz) I ( x; z ) I ( x; y | z )
信道的分类
用户数 输入与输出的 关系
与时间的关系 输入、输出信 号的特点
两端（单用户）信道 多端（多用户）信道 无反馈信道 有反馈信道 固定参数信道 时变参数信道
离散信道、连续信道、半离散 或半连续信道、波形信道
离散信道的数学模型
X
X ( X1 ,, X i , X N )
信道
P( y | x )
r s
s
s
r
平均互信息
I ( X ;Y ) H ( X ) H ( X | Y )
1 1 I ( X ; Y ) P( x) log P( xy) log P( x) X ,Y P( x | y ) X P( y | x) P( xy) log P( y ) X ,Y
用矩阵来表示
0 1 0 1 p p 1 p 1 p
I ( X ; Y | Z ) H ( X | Z ) H ( X | YZ )
I ( X ; YZ ) I ( X ; Y ) I ( X ; Z | Y ) I ( X ; Z ) I ( X ;Y | Z )
例题
四个等概率分布的消息 M1 , M 2 , M 3 , M 4 被送入一个二 元无记忆对称信道进行传送。通过编码使
已知y,z的条件下，总共获得关于x的互信息
P( x | yz) P( x | y ) P( x | yz) I ( x; yz) log log log P( x) P( x) P( x | y ) I ( x; y ) I ( x; z | y)
同样
I ( x; yz) I ( x; z ) I ( x; y | z )
信道的分类
用户数 输入与输出的 关系
与时间的关系 输入、输出信 号的特点
两端（单用户）信道 多端（多用户）信道 无反馈信道 有反馈信道 固定参数信道 时变参数信道
离散信道、连续信道、半离散 或半连续信道、波形信道
离散信道的数学模型
X
X ( X1 ,, X i , X N )
信道
P( y | x )
r s
s
s
r
平均互信息
I ( X ;Y ) H ( X ) H ( X | Y )
1 1 I ( X ; Y ) P( x) log P( xy) log P( x) X ,Y P( x | y ) X P( y | x) P( xy) log P( y ) X ,Y
用矩阵来表示
0 1 0 1 p p 1 p 1 p
离散无记忆信道的信道容量计算实验报告PPT课件
演讲人：XXXXXX 时 间：XX年XX月XX日
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
• 运行结 果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入 概率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越 高，结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
(*)
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
（2）从达到DMC的信道容量的充要条件出发:
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
• 程序设计思路
• （1）参数输入模块
• （2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
• （3）迭代模块1
• （4）迭代模块2
• （5）输出模块Байду номын сангаас
• P116 4.3 (b)
• 一般的DMC
• 一般的DMC
概率矩阵：
参考文献
[1]王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
• 运行结 果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入 概率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越 高，结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
(*)
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
（2）从达到DMC的信道容量的充要条件出发:
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
• 程序设计思路
• （1）参数输入模块
• （2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
• （3）迭代模块1
• （4）迭代模块2
• （5）输出模块Байду номын сангаас
• P116 4.3 (b)
• 一般的DMC
• 一般的DMC
概率矩阵：
参考文献
[1]王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
一般离散无记忆信道的信道容量
8. 一般离散无记忆信道 (DMC)离散无记忆信道的信道容量定理 对前向转移概率矩阵为Q 的离散无记忆信道，其输入字母的概率分布 能使互信息 取最大值的充要条件是：其中是输入符号传送的平均互信息，C 就是这个信道的信道容量。
1(|)(;)(|)log()J j k k j k j j q b a I x a Y q b a p b ===∑**(;)|,*()0;(;)|,*()0;k p p k k p p k I x a Y C p a I x a Y C p a ====>=≤=当当*p k a ),(Q p I信道容量的迭代算法 Blahut-Arimoto 算法[]IFEND P P Q M j for xp f p ELSESTOPI C THEN I I IF f I x I P F x M j for q p p f CC Y Y j j j LC L U j j U L Ck k j k j k j ⋅=-===<-==⋅=-∈⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡⎪⎪⎭⎫ ⎝⎛=∑|22||1,0/)())(max (log )(log 1,0ln exp ε设输入符号集合X ， 输出符号集合Y ，P Y|X 为给定信道的前向概率传递矩阵。
r=M, s=N, 令F=[f 0 , f 1 , …, f M-1]。
设ε是一个给定的小的正数。
令，输入符号等概率分布]1,1,0[],1,1,0[-∈-∈N k M j X X Y Y j P P Q M p |,1==输出符号概率分布9. 组合信道1) 级联信道(;)(;)I X Y I X Z ≥(;)(;)and I Y Z I X Z ≥121NN k k Q Q Q Q Q ===∏ 系统的前向概率传递矩阵为：例题. 两个错误概率为p 的BSC 信道级联，求信道容量。
121NN k k Q Q Q Q Q ===∏ ⎥⎥⎦⎤⎢⎢⎣⎡++=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡==22222122p p p p p p p p p p p p p p p p Q Q Q ))1(2(1p p H C --=解：12121(|)(|)NN N i i i p y y y x x x p y x ==∏ 1Ni i C C ==∑2) 并联信道1：并用信道21log 2iN C i C ==∑()()2i C C i p C -=the probability of each sub-channel in use:3) 并联信道2：和信道。
上次课程离散无记忆信道的扩展信道离散信道的信道容量平均互信息与
• 因此，得平均功率受限高斯加性信道的信道容量(每个自由 度)为：
C = log
2πeP0 − log
2πeσ 2
=
1 2
log
P0
σ2
C = log
2πeP0 − log
2πeσ 2
=
1 2
log
P0
σ2
如果信道加入信道的噪声是加性高斯噪声，则由输出Y、
信道噪声的概率密度函数为：
p( y) = N (0, P0 ) p(n) = N (0, σ2 )
离散信道的信道容量 C = max { I ( X ;Y )} （比特/符号）
二、简单离散信道的信道容量
离散无噪无损信道
p(bj
/
ai )
=
p(ai
/ bj )
=
0 1
例如：
i≠ j i= j
(i, j = 1, 2,3)
1 0 0
其信道矩阵是单位矩阵：
0 1 0
0 0 1
满足： I(X;Y)=H(X)=H(Y)
上次课程 平均互信息与各类熵的关系
• I(X;Y) = H(X) - H(X|Y)
• I(X;Y) = H(Y) - H(Y|X)
• I(X;Y) = H(X)+H(Y)-H(XY)
平均互信息的特性
• 非负性 • 极值性 • 交互性（对称性） • 凸状性
离散无记忆信道的扩展信道 I(X,Y) = NI(X ,Y
非高斯噪声信道的信道容量要大于高斯噪声信道的信道容 量，所以在实际中，我们常常采用计算高斯噪声信道容量 的方法来保守地估计信道容量，这样做同时还可以带来信 道容量的计算比较容易的好处。
1 2
C = log
2πeP0 − log
2πeσ 2
=
1 2
log
P0
σ2
C = log
2πeP0 − log
2πeσ 2
=
1 2
log
P0
σ2
如果信道加入信道的噪声是加性高斯噪声，则由输出Y、
信道噪声的概率密度函数为：
p( y) = N (0, P0 ) p(n) = N (0, σ2 )
离散信道的信道容量 C = max { I ( X ;Y )} （比特/符号）
二、简单离散信道的信道容量
离散无噪无损信道
p(bj
/
ai )
=
p(ai
/ bj )
=
0 1
例如：
i≠ j i= j
(i, j = 1, 2,3)
1 0 0
其信道矩阵是单位矩阵：
0 1 0
0 0 1
满足： I(X;Y)=H(X)=H(Y)
上次课程 平均互信息与各类熵的关系
• I(X;Y) = H(X) - H(X|Y)
• I(X;Y) = H(Y) - H(Y|X)
• I(X;Y) = H(X)+H(Y)-H(XY)
平均互信息的特性
• 非负性 • 极值性 • 交互性（对称性） • 凸状性
离散无记忆信道的扩展信道 I(X,Y) = NI(X ,Y
非高斯噪声信道的信道容量要大于高斯噪声信道的信道容 量，所以在实际中，我们常常采用计算高斯噪声信道容量 的方法来保守地估计信道容量，这样做同时还可以带来信 道容量的计算比较容易的好处。
1 2
离散信道及容量
P(y 0) P(x) P(0 | x) p (1) p p p
平均信息量之和； H XY H X H Y
(b)一个符号不能提供有关另一符号的任何信息。
IX ;Y IY; X 0
HX ,Y 0
当两个信源相关时 (a)联合熵小于两个信源的熵的和:
H XY H X H Y
(b)平均互信息量等于两信源熵重合的部分； (c)信源的条件熵等于其熵减去平均互信息量：
3. 平均互信息的交换性（对称性）
I (X ;Y ) I (Y; X )
4. 平均互信息 I ( X ; Y ) 的凸状性
I ( X ;Y ) P(xy) log P( y | x)
X ,Y
P( y)
P(x)P( y | x) log X ,Y
P( y | x) P(x)P( y | x)
p0 / 0 0.99
0
0
p0 /1 0.01
p1/ 0 0.01
错误的概率为0.01。
1
1
即有
p1/1 0.99
p yi / xi p0/ 0 p1/1 0.99
p yj / xi p1/ 0 p0 /1 0.01 i j
转移矩阵
pY / X p y j / xi
满足其的充要条件是：
N
P(Y X ) p( y1y2...yN x1x2...xN ) p( yi xi ) i1
对任意的N值和x,y值上式都成立。
3.有干扰有记忆信道 信道中某一瞬间的输出符号不但与对应时刻的输入符号 有关，而且还与此前其它时刻信道的输入符号有关，则该信 道称有记忆信道。 此时 P(Y X ) 不满足：
p(xi ) p( y j
N
xi )
平均信息量之和； H XY H X H Y
(b)一个符号不能提供有关另一符号的任何信息。
IX ;Y IY; X 0
HX ,Y 0
当两个信源相关时 (a)联合熵小于两个信源的熵的和:
H XY H X H Y
(b)平均互信息量等于两信源熵重合的部分； (c)信源的条件熵等于其熵减去平均互信息量：
3. 平均互信息的交换性（对称性）
I (X ;Y ) I (Y; X )
4. 平均互信息 I ( X ; Y ) 的凸状性
I ( X ;Y ) P(xy) log P( y | x)
X ,Y
P( y)
P(x)P( y | x) log X ,Y
P( y | x) P(x)P( y | x)
p0 / 0 0.99
0
0
p0 /1 0.01
p1/ 0 0.01
错误的概率为0.01。
1
1
即有
p1/1 0.99
p yi / xi p0/ 0 p1/1 0.99
p yj / xi p1/ 0 p0 /1 0.01 i j
转移矩阵
pY / X p y j / xi
满足其的充要条件是：
N
P(Y X ) p( y1y2...yN x1x2...xN ) p( yi xi ) i1
对任意的N值和x,y值上式都成立。
3.有干扰有记忆信道 信道中某一瞬间的输出符号不但与对应时刻的输入符号 有关，而且还与此前其它时刻信道的输入符号有关，则该信 道称有记忆信道。 此时 P(Y X ) 不满足：
p(xi ) p( y j
N
xi )
离散无记忆信道的信道容量计算实验报告
感谢聆听！
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
运行结果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入概 率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越高， 结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
程序设计思路
（1）参数输入模块
（2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
（3）迭.3 (b)
一般的DMC
一般的DMC
概率矩阵：
参考文献
[1]王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
信道容量的定义
信道容量的定义
1、信道容量的定义在信息论中，称信道⽆差错传输信息的最⼤信息速率为信道容量，记为。
从信息论的观点来看，各种信道可概括为两⼤类：离散信道和连续信道。
所谓离散信道就是输⼊与输出信号都是取值离散的时间函数；⽽连续信道是指输⼊和输出信号都是取值连续的。
可以看出，前者就是⼴义信道中的编码信道，后者则是调制信道。
仅从说明概念的⾓度考虑，我们只讨论连续信道的信道容量。
信道容量是指信道中信息⽆差错传输的最⼤速率.
是⼀个理想的极限值
Shannon公式在信号平均功率受限的⾼斯⽩噪声信道中,计算信道容量的理论公式为:
C=Blog2(1+S/N) 单位(b/s)
由公式得出的结论:
1.增⼤信号功率S可以增加信道容量,若信号功率趋于⽆穷⼤,则信道容量也趋于⽆穷⼤
2.减⼩噪声功率N或者减⼩噪声功率谱密度可以增加信道容量,若噪声功率趋于零,则信道容量趋于⽆穷⼤.
3.增加信道带宽B 可以增加信道容量.但是不能使信道容量⽆限制增⼤.信道带宽B趋于⽆穷⼤时.信道容量的极限值为
limC=1.44(S/n0)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
可逆矩阵信道容量
假定所有输入字母的概率 Qk ，则
w j Qk p( j k )
k
j 0,1, , J 1
由
I ( x k ; Y ) p ( j k ) log
p( j k ) wj
C
k 0,1, , K 1
C
可得 即
j
j
p( j k ) log p( j k ) p( j k ) log w
j
验证
j
wj 2
k
j C
w j Qk p( j k )
可逆矩阵信道容量
特别注意 Qk 0 对上面得到的解进行验证。 计算wj 计算Qk 求解方程组 w j Qk p( j k )
wj 2
j C
验证
若 Qk 0 即所得到的解是正确的
否则满足条件的最大值在边界上，于是 令某个 Qk 为0， 再次进行试解。 特别 J K 多解 有时要令多个 Qk 为0，进行试解
根据 p ( j k ) j p ( j k ) log p ( j k )列方程组
1 1 1 1 1 1 1 1 1 2 1 4 2 4 4 2 log 2 4 log 4 4 log 4 2 0 3 0 1 1 1 1 log 1 1 log 1 1 log 1 1 3 4 4 2 4 4 4 4 2 2 4
准对称信道特点
定理1 若DMC关于输入为对称的，则对任意k∈{0, 1, …, K-1}
1 H (Y | X ) p( y | k ) log H (Y | X k ) p( j | k ) j 0
K 1 J 1 1 1 证明 H (Y | X ) p(i) p( j | i) log p(i) p( j | i) log p( j | i ) i 0 p( j | i ) i 0 j 0 j 0 K 1 J 1
可以看成是有J个未知数 j 的线性方程组。由假设P是 非奇异矩阵，故必有唯一解。 令 j 是其解，由上假设 又 w j 1，可得
j
wj 2
j C
2 2
j
C
j
C log( 2 )
j
可逆矩阵信道容量
特别注意 Qk 0 对上面得到的解进行验证。 计算wj 计算Qk 求解方程组 w j Qk p( j k )
k k '
I ( x k ; Y ) const I ( x k ';Y )
s jYs
满足了K-T条件，从而证明输入等概情况下达到信道 容量。
准对称信道容量计算公式
准对称DMC信道
C I ( x k ; Y ) p( j k ) log
j 0 J 1
p( j k ) wj
BSC(q=0) C=1-H(p) 纯删除信道(p=0) C=1-q
例 模K加性噪声信道
DMC的输入为X，X的所有事件为{0, 1, …, K-1}； DMC的噪声为Z，Z的所有事件为{0, 1, …, K-1}； DMC的输出为Y，Y的所有事件为{0, 1, …, K-1}； X与Z相互独立；Y=X+Z(modK)。 求信道容量C
p( j | k ) C p ( j | k ) log K 1 1 j 0 p( j | i) i 0 K I ( X k ; Y )；k
J 1
准对称信道容量特点
证明
若信道为准对称，则当输入等概时，有
p( j k ) I ( x k ; Y ) p( j k ) log wj j 0
输入 x X
Q( x)
+
输出 y x z Y
w( y )zZ p(Fra bibliotekz )干扰
例 模K加性信道容量
p(y|x)=P(Y=y|X=x) =P(X+Z(modK)=y|X=x) =P(x+Z(modK)=y|X=x) =P(Z=y-x(modK)|X=x) =P(Z=y-x(modK))。 若记P(Z=z)=sz，则转移概率矩 阵为
K 1 k 0
s1 s2 s0 s K 1 s0 s1 sK 2 sK 1 s0 s2 s3 s1
sK 1 sK 2 s K 3 s0
显然，模K加性噪声信道是对称DMC，则信道容量为
C log K sk log sk log K H ( Z )
p( j k ) log
j 0
J 1
p( j k ) 1 K
p( j i)
i 0
K 1
对称DMC信道
C log J p( j k ) log p( j k )
j 0 J 1
例 KSC信道容量
例 KSC信道
1 p p P K 1 p K 1 p K 1 p K 1 p K 1 p K 1 1 p
J 1
准对称，可将可将Y 划分为一些子集Ys
s jYs
p( j k ) p ( j k ) log wj
子集Ys中相应子阵的列是可置换的，所以，对 此子阵中的每一个输出j，概率 w j 都相等，
准对称信道容量特点
又在同一个子阵中，各行又都是第1行的置换，所以
p( j k ) p( j k ') p ( j k ) log p( j k ') log const wj wj jYs jYs
p K 1
p K 1 p p C log K (1 p) log( 1 p) ( K 1) log ( K 1) ( K 1) log K p log( K 1) H ( p)
p K 1 p K 1 1 p
k
例题
DMC信道的转移概率矩阵为
1 / 2 1 / 4 0 1 / 4 0 1 0 0 P 0 0 1 0 1 / 4 0 1 / 4 1 / 2
求其信道容量C。
非奇异矩阵
例题
j j
1 / 2 1 / 4 0 1 / 4 0 1 0 0 P 0 0 1 0 1 / 4 0 1 / 4 1 / 2
当K 2时：C 1 H ( p)
例 二元删除信道容量
例：二元删除信道 输入事件集为{0,1}；输出事 件集为{0,2,1}；转移概率矩阵 为
0 2 1 p P 0 1 p q q p q 1 p q 1
当q=0时，简化为BSC。 当p=0时，简化为纯删除信道。 达到信道容量时的最佳输入分 布为等概分布。 信道容量是转移概率矩阵任何 一行所对应的半平均互信息量。
wj 2
j C
验证
若 Qk 0 即所得到的解是正确的
否则满足条件的最大值在边界上，于是 令某个 Qk 为0， 再次进行试解。
k
可逆矩阵信道容量
列方程组
p( j k ) p( j k ) log p( j k )
j j j
k 0,1, , K 1
计算信道容量
C log( 2 )
p( y1 | x1 ) p( y2 | x2 ) p( y N | xN )
信道容量
C max{I ( X , Y )}
Qk
Review
达到C充要条件
输入概率矢量 Q Q0 , Q1, , QK 达到转移概率为 p( j k ) 的DMC的容量C的充要条件为
I ( x k;Y ) C
I ( x k;Y ) C
k , Qk 0 k , Qk 0
其中，
I ( x k ; Y ) p( j k ) log
j
p( j k )
Q p( j i )
i i
Review
信道容量计算
• 对于一般信道,信道容量计算相当复杂,我们 只讨论某些特殊类型的信道 • 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 －对称、准对称信道
p( j | k )
k 0
K 1
p (0 | k )
k 0
K 1
1 ，即输出等概分布 wj 根据概率归一性， J K 1 此时 p ( j | k ) K J k 0
准对称信道容量特点
定理3 对于准对称DMC信道 最佳输入分布为等概分布 （1）达到信道容量的最佳输入分布为等概分布； （2）信道容量为
1 p( j | k )
准对称信道特点
定理2 若DMC关于输出为对称的，则当输入分布等概时， 输出分布等概。 证明 关于输出对称，即任何一列是第一列的置换 设q(x)=1/K，x∈{0, 1, …, K-1}，则
1 w j Qk p ( j | k ) K k 0 1 K
K 1
j
j
p( j k ) log p( j k ) p( j k )[C log w ]
j j j
j
可逆矩阵信道容量
令 jj C C log log w wjj，得
p( j k ) p( j k ) log p( j k )
j j j
k 0,1, , K 1
j
j C
2C 2
，求得
2 5
1 w4 10
k
w2 2 2 C w3
再根据 w j Qk p( j k )，得到方程组
1 1 1 Q Q 2 1 4 4 10 1 2 Q1 Q2 4 5 1 2 Q3 Q4 4 5 1 1 1 Q Q 1 4 2 10 4