信息论与编码2016(第4章)

§4.2 离散无记忆信道 对称DMC容量的计算

P的所有列都是第一列的一种置换，信 道是关于输出对称的
0 .8 0 .2 P 0 .5 0 .5 0 .2 0 .8
§4.2 离散无记忆信道
命题2 若DMC关于输出为对称的，则当输入分布等概时，输 出分布等概。 证明 此时{p(y|x)，x=0~ K-1}与{p(0|x)，x=0~ K-1}互为置换。 设q(x)=1/K，x∈{0, 1, …, K-1}。则
q( z ) p( y | z )
都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)都 不大于此相同的值。 （2）此时此相同的值恰好就是信道容量C。
§4.2 离散无记忆信道
注解
如果对DMC信道没有任何简化，要计算最佳输 入分布并不容易。但是，通常使用的DMC是很简单 的（比如，以下的准对称信道和对称信道），最佳 输入分布很容易求出。
§4.2 ቤተ መጻሕፍቲ ባይዱ散无记忆信道
定理4.2.2(p91) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分 布的充分必要条件为：对任何满足q(k)>0的k，
I ( X k ; Y ) p( y | k ) log K 1
y 0 z 0 J 1
p( y | k )
第四章：信道及其容量
§4.1 §4.2 §4.5 §4.6 §4.7 信道分类 离散无记忆信道 信道的组合 时间离散的无记忆连续信道 波形信道
5
§4.1 信道分类

所有信道都有一个输入集A，一个输出集B以及 两者之间的联系，如条件概率P(y│x)，x∈A， y∈B。这些参量可用来规定一条信道。

§4.2 离散无记忆信道
一、有关DMC的信道容量 设 DMC在某个时刻输入随机变量为X，输出随机变 量为Y。

X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。

信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）， 即
J 1
对任意k∈{0, 1, …, K-1}都成立。 证明 {p(y|x)，y=0~ J-1}与{p(y|k)，y=0~ J-1}互为置换，所以
K 1 J 1 1 1 H (Y | X ) q( x) p( y | x) log q( x) p( y | x) log p( y | x) x 0 p ( y | x) x 0 y 0 y 0 J 1 1 1 q( x) p( y | k ) log p( y | k ) log H (Y | k ) p( y | k ) y 0 p( y | k ) x 0 y 0 K 1 J 1 K 1 J 1

§4.2 离散无记忆信道



离散无记忆平稳信道的定义 信道容量的定义及定理 离散无记忆平稳信道的信道容量的计算

特殊的离散无记忆平稳信道－准对称信道的 信道容量的计算

三种特殊的准对称信道的信道容量的计算

一般离散无记忆平稳信道的信道容量的计算
§4.2 离散无记忆信道
定义4.2.1和定义4.2.2(p88) 如果
1 w( y ) q( x) p( y | x) K x 0 1 K 1 p (0 | x ) ， K x 0 即w( y )与y无关。
K 1
p ( y | x)
x 0
K 1
§4.2 离散无记忆信道
定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可分成 若干个列子集，每个列子集所对应的转移概率矩阵P的子 阵都满足以下两条性质： 任一行是第一行的置换， 任一列是第一列的置换。 则称信道为准对称信道。




当输入集和输出集都是离散集时，称信道为离散信道。 电报信道和数据信道就属于这一类。 当输入集和输出集都是连续集时，称信道为连续信道。 电视和电话信道属于这一类。 当输入集和输出集中一个是连续集、另一个是离散集 时，则称信道为半离散信道或半连续信道。连续信道 加上数字调制器或数字解调器后就是这类信道。 当输入集和输出集都是连续集，输出时刻离散时，称 信道为时间离散的连续信道。 当输入集和输出集都是连续集，且输出时刻连续时， 称信道为波形信道。
w( y ) q( x) p( y | x)
x 0 K 1
( w(0), w(1),, w( J 1)) p(1 | 0) p( J 1 | 0) p ( 0 | 0) p(0 | 1) p ( 1 | 1 ) p ( J 1 | 1 ) (q(0), q(1),, q( K 1)) p(0 | K 1) p(1 | K 1) p( J 1 | K 1)
若信道的输入为x，输出是哪一个符号y事先无法确定， 但信道输出一定是{0, 1, …, J-1}中的一个，即
对任意x，
p( y | x) P(Y {0,1,, J 1} | X x) 1
y 0
J 1
因而转移概率矩阵的每一行都是一个概率向量。
§4.2 离散无记忆信道

对任意y∈{0, 1, …, J-1}，由全概率公式有
则称该信道为离散信道。如果更有

则称该信道为离散无记忆信道（DMC）。如果更有

则称该信道为离散无记忆平稳信道。
例：二元对称信道BSC

p=0.1
1-p 0 p p 1 1-p 1 0
例：二元对称信道BSC


当N=1时， p(0|0)=p(1|1)=0.9; p(0|1)=p(0|1)=0.1; 当N=2时， p(00|00)= p(0|0)p(0|0) =p(11|11)=p(1|1)p(1|1)=0.9*0.9=0.81; p(01|00)=p(10|00) =p(01|11)=p(10|11)=0.9*0.1=0.09; p(11|00)=p(11|00)=0.1*0.1=0.01
§4.1 信道分类
根据信道的参数与时间的关系，信道又可以分为：

恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道：信道当时的输出只依赖于当时的输入， 与其它时刻的输出及输入都无关系，即 有记忆信道 平稳信道：信道在不同时刻的响应特性（转移概率） 是相同的，即
对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时刻u和v， 还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)。 P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN) 。
§4.1 信道分类
根据信道的用户多少，可以分为：

两端信道： 它是只有一个输入端和一个输出端 的单向通 信的信道，它是多用户信道的基础。

多端信道：当输入和（或）输出不止一个时,称 为多用户信道，也就是几个用户合用一个信道。


当有几个输入而输出只有一个时,习惯上称为多址接 入信道。 当只有一个输入，而输出有几个时,就称为广播信道。
§4.2 离散无记忆信道
p(1 | 0) p( J 1 | 0) p(0 | 0) p(0 | 1) p ( 1 | 1 ) p ( J 1 | 1 ) p(0 | K 1) p(1 | K 1) p( J 1 | K 1)
§4.2 离散无记忆信道

I(X; Y)是概率向量{q(x), x∈{0, 1, …, K-1}}和转移 概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]的函数。
p ( y | x) I ( X ; Y ) P(( XY ) ( xy)) log w( y ) x 0 y 0 q( x) p( y | x) log K 1
输入集就是信道所容许的输入符号的集。通常输入 的是随机序列, 随机过程在限时或限频的条件下均 可化为随机序列。在规定输入集A时，也包括对各 随机变量的限制,如功率限制等。 输出集是信道可能输出的符号的集。输出序列可以 是数或符号，也可以是一组数或矢量。

§4.1 信道分类

按输入集和输出集的性质，可划分为：

信道能无错误地传送的最大信息率，也就是信道容量的 计算问题，并 证明这样的信息率是能达到或逼近的,最好还能知道如何 实现, 这就是信道编码问题。
这些是山农建立信息论时提出的关于信道的理论问 题。他自己回答了一些，以后许多学者又使之不断 完善。 一般而论，对于无记忆信道，这些问题已基本解决， 但具体编码方法，如采用代数码来纠错还不能达到 要求。
I ( X ;Y )
达到信道容量的输入概率分布{x, q(x), x∈{0, 1, …, K1}}称为最佳输入分布。


若转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]确定，如何选择概率向量{q(x), x∈{0, 1, …, K-1}}使I(X; Y) 达到最大？ 由定理2.6.2有，
§4.2 离散无记忆信道

若信道转移概率矩阵所有行矢量都 是第一行的置换，称信道是关于输 入对称的。
0.8 0.1 0.1 P 0 . 1 0 . 1 0 . 8
§4.2 离散无记忆信道
命题1 若DMC关于输入为对称的，则
1 H (Y | X ) p( y | k ) log H (Y | X k ) p( y | k ) y 0