(最新整理)信道容量的计算

(完整)信道容量的计算编辑整理：尊敬的读者朋友们：这里是精品文档编辑中心，本文档内容是由我和我的同事精心编辑整理后发布的，发布之前我们对文中内容进行仔细校对，但是难免会有疏漏的地方，但是任然希望（(完整)信道容量的计算）的内容能够给您的工作和学习带来便利。

同时也真诚的希望收到您的建议和反馈，这将是我们进步的源泉，前进的动力。

本文可编辑可修改，如果觉得对您有帮助请收藏以便随时查阅，最后祝您生活愉快业绩进步，以下为(完整)信道容量的计算的全部内容。

§4.2信道容量的计算这里,我们介绍一般离散信道的信道容量计算方法,根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。

前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。

而);(Y X I 是r 个变量)}(),(),({21r x p x p x p 的多元函数。

并且满足1)(1=∑=ri i x p 。

所以可用拉格朗日乘子法来计算这个条件极值。

引入一个函数：∑-=ii x p Y X I )();(λφ解方程组0)(])();([)(=∑∂-∂∂∂i ii i x p x p Y X I x p λφ1)(=∑iix p （4.2。

1）可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C .因为 )()(log)()();(11i i i i i ri sj i y p x y Q x y Q x p Y X I ∑∑===而)()()(1i i ri i i x y Q x p y p ∑==，所以e e y p y p i i i i i x y Q i x p i x p log log ))(ln ()(log )()()(==∂∂∂∂。

解（4.2。

1）式有0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q ii i ii r i s j i i i i sj i i (对r i ,,2,1 =都成立） 又因为)()()(1j k k rk k y p x y Q x p =∑=ri x y Q sj i j,,2,1,1)(1==∑=所以（4.2.1）式方程组可以转化为 ),,2,1(log )()(log)(1r i e y p x y Q x y Q j i j sj i j =+=∑=λ1)(1=∑=ri i x p假设使得平均互信息);(Y X I 达到极值的输入概率分布},,{21r p p p 这样有 e y p x y Q x y Q x p j i j i j ri sj i log )()(log)()(11+=∑∑==λ从而上式左边即为信道容量，得 e C log +=λ 现在令)()(log)();(1j i j sj i j i y p x y Q x y Q Y x I ∑==式中，);(Y x I i 是输出端接收到Y 后获得关于i x X =的信息量，即是信源符号i x X =对输出端Y 平均提供的互信息。

一般来讲，);(Y x I i 值与i x 有关。

根据（4。

2。

2)式和（4.2.3)式， C Y x I i =);( ),,2,1(r i = 所以对于一般离散信道有如下定理。

定理 4.2.1 一般离散信道的平均互信息);(Y X I 达到极大值（即等于信道容量）的充要条件是输入概率分布)}(,),({1n x p x p 满足)(a C Y x I =);(1 对所有的0)(,≠i i x p x )(b C Y x I i ≤);( 对所有的0)(,=i i x p x 这时C 就是所求的信道容量。

对于离散信道来说,其实信道容量还有一个解法：迭代解法.定理 4.2.2 设信道的向前转移概率矩阵为J K i j x y Q Q ⨯=))((，0P 是任给的输入字母的一个初始概率分布,其所有分量0)(0≠k x P .按照下式不断地对概率分布进行迭代，更新：∑=+=Ki riirr k k rk r P x P P x P x P 11)()()()()(ββ其中 r P P k r k Y x X I P ===)];(exp[)(β()()()⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧=∑∑==J j i i j r i j k j x y Q P x y Q x y Q 11log exp 由此所得的()Q P I r ,序列收敛于信道容量C 。

我们还可以将上述过程写成算法以便编制程序实现（如图4。

2。

1） })()(log{1∑==Kk k k L P x P I β)}(log{P x ma I k kU β==L I I U =图4。

2。

1 信道容量的迭代算法对于一些特殊的离散信道，我们有方便的方法计算其信道容量。

定义4.2。

1 设X 和Y 分别表示输入信源与输出信源，则我们称()Y X H 为损失熵，()X Y H 为信道噪声熵。

如果信道的损失熵()0=Y X H ,则次信道容量为()()()ogr X H Y X H x H I C x P x x P 1)(max )(max Y X;max )()(P )(==-=='(bit/符号）这里输入信源X 的信源符号个数为r 。

如果信道的噪声熵()0=X Y H ，则此信道容量为()s Y H Y X I C x P x P log )(max ;max )()(===''（bit/符号)这里输出信源符Y 的符号个数为s.定义4。

2。

2 一个信道Q 称为对称离散信道，如果它满足下面的性质:（1）信道Q 矩阵中每一行是另一行的置换; （2）每一列式另一列的置换.例如,信道矩阵⎪⎪⎪⎪⎭⎫ ⎝⎛=3131616161613131Q 和⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=216131312161613121Q 满足对称性，所以对应信道是对称离散信道。

定义4.2.3 对称离散信道的信道容量为()s P PP H s C '''-=,,,log 21 (bit/符号） 上式只与対称信道矩阵中行矢量},,,{21s P PP ''' 和输出符号集的个数s 有关. 证明 ()X Y H Y H Y X I -=)();( 而 ()()()x y p x y P x P X Y H yx1log)(∑∑= ()x X Y H x P x==∑)(由于信道的对称性，所以()x X Y H =与x 无关,为一常熟，即()[]s x P P PP H Y H C '''-=,,,)(max 21)( ),,,(log 21s P PP H s '''-= 接着举一个例子加以说明。

例4。

2。

1 某对称离散信倒的信道矩阵为⎪⎪⎪⎪⎪⎭⎫⎝⎛=3131616161613131P 用公式计算信道容量)61,61,31,31(4log H C -=⎪⎭⎫ ⎝⎛++++=61log 6161log 6131log 3131log 3120817.0=（bit/符号）定义4.2.3 若信道矩阵Q 的列可以划分成若干互不相交的子集矩阵K B ，即)(,j i B B j i ≠=⋂φ且Y B B B n = 21。

由K B 为列组成的矩阵k Q 是对称矩阵，则称信道矩阵Q 所对应的信道为准对称信道。

例如，信道矩阵⎪⎪⎪⎪⎪⎭⎫⎝⎛=31613161616131311P ⎪⎪⎭⎫⎝⎛=7.01.02.02.01.07.02P 都是准对称信道，在信道矩阵1P 中，Y 可以划分为三个子集，由子集的列组成的矩阵为⎪⎪⎪⎪⎪⎭⎫⎝⎛31616131 ， ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛3131 , ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛3161它们满足对称性，所以1P 对应的信道是准对称信道。

同理2P 可划分为⎪⎪⎭⎫⎝⎛7.02.02.07.0 ， ⎪⎪⎭⎫ ⎝⎛1.01.0 这两个矩阵也满足对称性。

下面，我们给出准对称离散信道的信道容量计算公式∑=-'''-=nk k k s M N P PP H r C 121log ),,,(log 其中，r 是输入符号集的个数，),,,(21s P P P ''' 为准对称信道矩阵中的行矢量。

设矩阵可划分为n 个互不相交的子集。

k N 是第k 个子矩阵k Q 中行元素之和，k M 是第k 个子矩阵k Q 中列元素之和,即()∑∈=kY y i k x y P N()),,2,1(,,n k Y y x y P M k xi k =∈=∑并且可以证明达到准对称离散信道容量的输入分布式等概分布，我们将推导作为习题留给读者。

例4。

2.2 设信道传递矩阵为⎪⎪⎭⎫ ⎝⎛----=q p q p p q q p P 11 可表示成如图4.2。

2根据上面计算公式可得q N q N =-=21,1 q M q M 2,121=-=则有),,1(2log p q q p H C ---= q q q q 2log )1log()1(----qq q p q p p p --+----+=12log)1()1log()1(log 图4.2。

2 下面我们举一些其他信道容量的例子例4.2。

3 设离散信道如图4.2。

3所示，输入符号集为},,,,{54321a a a a a ，输出符号集为},{21b b ，信道矩阵为X Y1a 2a 1b 3a4a 2b 5a图4。

2.3⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=101021210101P由于输入符号3a 传递到1b 和2b 是等概率的，所以3a 可以省去.而且21,a a 与4a ，5a 都分别传递到1b 和2b ，因此可只取1a 和5a ，所以设输入概率分布21)()(51==a P a P ，0)()()(432===a P a P a P ，可以计算得21)()(21==b P b P ，由定理4.2.1得 2log );();(21====Y a x I Y a x I 2log );()Y ;(54====Y a x I a x I 0);(3==Y a x I可见，此假设分布满足定理4。

2。

1,因此，信道容量 12log ==C （bit/符号）最佳分布是0)()()(,21)()(43251=====a P a P a p a P a P若设输入分布为0)(,41)()()()(35421=====a P a P a P a P a P .同理可得21)()(21==b P b P ，根据定理4。