信息论与编码C 第三章 信道容量
信息论与编码习题与答案第三章
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容量及其达到信道容量时的输入概率分布；
解：1)
（2)
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
（7） bit/symbol
H(X/Y)=
i
bit/symbol
3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。
（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论与编码 第三章：信道容量
3.1 信道的数学模型和分类
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
信道的数学模型和分类
离散 无记忆 连续 信号类型 半离散 有记忆 半连续 无干扰：干扰少到可忽略； 信号与干扰类型 无源热噪声 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰
信道的数学模型和分类
出 Y x1 xn y1 ym 入 X p( x ) p( x ) →信道→ p( y ) p( y ) p ( x) p( y ) 1 n 1 m
其中： xi X
C maxI ( X ; Y ) max[ H (Y )] ( p log p p log
p ( xi ) p ( xi )
p ) n 1
单符号离散信道的信道容量
强对称离散信道的信道容量
强对称信道的信道容量
1 H (Y ) log n，当p ( y j ) 时，H (Y )达到最大值 n n 要获得这一最大值，通过公式p( y j ) p( xi ) p( y j / xi ), j 1, 2,, n
C = max[ H (Y )] H (q1 , q2 , , qm )
p ( xi )
log m H (q1 , q2 , , qm )
?
单符号离散信道的信道容量
准对称离散信道的信道容量
将H(Y)中的m项分成s个子集M1, M2,…, Ms,各子集分别 有m 1, m 2,…, m s个元素（ m 1+ m 2+…+ m s= m ）,则
信息论中的信道容量与编码速率
信息论中的信道容量与编码速率信息论是数学与通信工程学科的交叉领域，它研究了信息传输的基本原理与极限。
在信息传输过程中，我们需要考虑信道容量和编码速率这两个重要的概念。
本文将详细介绍信息论中的信道容量和编码速率，并探讨它们对于信息传输的影响。
一、信道容量信道容量是指在特定的通信信道中传输信息的最大速率。
它是指在不引入任何差错的情况下，信道所能够传输的最高信息率。
信道容量取决于信道的带宽、噪声水平和信噪比等因素。
在信息论中，香农公式被广泛应用于计算信道容量。
根据香农公式，信道容量C可以通过以下公式计算得出：C = B * log2(1 + S/N)其中，B为信道的带宽，S为信道的信号功率，N为信道的噪声功率。
通过这个公式，我们可以看出，信道容量与带宽成正比，与信噪比也成正比。
在实际应用中，我们可以通过增加带宽或提高信噪比的方式来增加信道容量。
但是，无论如何提高这些因素，信道容量都有一定的极限，这是由信道本身的特性所决定的。
二、编码速率编码速率是指信息在信道中传输时的速率，也被称为传输速率。
它决定了我们可以多快地将信息输入到信道中，并对应着信号的频率。
编码速率一般用比特每秒（bps）来衡量。
在设计通信系统时，我们需要根据信道容量和所需的传输质量来确定编码速率。
一般来说，我们希望编码速率尽可能接近信道容量，以实现高效的信息传输。
但是，如果编码速率超过信道容量，就会发生信息传输的错误，这是由信道的限制所决定的。
为了实现高效的信息传输，我们需要选择合适的编码方案。
常见的编码技术有冗余编码、差错纠正编码等。
这些编码技术可以在保证传输质量的同时，提高编码速率。
三、信道容量与编码速率的关系信道容量与编码速率之间存在着紧密的关系。
通常情况下，编码速率不能超过信道容量，否则会导致传输错误。
因此，为了实现高效的信息传输，我们需要控制编码速率与信道容量的关系。
在信道容量小于编码速率的情况下，我们需要对输入信号进行压缩处理，以降低编码速率，来适应信道的限制。
信息论与编码技术第三章课后习题答案
Chap3 思考题与习题 参考答案3.1 设有一个信源，它产生0、1 序列的消息。
它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6 的概率发出符号。
(1) 试问这个信源是否平稳的? (2) 试计算H(X 2)，H(X 3/X 1X 2)及H ∞。
(3) 试计算H(X 4)，并写出X 4 信源中可能有的所有符号。
解：（1）根据题意，此信源在任何时刻发出的符号概率都是相同的，均按p(0)=0.4，p(1)=0.6，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无信赖的。
所以这信源是平稳信源。
(2)23123121()2()2(0.4log 0.40.6log 0.6) 1.942(/)(|)()()log ()(0.4log 0.40.6log 0.6)0.971(/)lim (|)()0.971(/)i i iN N N N H X H X bit symbols H X X X H X p x p x bit symbol H H X X X X H X bit symbol ∞−→∞==−×+===−=−+====∑" (3)4()4()4(0.4log 0.40.6log 0.6) 3.884(/)H X H X bit symbols ==−×+=4X 的所有符号：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11113.2 在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率(10)1/p y x ===4，(01)1/p y x ===8。
求：(1) 在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
第3章信道与信道容量-信息论与编码(第3版)-曹雪虹-清华大学出版社
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2
3.1.2 信道的数学模型
– 信道输入 X ( X1, X 2, Xi , ), Xi a1, , an – 信道输出 Y (Y1,Y2, Yj , ),Yj b1, ,bm
– 条件概率p(Y/X)来描述信道输入、输出信号之间 统计的依赖关系。
有干扰无记忆信道
– 离散无记忆信道（DMC)
p11 p12 p1m
a1 a2
b1 b2
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
m
p(b j | ai ) 1,
j 1
i 1,2,, n
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
信道参数
有干扰无记忆信道
– 离散输入、连续输出信道
X
Y
+
Y＝X＋N
N
加性高斯白噪声 (AWGN) 信道：
pY ( y / ai )
1 e( yai )2 / 2 2
2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
8
信道参数
有干扰无记忆信道
x(t)
– 波形信道
波形信道转化成多维连续信道，
pY ( y / x) pY ( y1, , yL / x1, , xL )
Cavg EH (C)
11
中断容量（Outage Capacity）：当信道 瞬时容量Cinst小于用户要求的速率时，信 道就会发生中断事件，这个事件的概率 称为中断概率Poutage。这个用户要求的速 率就定义为对应于该中断概率Poutage的中 断容量Coutage，即
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4 3.5 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7(1)联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=010330110110115215110161ij p ，⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0103101535152525121)|(j i y x p 31)(0=y p ，21)(1=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 30310log 301310log 101310log10152log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑ij i j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)平均错误概率为：733.010/115/110/310/130/115/2=+++++ (5)同样为0.733 (6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.2单符号离散信道的信道容量
信息传输率R: 信道中平均每个符号所能传送的信息量。由于 平均互信息I(X;Y)的含义是接收到符号Y后，平均每个符号获 得的关于X的信息量，因此信道信息传输率就是平均互信息。
噪声熵 H(Y/X) = 0 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(Y) H(X) ＞ H(Y)
思考：p(x)应该 怎样取值？
C max I ( X ; Y ) max H (Y ) log 2 m
p ( xi ) p ( xi )
3.2单符号离散信道的信道容量
例：对于二元对称信道
0( p)
q
I(X;Y)
X
1( p)
q q
q
0
Y
1
0
1-H(q) 0.5 1 p
如果信源分布X={p,1-p}，则
I ( X ; Y ) H ( pq pq) H (q)
信道容量为：
C max I ( X ; Y ) 1 H (q),
p ( xi )
3.2单符号离散信道的信道容量
二进制对称信道(n=2)
p C log 2 n p log 2 p p log 2 n 1 1 p log 2 p p log 2 p 1 H ( p)
H ( p) p log2 p p log2 p
C 1
0
0.5
1
p
3.2单符号离散信道的信道容量
（2）输出符号的概率 n P(b j ) p(ai ) p(b j / ai )
（3）后验概率
P(ai / b j )
i 1
P(aib j )
P(b j ) i 1 表明输出端收到任一符号，必定是输入端某一符号输入所致
P(a / b ) 1
i j
n
3.2单符号离散信道的信道容量
a1
X
P(b j | ai )
b1
Y
an
bm
3.2单符号离散信道的信道容量
将所有转移概率以矩阵方式列出，得：
p(b1 | a1 ) p(b | a ) P(Y | X ) 1... 2 p(b1 | an )
其中 p(b j | ai ) 0
p(b2 | a1 ) p(b2 | a2 ) ... p(b2 | an )
可以看出，当输出等概分布时，即H(Y)=log2n时 达到信道容量。
p ( xi ) p ( xi )
3.2单符号离散信道的信道容量
那么，在什么样的信源输入情况下，信道输出能等 概分布呢？可以证明，输入等概分布时，离散对称信道 的输出也为等概分布
p(b j ) p(ai ) p(b j | ai ), j 1, 2,..., n
0,(i j ) p(b j | ai ) p(ai | b j ) 1,(i j )
C max I ( X ; Y ) max H ( X ) max H (Y ) log 2 n log 2 m
p ( xi ) p ( xi ) p ( xi )
损失熵 H(X/Y) = 0 噪声熵 H(Y/X) = 0 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X) H(X) = H(Y)
p(a | b ) 1
i 13.2单符号离散信道的信来自容量离散信道中的概率关系
（1）联合概率
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
其中 P(bj / ai ) 称为前向概率，描述信道的噪声特性 P(ai / bj ) 称为后向概率，有时也把 P(ai ) 称为先验概率 P(ai / bj ) 称为后验概率
p(a1 | b1 ) p(a | b ) 1 P( X | Y ) ... 2 p(a1 | bm )
其中 p(ai | b j ) 0
p(a2 | b1 ) p(a2 | b2 ) ... p(a2 | bm )
n i j
... p(an | b1 ) ... p(an | b2 ) ... ... ... p(an | bm )
信息论与编码
第三章 信道容量
主讲：苗立刚 ligangmiao@ 基础楼318
东北大学秦皇岛分校通信与计算机学院 2012年3月
第三章 信道容量
本章主要讨论的问题：
3.1 单符号离散信道的数学模型（重点） 3.2 单符号离散信道的信道容量（重点） 3.3 多符号离散信道的信道容量（重点） 3.4 网络信息理论（自学） 3.5 连续信道（自学） 3.6 信道编码定理（重点）
(2)输入等概→输出等概
3.2单符号离散信道的信道容量
离散输入对称信道
如果一个离散无记忆信道的信道矩阵中，每一行都是其他 行的同一组元素的不同排列，则称此类信道为离散输入对称 信道。 1/ 3 1/ 3 1/ 6 1/ 6 P 1/ 6 1/ 6 1/ 3 1/ 3
离散输出对称信道
3.1单符号离散信道的数学模型
4、根据信道上有无噪声(干扰) ： 有噪(扰)信道 无噪(扰)信道 5、根据信道有无记忆特性 无记忆信道---输出仅与当前输入有关，与先前输入无关 有记忆信道---输出不仅与当前输入有关，还与先前输入有 关
3.2单符号离散信道的信道容量
信道容量的定义
离散无噪信道：输出Y和输入X有确定关系（广义）
无损确定信道：一对一（n=m）
信道矩阵：单位阵
1 0 P 0 0 0 0 0 1 0 0 0 1 0 0 0 1
a1 a2 a3 … an
…
b1 b2 b3 … bn
R I ( X ;Y ) H ( X ) H ( X | Y )
信息传输速率Rt: 单位时间内平均传输的信息量
1 Rt I ( X ; Y ) t
最大信息传输速率Ct: 单位时间内平均传输的最大信息量
C 1 Ct max I ( X ; Y ) t t p ( xi )
3.2单符号离散信道的信道容量
i 1
n
p p(b1 ) p (a1 ) p(b ) p(a ) p 2 2 PT n 1 nn p(bn ) p(an ) p n 1
强对称离散信道(均匀信道)
信道特点 信道输入、输出均为n元 每符号正确传输概率均为 p 1 p 其他符号错误传输概率为p/(n-1) 矩阵特点 p (1)n×n阶对称阵 p (2)每行和为1,每列和为1 P n 1
p n 1
p p n 1 n 1 p p n 1 p p n 1
3.2单符号离散信道的信道容量
信道容量
令H ni p( y j / xi )log2 p( y j / xi ) j p 得H ni p log 2 p p log 2 , 与i无关 n 1 于是H (Y / X ) p( xi )H ni H ni
i
C max[ H (Y ) H (Y / X )] max[ H (Y ) H ni ] p log 2 n p log 2 p p log 2 bit/信道符号 n 1
p p n 1 n 1 p(a ) 1 p p(a2 ) p n 1 p ( an ) p p n 1
[结论]对强对称信道，输入等概→输出等概，可达到C
3.2单符号离散信道的信道容量
离散对称信道
行可排列——矩阵每行各元素都来自同一集合Q Q∈{q1,q2,…,qm}(排列可不同)
列可排列——矩阵每列各元素都来自同一集合P
P∈{p1,p2,…,pn}(排列可不同) 矩阵可排列——矩阵的行、列皆可排列 对称信道——信道矩阵可排列 (1)m=n 时，Q、P为同一集合 m≠n时，Q、P中，一个必为另一个的子集
离散信道的数学模型
设离散信道的输入空间为 概率分布为 输出空间为 概率分布为
X {a1 , a2 ,..., an }
{ pi }, i 1, 2,..., n Y {b1, b2 ,..., bm} {q j }, j 1, 2,..., m
并有条件概率 P( y | x) P(bj | ai ),(i 1,2,, n; j 1,2,, m) 条件概率被称为信道的传递概率或转移概率。
如果一个离散无记忆信道的信道矩阵中，每一列都是其他 列的同一组元素的不同排列，则称此类信道为离散输出对称 0.4 0.6 信道。 P 0.6 0.4 0.5 0.5
C max I ( X ; Y ) max H ( X ) log 2 n
p ( xi ) p ( xi )
信道疑义度（损失熵） H(X/Y)=0 噪声熵 H(Y/X)>0 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X) H(X)＜H(Y) 思考：p(x)应该
怎样取值？
3.1单符号离散信道的数学模型
单符号离散信道的数学模型及其分类
信道的数学模型 X
信源 信道 信宿
P(Y/X) Y
噪声 通信系统的简化模型
X —— 输入事件的集合, 概率空间为[X P] Y —— 输出事件的集合, 概率空间为[Y P]
3.1单符号离散信道的数学模型
信道的分类
1、根据信道用户的多少，分为： 单用户信道---输入、输出均只有一个 多用户信道---输入、输出有多个 2、根据输入输出信号的特点，分为： 离散信道---输入、输出随机变量均离散取值 连续信道---输入、输出随机变量均连续取值 半离散(连续)信道--- 一为离散，另一为连续 3、根据输入、输出随机变量的个数 单符号信道---输入、输出均用随机变量表示 多符号信道---输入、输出用随机矢量表示