07-信道容量解析
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
信道容量
信道容量研究通信的科研人员总是逃不过信道容量的计算。
而且会经常使用到C=B\mathrm{Log(1+SNR)}这个公式。
所以这个信道容量到底是什么意思呢，到底是怎么来的？所以信道容量的定义是什么，怎么推导、计算，实际意义又是什么？信道容量有两种:香农容量(遍历容量)和中断容量。
香农容量信道容量是在不考虑编解码延时和复杂度的情况下，误码率趋近于零的最高传输速率。
通道容量是一个上限。
如果要以高于这个的速率传输，就要付出误码率的代价。
香农是这样描述信道容量的:存在一个输入分布，可以最大化传输信息时的互信息。
这个最大互信息就是信道容量。
至于香农为什么可以这样定义，已经严格证明了，这是信息论的内容，后面再说。
互信息那么什么是互信息(这里默认理解为信息熵)？首先互信息是描述一个信息传递过程的一个量，用来刻画这个传输过程传输了多少有价值的信息。
比如说，你暗恋一个姑娘，你想去告白但是你很忐忑，成功了就很棒，失败了可能连朋友都做不成，所以H(X)就表示这种不确定性。
有一天你终于鼓起勇气给他发告白了，正常情况下对方会回复你，可能是“你是个好人”或者“那我们明天一起去看电影吧”或者给你一个尼克杨表情包，所以互信息就是用来刻画这条携带了多少信息量。
显然“好人”和“电影”这两个信息终究是给了你一个答案，解除了你心中的不确定性，携带的信息量就是你心中本来的不确定性。
但是如果他把你当备胎，回复你一个表情包，当然表情包也是可以看出来一点点她对你的态度，所以你心中的不确定性可能减小了一点，你能感受到对方的态度是有机会的还是没有机会的，所以这个表情包的携带的信息量可能就很小，因为虽然知道了一点对方的态度，但是你还是搞不清楚对方怎么想的。
X,Y分别表示两个随机变量，因为信源发送什么信息是一个随机事件，信息熵H(X)量化了信源的平均不确定性，而接收的信息经过信道的污染，也是随机的，所以H(Y)也量化了接收信息的平均不确定性。
虽然X,Y是两个变量，但是接收到的Y 肯定和X有点关系，并不是完全独立的，那么我们就可以根据Y猜X，能缩小一些X范围，能减小一些不确定性（互信息），这个互信息用I(X,Y)表示。
信道容量(Channel Capacity)
信道容量（Channel Capacity）无线传输环境中，如果发端和收端均采用单天线发送和接收信号，接收信号y的数学模型可以表示为y=hx+n \tag{1} ,其中h为无线信道, x为发送信号，n为高斯加性白噪声服从正太分布 \mathcal{C}(0,\sigma^2) 。
通信相关专业的学生应该知道香农公式：公式(1)表示的无线信道容量（Channel Capacity）为C=B\log_2\left(1+\frac{P_t|h|^2}{\sigma^2} \right),\tag{2}其中B为信号带宽， P_t 为信号发射功率。
相信很多人知道结论(2)，但是不明白它是怎么得到的。
下面将简单的阐述其推导过程。
阅读该过程之前，建议阅读“ 徐光宁：信息论（1）——熵、互信息、相对熵”中关于熵和互信息的定义。
对于接收端，发送信息x是一个随机变量，例如以概率p(x=a)发送x=a。
如果发送信息x对于接收端为一个确定值，那发送本身就没有任何意义。
因为发送信号x和噪声n 都是随机变量，接收信号y也是随机的。
可以引入熵来描述随机变量y所含的信息量，即H(y)=\int_y p(y)\log \frac{1}{p(y)}dy,\\其中p(y)为y的概率密度函数。
当某一时刻发送某一x后(x 此时是确定的), 收到的y的信息量为H(y|x)=\int_y p(y|x)\log \frac{1}{p(y|x)}dy,\\其中p(y|x)为y在给定x下的条件概率。
注意y因为是随机变量x和n的和，且x和n相互独立，其信息量为传输信号x和噪声n的信息量之和。
而y|x的随机性仅仅与噪声n有关，其信息量为噪声n的信息量。
互信息定义为I(x,y)=H(y)-H(y|x)\\ 。
其物理意义为随机变量y的信息量减去噪声n的信息量，等于x的信息量。
信道容量C指信道所实际传输信息量的最大值C=\max\limits_{p(x)} I(x,y) \tag{3}数学证明当x服从高斯分布 \mathcal{C}(0,P_t) 时，C in (3)取得最大值。
信道及其容量
解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。
传递概率:
a1=0
1－p
0=b1
P(b1 | a1) P(0| 0) 1 p p
p
P(b2 | a2) P(1| 1) 1 p p
P(b1 | a2) P(0| 1) p P(b2 | a1) P(1| 0) p
0
p
0
1－p
2 1－q
1
q
1
021
0 p 1 p 0 1 0 1q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即
b1
b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2)
（3）交互性（对称性） 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时(一一对应) I(X;Y) = I(Y;X)=H(X)=H(Y)
（4）凸状性
P (y|x)
P (y|x)
I(X ;Y)I(Y ;X ) P (xy)lo
P (x)P (y|x)lo g
• 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描 述。
• 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然，也可 用下图来描述：
a1
a2
X
.
.
ar
P(bj/ai)
b1 b2 .Y . bs
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel]
信道容量的公式
信道容量的公式信道容量是通信领域中的一个重要概念，它描述了在给定噪声条件下，信道能够可靠传输信息的最大速率。
信道容量的公式是由克劳德·香农（Claude Shannon）提出的，这个公式为 C = B * log₂(1 + S/N) ，其中 C 表示信道容量，B 表示信道带宽，S 表示信号功率，N 表示噪声功率。
咱们先来说说这个信道带宽 B 。
想象一下，信道就像是一条公路，带宽呢，就好比公路的宽度。
公路越宽，能同时通过的车辆就越多；同理，信道带宽越大，能同时传输的信息也就越多。
比如说，我们现在的 5G 网络，它的信道带宽可比之前的 4G 大多了，所以传输速度那叫一个快。
再来说说信号功率 S 和噪声功率 N 。
这俩就像是在公路上行驶的车辆，信号是正常行驶的车，噪声就是捣乱的车。
信号功率越大，就相当于正常行驶的车越多，信息传输就越顺畅；而噪声功率越大，就像捣乱的车越多，会干扰正常的信息传输。
我记得有一次，我家里的网络出了问题，看个视频老是卡顿。
我就琢磨着，这是不是信道容量不够啊。
于是我开始研究，发现原来是周围太多人同时使用网络，导致噪声功率增大，影响了我家的网络速度。
就好像公路上突然涌入了好多乱开的车，把路都堵了，我正常的信息传输也被堵住了。
那这个信道容量的公式有啥用呢？比如说，在设计通信系统的时候，工程师们可以根据这个公式来确定需要多大的带宽，以及如何控制信号功率和噪声功率，以达到期望的信道容量，保证信息能够快速、准确地传输。
在实际应用中，比如卫星通信。
卫星在太空中向地球发送信号，由于距离远，信号会衰减，噪声也会增加。
这时候，就得用信道容量的公式来计算，怎样调整参数，才能让我们在地球上能清晰地接收到卫星传来的信息，像看电视直播、导航定位啥的。
还有无线局域网，像咱们家里的Wi-Fi。
如果同时连接的设备太多，就可能会导致信道容量不足，网速变慢。
这时候，我们可以通过优化路由器的设置，增加带宽，或者减少周围的干扰源，来提高信道容量，让网络更顺畅。
通信课件信道及信道容量
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
《信道容量》PPT课件
C log r H ( p1, p2 ps ) Nk log M k
k 1
log 2 H ( 1 , 1 , 1 , 1) ( 3 log 3 1 log 1 ) 2488 4 4 4 4
1 1.75 0.811 0h.06（1 比特 / 信道符号） 35
• 另一种简单的方法： • 1.当输入分布为等概率时：计算出各个输出概率
信道容量的取得的过程亦是信源符号概率分布的自我调整的过程某一个输入信源符号对输入提供的平均信息量大于其他符号则势必更多的使用这个信源符号与此同时信源符号的概率分布也就发生了变化和调整由于输入信源符号分布的调整又减少了这个符号对输出提供的平均信息量增加了其他符号提供的平均信息量
第三章
信道与信道容量
h
1
• 求信道容量，必须求出使互信息量达到 最大的信源概率分布p(x)；
• 对于无噪无损信道，当信宿为等概分布 时，信源也为等概分布;
• 问题：对于无噪有损信道，信源的概率 分布是否也为等概分布？
h 18
3.4.2 对称离散信道的信道容量
h 19
对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qs}的诸元素不 同排列组成——输入对称
分布p(bj); • 2.然后计算H(Y); • 3.C=H(Y)max-H(Y/ai);
h 36
• 上题另解：
h 23
• 找一组信源概率分布，使C达到最大。 • 现在P(bj）=1/s，信源的概率分布为： • 假设信源为等概率分布p(ai)=1/r
p(bj ) p(a1) p(bj / a1) p(a2) p(bj / a2) p(am) p(bj / am) 1/ r[ p(bj / a1) p(bj / a2) p(bj / ar )] 1/ r 常数
第三章 信道容量
由C 2。
3。
log （ , 求C 2 2 ）
βj j 1
β j C
m
由p(b j ) 2
n
,求p(b j )
i j i i
4。由p(b j )
p(a ) p(b /a ),求p(a )
i 1
对于离散无记忆N次扩展信道，当信源是平稳无记忆 I ( X ;Y ) 等于单符号信道的平均互信息 信源时，其平均互信息 的N倍。 离散无记忆信道的N次扩展信道的信道容量为
k 1
当N个独立并联信道的信道容量都相同时，
C并 NC
图4.10 独立并联信道
§3.5 连续信道
{X P(Y / X ) Y }
P(Y/X)
X [a, b]
(,)R
'
Y [a , b ]
' '
(,) R
连续信道的数学模型
C max I C ( X ; Y )
p( x)
二、强对称(均匀)离散信道的信道容量
X a1 , a2 ,an Y b1 , b2 ,bn
n=m
Pnn
p 1 p n 1 p n 1 1 p ...... p p n 1 n 1
p ...... n 1 p ...... n 1 ...... p 1 p n 1 nn
对称离散信道的信道容量
H (Y / X ) p(ai ) p(b j / ai ) log p(b j / ai )
i 1 j 1 n n m
p(ai )[ p(b j / ai ) log p (b j / ai )]
i 1 j 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018/12/19
电信学院
江小平
9/44
• 几种特殊离散信道的信道容量
离散无噪信道的信道容量 强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
2018/12/19
电信学院
江小平
10/44
具有一一对应关系的无噪信道
信道模型如 图
对应的信道 矩阵是
1 0 0 0
(比特 / 信道符号)
单位时间的信道容量Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 1 (比特 / 秒) t max I ( X ; Y )
p ( xi )
C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入 信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅 仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量；是信道能够传送的 最大信息量。
p( y j ) p( xi ) p( y j / xi )
i 1
n
p( xi y j ) p( xi ) p( y j / xi )
p ( y j / xi ) 2 p( y j )
I ( X ; Y ) p( xi y j ) log
i 1 j 1
n
m
p( xi ) p( y j / xi ) log2
2018/12/19
电信学院
江小平
6/44
信道统计特性
信道统计特性描述：由信道转移概率p(yj /xi)描述。 信道特性表示：用信道转移概率矩阵，简称信道矩阵。
y1 x1 p( y1 / x1 ) x2 p ( y / x ) 1 2 xn p( y1 / xn )
i 1 j 1
n
m
p ( y j / xi )
p ( xi ) p ( y j / xi )
i 1
n
2018/12/19
电信学院
江小平
8/44
信道容量
信道容量C：信道中最大的信息传输速率，单位是比特/信 道符号。
C max R max I ( X ;Y )
p ( xi ) p ( xi )
上一节讲过求信道容量C的方法：
信道容量C是假定信道固定的前提下，选择一种试验信源，使信息率最大。 一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量， 随信道特性的变化而变化。 不同的信道，其容量C是不同的。
2018/12/19
电信学院
江小平
2/44
信道的输入输出关系
信道容量
信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道
2018/12/19
电信学院江小平源自1/44
信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息 的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最 大。
信号在信道中传输会引入噪声或干扰，它使信号 通过信道后产生错误和失真； 信道的输入和输出之间一般不是确定的函数关系， 而是统计依赖关系； 知道了信道的输入信号、输出信号以及它们之间 的依赖关系，信道的全部特性就确定了。一般来说，
输入和输出信号都是广义的时间连续的随机信号，可用随 机过程来描述。
2018/12/19
2018/12/19
电信学院
江小平
4/44
信道的分类
① 根据输入输出随机信号的特点分类：离散信道，连续信 道，半离散/半连续信道。 ② 根据输入输出随机变量个数的多少分类：单符号信道， 多符号信道。 ③ 根据输入输出个数分类：单用户信道，多用户信道。 ④ 根据信道上有无干扰分类：有干扰信道，无干扰信道。 ⑤ 根据信道有无记忆特性分类：无记忆信道，有记忆信道。
2018/12/19
信道矩阵 y2 p( y2 / x1 )
ym
p( ym / x1 ) p ( y 2 / x2 ) p ( y m / x2 ) p ( y 2 / xn ) p ( y m / xn )
电信学院
江小平
7/44
信道的信息传输速率
如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由 于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率：就是平 均互信息 R=I(X;Y)。 输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息 性质决定的：I(X;Y)≤H(X)。 I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj /xi)的二元函数：当 信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。 调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已 知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即 某一种信源），使信道所能传送的信息速率为最大。
实际信道的带宽总是有限的，输入和输出信号总可以分 解成随机序列来研究。一个实际信道可同时具有上述的 多种属性。最简单的信道是单符号离散信道。
2018/12/19
电信学院
江小平
5/44
单符号离散信道的数学模型
设输入X∈{x1,x2,…,xi,…,xn} 输出Y∈{y1,y2,…,yj,…,ym} 信道模型如图所示。
电信学院
江小平
3/44
一般信道的数学模型
信道的一般数学模型如图所示
X
P(Y/X)
一般信道的数学模型
Y
模型的数学符号表示 {X P(Y/X) Y} 实际信道带宽总是有限的，所以输入和输出信号总可以分 解成随机序列来研究。随机序列中每个随机变量的取值可以是可
数的离散值，也可以是不可数的连续值。
0 0 0 1 0 0 0 1 0 0 0 1
江小平
0 0 0 1
0 0 1 0 1 0 1 0 0 0 0 0
11/44
2018/12/19
电信学院
因为信道矩阵中所有元素均是“1”或“0”，X和Y 有确定的对应关系： 已知X后Y没有不确定性，噪声熵 H(Y/X)=0； 反之，收到Y后，X也不存在不确定性，信道疑义 度 H(X/Y)=0; 故有 I(X;Y)=H(X)=H(Y)。 当信源呈等概率分布时，具有一一对应确定关系 的无噪信道达到信道容量: