离散信道容量
合集下载
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
5-2 离散信道的信道容量
第五讲 信道容量 第二节 离散信道的信道容量
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
1
离散信道的信道容量
一、离散信道容量的定义 二、信道模型 三、离散信道容量的表达式
2
离散信道的信道容量
一、离散信道容量的定义
定义1： C－ 每个符号能够传输的平均信息量最大值
定义2： Ct －单位时间（秒）内能够传输的平均信息量最大值
两者之间可以互换：已知信道每秒能够传输的符号数
i =1
j=1
i =1
n
∑ H ( x ) = − P ( x i ) log 2 P ( x i ) i=1
－每个发送符号xi的平均信息量，称为信源的熵
m
n
∑ ∑ H( x / y) = − P( y j ) P( xi / y j )log2 P( xi / y j )
j =1
i =1
－接收yj符号已知后，发送符号xi的平均信息量
0
P(0/0) = 127/128
0
发 送 端 P(0/1) = 1/128
接
收
P(1/0) = 1/128
端
P(1/1) = 127/128
1
1
对称道模型
离散信道的信道容量
信源的平均信息量（熵）
∑ H
(x)
=
−
n i=1
P ( x i ) log
2
P ( xi
)
=
−
⎡ ⎢⎣
1 2
log
2
1 2
离散信道的信道容量
③ 无噪声信道 信道模型
发 x1
送 端
x2
x。 3
。
P(xi) 。 xn
P(y1/x1) P(yn/xn)
离散信道信道容量的计算
输能力或者说能否达到信 道 容 量,取 决 于 两 点:信 源 离
散无记忆;信 源 的 输 入 概 率 分 布 是 使I(x;y)最 大 的 分 布.下面给出离散无记忆信道容量的定义:
C ＝ maxI(X;Y); p(ai)
∑∑ 其 中I(X;Y)＝
n i＝１
j＝m１p(ai)p(bj/ai)logpp(b(jb/ja)i)
工程管理与技术
离散信道信道容量的计算
余秀玲
(西南石油大学,四川 成都 ６１０５００)
摘 要:信道容量的计算是信道研究的核心,据 此 对 信 道 容 量 定 义 和 特 性 进 行 了 探 讨,并 研 究 了 三 种 特 殊 离 散信道的信道容量计算方法,有对称离散信道、强对 称 离 散 信 道 和 准 对 称 离 散 信 道,并 对 三 种 信 道 容 量 计 算 方 法 进行了区分与比较.最后介绍了一般离散信道的信道容量计算方法.
[５]严 新 乔 ．高 职 院 校 实 施 混 合 所 有 制 办 学 的 实 践 与 探 索 ——— 以 浙 江 高 职 院 校 为 例 [J]．职 业 技 术 教 育 ,２０１７,(１１):１３Ｇ１６．
１ 信 道 容 量 最简单的 通 信 系 统 由 信 源、信 道 和 信 宿 组 成. 对
于信道来说,在信道固定的 前 提 下,传 输 的 信 息 量 当 然 是越多越 好,因 此 信 道 容 量 问 题 是 信 道 研 究 的 重 点. 信道容量是信 道 传 输 信 息 的 最 大 能 力,由 信 道 特 性 决 定.对于特 定 的 信 道,信 道 容 量 是 个 定 值. 根 据 平 均 互信息的凸 函 数 性,平 均 互 信 息 量I(x;y)是 输 入 信 源 概率分布 {p(ai),i＝１,２,������,n}的上凸函数,在固定信 道的的前提下,平均互信息 量 有 最 大 值,即 信 道 容 量 一 定存在.但是,在传输信息时,信 道 能 否 提 供 其 最 大 传
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
离散信道的信道容量
综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，
有CN = NC，即定理中等号成立，这时N长序列的传输问题可 归结为单符号传输问题。
5.2.1 达到信道容量的充要条件
定理5.2 使平均互信息量I（X; Y）达到信道容量C的
充要条件是信道输入概率分布
X q( X
)
x1 q( x1
1 3 1 3 1 3 1 3
1 2 1 6 2 6 3 6
1 6
1 18
1 9
1 6
6
满足 ( y j ) 1 j 1
再计算出：
I (x1;Y )
6 j 1
p( y j
x1) log
p( y j x1 )
(yj )
1 log 1 13
log3
I (x2 ;Y )
5.1 信道容量的定义
信息传输率是衡量通信质量的一个重要指标，定理
1.1知：对于固定信道，总存在某种输入概率分布q(x)，
使I（X; Y）达到最大值，定义这个最大值为信道容
量，记为C。
C max I (X ;Y ) （比特/码符号）
q(x)
（5-2）
使I（X; Y）达到信道容量的分布q (x)为最佳分布。
则信道容量
C = I (X; Y)︱a=0.5 = 1-q
3.信道转移概率矩阵为非奇异方阵
计算信道容量C按下面步骤进行： (1)先验证信道转移概率矩阵P =[p(yj︱xi)]是方阵，且矩阵P的行列 式︱[p(yj︱xi)]︱≠0；
(2)计算出逆矩阵P－１=[ p-1 (yj︱xk)]；
(3)根据式（5-17），计算出；
i 1
平均互信息量 I(X; Y) = H(Y) –H (Y︱X)
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
信道带宽与信道容量
C
B
log2
1
S N
bit / s
（2-6-2）
例2.2 设一幅图片约有个像素，每个像素以后2个以等概率出 现的亮电平。若要求用3分钟传输这张图片，并且信噪比等于 30dB，试求所需的信道带宽。
解：由于每个像素有12个等概率出现的亮度电平，所以每个 像素的信息量为 I p log 2 12 3.585 b
每幅图像的信息量为 If 2.5106 Ip 8.963106 b 信息传输速率，即信道容量为
C If t 8.963 10 6 (3 60) 4.98 10 4
信噪比为 S N 30 dB 1000 由于信道容量 C B log2(1 S N)
所以所需信道带宽为
B
C
4.98104 5 kHz
案例分析2
地震预警信息是由电脑自动发送，该预警信息可通过多种通 信手段进行传输发送，例如：网络微博发送，计算机、手机、 专用预警接收服务器、电视等实时同步发布，如图2.37所示。 由于地震预警系统传递信息时需要保证信息的可靠性，因此 可以通过多种通信手段保证信息的发布，所涉及到的信道方 式也可能有多种形式。
地震发生时，首先出现的是上下震动的P波，震动幅度较 小，要过大约10秒到1分钟时间，水平运动的S波才会到来， 造成严重破坏。地震预警就是利用地震发生后，P波与S波之 间的时间差。原理上，在距离震源50公里内的地区，会在地
案例分析2
地震前10秒收到预警信息；90-100公里内的地区，能提前 20多秒收到预警信息。根据数据准确估计震级、震中位置以 及快速估计地震对预警目标的影响等。例如：地震波从震中 传到北川县城大概需要25秒。如果您在发震5秒后感受到了地 震波，并花了15秒钟打电话告诉北川的朋友地震波即将来临， 那么您北川的朋友将会获得5秒的应急时间。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实 验 内 容 与 步 骤
3
Maltab 代码：
p=0:0.001:1; C=log2(2)+p.*log2(p)+(1-p).*log2(1-p); plot(p,C); title('物联网工程') 结果图像：
实 验 结 果 及 分 析
实验日期： 评分： 指导教师签字：
年
月
日
4
p(Y 0 / X 1) p(Y 1/ X 0) p p(Y 1/ X 1) p(Y 0 / X 0) 1 p
1
这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进 制对称信道，简称 BSC 信道） ，如下图所示：
信道容量公式：
郑州轻工业学院本科生实验报告
实验名称 课程名称 姓 学 名 号 1. 2. 3. 实 验 目 的 ** 54****** 指导教师 实验时间 离散信道容量 信息论与编码 *** ******* 专业、班级 实验地点 ***散信道容量的物理意义。 练习应用 matlab 软件进行二元对称离散信道容量的函数曲线的绘 制，并从曲线上理解其物理意义。
信道是传送信息的载体—信号所通过的通道。 信息是抽象的，而信道则是具体的。比如二人对话，二人间的空气就 是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间 就是信道。 实 验 条 件 研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、 分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 二元对称信道 BSC（Binary Symmetric Channel） 二进制离散信道模型有一个允许输入值的集合 X={0，1}和可能输出 值的集合 Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概 率）组成。如果信道噪声和其他干扰导致传输的二进序列发生统计独立的 差错，且条件概率对称，即
C max I(X,Y)
{ p ( x )}
2
BSC 信 道 是 DMC 信 道 对 称 信 道 的 特 例 ， 对 于 转 移 概 率 为 P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在 matlab 上绘制信道容量 C 与 p 的曲线。 根据曲线说明其物理意义。