信道及信道容量PPT课件
合集下载
第3章信道与信道容量-PPT精品
• 信道种类
1无干扰信道
2有干扰无记忆信道
3有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3
3.1信道分类和表示参数
二进制对称信道（BSC）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
X
+
Y
pY(y/ai)
1 e(yai)2/22
2
G
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
6
3.1信道分类和表示参数
波形信道
x(t)
y(t)
+
n(t)
pY(y/x)pY(y1,y2,yL/x1,x2,xL)
pY(y/x)pxp,yx((xx,)y)pxp,yx((xx,)n)pn(n)
p (bj/a i)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
对称信道容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
3.2离散单个符号信道及其容量
信息传输率
信道在单位时间内平均传输的信息量定义为信 息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
信道与信道容量
1.6.2 信道容量
根据香农信息论，对于连续信道，如果信道带宽为B， 并且受到加性高斯白噪声的干扰，则信道容量的理论公式为
C=B㏒2（1+S/N）（b/s） 式中。 N为白噪声的平均功率； S是信号的平均功率； S/N 为信噪比。信道容量C是指信道可能传输的最大信息速率 （即信道能达到的最大传输能力）。虽然上式是在一定条件 下获得的（要求输入信号也为高斯信号才能实现上述可能 性），但对其他情况也可作为近似式使用。
例1 已知彩色电视图象由5ⅹ105个像素组成。设每个像素有 64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和 亮度等级的组合机会均等，并统计独立。（1）试计算每秒 传送100个画面所需信道容量；（2）如果接受机信噪比为 30dB，为了传送彩色图象所需信道带宽为多少？
例2 设有一个图像要在电话线路中实现传真传输。大约要传输2.25ⅹ106个 像素，每个像素有12个亮度等级。假设所有亮度等级都是等概率的，电 话电路具有3kHz带宽和30dB信噪比。试求在该标准电话线路上传输一 张传真图片需要的最小时间。
在数字通信系统中，如果仅研究编码和解码问题， 可得到另一种广义信道---编码信道。编码信道的范围是 从编码器输出端至解码器输入端。这是因为从编码和解 码角度来看，编码器是把信源产生的消息信号转化为数 字信号。反之，解码器是将数字信号恢复原来的消息信 号；而编码器输出端至解码器输入端之间的一切环节只 是起了传输数字信号的作用，所以可以把它看成一个整 体---编码信道。当然，根据研究问题的不同，还可以定 义其他广义信道。
解： Rb = RBN㏒2N
RBN= Rb／×106 / 29.9 ×103=0.269 ×103s=4.5min
例3 已知八进制数字信号的传输速率为1600波 特。试问变换成二进制数字信号时的传输速率为多 少？ 解： Rb = RBN㏒2N = 1600× ㏒28 = 4800 b/s
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
信道、信道容量、数据传输速率
简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
信道是通信系统的三要素之一.ppt
要保持信息传输速率c不变信号带b和信噪比sn是可以互换的这意味着不管信噪比多低甚至在信号被噪声淹没的情况下只要将信号带宽扩展得足够大仍能保证以相同的信息传输速率可靠地传输信息也就是可以用扩频方法以宽带传输信息来换取信噪比上的好处
第三章 信道
3.1 引言
信道是通信系统的三要素之一,是通信系统组成 的重要部分。
信道的一部分。
第3章 信 道
3.3.1 调制信道模型
ei(t)
f [ei(t)]
e0(t)
eo (t) f [ei (t)] n(t)
n(t)
式中
图3-13 调制信道数学模型
ei (t) － 信道输入端信号电压； eo (t) － 信道输出端的信号电压； n(t) － 噪声电压。
通常假设： f [ei (t)] k(t)ei (t)
本章所讨论的信道不是指各种具体的信道，而是 指抽象出来的模型，重要讲述以下几个问题：
1.信道的定义及分类; 2.恒参信道及其对信号传输的影响; 3.随参信道及其对信号传输的影响; 4.信道容量；
3.2 信道定义
1.定义： 信道：信号的传输媒质叫信道。 (明线,电缆,光纤,微波等) 1)狭义信道: 传输媒质。如， 有线信道：明线,电缆,光纤,波导管等。 无线信道：长波,中波,人造卫星中继等。
3.10 信道容量的概念
离散信道：输入与输出信号都是离散的时间函数（编码信道）
连续信道：输入和输出信号都是连续的（调制信道）
x1
P(y1/x1)
y1
一、 离散信道的信道容量
信道模型用转移概率来表示 如图3.10-1所示。
发送符号：x1，x2，x3，…，xn 接收符号：y1，y2，y3，…，ym
第3章
第三章 信道
3.1 引言
信道是通信系统的三要素之一,是通信系统组成 的重要部分。
信道的一部分。
第3章 信 道
3.3.1 调制信道模型
ei(t)
f [ei(t)]
e0(t)
eo (t) f [ei (t)] n(t)
n(t)
式中
图3-13 调制信道数学模型
ei (t) － 信道输入端信号电压； eo (t) － 信道输出端的信号电压； n(t) － 噪声电压。
通常假设： f [ei (t)] k(t)ei (t)
本章所讨论的信道不是指各种具体的信道，而是 指抽象出来的模型，重要讲述以下几个问题：
1.信道的定义及分类; 2.恒参信道及其对信号传输的影响; 3.随参信道及其对信号传输的影响; 4.信道容量；
3.2 信道定义
1.定义： 信道：信号的传输媒质叫信道。 (明线,电缆,光纤,微波等) 1)狭义信道: 传输媒质。如， 有线信道：明线,电缆,光纤,波导管等。 无线信道：长波,中波,人造卫星中继等。
3.10 信道容量的概念
离散信道：输入与输出信号都是离散的时间函数（编码信道）
连续信道：输入和输出信号都是连续的（调制信道）
x1
P(y1/x1)
y1
一、 离散信道的信道容量
信道模型用转移概率来表示 如图3.10-1所示。
发送符号：x1，x2，x3，…，xn 接收符号：y1，y2，y3，…，ym
第3章
信道、信道容量、数据传输速率
编码信道是指数字信号由编码器输出端传输到译码器输入端经过的部分。对于编译码的研究者来说，编码器输出的数字序列经过编码信道上的一系列变换之后，在译码器的输入端成为另一组数字序列，研究者只关系这两组数字序列之间的变换关系，而并不关心这一系列变换发生的具体物理过程，甚至并不关心信号在调制信道上的具体变化。编码器输出的数字序列与到译码器输入的数字序列之间的关系，通常用多端口网络的转移概率作为编码信道的数学模型进行描述。
二、信道的分类
（一）狭义信道的分类
狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道
有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。短波电台就利用了天波传输方式。天波传输的距离最大可以达到400千米左右。电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
调制信道的数学模型为：
y(t) = x(t) * h(t;τ) + n(t)
其中x(t)是调制信道在时刻t的输入信号，即已调信号。y(t)是调制信道在时刻t的输出信号。h(t;τ)是信道的冲激响应，τ代表时延，h(t;τ)表示在时刻t、延时为τ时信道对冲激函数δ(t)的响应，描述了信道对输入信号的畸变和延时。*为卷积算子。n(t) 是调制信道上存在的加性噪声，与输入信号x(t)无关，又被称为"加性干扰"。由于信道的线性性质，并且考虑信道噪声，x(t) * h(t;τ) + n(t)就是x(t)通过由信道响应h(t;τ)描述的调制信道的输出。调制信道可以同时有多个输入信号和多个输出信号，这时的x(t)和y(t)是矢量信号。
二、信道的分类
（一）狭义信道的分类
狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道
有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。短波电台就利用了天波传输方式。天波传输的距离最大可以达到400千米左右。电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
调制信道的数学模型为：
y(t) = x(t) * h(t;τ) + n(t)
其中x(t)是调制信道在时刻t的输入信号，即已调信号。y(t)是调制信道在时刻t的输出信号。h(t;τ)是信道的冲激响应，τ代表时延，h(t;τ)表示在时刻t、延时为τ时信道对冲激函数δ(t)的响应，描述了信道对输入信号的畸变和延时。*为卷积算子。n(t) 是调制信道上存在的加性噪声，与输入信号x(t)无关，又被称为"加性干扰"。由于信道的线性性质，并且考虑信道噪声，x(t) * h(t;τ) + n(t)就是x(t)通过由信道响应h(t;τ)描述的调制信道的输出。调制信道可以同时有多个输入信号和多个输出信号，这时的x(t)和y(t)是矢量信号。
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2020/11/24
7
信道及信道容量
m
其中，0 P(y j / xi ) 1且 P(y j / xi ) 1 i 1,2,, n j1
2020/11/24
8
信道及信道容量
例1
1 p p
P(Y / X)
p
1 p
例2P(Y/源自X)1 1 1
2
2 2
1
1
1
2
2020/11/24
17
信道及信道容量
5、平均互信息量的主要性质 ①对称性
I(x2 1; y1 0) log P(y1) log P(y1 / x2) log 0.55 log 0.25
1.138(bit )
2020/11/24
12
信道及信道容量
3、平均互信息量
定义
各互信息量的数学期望，也叫交互熵，用I(X;Y)表 示
表示
nm
I(X; Y) E[I(xi ; y j )]
i1 j1
i1 j1
H(X) H(X / Y)
条件熵H(X/Y)是用反信道矩阵形式表示的信道给 出的平均信息量——损失熵或信道疑义度
2020/11/24
15
信道及信道容量
H(X)
H(Y/X) I(X;Y) H(X/Y)
H(Y)
➢以信宿为参考，利用信宿的信息熵和信道的 噪声熵来度量信道中传输的平均信息量
2020/11/24
2
信道及信道容量
信源
编码
信道
译码
信宿
噪声
信道——传输信号的媒介，信道中通常引入噪声 狭义信道——信号的传输媒介
➢有线信道——电线、电缆、光缆 ➢无线信道——电磁空间——地波传播、天 波传播、视线传播
2020/11/24
3
信道及信道容量
广义信道——包括调制解调、收发转换装置的信道
调制 发转调换制信道媒编介码信道收转换 解调
➢调制信道——连续信道 ➢编码信道——离散信道
2020/11/24
4
信道及信道容量
一、单符号离散信道及信道容量
1、单符号离散信道
定义
对应于单符号离散信源和单符号离散信宿的信道
表示
信源——离散型随机变量X 信宿——离散型随机变量Y
2020/11/24
5
信道及信道容量
9
信道及信道容量
2、互信息量 信源发出消息xi而信宿接收到消息yj，信宿消息yj 所含信源消息xi的信息量
定义
信宿消息yj的概率P(yj)与信源发出消息xi而信宿接 收到消息yj的转移概率P(yj /xi )之差对数的负值， 用I(xi;yj) 表示
2020/11/24
10
信道及信道容量
表示
I(xi ;
➢以信源为参考，利用信源的信息熵和信道的 损失熵来度量信道中传输的平均信息量
平均互信息量I(X;Y)——信息传输率R
2020/11/24
16
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
P(xi y j )I(xi ; y j )
i1 j1
nm
nm
P(x i y j ) log P(y j )
P(x i y j ) log P(y j / x i )
i1 j1
i1 j1
2020/11/24
13
信道及信道容量
n
nm
P(y j ) log P(y j )
P(x i y j ) log P(y j / x i )
信道及信道容量
第3章 信道及信道容量
教学内容和要求
➢掌握单符号离散信道及平均互信息量，理解其 性质
➢掌握m=n信道、对称信道和准对称信道的信道 容量
➢了解多符号离散信道，掌握N次扩展信道及信道 容量
2020/11/24
1
信道及信道容量
➢掌握单符号连续信道及平均互信息量，理解其性 质 ➢掌握高斯加性信道的信道容量和最大信息传输速 率 ➢了解多符号连续信道及信道容量
j1
i1 j1
H(Y) H(Y / X)
平均互信息量I(X;Y)反映信道每传输一条消息所携 带的平均信息量，不反映信宿收到某条消息所含信 源发出某条特定消息的信息量
4、平均互信息量的意义
I(X;Y) H(Y) H(Y / X)
条件熵H(Y/X)是信道给出的平均信息量——噪声 熵或信道散布度
2020/11/24
14
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(x i / y j )
设X {x1, x 2 ,, x n } P(X) {P(x1 ), P(x 2 ),, P(x n )} 随机变量X的取值xi为信源发出的消息 i=1,2,…,n 设Y {y1, y2 ,, ym}，通常m n P(Y) {P(y1 ), P(y2 ),, P(ym )} 随机变量Y的取值yj为信宿收到的消息 j=1,2,…,m
j1
P(xi )P(y j ) P(xi y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(y j )
i1 j1
i1 j1
nm
P(x i y j ) log P(x i y j )
i1 j1
H(X) H(Y) H(XY)
2020/11/24
X P(Y/X) Y
2020/11/24
6
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y
/
X)
P(y1 / x2
)
P(y2 / x2)
P(
ym
/
x
2
)
P(y1 / xn ) P(y2 / xn ) P(ym / xn )
y
j)
log
P(y j) P(y j / xi
)
log
P(y
j
)
log
P(y
j
/
xi
)
2020/11/24
11
信道及信道容量
例3
信源P(XX)
0 0.4
1 0.6
Z信道P(Y / X)
1 0.25
0 0.75
信宿消息0所含各信源消息的互信息量
P(y1 0) 0.4 1 0.6 0.25 0.55 I(x1 0; y1 0) log P(y1) log P(y1 / x1) log 0.55 log 1 0.862(bit )