离散无记忆信道-思维导图
合集下载
信息论-第四章
2018/10/30 4
§4.2 离散无记忆信道
例4.2.1（p89）二元对称信道BSC是离散无记忆恒参信道。
0 0.1 0.1 1 1 0.9 0.9 0
当N＝1时，p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0.1=0.01
1 w( y ) q( x) p( y | x) K x 0 1 K
K 1
p( y | x)
x 0
K 1
p(0 | x)，
x 0
2018/10/30 15
K 1
K 1 1 K 即w( y )与y无关。w( y )＝ , 此时 p ( y | x)＝ 。 J J x 0
5
2018/10/30
§4.2 离散无记忆信道
一、有关DMC的容量定理（所说的DMC都是离散无记忆平 稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
§4.2 离散无记忆信道
定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可 分成若干个列子集，每个列子集所对应的P的子阵都 满足以下两条性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。 （显然，准对称信道关于输入是对称的。特别若列子 集只有一个，即转移概率矩阵P本身的任一行是第一 行的置换，任一列是第一列的置换，则称信道为对 称信道。 ）
§4.2 离散无记忆信道
例4.2.1（p89）二元对称信道BSC是离散无记忆恒参信道。
0 0.1 0.1 1 1 0.9 0.9 0
当N＝1时，p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0.1=0.01
1 w( y ) q( x) p( y | x) K x 0 1 K
K 1
p( y | x)
x 0
K 1
p(0 | x)，
x 0
2018/10/30 15
K 1
K 1 1 K 即w( y )与y无关。w( y )＝ , 此时 p ( y | x)＝ 。 J J x 0
5
2018/10/30
§4.2 离散无记忆信道
一、有关DMC的容量定理（所说的DMC都是离散无记忆平 稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
§4.2 离散无记忆信道
定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可 分成若干个列子集，每个列子集所对应的P的子阵都 满足以下两条性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。 （显然，准对称信道关于输入是对称的。特别若列子 集只有一个，即转移概率矩阵P本身的任一行是第一 行的置换，任一列是第一列的置换，则称信道为对 称信道。 ）
信息论与编码第三版 第4章
C max H ( X ) log 3
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
p( x)
信息论与编码
3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证：
p ( y j ) p ( xi ) p ( y j / xi )
i 1 3
1 P 0 0
0 1/ 2 0
0 1/ 2 0
0 0 1/6
x1 x2 x3 x4 x5
1 1 1 1 1
y1 y2 y3 y4 y5
1 0 P 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
【解】 该信道的信道容量为：
C max I ( X ; Y ) max H ( X ) log 5
C max I ( X ; Y ) max H (Y )
p( x) p( x)
由于
p( y ) p( x) p( y / x)，由于信道转移概率是确定的，求使H (
X
Y)
达到最大值的p ( x )的最佳分布就转化为求p ( y )的最佳分布。由极大离 散熵定理知，在p ( y )等概率分布时，H ( Y ) 达到最大，则
I ( x2 ; Y ) p ( y j / x2 ) log
j 1 2
p ( y j / x2 ) p( y j ) p ( y j / x3 ) p( y j ) p ( y j / x4 ) p( y j ) p ( y j / x5 ) p( y j )
1 log
1 1/ 2
log 2
I ( x3 ; Y ) p ( y j / x3 ) log
j 1 2
1 log
差错控制编码第4章 离散信道
i 1 r
【在接收到Y=bj后，关于X的不确定性 的度量】
二、熵及平均互信息的物理 意义
3. 信道疑义度(损失熵)：
H ( X | Y ) p(ai b j ) log p (ai | b j )
i 1 j 1 r s
【输出端收到全部符号Y后，对输入X 尚存在的平均不确定性的度量】
三种特殊的离散信道
• 无噪无损信道
•有损无噪信道
•无损有噪信道
1. 无损无噪信道
① 信道中没有随机性的干扰或者干 扰很小，输出信号Y与输入信号 X之间有确定的、一一对应的关 系，即： yn=f(xn)
1. 无损无噪信道
② 传递概率矩阵是单位矩阵，为：
1 y n f ( x n ) p( y n | xn ) ij 0 y n f ( x n )
当X=Y时，有I(X;X)=H(X)
【例4.1】
1 信源X的概率测度为 PX 4
过下图所示的二元信道，计算H(X) 、H(Y) 和H(X|Y)。
0ቤተ መጻሕፍቲ ባይዱ
H(X |Y) p (ai b j ) log p (ai | b j )
j 1 i 1 s r
3 ，通 4
1/2 1/2 1/3
1. 传递概率p(y|x) 描述了输入信号和 输出信号之间统计依赖关系，集中 体现了信道对输入符号X的传递作 用，反映了信道的统计特性。 2. 信道不同，传递概率不同。
补充内容：
1. 有损有噪信道
若信源发出ai有可能收到任意一 个bj；收到bj也有可能来自任意一个 ai，即yn与xn多多对应，传输矩阵中 所有的矩阵元素都有可能不为零。
2. 有噪无损信道
③ 【有噪无损信道的特点】传递概率矩 阵中每列有且仅有一个非零元素，即 具有一行多列的分块对角化形式。
【在接收到Y=bj后，关于X的不确定性 的度量】
二、熵及平均互信息的物理 意义
3. 信道疑义度(损失熵)：
H ( X | Y ) p(ai b j ) log p (ai | b j )
i 1 j 1 r s
【输出端收到全部符号Y后，对输入X 尚存在的平均不确定性的度量】
三种特殊的离散信道
• 无噪无损信道
•有损无噪信道
•无损有噪信道
1. 无损无噪信道
① 信道中没有随机性的干扰或者干 扰很小，输出信号Y与输入信号 X之间有确定的、一一对应的关 系，即： yn=f(xn)
1. 无损无噪信道
② 传递概率矩阵是单位矩阵，为：
1 y n f ( x n ) p( y n | xn ) ij 0 y n f ( x n )
当X=Y时，有I(X;X)=H(X)
【例4.1】
1 信源X的概率测度为 PX 4
过下图所示的二元信道，计算H(X) 、H(Y) 和H(X|Y)。
0ቤተ መጻሕፍቲ ባይዱ
H(X |Y) p (ai b j ) log p (ai | b j )
j 1 i 1 s r
3 ，通 4
1/2 1/2 1/3
1. 传递概率p(y|x) 描述了输入信号和 输出信号之间统计依赖关系，集中 体现了信道对输入符号X的传递作 用，反映了信道的统计特性。 2. 信道不同，传递概率不同。
补充内容：
1. 有损有噪信道
若信源发出ai有可能收到任意一 个bj；收到bj也有可能来自任意一个 ai，即yn与xn多多对应，传输矩阵中 所有的矩阵元素都有可能不为零。
2. 有噪无损信道
③ 【有噪无损信道的特点】传递概率矩 阵中每列有且仅有一个非零元素，即 具有一行多列的分块对角化形式。
《离散无记忆源》课件
游程编码
将连续出现的相同符号用一个符号和长度表示，以减少码符号数目。
LZ77编码
通过查找输入符号序列中的重复子串，用相对地址表示重复子串，以 减少码符号数目。
解码方法与解码误差
01
解码是编码的反过程，目的是从码符号序列中恢复出原始的符号序列。
02
解码方法主要有最大概率解码和算术解码两种。最大概率解码是根据每个码符 号对应的最大概率进行解码，算术解码是根据实数区间的长度进行解码。
详细描述
互信息用于描述两个随机变量之间的相互依赖程度，基于互 信息的优化设计通过最大化互信息来增强离散无记忆源中变 量之间的关联性，从而提高离散无记忆源的可靠性。
基于失真-率函数的优化设计
总结词
基于失真-率函数的优化设计是一种利用失真-率函数来衡量离散无记忆源的失真程度，并以此为依据 进行优化设计的方法。
详细描述
失真-率函数用于描述离散无记忆源的失真程度，基于失真-率函数的优化设计通过最小化失真-率函数 来降低离散无记忆源的失真度，从而提高离散无记忆源的可靠性。
06
离散无记忆源的未来研究方向
信源编码的算法优化
算法复杂度降低
研究更高效的算法，降低离散无记忆源 信源编码的复杂度，提高实时性和计算 效率。
03
离散无记忆源的编码与解码
信源编码的基本原理
编码过程中应遵循的三个基本原 则是：无失真编码、限失真编码 和强归纳编码。
限失真编码是指在信息损失可接 受的条件下，尽可能地压缩信息 ，以减少所需的带宽或存储空间 。
信源编码是一种将信源输出的符 号序列转换为更短的码符号序列 的过程，目的是减少信息传输所 需的带宽或存储空间。
无失真编码是指编码后的码符号 序列能够完全恢复原始符号序列 ，没有信息损失。
将连续出现的相同符号用一个符号和长度表示，以减少码符号数目。
LZ77编码
通过查找输入符号序列中的重复子串，用相对地址表示重复子串，以 减少码符号数目。
解码方法与解码误差
01
解码是编码的反过程，目的是从码符号序列中恢复出原始的符号序列。
02
解码方法主要有最大概率解码和算术解码两种。最大概率解码是根据每个码符 号对应的最大概率进行解码，算术解码是根据实数区间的长度进行解码。
详细描述
互信息用于描述两个随机变量之间的相互依赖程度，基于互 信息的优化设计通过最大化互信息来增强离散无记忆源中变 量之间的关联性，从而提高离散无记忆源的可靠性。
基于失真-率函数的优化设计
总结词
基于失真-率函数的优化设计是一种利用失真-率函数来衡量离散无记忆源的失真程度，并以此为依据 进行优化设计的方法。
详细描述
失真-率函数用于描述离散无记忆源的失真程度，基于失真-率函数的优化设计通过最小化失真-率函数 来降低离散无记忆源的失真度，从而提高离散无记忆源的可靠性。
06
离散无记忆源的未来研究方向
信源编码的算法优化
算法复杂度降低
研究更高效的算法，降低离散无记忆源 信源编码的复杂度，提高实时性和计算 效率。
03
离散无记忆源的编码与解码
信源编码的基本原理
编码过程中应遵循的三个基本原 则是：无失真编码、限失真编码 和强归纳编码。
限失真编码是指在信息损失可接 受的条件下，尽可能地压缩信息 ，以减少所需的带宽或存储空间 。
信源编码是一种将信源输出的符 号序列转换为更短的码符号序列 的过程，目的是减少信息传输所 需的带宽或存储空间。
无失真编码是指编码后的码符号 序列能够完全恢复原始符号序列 ，没有信息损失。
离散信道
4.3.3信道的平均互信息及其含义 定义4-3信源熵与信道疑义度之差称为平均互 信息 I（X；Y）= H(X) - H(X/Y)
H(X)是信道输入X本身具有的信息量， H(X/Y) 是观察到信道输出之后仍然保留 的关于X的信息量。因此I（X；Y）的含义
是接收到信道的输出符号集Y后，平均每个 符号获得的关于X的信息量，即通过信道传 送过去的信息量。
j=1
共有r*s个P（yj/xi）组成一个矩阵，称为信道转移矩阵
p11 p12 p 21 p 22 PY/X = ... ... pr1 pr2
p1s ... p 2s ... ... ... prs ...
例4-3接例2-12，假设串口通信的误码率为 4%，可以得该信道的转移矩阵为
I ( X ; Y ) p( x, y ) log
x, y
p( x / y) p( x) p( y / x) p( y)
p( x, y) log
x, y
p ( x, y ) p( x) p( y )
p( x, y) log
x, y
可见平均互信息是p（x）和p（y/x）的函数， 而p（x）代表了信源，p（y/x）代表了信道。 因此平均互信息是信源和信道的函数。
例4-10接例4-6 I（X；Y）=
(p p) log 1 1 1 1 (p p) log ( p log p log ) p p p p p p
对于给定的二进制对称信道，当信源为等概分布 时，即ω =1/2时，信道输出端平均每个符号获 得最大信息量，即信道容量为
4.2 信道的分类
1.按输入和输出符号的时间特性分 离散信道、连续信道和半连续信道。 离散信道的输入空间X和输出空间Y都是离散 符号集，离散信道有时又称为数字信道。像 手机和手机之间的信道就是数字信道。 连续信道的输入空间X和输出空间Y都是连续 符号集，连续信道又称为模拟信道。像电台 发出信号，我们用收音机接收就是一个模拟 信道。
信息论与编码第三章
模
型
P<Y1=V1,Y2=V2…Yn=Vn/X=U1…X=Un>
n
Õ = p(YR = UR / X = uR )
决定DMC特点的条件概率P<yj/xi>可写成矩阵形 式
P = [ pij ]
3.2.1
转移概率矩阵
æ p( y0 / x0) p( y1 / x0)
数
ç
学 模
P
=
ç ç
p( y0 / x1)
数 即P<Y=0/X=1>=P<Y=1/X=0>=P
学
模 型
P<Y=1/X=1>=P<Y=0/X=0>=1-P
01
这种对称二进二出的
0 é P P ù 信道叫做二进制对称信
P=1
ê ëê
P
ú P ûú
道,简称BSC信道.
3.2.1
信道模型:
数 学 模
1-P
0
0
P
型
P
1
1
1-P
这种信道的输出符号仅与对应时刻输 入符号有关,与以前输入无关,故称此信道是 无记忆信道的.
3.1
信道分类：
信
道
1.有线信道和无线信道
分
类
有线信道：明线、对称电缆、同轴电
缆及
光缆等.
无线信道：地波传播、短波电离层反 射、
超短波或微波视距中继、
3.1
2．恒参信道和随参信道
信 道
恒参信道：信道的统计特性不随时间而变化.如明
分 线、对称电缆、同轴电缆、光缆、卫星中继信道
类
一般被视为恒参信道.
p0,Q - 1 ö ÷
3.2 离散无记忆信源及其扩展源 PPT课件
信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系3.2 离散无记忆信源及其扩展源3.2.1 离散无记忆信源【思考】实际通信过程中，信源发送消息往往不是单个符号，而是符号序列。
当字符组成序列(如句子或文章)时，会出现问题。
3.2.1 离散无记忆信源 【两个新问题】 1.随着序列的伸延，信源选取字符的概率是否随着时间改变？2.序列前后字符之间是否统计相关？ 假设所讨论的信源是平稳信源，即信源选取字符的概率不随时间改变。
分两种情况来讨论：字符之间不存在统计关联的信源叫做无记忆信源；字符之间存在统计关联的信源叫做有记忆信源。
例如，一个袋子里有10个黑球和10个白球。
从袋子拿球，有放回的，就相当于无记忆的；无放回的，就是有记忆的。
1.【特点】①信源发出的各符号之间相互独立；②发出的符号序列中各个符号之间没有统计关联性；③各个符号的出现概率是它自身的先验概率。
2.【定义】设信源X 输出符号集A={a 1,a 2,…,a q } ，q 是信源发出的消息符号个数，每个符号发生的概率为p (a i )(i =1,2,…,q )，这些消息符号彼此互不相关，且满足： ),,2,1(1)(0,1)(1q i a p a p i q i i =≤≤=∑=∏===q i i q a p a a a P X P 121)()()(3.【数学模型】离散无记忆信源可用信源空间[X,P(X)]来描述： ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2121q q a p a p a p a a a X P X3.2.2 单符号离散信源【引例－例3.1】掷一颗质地均匀的骰子，研究其下落后朝上一面的点数，将点数作为这个随机试验的结果，并将这个随机试验看作是一个信源。
该信源输出了有限个离散数字，组成了符号集A:{1,2,3,4,5,6}，而且每一个数字代表一条完整的消息。
【分析】1.该信源输出的消息数是有限的。
2.该信源每次只输出一个消息，出现哪一种消息是随机的。
信息理论与编码4
信息理论与编码 第4章 离散无记忆信源无失真编码 20
定理
对于任一r 进制非续长码，各码字的码 长 li ， i 1, 2,, q ，必须满足Kraft 不等式：
li r 1 i 1 q
反过来，若上式成立，就一定能构造 一个r 进制非续长码。 本定理是非续长码的存在性定理。不 满足Kraft 不等式的码肯定不是非续长码， 而满足Kraft 不等式的码也不一定是非续长 码。
f 2 (u1 ) w1 0 , l1 1 f 2 (u2 ) w2 10 , l2 2 f 2 (u3 ) w3 110 , l3 3 f 2 (u4 ) w4 111, l4 4
1 1 1 1 l P(ui )li 1 2 3 3 1.75 2 4 8 8 i 1
13
4.2.1 常见码及其唯一可译性
唯一可译码和非唯一可译码 码W 是唯一可译码的充分必要条件 奇异码和非奇异码 非续长码和续长码 及时码或立即码 各种码的关系
信息理论与编码 第4章 离散无记忆信源无失真编码 14
唯一可译码和非唯一可译码
若码的码字组成的任意有限长码字序 列都能恢复成唯一的信源序列，则称该码 为唯一可译码（UDC，Uniquely Decodable Code），否则称为非唯一可译码。 码是唯一可译码的充分必要条件 由W 中的码字组成的任意有限长的码 字序列（也是码元序列），都能唯一划分 成一个个的码字，且任一码字只与唯一一 个信源符号对应。
平均码长 l
对码W 中所有码字的码长求统计平均，
l P ( wi )li
i 1 q
P(u )l
i 1 i
q
i
码元/符号
即
对于定长码，平均码长 l 与各码字的码长相等， q q 码元/符号 l P(ui )l l P(ui ) l
定理
对于任一r 进制非续长码，各码字的码 长 li ， i 1, 2,, q ，必须满足Kraft 不等式：
li r 1 i 1 q
反过来，若上式成立，就一定能构造 一个r 进制非续长码。 本定理是非续长码的存在性定理。不 满足Kraft 不等式的码肯定不是非续长码， 而满足Kraft 不等式的码也不一定是非续长 码。
f 2 (u1 ) w1 0 , l1 1 f 2 (u2 ) w2 10 , l2 2 f 2 (u3 ) w3 110 , l3 3 f 2 (u4 ) w4 111, l4 4
1 1 1 1 l P(ui )li 1 2 3 3 1.75 2 4 8 8 i 1
13
4.2.1 常见码及其唯一可译性
唯一可译码和非唯一可译码 码W 是唯一可译码的充分必要条件 奇异码和非奇异码 非续长码和续长码 及时码或立即码 各种码的关系
信息理论与编码 第4章 离散无记忆信源无失真编码 14
唯一可译码和非唯一可译码
若码的码字组成的任意有限长码字序 列都能恢复成唯一的信源序列，则称该码 为唯一可译码（UDC，Uniquely Decodable Code），否则称为非唯一可译码。 码是唯一可译码的充分必要条件 由W 中的码字组成的任意有限长的码 字序列（也是码元序列），都能唯一划分 成一个个的码字，且任一码字只与唯一一 个信源符号对应。
平均码长 l
对码W 中所有码字的码长求统计平均，
l P ( wi )li
i 1 q
P(u )l
i 1 i
q
i
码元/符号
即
对于定长码，平均码长 l 与各码字的码长相等， q q 码元/符号 l P(ui )l l P(ui ) l