行准对称离散信道信道容量的计算

合集下载

第三章离散信道及其信道容量

0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上连续的随机信号。即信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化。一般用随机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1

信息论与编码第三章

0.212 bit信/ 道符号
§3.2 单符号离散信道的信道容量
例3：求所给信道的信道容量：
P
1/2 1/4
1/4 1/2
1/8 1/8
1/8 1/8
解：该信道为准对称信道（判,略） ⑴ 先求p(yj) ：p(y0) =1/2×(1/2+1/4) =3/8=P(y1)
P(y2)=1/2×(1/8+1/8)=1/8= P(y3)
⑶ 强对称信道的最佳分布
n 1
与对称信道一样，当输入分布满足均匀分布时，使强
对称信道达到信道容量。
§3.2 单符号离散信道的信道容量
四、准对称信道的信道容量
⒈ 准对称信道的定义
❖ 信道转移阵满足行可排列的。 ❖ 信道转移阵列不可排列，但矩阵中的m列可分成互不
相交的s个子集，由子集组成的子阵则是行和列都是可排列的。
⒉ 准对称信道的信道容量定理：实现准对称离散无记忆信道容量的输入分布
是等概分布。根据上述定理有：
§3.2 单符号离散信道的信道容量
C maxI(X;Y) I(X k;Y)
J- 1
j0 p (yjxi)l og1 K
p ( yjxi)
K 1
p ( yjxi)
i0
输入为均J1匀
分布→ 前提p
一、信道的表示法
⒈ 信道的矩阵表示法
一般简单的单符号离散信道的数学模型可以用概率空间[X, p(y|x), Y]来描述。
p(y1 x1) p(y2 x1) p(ym x1)
P
p(y1 x2)
p(y2 x2)
p(ym x2)
p
(
y1
xn)
p(y2 xn)
p(ym xn)

离散无记忆二进制BSC信道容量

7
3.2.2 对称DMC信道
• 求得:
C I ( X ; Y ) 1 H ( ,1 ) 1 H ( ) C I ( X ; Z ) 1 H [ 2 (1 ), (1 ) ]
2 2
1 H [ 2 (1 )]
• 在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。
i
1 p (b j / ai ) n i
12
3.2.3
准对称DMC信道
准对称DMC信道容量：
C log m H ( pi1 , pi 2 pim ) log m pij log pij
j 1 m
13
• 例3-5 已知一个信道的转移概率矩阵，求信道容量。
P 0.5 0.3 0.2 0.3 0.5 0.2
• 那么信道的互信息量为：
I( X ;Y ) H(Y ) H(Y / X ) p( b j )log p( b j ) p( ai ) p( b j / ai )log p( b j / ai )
j i j
• 上式对a求导，可求出当a=0.5时，互信息量达到最大值0.036bit/符号；但此时输出信号的概率分别是0.4,0.4,0.2 。
• 无噪有损信道
C max I ( X ; Y ) max H (Y ) log 2 m
p ( ai )
• 有噪无损信道
C max I ( X ; Y ) max H ( X ) log 2 n
p ( ai )
3
3.2.2 对称DMC信道
• 对称离散无记忆DMC信道的容量：

离散信道信道容量的计算

输能力或者说能否达到信道容量,取决于两点:信源离
散无记忆;信源的输入概率分布是使I(x;y)最大的分布.下面给出离散无记忆信道容量的定义:
C ＝ maxI(X;Y); p(ai)
∑∑ 其中I(X;Y)＝
n i＝１
j＝m１p(ai)p(bj/ai)logpp(b(jb/ja)i)
工程管理与技术
离散信道信道容量的计算
余秀玲
(西南石油大学,四川成都６１０５００)
摘要:信道容量的计算是信道研究的核心,据此对信道容量定义和特性进行了探讨,并研究了三种特殊离散信道的信道容量计算方法,有对称离散信道、强对称离散信道和准对称离散信道,并对三种信道容量计算方法进行了区分与比较.最后介绍了一般离散信道的信道容量计算方法.
[５]严新乔．高职院校实施混合所有制办学的实践与探索 ——— 以浙江高职院校为例 [J]．职业技术教育 ,２０１７,(１１):１３Ｇ１６．
１信道容量最简单的通信系统由信源、信道和信宿组成. 对
于信道来说,在信道固定的前提下,传输的信息量当然是越多越好,因此信道容量问题是信道研究的重点. 信道容量是信道传输信息的最大能力,由信道特性决定.对于特定的信道,信道容量是个定值. 根据平均互信息的凸函数性,平均互信息量I(x;y)是输入信源概率分布 {p(ai),i＝１,２,��,n}的上凸函数,在固定信道的的前提下,平均互信息量有最大值,即信道容量一定存在.但是,在传输信息时,信道能否提供其最大传

信息论—离散信道及其信道容量

第3章信道容量

其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经从求I(X;Y)的极值问题退化为求H(Y)或H(X)的极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪信道传输后引起的信息量的损失。因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由于信道的对称性，一每行都是同一集合诸素元的不同排列。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元素，即已知X后，Y不再有任何不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等；信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数；均匀信道中不仅各行之和为1,而且各列之和也为1。一般信道各列之和不一定等于1

4.信道及其容量

第4章离散信道及其容量4.1节离散无记忆信道（DMC, Discrete Memoryless Channel ）什么是 “信道”？通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地，即信宿（sink ）。

但什么是“信道”？Kelly 称信道是通信系统中“不愿或不能改变的部分”。

比如CDMA 通信中，设备商只能针对给定的频谱范围进行设备开发，而运营商可能出于成本的考虑，不愿意进行新的投资，仍旧采用老的设备。

通信是对随机信号的通信，因此信源必须具有可选的消息，因此不可能利用一个sin(·)信号进行通信，而是至少需要两个可供发射机进行选择。

一旦选择了信息传输所采用的信号，信道决定了从信源到信宿的过程中信号所受到的各种影响。

从数学上理解，信道指定了接收机接收到各种信号的条件概率(conditional probability)，但输入信号的先念概念（prior probability ）则由使用信道的接收机指定。

如果只考虑离散时间信道，则输入、输出均可用随机变量序列进行描述。

输入序列X 1,X 2,……是由发射机进行选择，信道则决定输出序列Y 1, Y 2,……的条件概率。

数学上考虑的最简单的信道是离散无记忆信道。

离散无记忆信道由三部分组成：（1）输入字符集A ={a 1, a 2, a 3,…}。

该字符集既可以是有限，也可以是可数无限。

其中每个符号a i 代表发射机使用信道时可选择的信号。

（2）输出字符集B={b 1, b 2, b 3,…}。

该字符集既可以是有限，也可以是可数无限。

其中每个符号bi 代表接收机使用信道时可选择的信号。

（3）条件概率分布P Y |X (·|X )，该条件分布定义在B 上，其中X ∈A 。

它描述了信道对输入信号的影响。

离散无记忆的假设表明，信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。

或者：1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=，n =1,2,3….Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。

信息论基础离散信道及其信道容量

量X的条件下，对随机变量Y尚存在的不确定性。噪声熵完全是由于信道中噪声引起的，也称为散布度，它反映了信道中噪声源的不确定性。
通信与信息基础教学部
30
信息论课件
平均互信息
互信息：信道输出端接收到某消息y（或
某消息序列y）后获得关于输入端某消息x （或某消息序列x）的信息量
I (x; y) log P(x / y) log P(xy) log P( y / x)
通信与信息基础教学部
16
信息论课件
几个重要的单符号离散信道
对称离散信道：信道矩阵中的行元素集合相同，列元素集合也相同的信道，称为对称信道。
通信与信息基础教学部
17
信息论课件
例：二元对称信道Binary Symmetric Channel (BSC)
1 p
0
0
p
p
1 1 p 1
通信与信息基础教学部
既不作“1”，也不作“0”
通信与信息基础教学部
21
信息论课件
例：二元删除信道Binary Erasure Channel (BEC)
p
0
0
1 p
1 q
e
1
q
1
通信与信息基础教学部
22
信息论课件
单符号离散信道的一些概率关系
对于信道[ X, P, Y ]，
先
后
输入和输出符号的联合概率
验概
验概
通信与信息基础教学部
4
信道分类
信息论课件
根据信道的用户多少：
两端(单用户)信道 ■ 多端(多用户)信道
根据信道输入端和输出端的关联：
无反馈信道
■ 反馈信道

信息论复习要点总结

自信息量：Harta p Nata p bit a p a I i i ei i )(log)(log)(log )(102-=-=-=联合信息量：)(log)(2j i j i b a p b a I -=条件信息量：)/(log)/(2j i j i b a p b a I -=互信息量: )](/)/([log );(2i j i j i a p b a p b a I =信息的熵：∑=-=ni i i a p a p X H 12)(log)()(条件熵：∑∑==-=mj ni i j j i a b p b a p X Y H 112)/(log)()/(联合熵：∑∑==-=m j ni j i j i b a p b a p XY H 112)(log)()(平均互信息量：)](/)/([log )();(112j mj ni i j j i b p a b p b a p X Y I ∑∑===马尔可夫信源问题： 1.n 元m 阶马尔科夫信源共有n m个稳定状态。

2.用∑==mni i j i js s p s p s p 1)/()()(和1)(1=∑=mni i s p 求各状态)(i s p ；3.极限熵：)/(log )/()(11i j ni nj i j i s s p s s p s p Hmm∑∑==∞-=4.冗余度：0/1H H ∞-=ξ (H0表示等概分布信源的熵，2进制时为1)变长编码定理：m X H K m X H 22log/)(log/)(1≥>+信道容量问题：n 表示输入符号数，m 表示输出符号数。

bit/sign 无噪信道1（一一对应）信道容量：nC2log=无噪信道2（一对多）信道容量：nC 2log =无噪信道3（多对一）信道容量：mC 2log=对称信道（行列均可排列）信道容量：)..(log212m q q q H m C -=当输入X 等概分布时，输出Y 也等概分布，此时达到信道容量。

第三章信道和信道容量

I（X；Y）：接收到Y前、后关于的平均不确定性的消除；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性的消除（两熵之差）才等于接收端所获得的信息量。获得的信息量不能和不确定性混为一谈。
第三章信道和信道容量
关于信道容量：研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信道，也称确定信道，即：损失熵：H(X/Y) ≠ 0；噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵（具有可排列的性质），则称此信道为准对称信道，其信道容量：
r为输入符号集个数即信道矩阵行数准对称信道中的行元素第k个子矩阵中行元素之和
第k个子矩阵中列元素之和
第三章信道和信道容量
例3－1：二元对称删除信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。删除信道中，p＝q时，则为对称删除信道。三、Z信道信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章信道和信道容量

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Ｉａ；）＝Ｃ，（Ｙ对所有ａ其Ｐ＞ｉＯ
时，（Ｙ达到最大值，，；）此时Ｃ为信道容量．中其
，；＝ｐ・・ｃｙｃ。口耋。ｇ，
２行准对称离散信道的信道容量的计算
定理对于行准对称离散信道，当按行划分的每个子集的输人概率相等时可以达到信道容鸯
・
８・４
例，矩（三；以列分两子阵三，：两子如道阵：）按划成个矩：（）个矩信，可；，）这
阵行和列均可排列，以该信道为准对称离散信道．所
定义３如果一个离散信源的信道矩阵列可排列而行不可排列，按行划分成若干个互不相交的子集，各子集既是行可排列也是列可排列，则称此矩阵所表示的信道为按行划分的准对称信道，简称为行准对称离散信道．
证明根据行准对称离散信道的定义，信道矩阵按行划分成行和列均可排列的子集，将子集，，Ｌ，
…
，
，
子集Ｉ（＝，，Ｋ中输人符号的个数记为ＩＩ羞ｉｌ＝．ｋｋｌ２ …，）ＩｌｌＩｎ当该子集中输入符号概率，，
相等时，为Ｐ “ ∈ ）则该子集中任一输出符号６的概率记（，
１２ … ，而且此时，，ｍ，
Ｉａ（ｉ
）：（
）ｏｌｇ
＝
（ＩｌｐＩｉｎ）ｏ（ａ）－ｇ
１预备知识
设离散信道的输入Ｘ∈｛。ａ，ａ｝相应的输出Ｙ∈｛，ｂ，ｂ｝信道统计特性由条件概ｎ， …，，ｂ， …，，
率ｐａ）（ｉ描述，将其称为信道转移概率．为直观起见，常用信道转移概率矩阵（简称信道矩阵）来描
述信道特性若行表示输人，列表示输出ｙ则信道矩阵为如下所示的凡ｍ列的矩阵，行Ｐｂａ）（ＩＰｂｌ１ＰｂＩ１（１ａ）（２ａ）
ｄｌ１．９９ｊｉｎ１０２ｌ．０２０．２ｏ：０３６／．ｓ．０９— ７４２１．３００ｓ
信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。信道容量是信道研究的核心，在物理信道一定的情况下，人们总希望传输的信息越多越好。信道容量表示了信道传输信息的最大能力。对于一般信道，信道容量的计算相当复杂。特殊信道如对称信道、准对称信道、信道矩阵可逆等的信道容量已经有了计算公式，而一般的信道容量通常需使用迭代算法求解，该方法比较繁琐，需使用计算机软件。本文在一般信道中定义了一种行准对称离散信道，该信道与准对称离散信道不同，准对称信道是列对称而行不对称，将其按列划分成对称矩阵，而行准对称信道是行对称而列不对称，其按列划分成对称矩阵．文还给出了该信道容量的计算方法，将本该方法可解决该类信道信道容量的计算。 ’
第３２卷
湖北师范学院学报（自然科学版）ＪｕｎｌｆＨｂｉｏｎｌｎｖｒｔＮｔｒｌｃｎｅｏｒａｏｕｅＮｕａＵｉｓｙ（ａｕａＳｉｃ）ｅｉｅ
Ｖｏ．１３２Ｎｏ３，０１．２２
第３期
行准对称离散信道信道容量的计算
ｐ６＝（』）
∑ ＪＰ（
。
。
（ｉ（）（Ｅｐａ。（￡。ａｐ）舌。口）（ｉｎＩ）
ａｉ）
）为第Ｊ个子集中第＿『列的和，由于在同一子集中列均可排列，因此对第Ｊ个子集中 ★
的一，（ｌ都等与无，有一出号概ｐ）相的即（）吉＝每列ａ相，．关故任输符的率（是等，ｐ，）『
Байду номын сангаас．
定义２如果一个离散信源的信道矩阵行可排列而列不可排列，按列划分若干个互不相交的子集，各子集既是行可排列也是列可排列，则称此矩阵所表示的信道为准对称信道．
收稿日期：Ｏ２３１２１— — ０
作者简介：肖（９ｏ游雪１８一
）女，，湖北囊阳人，讲师，硕士，主要从事信息论、智能算法数学与研究．
游雪肖，程舰
（湖北师范学院数学与统计学院，北黄石湖４５０）３０２
摘要：定义了行准对称离散信道，出了该种信道容量的计算方法，给井举例说明了具体应用
关键词：信道容量；信道矩阵；准对称；行离散信道中图分类号：２６０３文献标识码：Ａ文章编号：０９２１（０２０ — ０４０１０－７４２１）３０８３
Ｐ＝
Ｐｂｌ２Ｐｂ２（１ａ）（２ｎ）Ｉ
Ｐｂ口）（ｌ２
，（】ａ）Ｐｂｌ … Ｐｂ Ⅱ ））ｂＩ（２ａ）（｛
定义ｌ离散无记忆信道容量定义为
Ｃ＝ｍｘ（；）ａ／ｙ
ｐａｉｔ）
其，；＝（Ｐ，ｉｇ中（ｌｐｉ６），砉ａ（ｌｌ）耋）ａｏ
１０１１
例如，道矩阵信
２
Ｏ
２
１
可按分两子阵，）两子阵和均以行成个矩（）三（，个矩行列 ÷ 这
，口； ≤Ｃ，所有ａ其Ｐ＝（ｆｙ）对ｆ０
可排列，所以该信道为行准对称离散信道．引理一般离散信道，当且仅当