(完整版)老师整理的信息论知识点
信息论基础总复习
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
条件互信息
I(X ;Y|Z ) x y z p (x) ylo zp p (g (x x||z y z ))
I(X ;Y |Z ) H (X |Z ) H (X |Y )Z
I(X;Y)ZI(X;Y)I(X;Z|Y) I(X;Z)I(X;Y|Z)
连续随机变量的互信息
I(X;Y) 0 I (X ;Y ) I (Y; X ) I (X ;Y | Z) I (Y; X | Z) I(X;Z) I(X;Y) I (XY; Z) I (X ; Z) I (Y; Z | X )
说明: R（D）也称率失真函数。
对于离散无记忆信源，R（D）函数可写成
R (D )p m i jpDi n i1n jm 1p(xi)p(yj/xi)lop(p g y (jy/jx )i)
输入 xX
信道模型
输入 y Y
转移概率矩阵
p(y/ x)
图5-1-2 信道模型
5.1.2 信道容量
• 1．如何刻画DMC信道的容量 考虑一个DMC信道，其输入字符集是X={x0， x1，…，xq-1}，输出字符集是Y={y0,y1，…， yQ-1}，转移概率P（yj／xi）. 若给定信道的转 移概率和对应于输入符号的概率分布p（xi）, 则 DMC信道容量C为
• 这个表达式平均错误译码概率的最小值， 是把每一个yj对应的后验概率排除后再连 续求和。
(完整版)信息论与编码概念总结
第一章1.通信系统的基本模型:2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。
２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。
如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。
所以信源平均功率和熵功率之差称为连续信源的剩余度。
信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度：0H H ∞=ηηζ-=1意义：针对最大熵而言，无用信息在其中所占的比例。
３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。
４.５.离散信源和连续信源的最大熵定理。
离散无记忆信源，等概率分布时熵最大。
连续信源，峰值功率受限时，均匀分布的熵最大。
平均功率受限时，高斯分布的熵最大。
均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。
定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )()()()()()()(=≤∴≤≤若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为1log 22ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L )其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。
信息论总结
D
香农编码：
二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki <1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率，
⑷将Pi用二进制表示,并取小数点后Ki位作为符 号ai的编码。
m元霍夫曼编码的编码方式类同于二元霍夫曼编码， 不同的是每次把m个符号合并成一个新的信源符号， 并分别用0,1，……，m-1等码元表示。 为了使短码得到充分利用，使平均码长为最短，必 须使最后一步缩减信源有m个信源符号。因此对于m 元编码，信源s的符号个数必须满足q=(m-1) θ+m, θ是 缩减的次数.
L →∞
5 马尔可夫信源的极限熵：
H ∞ = H m +1 = ∑ p ( si ) H ( X | si ) p( si ) = Wi
i
H ( X | si ) = −∑ p ( x j | si ) log p ( x j | si )
j
6
H∞ (X ) η 冗余度： = H ( X ) ０ ≤ η ≤１ m
游程编码：
若规定二元序列总是从“0”开始,第一个游程是“0”游 程,则第二个游程必为“1”游程,第三个又是“0”游程……。 对于随机序列,游程长度是随机的其取值可为1,2,3,…， 直至无穷。 游程长度序列/游程序列：用交替出现的“0”游程和“1” 游程长度表示任意二元序列。 游程变换： 是一种一一对应的变换,也是可逆变换。 例如：二元序列000101110010001… 可变换成如下游程序列 31132131
i i i =1 i =1 L L
Ｌ
(完整版)老师整理的信息论知识点
Chp02知识点： 自信息量：1）)(log )(i i x p x I -=2）对数采用的底不同，自信息量的单位不同。
2----比特（bit ）、e----奈特（nat ）、10----哈特（Hart ） 3）物理意义：事件i x 发生以前，表示事件i x 发生的不确定性的大小；事件i x 发生以后，表示事件i x 所含有或所能提供的信息量。
平均自信息量（信息熵）：1）)(log )()]([)(1i qi i i x p x p x I E x H ∑=-==2）对数采用的底不同，平均自信息量的单位不同。
2----比特/符号、e----奈特/符号、10----哈特/符号。
3）物理意义：对信源的整体的不确定性的统计描述。
表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。
4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。
互信息：1）)()|(log)|()();(i j i j i i j i x p y x p y x I x I y x I =-=2）含义：已知事件j y 后所消除的关于事件i x 的不确定性，对信息的传递起到了定量表示。
平均互信息：1）定义：2）性质：联合熵和条件熵：各类熵之间的关系：数据处理定理：Chp03知识点：依据不同标准信源的分类： 离散单符号信源：1）概率空间表示：2）信息熵：)(log )()]([)(1i qi i i x p x p x I E x H ∑=-==，表示离散单符号信源的平均不确定性。
离散多符号信源：用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。
平均符号熵：)...(1)(21N N X X X H NX H =极限熵（熵率）：)(lim )(X H X H N N ∞>-∞= （1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。
）（2）离散无记忆信源：信源各消息符号彼此互不相关。
信息论总结与复习
i 1 k 1
i 1
k 1
结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。
H lN iN 1 m H (X 1 X 2 X N 1 X N ) H (X N 1 |X 1 X 2 X N )
第一部分、信息论基础
1.1 信源的信息理论
[例1] 已知二阶马尔可夫信源的条件概率：
第一部分、信息论基础
1.1 信源的信息理论
（4）序列信息熵的性质：
《1》条件熵不大于无条件熵，强条件熵不大于弱
条件熵：H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ …
…… ≥H (XN|X1X2……XN-1)
《2》条件熵不大于同阶的平均符号熵:
HN ≥H (XN|X1X2……XN-1)
[例3]求对称信道
P00..32
0.3 0.2
0.2 0.3
00..23的信道容量。
解：C =log4-H(0.2,0.3,0.2,0.3)
=2+(0.2log0.2+0.3log0.3)×2 = 0.03 bit/符号；
第二部分、无失真信源编码
2.1 信源编码理论
第二部分、无失真信源编码
1.1 信源编码理论:
稳态方程组是：
QQ((EE32
) )
0.2Q(E1 0.6Q(E2
) )
0.6Q(E3 ) 0.2Q(E4 )
Q(E4 ) 0.4Q(E2 ) 0.8Q(E4 )
Q(E1) Q(E2 ) Q(E3 ) Q(E4 ) 1
第一部分、信息论基础
1.1 信源的信息理论
可解得：
Q (E1 )
[例5] 以下哪些编码一定不是惟一可译码？写出每 种编码克拉夫特不等式的计算结果。
信息论复习要点
信息论复习要点1. 非奇异码：若一个码子中各码子都不相同，则称非奇异码，否则称为奇异码；2. 唯一可以码：若任何有限长信源序列都能译成唯一的信源消息序列，则称为唯一可译码；3. 二元最优码：就某一信源，存在最优的二进制码，其中至少有两个最长的码子有相同长度且仅最后一个码位有别。
4. AWGN 信道的容量：一个加性高斯白噪声（AWGN ）信道的噪声功率谱为N 0/2,输入信号平均功率为P ，信道带宽为W ，那么信道每单位时间的容量为：0log 1P C W N W ⎛⎫=+ ⎪⎝⎭（容量单位为比特/秒）5. 对于输入平均功率受限的加性高斯噪声信道，当传输速率R<=C 时，总可以找到一种编码方式，使得差错率任意小；反之，找不到使译码错误概率任意小的编码。
6. 信息率失真理论是有损数据压缩的理论基础，该理论的核心是在保真度准则下的信源编码定理，即香农第三定理。
7. 限失真信源编码定理：()D R R D >→≤存在平均失真的信源编码8. 限失真信源信道编码定理：()D C R D >→≤存在平均失真的信源信道编码9. 和信道及其容量：若一个信道分为若干子信道，且各子信道输入之间互不相交，输出之间也互不相交，信道总的输出与输入集合分为各子信道输出与输入之并集，而且每次传输只能用某个子信道，则称此信道为和信道。
和信道容量：21log 2i NC i C ==∑其中，i C 为每个子信道的容量，第i 个子信道的使用概率为：1222ii iC C Ci NC i r -===∑达到容量时的输入概率为各子信道达到容量时的输入概率乘以i r ，N 为子信道的个数。
10. 各种信息的概率公式：自信息：()()log I x p x =-；联合自信息：()()log I xy p xy =-；条件自信息：()()|log |I x y p x y =-三者的关系：()()()()()||I xy I x I y x I y I x y =+=+； 互信息：()()()()()|,loglog|p x p x y I x y p x y p x =-=； 互信息与自信息和条件自信息的关系：()()(),|I x y I x I x y =-；11. 最佳判决与译码准则： MAP 准则：（输入不等概）（1）信道转移概率矩阵乘以信道输入符号概率得到联合概率矩阵； （2）联合概率矩阵每一列中找到一个最大的概率对应的输入符号就是译码； （3）正确概率是所有译码的概率和，错误概率是1与正确概率的差； ML 准则：（输入等概）（1）信道转移概率矩阵中最大的概率对应的输入符号作为译码输出； （2）正确概率是联合概率分布中译码概率的和，错误概率是1与之的差； 无记忆二元对称信道，最大似然准则等价于最小汉明距离准则；12. 并联高斯信道的容量，能量分布和输入概率分布：（输入均值为0） （1） 并联独立高斯信道：利用注水定理对能量进行分配，计算信道容量，达到容量时，两个信道的输入是独立的，所以输入的概率密度为：()2212122212,22x x p x x σσ⎛⎫=-- ⎪⎝⎭（2） 关联相关高斯信道：将噪声自协方差矩阵分解（如下公式所示），找出等价矩阵，利用注水定理计算信道容量，得到能量分配和输入概率密度公式；41501110122211⎛⎫⎫⎛⎫= ⎪⎪ ⎝⎭⎭⎝⎝ （3） 反推得到输入概率的协方差矩阵，进而得到输入概率的密度公式； （4） 对于独立并联高斯信道，达到容量时各子信道输入是独立的； （5） 对于相关并联高斯信道，达到容量时各子信道输入是相关的； （6） 在总噪声和输入平均能量约束都相同的条件下，相关并联高斯信道的容量大于独立并联高斯信道容量。
信息论知识点总结
信息论知识点总结信息论是一门研究信息传递和处理的科学，主要涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。
以下是信息论的一些重要知识点：1. 信息量度：信息量是对信息的度量，用于衡量信息的多少。
信息的大小与随机事件的概率有关，熵是衡量随机变量分布的混乱程度，即随机分布各事件发生的信息量的期望值。
2. 信道容量：信道容量是描述信道传输信息能力的指标，表示信道在每秒内所能传输的最大信息量。
对于有噪声的信道，需要通过编码技术来达到信道容量。
3. 条件熵：条件熵是在给定某个条件下的熵，用于衡量在已知某个条件的情况下，随机变量的不确定性。
4. 相对熵（KL散度）：相对熵是衡量两个概率分布之间的差异，也称为KL 散度。
如果两个分布相同，相对熵为0。
5. 信息传输速率：信息传输速率是指单位时间内传输的信息量，是评价通信系统性能的重要参数。
6. 干扰对信息传输的影响：在信息传输过程中，各种干扰因素会对信息传输产生影响，如噪声、失真、衰减等。
为了提高信息传输的可靠性和有效性，需要采取抗干扰措施。
7. 信息压缩：信息压缩是减少数据存储空间和提高数据传输效率的一种技术。
常见的压缩算法有Huffman编码、LZ77、LZ78等。
8. 纠错编码：纠错编码是一种用于检测和纠正错误的技术，广泛应用于通信和存储领域。
常见的纠错编码有奇偶校验、CRC等。
9. 加密编码：加密编码是一种保护信息安全的技术，通过对数据进行加密处理，防止未经授权的访问和泄露。
常见的加密编码有AES、RSA等。
以上是信息论的一些重要知识点，希望对您有所帮助。
信息论复习知识点
信息论复习知识点(总11页) -CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面，使用请直接删除1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Chp02 知识点：自信息量：1）I ( x i )log p(x i )2）对数采纳的底不一样，自信息量的单位不一样。
2---- 比特（ bit ）、e---- 奈特（nat）、10---- 哈特（ Hart）3）物理意义：事件x i发生从前，表示事件x i发生的不确立性的大小；事件 x i发生此后，表示事件 x i所含有或所能供给的信息量。
均匀自信息量（信息熵）：1）H (x) E[ I (x i)]q p( x i ) log p( x i )i 12）对数采纳的底不一样，均匀自信息量的单位不一样。
2---- 比特 /符号、 e----奈特 /符号、 10---- 哈特 /符号。
3）物理意义：对信源的整体的不确立性的统计描绘。
表示信源输出前，信源的均匀不确立性；信源输出后每个消息或符号所供给的均匀信息量。
4）信息熵的基天性质：对称性、确立性、非负性、扩展性、连续性、递推性、极值性、上凸性。
互信息：p(x i | y j )1）I ( x i; y j)I (x i ) I ( x i | y j )logp( x i )2）含义：已知事件y j后所除去的对于事件x i的不确立性，对信息的传达起到了定量表示。
均匀互信息：1）定义：2）性质：结合熵和条件熵：各种熵之间的关系：数据办理定理：Chp03 知识点：依照不一样标准信源的分类：失散单符号信源：1）概率空间表示：X a1a2L a rP p a1p a2L p a rr0 p a i1,(i 1,2,L , r ); p a i 1i 12）信息熵：H ( x) E[ I (x i)]q p(x i ) log p( x i ) ，表示失散单符号信i 1源的均匀不确立性。
失散多符号信源：用均匀符号熵和极限熵来描绘失散多符号信源的均匀不确立性。
均匀符号熵：H N (X ) 1 H (X1X2...X N)N极限熵（熵率）： H ( X )lim H N ( X )N（1）失散安稳信源（各维结合概率散布均与时间起点没关的信源。
）（2）失散无记忆信源：信源各信息符号相互互不有关。
X01①最简单的二进制信源：p(x)pq，信源输出符号只有两个：“0”和“1”。
②失散无记忆信源的N 次扩展：若信源符号有q 个，其 N 次扩展后的信源符号共有q N个。
失散无记忆信源X 的 N次扩展信源 X N的熵：等于信源 X 的熵的 N 倍，表示失散无记忆信源X 的 N次扩展信源每输出 1 个信息符号（即符号序列）所提供的信息熵是信源X 每输出 1 个信息符号所供给信息熵的 N倍。
失散无记忆信源X 的 N 次扩展信源 X N极限熵（熵率）1为： H ( X ) lim H N (X ) lim NH ( X ) H ( X )N N N（3）失散有记忆信源—》马尔可夫信源—》时间和状态都是失散的马尔可夫过程称为马尔可夫链1）用散布律描绘：2）转移概率：即条件概率3 ）转移概率矩阵：用p ij(n)表示。
n 步转移概率矩阵。
且p ij(n)( p ij(1))n，，会写出马氏链的一步转移概率矩阵，会画状态转移图，能够求出n 步转移概率矩阵。
4）遍历性的观点：求解马氏信源的遍历性，即找一正整数m，使 m 步转移概率矩阵 p ij (m) 中无零元。
求解马氏遍历信源的信息熵步骤：（1）依据题意画出状态转移图，判断出是安稳遍历的马尔可夫信源；（2）依据状态转移图写出一步转移概率矩阵，计算信源的W WP极限散布 W W1,W2,......,W q即是求解方程组：qi 1（3）依据一步转移概率矩阵和极限概率W 计算信源的信息熵：极限熵 H等于条件熵 H m+1（m 阶马尔可夫信源的熵率）∞。
H信源的有关性和节余度：，11H 0用来权衡信源输出的符号序列中各符号之间的依靠程度。
当节余度＝ 0 时，信源的熵＝极大熵H 0，表示信源符号之间：(1)统计独立无记忆;(2) 各符号等概散布。
连续信源：（1）微分熵：i.定义：ii.物理意义：（2）连续信源的结合熵和条件熵（3）几种特别连续信源的熵：a)均匀散布的连续信源的熵：b)高斯散布的连续信源的熵：( x m) 212】p(x) e 222c)指数散布的连续信源的熵：1xp(x) e m】mH c (X )log 2 (b a)12H c ( X )log 2 2 e 【概率密度函数：2H c ( X ) log 2 me【概率密度函数：（ 4）最大连续熵定理：a) 限峰值功率的最大熵定理（输出幅值受限）：均匀散布b) 限均匀功率的最大熵定理（输出均匀功率受限）：高斯散布（ 5）熵功率及连续信源的节余度\Chp04 知识点：一、一些基本观点：1．什么是信道？信道的作用，研究信道的目的。
2．一般信道的数学模型，信道的分类（依据输入输出随即信道的特色，输入输出随机变量个数的多少，输入输出个数，有无扰乱，有无记忆，信道的统计特征进行不一样的分类）3．前向概率p(yj /xi) 、后向概率 /后验概率p(xi /yj) 、先验概率p(xi)。
4．几个熵的含义：H(X) --- 表示信源的不确立性；H(X|Y)---信道疑义度，表示假如有扰乱的存在，接收端收到Y 后对信源仍旧存在的不确立性。
也称为损失熵，表示信源符号经过有噪信道传输后所惹起的信息量的损失。
H(Y|X)---噪声熵，它反应了信道中噪声源的不确立性。
二、失散信道：1．单符号失散信道：a) 信道模型的表示：传达矩阵（有传达(条件、转移 )概率 p(yj|xi) 构成）；b) 信道的信息传输率：R=I(X;Y) —表示接收到输出符号集Y 后所除去的对于信源X 的不确立性，也就是获取的对于信源的信息。
它是均匀意义上每传递一个符号流经信道的信息量。
对于 I（ X;Y ）的性质： I(X;Y) 是信源概率散布p(xi) 和信道转移概率p(yj|xi) 的二元函数：np( y j )p( x i ) p( y j / x i )i 1n mI (X ; Y)p( x i y j )log 2i 1 j 1p( x i y j )p(x i ) p( y j / x i )n mp ( y j / x i )p ( y j / x i )p( y j )p( x i ) p( y j / x i )log 2ni 1 j 1p( x i ) p ( y j / x i )i 1那么，当信道特征p(yj /xi) 固定后， I(X;Y) 随信源概率散布p(xi) 的变化而变化。
调整p(xi) ，在接收端就能获取不一样的信息量。
由均匀互信息的性质已知，对于给定的信道转移概率 p(yj /xi) ，I(X;Y) 是输入散布 p(xi) 的上凸函数，所以总能找到一种概率散布 p(xi)（即某一种信源），使信道所能传递的信息率为最大。
那么这个最大的信息传输率即为信道容量。
c)信道容量观点：在信道中最大的信息传输速率C max R max I ( X ; Y)(比特 / 信道符号 ) 对于给定的信道，总能找到一个最p (x i )p ( x i )佳输入散布使得I(X;Y) 获取极大值。
d)信道容量的含义：信道容量是完整描绘信道特征的参量，信道容量是信道传递信息的最大能力的胸怀，信道实质传递的信息量必定不大于信道容量。
2．几种特别失散信道的信道容量：a)拥有一一对应关系的无噪信道：n--- 输入符号数， m--- 输出符号数当信源呈等概率散布时，拥有一一对应确立关系的无噪信道达到信道容量C：b)拥有扩展性能的无损信道：c)拥有合并性能的无噪信道：注意：在求信道容量时，调整的一直是输入端的概率散布p(xi)，只管信道容量式子中均匀互信息I(X;Y) 等于输出端符号熵H(Y) ，可是在求极大值时调整的仍旧是输入端的概率散布p(xi)，而不可以用输出端的概率散布p(yj) 来取代。
也就是必定能找到一种输入散布使输出符号Y 达到等概率散布。
d)行对称信道的信道容量：C max{ H (Y )} H ( p1' , p2',..., p s' )p( x)e) 失散对称信道的信道容量：若一个失散对称信道拥有r 个输入符号， s 个输出符号，则当输入为等概散布时达到信道容量，且，其中为信道矩阵中的任一行。
f)均匀信道的信道容量为nN k log 2 M k H ( p1' , p2' ,..., p s' ) ，此中Nkg)准对称信道的信道容量： C log 2 rk1是 n 个子矩阵中第 k 个子矩阵中行元素之和， Mk 是第 k 个子矩阵中列元素之和。
h)二元对称信道的信道容量：C=1-H(p)p 为错误传达概率。
3．一般失散信道的信道容量计算方法：已知信道的转移矩阵P，求信道容量。
两种方法：方法一：依照：I(X;Y) 是输入概率散布p(xi) 的上凸函数，所以极大值必定存在。
步骤：①依据信道转移矩阵Ｐ的特色，用某一参数α设为输入散布p(xi) ；n②由 p( y j )p( x i )p( y j | x i ) 得出输出散布p(yj) 也是对于α的函数；i 1③将用α表示的p(xi)和p(yj)带入I(X;Y)=H(Y)-H(Y|X)中，获取I(X;Y)是对于α的函数。
④求 I(X;Y)对α的偏导数，并令其等于0，解得α即获取输入散布；⑤将解得的α代入I(X;Y)式中获取信道容量C。
例子：赐教材P65， [ 例 4.5]方法二：公式法：注意：在第②步信道容量 C 被求出后，计算并无结束，一定解出相应的p(xi)，并确认全部的p(xi) ≥0 时，所求的 C 才存在。
n在对I(X;Y) 求偏导时，仅限制p( x i ) 1 ，并无限制p(xi) ≥ 0 ，所以求出的i 1p(xi) 有可能为负值，此时 C 就不存在，一定对p(xi) 进行调整，再从头求解C。
4．均匀互信息I(X;Y) 达到信道容量的充要条件：赐教材P65。
5．多符号失散信道及信道容量：a)含义，数学模型：多符号失散信源X =X1X2X N在N个不一样时辰分别经过单符号失散信道{X P( Y/ X)Y}，则在输出端出现相应的随机序列Y =Y1Y2Y N，这样形成一个新的信道称为多符号失散信道。
因为新信道相当于单符号失散信道在N个不一样时辰连续运用了N次，所以也称为单符号失散信道{ X P( Y/ X)Y}的 N次扩展。
b)失散多符号信道的均匀互信息和信道容量的几个结论：结论 1：失散无记忆信道的 N 次扩展信道的均匀互信息，不大于N 个随机变量 X1X2XN独自经过信道{X P(Y/X) Y}的均匀互信息之和。
结论 2：失散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独即刻，信道的总均匀互信息等于这N个变量独自经过信道的均匀互信息之和。