信息论3
信息论实验3汉明码
实验三、汉明码一、汉明编码步骤：公式：码长：n=2^m-1信息位数：k=2^m-m-1监督位数：r=n-k=m最小码距：d=31、当给定m后，可由以上公式得到汉明码的一致校验矩阵H2、然后根据一致校验矩阵与生成矩阵之间的部分转置关系得到生成矩阵G3、再由信源矩阵与生成矩阵的乘积得到汉明编码二、汉明码的解码：由生成矩阵或一致校验矩阵与码字之间的乘积为零矩阵可得出监督码元与信息码元之间的模二加关系，然后根据所得的关系，用计算伴随式进行译码。
然后确定错误图样并加以纠正。
三、汉明码编解码流程图如图（1）四、仿真程序：clear all %初始化clc[h,g,n,k]=hammgen(3); %产生H和G矩阵for i=1:2^k %for j=k:-1:1if rem(i-1,2^(-j+k+1))>=2^(-j+k)u(i,j)=1;elseu(i,j)=0;endendendc=rem(u*g,2) %产生（7,4）汉明码本d=min(sum((c(2:2^k,:)))) %计算最小码距h %输出监督矩阵g %输出生成矩阵运行结果如下：c =0 0 0 0 0 0 01 0 1 0 0 0 1 1 1 1 0 0 1 0 0 1 0 0 0 1 10 1 1 0 1 0 01 1 0 0 1 0 1 1 0 0 0 1 1 00 0 1 0 1 1 11 1 0 1 0 0 0 0 1 1 1 0 0 10 0 1 1 0 1 01 0 0 1 0 1 1 1 0 1 1 1 0 0 0 0 0 1 1 0 10 1 0 1 1 1 01 1 1 1 1 1 1d =3h =1 0 0 1 0 1 1 0 1 0 1 1 1 00 0 1 0 1 1 1g =1 1 0 1 0 0 00 1 1 0 1 0 01 1 1 0 0 1 0 1 0 1 0 0 0 1图（1）五、汉明码的性能及优缺点：汉明码是一种完备码，是能够就政党恶错误的线性分组码。
信息论第三版课后答案
信息论第三版课后答案【篇一：西电邓家先版信息论与编码第3章课后习题解答】6x11/6y13/41/4x2图3.1 二元信道y2?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。
求：（1）信源x中事件x1,和x2分别含有的自信息。
（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3）信源x和信源y的信息熵。
（4）信道疑义度h（x|y）和噪声熵h（y|x）。
（5）接收到消息y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74biti（x2）= －log0.4=1.32biti（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]= log[p（yj|xi）/p（yj）]则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit（3）由定义显然 h（x）=0.97095bit/符号h（y）=0.72193bit/符号（4）h（y|x）=?22p（xy）log[1/p（y|x）]=??i?1j?1p（xi）p（yj|xi）log[1/p（yj|xi）]h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。
八个消息相应编成下述码字：m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。
第二章-信息论基本概念（3）
H ( X m1 / X1 X 2 X m )
这表明：m阶马尔可夫信源的极限熵H 就等于m阶条件熵，记为H m 1
akm )
设状态 Ei (ak1 ak2 akm ),信源处于状态Ei时，再发出下一个符号akm1
此时，符号序列 (ak2 ak3 a ) km1 就组成了新的信源状态
Ej (ak2 ak3 a ) km1 ，这时信源所处的状态由 Ei 转移到 Ej
状态转移图(香农线图)
0:0.5 E1
1:0.5 E3
1
0:0.6
E2
1:0.4
【注】E1、E2、E3是三种状态，箭头是指从一个状态转移到另
一个状态，旁边的数字代表发出的某符号和条件概率p(ak/Ei) 。 这就是香农提出的马尔可夫状态转移图，也叫香农线图。
二、马尔可夫信源
若信源输出的符号和信源所处的状态满足以下两个条 件，则称为马尔可夫信源：
a1 a2
p(sl
E2
/ xl
a3
sl1 E1 ) 0 sl1 E1 ) 1 sl1 E1 ) 1 sl1 E1 ) 0
可求得状态的一步转移概率：
1
2
1 4
0
1 4
0
0
1 2
1 2
0
0
p(E j
/
Ei
)
0
3
1
0
0
44
0
0
0
0
1
0
0
0
3 4
1 4
此信源满足马尔可夫的 两个条件，所以是马尔可夫 信源，并且是齐次马尔可夫 信源。
对于这个随机序列，若有：
p(xn Sin | xn1 Sin1 ,..., x1 Si1 ) p(xn Sin | xn1 S ) in1
第三版信息论答案
【】设有 12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1；12“假币的重量比真的轻，或重”该事件发生的概率为P 1；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12log2log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为Ilog 3 比特因此，必须称的次数为I1log24I2log3次因此，至少需称 3 次。
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为P1 16 61，该事件的信息量为：36I log 36比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和2，概率为P 1 1 56 65，因此该事件的信息量为：36I log365比特“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为P因此该事件的信息量为：1 121，6 6 18I log18比特【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1，因此此时从答案中获得的信息量为7I log 7比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
信息论第3章课后习题答案
信息论第3章课后习题答案信息论是一门研究信息传输、存储和处理的学科。
它的核心理论是香农信息论，由克劳德·香农于1948年提出。
信息论的应用范围广泛，涵盖了通信、数据压缩、密码学等领域。
在信息论的学习过程中，课后习题是巩固知识、检验理解的重要环节。
本文将对信息论第3章的课后习题进行解答，帮助读者更好地理解和掌握信息论的基本概念和方法。
1. 证明：对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
首先，根据联合熵的定义，有H(X,Y)=-∑p(x,y)log2p(x,y)。
而熵的定义为H(X)=-∑p(x)log2p(x)和H(Y)=-∑p(y)log2p(y)。
我们可以将联合熵表示为H(X,Y)=-∑p(x,y)log2(p(x)p(y))。
根据对数的性质，log2(p(x)p(y))=log2p(x)+log2p(y)。
将其代入联合熵的表达式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))。
再根据概率的乘法规则，p(x,y)=p(x)p(y)。
将其代入上式中，得到H(X,Y)=-∑p(x,y)(log2p(x)+log2p(y))=-∑p(x,y)log2p(x)-∑p(x,y)log2p(y)。
根据熵的定义，可以将上式分解为H(X,Y)=H(X)+H(Y)。
因此，对于任意两个随机变量X和Y，有H(X,Y)≤H(X)+H(Y)。
2. 证明：对于一个随机变量X，有H(X)≥0。
根据熵的定义，可以得到H(X)=-∑p(x)log2p(x)。
由于概率p(x)是非负的，而log2p(x)的取值范围是负无穷到0之间，所以-p(x)log2p(x)的取值范围是非负的。
因此，对于任意一个随机变量X，H(X)≥0。
3. 证明：对于一个随机变量X，当且仅当X是一个确定性变量时，H(X)=0。
当X是一个确定性变量时，即X只能取一个确定的值，概率分布为p(x)=1。
信息论-第3章+信道的数学数学模型及分类
信道传递概率不同，平均互信息量不同 一定存在一种信道，使平均互信息量最小(0)
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性
3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
单用户（两端）信道
一个输入端、一个输出端 必须是单向通信 例：对讲机
多用户（多端）信道
输入输出至少有一端有两个以上用户 可以是双向通信 例：计算机网络
3.1.1 信道的分类 —— 按输入输出的关联分
无反馈信道
输出端无信号反馈到输入端 例：无线电广播
反馈信道
3.4.1 离散无噪信道的信道容量 —— 无损（有噪）信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
传递矩阵：
b1
b2
bs
a1 P(b1 a1) P(b2 a1) P(bs a1)
a2 P(b1 a2) P(b2 a2) P(bs a2)
ar P(b1 ar ) P(b2 ar ) P(bs ar )
3.2.1 信道疑义度 —— 先验熵
信源
X
信道
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
信息论第3章信源及信息熵
举例
数学描述
离散信源 （数字信源）
连续信号
文字、数据、 离散化图象
离散随机变量 序列
跳远比赛的结果、语音 连续随机变量
信号抽样以后
序列
波形信源 （模拟信源）
语音、音乐、热噪声、 图形、图象
不常见
随机过程
表3.1 信源的分类
3.1 信源的分类及其数学模型
我们还可以根据各维随机变量的概率分布是否随时间的推移 而变化将信源分为平稳信源和非平稳信源，根据随机变量间 是否统计独立将信源分为有记忆信源和无记忆信源。
定义3.2 随机变量序列中，对前N个随机变量的联合熵求平
均：
HN
(X)
1 N
H ( X1X 2
XN)
称为平均符号熵。如果当N
时上式极限存在，则
lim
N
H
N
(X)
称为熵率，或称为极限熵，记为
def
H
lim
N
H
N
(
X
)
3.3.1 离散平稳无记忆信源
离散平稳无记忆信源输出的符号序列是平稳随机序列，并且
H(X ) H(X1X2 XN ) H ( X1) H ( X2 | X1) H ( X3 | X1X 2 ) H ( X N | X1X 2 X N1)
定理3.1 对于离散平稳信源，有以下几个结论：
（1）条件熵 H (X N | X1X 2 X N1) 随N的增加是递减的；
（2）N给定时平均符号熵大于等于条件熵，即
s1
si p(s j
| si )
s q
m
状态空间由所有状态及状态间的状态转移概率组成。通过引
入状态转移概率，可以将对马尔可夫信源的研究转化为对马 尔可夫链的研究。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(2)N给定时平均符号熵大于等于条件熵，即 给定时平均符号熵大于等于条件熵， 给定时平均符号熵大于等于条件熵 (3)平均符号熵 N(X)随N的增加是递减的； 平均符号熵H 的增加是递减的； 平均符号熵 随 的增加是递减的
定义3.2 随机变量序列中，对前 个随机变量的联合熵求 随机变量序列中，对前N个随机变量的联合熵求 定义
平均ห้องสมุดไป่ตู้ 平均：
称为平均符号熵．如果当 称为平均符号熵．如果当N→∞时上式极限存在，则 ∞时上式极限存在， lim 称为熵率，或称为极限熵， 称为熵率，或称为极限熵，记为 N →∞ H N ( X )
3
第三章 信源及信源熵
3.1 3.2 3.3 3.4
信源的分类及其数学模型 离散单符号信源 离散多符号信源 连续信源
1
信源的分类及其数学模型 3.1
信源的分类
常根据信源输出的消息在时间和取值上是离散或连续 进行分类，如表3.1所示 所示： 进行分类，如表 所示：
2
信源的数学模型
一个实际信源的统计特性往往是相当复杂的， 一个实际信源的统计特性往往是相当复杂的，要想找到 精确的数学模型很困难． 精确的数学模型很困难．买际应用时常常用一些可以处 理的数学模型来近似。 理的数学模型来近似。 比如语音信号就是非平稳随机过程， 比如语音信号就是非平稳随机过程，但常常用平稳随机 过程来近似． 过程来近似．平稳随机过程抽样后的结果就是平稳随机 序列． 序列．
11
N次扩展信源的熵 次扩展信源的熵 根据统计独立的多维随机变量的联合熵与信息熵之间的关系， 根据统计独立的多维随机变量的联合熵与信息熵之间的关系， 可以推出： 可以推出：
即N次扩展信源的熵等于单符号离散信源熵的 倍，信源输出 次扩展信源的熵等于单符号离散信源熵的N倍 次扩展信源的熵等于单符号离散信源熵的 的N长符号序列平均提供的信息量是单符号离散信源平均每个 长符号序列平均提供的信息量是单符号离散信源平均每个 符号所提供信息量的N倍 符号所提供信息量的 倍． 离散平稳无记忆信源的熵率
离散平稳信源
为了便于研究， 为了便于研究，假定信源所发符号序列的概率分布与时间 的起点无关，也就是统计特性不随时间改变的信源， 的起点无关，也就是统计特性不随时间改变的信源，称为离 散平稳信源。 散平稳信源。 数学严格定义如下： 数学严格定义如下：
7
定义3.1 信源发出的消息是离散对于随机变量序列 ， 信源发出的消息是离散对于随机变量序列X1， 定义
16
马尔可夫信源 它在某时刻发出的符号仅与在此之前发出的有限个符号有 而与更早些时候发出的符号无关，这称为马尔可夫性， 关，而与更早些时候发出的符号无关，这称为马尔可夫性， 这类信源称为马尔可夫信源． 这类信源称为马尔可夫信源． m阶马尔可夫信源 阶马尔可夫信源 如果信源在某时刻发出的符号仅与在此之前发出的m个符 如果信源在某时刻发出的符号仅与在此之前发出的 个符 号有关，则称为m阶马尔可夫信源 阶马尔可夫信源。 号有关，则称为 阶马尔可夫信源。 熵率： 熵率：
X2，…，在任意两个不同时刻i和j(i和j为大于 的任意整数 序 ， 为大于l的任意整数 在任意两个不同时刻 和 和 为大于 的任意整数)序 列的概率分布完全相同，即对于任意的N＝ 列的概率分布完全相同，即对于任意的 ＝ 0,1,2,…,xixi+1…xi+n和xjxj+1…xj+n具有相同的概率分布，也就是 具有相同的概率分布， …
5
信源输出的所有消息的自信息的统计平均值定义为信源的 平均自信息量(信息熵），它表示离散单符号信源的平均不确 信息熵）， 平均自信息量 信息熵），它表示离散单符号信源的平均不确 定性： 定性： 【例3.1】 】
6
3.3
离散多符号信源
离散多符号信源
实际信源输出的往往是符号序列，称为离散多符号信源， 实际信源输出的往往是符号序列，称为离散多符号信源， 通常用离散随机变量序列(随机矢量 来表示： ＝ 随机矢量)来表示 通常用离散随机变量序列 随机矢量 来表示：X＝x1x2…． ． 每一位出现哪个符号都是随机的， 每一位出现哪个符号都是随机的，而且一般前后符号的出现 是有统计依赖关系的。 是有统计依赖关系的。
维随机变量的联合熵等于起始时刻随机变量X1的熵与各 即N维随机变量的联合熵等于起始时刻随机变量 的熵与各 维随机变量的联合熵等于起始时刻随机变量 阶条件熵之和． 阶条件熵之和．
14
定理3.1 对于离散平稳信源，有以下几个结论： 对于离散平稳信源，有以下几个结论： 定理
的增加是递减的; (1)条件熵 条件熵H(XN|X1X2…XN-1)随N的增加是递减的 随 的增加是递减的 条件熵
13
离散平稳有记忆信源
前面讲了离散平稳信源中最简单的离散平稳无记忆信源， 前面讲了离散平稳信源中最简单的离散平稳无记忆信源， 而实际信源往往是有记忆信源． 而实际信源往往是有记忆信源． 假定信源输出N长的符号序列 则它的数学模型是N维随机 长的符号序列， 假定信源输出 长的符号序列，则它的数学模型是 维随机 变量序列(随机矢量 随机矢量)： ＝ 变量序列 随机矢量 ：X＝X1，X2…XN，其中每个随机变量 之间存在统计依赖关系． 之间存在统计依赖关系． 对于相互间有依赖关系的N维随机变量的联合熵可以用下式 对于相互间有依赖关系的 维随机变量的联合熵可以用下式 表示，称为熵函数的链规则： 表示，称为熵函数的链规则：
由上表的条件概率确定条件熵
18
条件熵H(X2/X1)比信源熵 无条件熵 比信源熵/无条件熵 减少了0.672比特 符 比特/符 条件熵 比信源熵 无条件熵H(X)减少了 减少了 比特 这是由于符号之间的依赖性造成的； 号，这是由于符号之间的依赖性造成的； 如果把信源看成是每两个符号一组，就是一个新信源了： 如果把信源看成是每两个符号一组，就是一个新信源了： 信源平均每发一个消息提供的信息量， 信源平均每发一个消息提供的信息量，即联合熵 H(X1X2)= H(X1)+ H(X2/X1)=1.542+0.870=2.412(比特 符号 比特/符号 比特 符号) 每一个信源符号提供的平均信息量 (1/2)H(X1X2)=1.206(比特 符号 比特/符号 比特 符号) 可见， 这是因为H(X1X2)考虑 可见，H(X2|X1)<(1/2)H(X1X2)<H(X),这是因为 这是因为 考虑 了同一组的两个符号之间的相关性,因此 因此H(X1X2)小于不考虑符 了同一组的两个符号之间的相关性 因此 小于不考虑符 号间相关性时的信源熵H(X)，但是 号间相关性时的信源熵 ，但是H(X1X2)没有考虑前一组的 没有考虑前一组的 后一符号与后一组的前一符号之间的关联，因此H(X1|X2)＜ 后一符号与后一组的前一符号之间的关联，因此 ＜ (1/2)H(X1X2)
即各维联合概率分布均与时间起点无关的信源称为离散平稳 信源． 信源．
8
对于离散多符号信源，怎样表示信源的平均不确定性呢 对于离散多符号信源，怎样表示信源的平均不确定性呢? 熵率:它表示信源输出的符号序列中 它表示信源输出的符号序列中， 熵率 它表示信源输出的符号序列中，平均每个符号所携带 的信息量． 的信息量．
4
单符号离散信源的数学模型
若信源的输出是随机事件X，其出现概率为 若信源的输出是随机事件 ，其出现概率为P(X)，则它 ， 们所构成的集合，称为信源的概率空间或简称为信源空间。 们所构成的集合，称为信源的概率空间或简称为信源空间。 单符号离散信源的数学模型就是离散型的概率空间： 单符号离散信源的数学模型就是离散型的概率空间： X代表随机变量，指的是信源整体 代表随机变量， 代表随机变量 xi代表随机事件的某一结果或信源的某个元素 代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件X发生某一结果 的概率。 ，表示随机事件 发生某一结果 的概率。 发生某一结果xi的概率 n是有限正整数或可数无限大 是有限正整数或可数无限大
即序列的统计约束关系增加时，由于符号间的相关性， 即序列的统计约束关系增加时，由于符号间的相关性， 平均每个符号所携带的信息量减少。 平均每个符号所携带的信息量减少。
(4)如果 如果H(X1)＜∞，则 如果 ＜ ， 并且
存在， 存在，
15
该定理表明， 该定理表明，由于信源输出序列前后符号之间的统计依赖关 随着序列长度N的增加， 系，随着序列长度N的增加，也就是随着统计约束条件不断增 平均符号熵H 及条件熵H(XN|X1X2…XN-1)均随之减小。 均随之减小。 加，平均符号熵 N(X)及条件熵 及条件熵 均随之减小 即为熵率， 当N→∞时，HN(X)=H(XN|X1X2…XN-1),即为熵率，它表示信源 即为熵率 输出的符号序列中，平均每个符号所携带的信息量。 输出的符号序列中，平均每个符号所携带的信息量。 所以在求熵率时可以有两种途径：可以求它的极限平均符号 所以在求熵率时可以有两种途径： 也可以求它的极限条件熵， 熵，也可以求它的极限条件熵，即
17
的原始信源X的信源模型 【例3.3】设二维离散信源 】设二维离散信源X=X1X2的原始信源 的信源模型 的原始信源 为
X=X1X2中前后两个符号的条件概率 中前后两个符号的条件概率P(X2|X1)列于上表。求熵 列于上表。 中前后两个符号的条件概率 列于上表 率，并比较H(X2|X1)、(1/2)H(X1X2)和H(X)的大小。 的大小。 并比较 、 和 的大小 原始信源X的熵 不考虑符号间的相关性） 的熵（ 解 原始信源 的熵（不考虑符号间的相关性）
3
3.2
离散单符号信源
离散单符号信源
如果信源发出的消息是离散的、 如果信源发出的消息是离散的、有限或无限可列的符 号或数字，且一个符号代表一条完整的消息， 号或数字，且一个符号代表一条完整的消息，则称这种信 源为单符号离散信源。 源为单符号离散信源。 单符号离散信源的实例 掷骰子每次只能是1,2,3,4,5,6中的某一个； 中的某一个； 掷骰子每次只能是 中的某一个 天气预报可能是晴、 冰雹…中的 天气预报可能是晴、阴、雨、雪、风、冰雹 中的 一种或其组合以及温度、污染等； 一种或其组合以及温度、污染等； 二进制通信中传输的只是1、 两个数字 等等。 两个数字； 二进制通信中传输的只是 、0两个数字；等等。