信息论期末复习
信息论复习资料
8、 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收 序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。 三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道 中，最小距离译码准则等效于最大似然译码准则。 9、 保真度准则为：平均失真度不大于允许的失真度。 10、限失真信源编码：有失真信源编码的中心任务，在允许的失真范围内把编码的信息率压缩到最小。
4、线性分组码不具有的性质是（C）
1 / 2 1 / 4 [P XY ] 1 / 12 1 / 6
； [ PY ] [7 / 12 5 / 12] ；
； H (Y ) 7 / 12 log 2 (12 / 7) 5 / 12 log 2 (12 / 5)
I ( X ; Y ) H (Y ) H (Y | X )
对应的剩余度为
1 1
H1 0.811 1 0.189 H0 1 1 1 1 log log 2 2 2 2 H2 0.681 1 0.319 H0 1 1 1 1 log log 2 2 2 2
H ( p1 , p2 , , pL 1 , pL ) pL H (
并说明等式的物理意义
q q1 q2 , , , m ) pL p L pL
14、一阶齐次马尔可夫信源消息集
X∈｛ａ１,ａ２,ａ３｝ ，状态集Ｓ∈｛Ｓ１，Ｓ２，Ｓ３｝且令 Si=ai，
1 4 1 4 1 2 P(aj / S i ) 1 3 1 3 1 3 2 3 1 3 0
信息论复习资料
判断30名词解释4*5计算3道20分第一章1、自信息和互信息P6 公式2、信道P9 概念第二章1、离散平稳信源P18概念2、离散无记忆信源P19概念3、时齐马尔可夫信源P20概念4、自信息P22概念5、信息熵P25概念6、信息熵的基本性质P281)对称性2)确定性3)非负性4)扩展性5)可加性6)强可加性7)递增性8)极值性9)上凸性7、联合熵条件熵P42公式P43例题8、马尔克夫信源P54公式P55例题9、信源剩余度P5810、熵的相对率信源剩余度P5811、课后作业：2、4、13、21、22第三章1、有记忆信道P73概念2、二元对称信道BSC P743、前向概率、后向概率、先验概率、后验概率P764、条件熵信道疑义度、平均互信息P775、平均互信息、联合熵、信道疑义度、噪声熵计算公式P786、损失熵噪声熵 P797、平均互信息的特性P821)非负性2)极值性3)交互性4)凸状性8、信息传输率R P869、无噪无损信道P87概念10、有噪无损信道P88概念11、对称离散信道 P89概念12、对称离散信道的信道容量P90公式张亚威2012/06/20张亚威2012/06/2116、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9第五章1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。
2、 等长码 P172概念3、 等长信源编码定理 P1784、 编码效率 P1805、 克拉夫特不等式 P1846、 香农第一定理 P1917、 码的剩余度 P194第六章1、 最大后验概率准则 最小错误概率准则 P2002、 最大似然译码准则 P2013、 费诺不等式 P2024、 信息传输率（码率） P2055、 香农第二定理 P2156、 课后习题 3、第八章1、 霍夫曼码 最佳码 P2732、 费诺码 P2793、 课后习题 11、第八章1、 编码原则 译码原则 P3072、 定理9.1 P3133、 分组码的码率 P314公式4、 课后习题 3、一、 填空题1、 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。
信息论复习知识点汇总
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。
人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
信息的 可度量性 是建立信息论的基础。
统计度量 是信息度量最常用的方法。
熵 是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
(完整word版)信息论期末复习资料
书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。
因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之，若R>C,则传输总要产生失真。
又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。
故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。
8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念：信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
信息论总结与复习
i 1 k 1
i 1
k 1
结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。
H lN iN 1 m H (X 1 X 2 X N 1 X N ) H (X N 1 |X 1 X 2 X N )
第一部分、信息论基础
1.1 信源的信息理论
[例1] 已知二阶马尔可夫信源的条件概率：
第一部分、信息论基础
1.1 信源的信息理论
（4）序列信息熵的性质：
《1》条件熵不大于无条件熵，强条件熵不大于弱
条件熵：H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ …
…… ≥H (XN|X1X2……XN-1)
《2》条件熵不大于同阶的平均符号熵:
HN ≥H (XN|X1X2……XN-1)
[例3]求对称信道
P00..32
0.3 0.2
0.2 0.3
00..23的信道容量。
解：C =log4-H(0.2,0.3,0.2,0.3)
=2+(0.2log0.2+0.3log0.3)×2 = 0.03 bit/符号；
第二部分、无失真信源编码
2.1 信源编码理论
第二部分、无失真信源编码
1.1 信源编码理论:
稳态方程组是：
QQ((EE32
) )
0.2Q(E1 0.6Q(E2
) )
0.6Q(E3 ) 0.2Q(E4 )
Q(E4 ) 0.4Q(E2 ) 0.8Q(E4 )
Q(E1) Q(E2 ) Q(E3 ) Q(E4 ) 1
第一部分、信息论基础
1.1 信源的信息理论
可解得：
Q (E1 )
[例5] 以下哪些编码一定不是惟一可译码？写出每 种编码克拉夫特不等式的计算结果。
信息论与编码复习期末考试要点
30
1
1
2 W1
2W3
W1
Wi pij Wj
i
1 4W1
13W2
3 4
W3
15W4
W2
W3
2 3
W2
4 5
W4
W4
W1 W2 W3 W4 1
• 稳态分布概率
W 1 3 3 5 , W 2 3 6 5 , W 3 1 2 3 3 3 6 5 5 ,1 3 W 3 6 4 5 1 4 7 4 3 6 5 1 5 7 4 3 9 5
14
三、互信息
• 互信息
• 定义为 xi的后验概率与先验概率比值的对数
I(xi;yj)lo2gp(p x(ix|iy)j)
• 互信息I(xi;yj)：表示接收到某消息yj后获得 的关于事件xi的信息量。
15
平均互信息
• 平均互信息定义
I ( X ; Y ) H ( X ) H ( X |Y ) H ( Y ) H ( Y |X )
I(X ； Y ) H (X ) H (Y )
38
• 2）无嗓有损信道 –多个输入变成一个输出(n＞m)
p(bi | aj ) 1或0
p(ai
|
bj
)
1或0
• 噪声熵H(Y|X) ＝ 0 • 损失熵H(X|Y) ≠ 0
I(X ； Y )H (Y )H (X )
Cm axI(X ;Y )m axH (Y ) p(a i) 39
加密
y 信道编码
k 加密 密钥
z
信
解密 密钥
道 z'
信宿 v
信源解码
x' 解密
y'
信道解码
信息论复习题期末答案
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。
信息论 总复习
等概率分布
设 B {b1，b2 , , bs } 等概率分布, 应由P ( x )保证
（3）对称离散信道容量
当 P( x) 等概率分布时
' C log s H ( p1'，p2， ，ps' ) bit / 符号
（4）准对称离散信道容量
C log r H ( p ，p ， ，p )
3、有噪信道编码定理 定理6.5 有噪信道编码逆定理
设离散无记忆信道 [ X , P ( y | x ), Y ], 其 信道容量为C。当信息传输率 R>C , 则无论码长n多长，总也找不到一种 编码（M 2nR，n) ，使译码错误概率任 意小。
第9章信道的纠错编码
1、线性分组码 生成矩阵G、校验矩阵H、伴随式译码 2、循环码
2、最大似然译码准则
则选择译码函数 F (b ) a 的条件应满足
j
P ( b j | a) P ( b j | a i )
PE P(ai )P
X
(i ) e
3、有噪信道编码定理 定理6.4 （有噪信道编码定理） P 设离散无记忆信道 [ X , P ( y | x ), Y ] ，( y | x ) 为其信道传递概率，其信道容量为C。当 信息传输率R<C 时；只要码长n足够长， M ( 2 nR ) 总可以在输入符号集中找到 ( 2 nR , n) 和相应的 个码字组成的一组码 译码规则，使译码的错误概率任意 小 ( PE 0) 。
N
称 H 为平稳信源的极限熵或熵率。
第三章离散信道及其信道容量
1、单符号离散信道的数学模型 a1 b1 a2 b2
X
ar
P (b j | a i )
信息论期末复习
i 1 求出p(ai ) 求出p(a ) 若 p(a ) 0则C就是所求的信道容量，否则重新计算 i i 求出p(a i )
i 1
a) 由p1(b j ) 1 p(ai ) p(/b j i / ai ) i i
n
n
求出p(ai )
22
离散无记忆扩展信道及其信道容量
23
若输入符号的先验概率非等概率分布，则采用最小错误概 率准则可以使平均错误概率达到最小。
译码函数的选择方法：计算信道的联合概率矩阵，F(bj)应该译成 联合概率矩阵第j列概率最大的那个元素对应的信源符号。 平均错误概率的计算方法：按列计算，即把联合概率矩阵每列的 错误概率相加，再对各列相加。
51Leabharlann 诺不等式29按噪声的统计特性
高斯信道 白噪声信道 高斯白噪声信道 有色噪声信道 乘性信道 加性信道
按噪声对信号的作用
30
连续信道与波形信道的信息传输率
基本连续信道的平均互信息
连续信道平均互信息的特性
31
32
连续信道与波形信道的信道容量
单符号高斯加性信道的信道容量
限带高斯白噪声加性波形信道的信道容量
独立并联信道及其信道容量
数据处理定理、信息不增性原理
24
信源与信道的匹配
25
第四章 波形信源与波形信道
连续信源的差熵
26
两种特殊连续信源的差熵
均匀分布
高斯分布
27
差熵的性质
28
具有最大差熵的连续信源
信息论复习要点总结(word文档良心出品)
自信息量：Harta p Nat a p bit a p a I i i e i i )(log )(log )(log )(102-=-=-=联合信息量：)(log )(2j i j i b a p b a I -=条件信息量：)/(log )/(2j i j ib a p b a I -=互信息量:)](/)/([log );(2i j i j i a p b a p b a I =信息的熵：∑=-=ni i i a p a p X H 12)(log )()(条件熵：∑∑==-=m j ni i j j i a b p b a p X YH 112)/(log )()/(联合熵：∑∑==-=m j ni j i j i b a p b a p XY H 112)(log )()(平均互信息量：)](/)/([log )();(112j mj ni i j j i b p a b p b a p X Y I ∑∑===马尔可夫信源问题： 1.n 元m 阶马尔科夫信源共有n m个稳定状态。
2. 用∑==mni i j i j s s p s p s p 1)/()()(和1)(1=∑=mni i s p 求各状态)(i s p ；3.极限熵：)/(log )/()(11i j ni nj i j i s s p s s p s p Hmm∑∑==∞-=4. 冗余度：0/1H H ∞-=ξ (H0表示等概分布信源的熵，2进制时为1)变长编码定理：m X H K m X H 22log /)(log /)(1≥>+信道容量问题：n 表示输入符号数，m 表示输出符号数。
bit/sign 无噪信道1（一一对应）信道容量：n C 2log =无噪信道2（一对多）信道容量：n C 2log =无噪信道3（多对一）信道容量：m C 2log = 对称信道（行列均可排列）信道容量：)..(log 212m q q q H m C-=当输入X 等概分布时，输出Y 也等概分布，此时达到信道容量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章 信源与信息熵
信息量
自信息量 联合自信息量 条件自信息量
1 I ( xi ai ) log p( xi ) log p( xi )
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
逆定理：信道容量C是可靠通信系统传信率 R 的上边界，如果 R > C ，就不可能有任何 一种编码能使差错概率任意小。
6.2.2最优译码与最大似然译码
消息组mi 编码器 码字ci 信道 接收码r 译码 估值
ˆ ci
消息 还原
消息
ˆ mi
最佳译码，也叫最大后验概率译码(MAP)
ˆ c i max P(c i / r )
联合熵和条件熵的性质
1.
平均互信息的性质
对称性
2.
3.
与熵和条件熵及联合熵关系
非负性
4.
5.
极值性
凸性函数性质
6.
信息不增性原理
I ( X ;YZ ) I ( X ;Y ) I ( X ; Z / Y )
离散序列信源的熵
离散有记忆信源的序列熵和消息熵
结论1 结论2 结论3 结论4
最大似然译码( MLD)
ˆ c i max P(r / c i )
BSC信道的最大似然译码可以简化为最小 汉明距离译码。 由于BSC信道是对称的，只要发送的码字 独立、等概，汉明距离译码也就是最佳译 码。
线性分组码
G、G’、 H、 C、dmin、t、d 、S-E 缩短码、扩展码 汉明码（完备码）
循环码
g(x) 、 h(x) 系统循环码 ｍ(x) 、 g(x) 、 r(x) 、 c(x)关系 G、G’、 H、 C、dmin、t、d 、S-E
第7章 加密编码
加密编码的基础知识 数据加密标准DES 公开密钥加密法
密码学的基本概念：
明文、密文、加密、解密、破译、密钥、密码 体制 保密性、真实性 对称密钥体制、非对称密钥体制
最大熵定理
• 限峰功率最大熵定理：对于定义域一定 的随机变量X，当它是均匀分布时具有 最大熵 限平均功率最大熵定理：对于相关矩阵 一定的随机变量X，当它是正态分布时 具有最大熵
1 H c ( X ) log 2 e log( 2e 2 ) 2
2
•
冗余度，表示给定信源在实际发出消息时所 包含的多余信息。
信源编码、信道编码和加密编码来实现。
Shannon三大极限定理是：
无失真信源编码
定理 、 信道编码定理 、 限失真信源编码
定理
信源描述与分类 信源的基本特性是具有随机不确定性 分类——离散信源和连续信源 无记忆：单符号无记忆信源 符号序列的无记忆信源 有记忆：符号序列的有记忆信源 符号序列的马尔可夫信源
定义
H L (X) K
为编码效率，编码效率总是小于1，且最佳 编码效率为
H L ( X) , 0 H L ( X)
单个符号变长编码定理：若离散无记忆信源 的符号熵为H(X)，每个信源符号用m进制码 元进行变长编码，一定存在一种无失真编码 方法，其码字平均长度满足下列不等式
m
i 1
n
－Ki
1
无失真的信源编码定理
定长编码定理 变长编码定理
K是定值 且惟一可译码 码长K是变化的
根据信源各个符号的统计特性，如概率大的 符号用短码，概率小的用较长的码，使得编 码后平均码长降低，从而提高编码效率。 （统计匹配）
定长编码定理说明，
K L logm LH L (X) H (X)
C’
通信系统模型
U
信源
信源 编码
M
C
加密
K
信道 V 编码
干扰 信道 信道 译码
信宿
信源 译码
解密
噪声
I(U;V)=H(U) I(M;C)=0 I(M;KC)=H(M)
H(M|C)
H(M) I(M;C) H(C)
离散信源
连续信源
R(D)
0
D
Dmax
D
0
Dmax
D
信息率失真曲线
第5章 信源编码
信源 编码 信道 编码 干扰 信道 信宿 信源 译码 解密 信道 译码 噪声
信源
加密
编码分为信源编码和信道编码，其中信源 编码又分为无失真和限失真。
一般称
无失真信源编码定理为第一极限定理；
信道编码定理（包括离散和连续信道）称为第
第1章 绪论
信息是具体信号与消息的内涵，是信号
载荷的内容，是消息描述的对象
信号是信息在物理表达层的外延 消息是信息在数学表达层的外延
通信系统的模型
信源 信源 编码 加密 信道 编码 干扰 信道 信源 译码 信道 译码 噪声
信宿
解密
通常，可将信息与通信中的基本问题归纳为
三性：有效性、可靠性和安全性。分别通过
n 1
,,
) n 1
二进制对称信道容量
C＝1－H（）
准对称DMC信道容量
C log n H ( p1' , p2' , p s ' ) N k log M k
k 1 r
连续信道及其容量
限时限频限功率加性高斯白噪声信道
信道的容量
PS C WT log(1 ) N 0W
H c ( X ,Y ) Hc
(Y / X )
p X ,Y ( x, y ) logp X ,Y ( x, y )dxdy p X ,Y ( x, y ) logpY ( y / x)dxdy
H c ( X , Y ) H c ( X ) H c (Y / X ) 互信息 I ( X ; Y ) I (Y ; X ) H c ( X ) H c ( X / Y ) H c ( X ) H c (Y ) H c ( X , Y ) H c (Y ) H c (Y / X )
信源编码的基础是信息论中的两个编码定理：
无失真编码定理 限失真编码定理
∆无失真编码只适用于离散信源 ∆对于连续信源，只能在失真受限制的情况下进行限
失真编码
非分组码 码 分组码 奇异码 非唯一可译码 非奇异码 唯一可译码 非即时码
即时码(非延长码)
唯一可译码存在的充分和必要条件 各码字的长度Ki 应符合克劳夫特不等式：
能获得最佳码的编码方法主要有：
香农（Shannon） 费诺（Fano） 哈夫曼（Huffman）等
进行哈夫曼编码时，为得到码方差最小的码， 应使合并的信源符号位于缩减信源序列尽可 能高的位置上，以减少再次合并的次数，充 分利用短码。
哈夫曼码是用概率匹配方法进行信源编码。
哈夫曼码的编码方法保证了概率大的符
j
) log p( x i , y j )
平均互信息量
I ( X ;Y ) I ( Y ; X ) H( X ) H( X / Y ) H( Y ) H( Y / X ) H ( X ) H ( Y ) H ( X ,Y )
熵的性质 对称性 非负性 确定性 香农辅助定理 最大熵定理
码字所能携带的信息量大于信源序列输出 的信息量，则可以使传输几乎无失真，当 然条件是L足够大。
反之，当 K < H L (X ) 时，不可能构成无失真的 编码，也就是不可能做一种编码器，能使收 端译码时差错概率趋于零。
K H L (X ) 时，则为临界状态，可能无失真，
也可能有失真。
在连续信源的情况下，由于信源的信息量趋 于无限，显然不能用离散符号序列来完成无 失真编码，而只能进行限失真编码。
马尔可夫信源
当信源的记忆长度为m+1时，该时刻发出的 符号与前m个符号有关联性，而与更前面的 符号无关。
马氏链极限熵
H ( X ) p( s i )H ( X / s i )
i
连续信源的熵与互信息
幅度连续的单个符号信源熵
相对熵 联合熵 条件熵 Hc (X )
p X ( x) log p X ( x)dx
二极限定理；
限失真信源编码定理称为第三极限定理。
由于信源符号之间存在分布不均匀和相关性， 使得信源存在冗余度，信源编码的主要任务 就是减少冗余，提高编码效率。
信源编码的基本途径有两个：
使序列中的各个符号尽可能地互相独立， 即解除相关性；
使编码中各个符号出现的概率尽可能地相 等，即概率均匀化。
单符号离散信源熵
H ( X ) p( x i ) log p( x i )
i
符号熵
条件熵
H ( X / Y ) p( y j ) p( x i / y j ) log p( x i / y j )
i,j
联合熵 H ( XY )
p( x , y
i i,j
单位时间的信道容量
PS C C t lim W log(1 )bit / 秒 T T N 0W
香农公式
第4章 信息率失真函数
信息率失真函数的物理意义是： 对于给定信源，在平均失真不超过失真限度D的 条件下，信息率容许压缩的最小值R（D）。
R(D)是非负的实数，即R(D) 0。其定义域为0～
当L H ( X ) lim H L ( X ) lim H ( X L / X 1 , X 2 , X L1 )