最新信息论-第五章教学讲义ppt
《信息论》第五章
=1 3
7
结论:错误概率不仅与信道的统计特性有关,而且与译 结论:错误概率不仅与信道的统计特性有关, 码规则有关. 码规则有关. 我们来定义译码规则 设信道的输入符号集为X =1, 设信道的输入符号集为X={ ai},i =1,2,…,r ; 输出符号集为Y =1, 输出符号集为Y= {bj},j =1,2,…,s. 制定译码规则就是设计一个单值函数F ),它对于 制定译码规则就是设计一个单值函数F(bj),它对于 每一个输出符号b 确定一个唯一的输入符号a 每一个输出符号bj确定一个唯一的输入符号ai与其对应 . F(bj)= ai 即 i =1,2,…,r =1, j =1,2,…,s =1, 种译码规则可供选择. 注:对于同一有噪信道共有 r s 种译码规则可供选择.
15
编码1 编码1:将每个码元重复三次 纠正任一位上的错误 设码字记为 (c8c7c6c5c4c3c2c1c0 ) 由编码方法知
c8 = c7 = c6 c5 = c4 = c3 c2 = c1 = c0
纠错: c c 位出错. 纠错:如果 8 = c6 ≠ c7,则 7位出错.在同一组中以 相同二 — ( ). 元数多的为正确 — — —大数判决法 择多译码"规则 "择多译码"
3×10-4 2×10-2 2.23×10-2 7.8×10-4 3×10-2 × × × × ×
14
错误概率与编码方法
重复发送——大数判决规则 重复发送——大数判决规则 信息数据 000 001 010 011 100 101 110 111 编码1 编码1 000000000 000000111 000111000 000111111 111000000 111000111 111111000 111111111 编码2 编码2 000000000 001001001 010010010 011011011 100100100 101101101 110110110 111111111
信息论第五讲
（3）性质 • 条件熵H(XN|X1X2…XN-1)随着N的增加而递减 证明： H(XN|X1X2…XN-1)≤H(XN|X2…XN-1)（条件熵小于等于无条件熵） = H(XN-1|X1X2…XN-2)（序列的平稳性）
• 若N一定，则平均符号熵大于等于条件熵 HN(X)≥H(XN|X1X2…XN-1) 证明： NHN(X)=H(X1X2…XN) =H(X1)+H(X2|X1)+…+H(XN|X1X2…XN-1) . = H(XN)+H(XN|XN-1)+…+H(XN|X1X2…XN-1) （序列平稳性） ≥NH(XN|X1X2…XN-1) （条件熵小于等于无条件熵） 所以 HN(X)≥H(XN|X1X2…XN-1) • 平均符号熵也随N的增加而递减 证明： NHN(X)= H(X1X2…XN)= H(XN|X1X2…XN-1)+ H(X1X2…XN-1) = H(XN|X1X2…XN-1)+(N-1) HN-1(X)≤HN(X)+ (N-1) HN-1(X) 所以HN(X)≤HN-1(X)， 即序列的统计约束关系增加时，由于符号间的相关性，平均每 个符号所携带的信息量减少。
X x1 x1 , x1 x2 ,, x1 xn ;; xn x1 , xn x2 ,, xn xn
ai xi1 xi2
i1 , i2 1,2,, n
a2 ai an2 X a1 p ( a ) p ( a ) p ( a ) p ( a ) 2 i n2 P ( X ) 1
i1 1 i2 1
3
3
1 0.870(比特 / 符号) p( xi2 / xi1 )
H(X1X2)= H(X1)+ H(X2/X1)=1.542+0.870=2.412(比特/符号)
信息论第5章-1
log m K log m
L
K log m
K log m
22
二元编码：编码效率=编码后的信息传输率
定长编码
基本源编码：
对单个符号X进行编码， X∈{x1 ,x2 ,…, xn}，输入符号 总共有 n 种 若对信源进行定长编码 Ki=K，实现无失真编码 (存在 唯一可译码)的条件——Kraft不等式
码 表 码0 00 01 10 11 码1 0 11 00 11 码2 0 10 00 01 码3 1 10 100 1000 码4 1 01 001 0001
11
信源符号 x1 x2 x3 x4
码的分类
奇异码 → 非唯一可译码
非奇异码中既有唯一可译码也有非唯一可译码
等长码：非奇异 → 唯一可译码 变长码：任意N次扩展码（ N ≥ 1）均为非奇异码
第五章
信源编码
信源编码
5.1 信源编码的定义 5.2 无失真信源编码 5.3 限失真信源编码
5.4 常用信源编码方法简介
2
信源编码
5.1 信源编码的定义 5.2 无失真信源编码 5.3 限失真信源编码
5.4 常用信源编码方法简介
3
信源编码的定义
例：英文电报信源符号X={a,b,c…z,空格符,…}，n=32。数字信道只允 许{0, 1}两种状态的信号，因此为了在数字信道中传输，需要对信源符 号进行编码
i i
i
码元符号/信源符号
L长符号序列编码： K K L L
p(x ) K
i i
Li
L
码元符号 /信源符号
编码后的信息传输率R：编码后平均每个码元传送的 信息量 H L ( X) H(X )
5--第5章信息论课件共47页PPT资料
信 源 编
码字：码符号序列Y=(Y1Y2…Yk…Yki)称为码字。
码长/码字长度： ki称为码字长度或简称码长。
码
编码就是从信源符号到码符号的一种映射。若
要实现无失真编码，这种映射必须是一一对应的，
可逆的。
2020/1/4
14
信息论与 编码
编码的定义
西北大学信息学院
一些码的定义
二元码：码符号集为X={0,1}，所得码字都是一些二元序
西北大学信息学院
第5章
信源编码
2020/1/4
信息论与编码
1
信息论与
编码 CONTENT
西北大学信息学院
第
TEXT
TEXT
五
章
信 源
5.1
5.2
编 编码概念 等长码与
码
等长信源
编码定理
TEXT
TEXT
5.3 变长码
5.4 变长信源 编码定理
2020/1/4
2
信息论与 编码
第 五 章 信 源 编 码
但不能低于符号熵;
第 五
达到这目标的途径就是使概率与码长匹配。
章 统计匹配编码：
信 根据信源的不同概率分布而选用与之匹配的编码,以
源 编
达到在系统中传信速率最小。
码
2020/1/4
12
信息论与
编码 无失真信源编码器
信源
码字
第 五
S:{s1, s2,…, sq}
章
信源编码器
C:{w1, w2,…, wq}
2020/1/4
5
信息论与 编码
(2) 信源编码的概念
西北大学信息学院
第 信源编码定义：指定能够满足信道特性/适合于信道传
信息理论基础第五章课件
r l 2 N ( H ( S ) 2 )
即可以编码得到的码字总数不超过….?
根据MG的下界可知，此时码字的总数小于典型序列数目， 因此典型序列中有一些序列没有码字与之对应。将有码字 对应的信源序列的概率和记为P(β)，它必须满足：
P( ) r l max( p( j ))
编码器可以用下图表示： 信源 编码器 信道
码表 图5-1 信源编码器示意图 信源编码器的输入是信源符号集S={s1,s2,…sq}，共 有q个信源符号。 码表又称码符号集，记为 X={x1,x2,…xr},码符号集 中的元素称为码元或者码符号。 编码器的作用就是将信源符号集中的符号si变成由 li个码符号组成的一一对应的码符号序列，称为码字。 用ωi表示。对应的li称为码字长度或码长。
将信源符号集中的每一个符号都固定地映射成一个 码字，这个的码称为分组码。
与分组码对应的是非分组码，又称为树码。 2.奇异码与非奇异码
定义
若一个分组码中所有的码字都不相同，则称此码为 非奇异码。否则为奇异码。
例子见教材。
3.唯一可译码与非唯一可译码
定义
任意有限长的码元序列，如果只能唯一地分割成一 个个码字，便称为唯一可译码。
p( j ) 2
N H ( S )
p(G ) N H ( S ) MG [1 ( N , )]2 max( p( j ))
下界
对仅仅对典型序列进行编码，要求码字总数rl满足：
r l MG
根据典型序列的个数的上界和下界，得
r l 2 N ( H ( S ) )
i
q
注：上式考虑的是sjk所有不同的取值。 I(sjk)的方差为：
信息论第五讲优秀课件
07.10.2020
2
I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)
H ( Z ) H ( Z /Y ) E lo p ( 1 z ) g E lo p ( z 1 /g y ) E lo p ( p z ( / z ) g y )
I(X ;Z ) I(X ,Y ;Z ) E lo p ( p z (g z /) x ) E lo p (z p g / (z x ) ,y ) Elogpp(z(z//x,xy))
x y z p(x,y,z)lopg p (z(z//x,xy ))
lo xg y z p(x,y,z)pp (z(z//x,xy ))
这是山农信息理论对通信系统模型的一个基本假设。
U
信源
X
编码器
Y
信道
译码器 V
07.10.2020
10
U
X
Y
V
信源
编码器
信道
译码器
这是山农信息理论对通信系统模型的一个基本假设。 根据数据处理定理可以得到：
I(X;V)I(X;Y) I(U;V)I(U;Y) I(U;V)I(X;V)
I(U;V)I(X;Y)
2) 解决的方法是假设其为离散平稳随机序列信源，
极限熵存在，但求解困难；
3) 进一步假设其为m阶Markov信源，其信源熵用极
限熵H m+1近似； 4) 再进一步假设为一阶Markov信源，用其极限熵
H1+1(X2/X1) 来近似； 5) 最简化的信源是离散无记忆信源，
1) 其熵为H(x)=H1 (X); 6) 最后可以假定为等概的离散无记忆信源，
X(X1,X2,...X.n.). V(V1,V2,...V.k.).
信息论基础课件5.1
克拉夫特（ 克拉夫特（Kraft）不等式 ）
m 元长度为 k i , i = 1,2, L , n 的即时码（异前置码） 的即时码（异前置码） 存在的充要条件是： 存在的充要条件是： m − ki ≤ 1 ∑
i =1 n
设即时码的第i个码字的长度为 设即时码的第 个码字的长度为ki 个码字的长度为 构造一个满树图，在第 级共有m 个节点， 构造一个满树图，在第ki级共有 ki个节点，
H( X） R < H( X ) + ε ≤
1
香农第一编码定理给出了码字的平均长度的下界和 上界。但并不是说大于这上界不能构成唯一可译码， 上界。但并不是说大于这上界不能构成唯一可译码， 尽可能短。 而是因为我们总是希望 k 尽可能短。定理说明当平 均码长小于上界时，唯一可译码也存在。也就是说， 均码长小于上界时，唯一可译码也存在。也就是说， 定理给出的是最佳码的最短平均码长， 定理给出的是最佳码的最短平均码长，并指出这个 最短的平均码长与信源熵是有关的。 最短的平均码长与信源熵是有关的。 编码效率为
4
5.1
离散信源编码
5.1.1 码字唯一可译的条件
若码的任意一串有限长的码符号序列只能唯一地被译 成所对应的信源符号序列，则此码称为唯一可译码， 成所对应的信源符号序列，则此码称为唯一可译码， 否则就称为非唯一可译码。 否则就称为非唯一可译码。 非即时码和即时码： 非即时码和即时码： 如果接收端收到一个完整的码字后，不能立即译码， 如果接收端收到一个完整的码字后，不能立即译码， 还要等下一个码字开始接收后才能判断是否可以译码， 还要等下一个码字开始接收后才能判断是否可以译码， 这样的码叫做非即时码。 这样的码叫做非即时码。
11
例题(5.1)：设 ： 例题 信源共有7个符 信源共有 个符 号组成， 号组成，其概率 如表所示， 如表所示， 求其香农码。 求其香农码。
信息论讲义_第五讲
结
平均互信息和各类熵的关系
I ( X ; Y ) H ( X ) H ( X Y ) H (Y ) H (Y X )
I ( X ; Y ) H ( X ) H (Y ) H ( X , Y )
H(X)
H(X|Y)
I(X;Y)
H(Y|X)
H(Y) H(XY)
7
第三章 离散信源
且
p(ai ) P( X ai )
p(ai ) 0 i 1, 2,, q
i 1, 2,, q
p(a ) 1
i 1 i
q
通常q为有限正整数，也可为可数无穷大.
12
3.1.1 信源及其数学模型（续）
扩展的离散信源
实际上的离散信源输出一个随机矢量X。
信源
其中Xi是随机变量
说明： 将常用汉字看成符号集中的每个符号，假设 常用汉字约为10000个。根据出现频率的统计结果， 将这10000个汉字分为四类。
24
3.2 离散无记忆信源（续）
解：根据信源熵的定义
H ( X ) Pi log Pi
i 1 10000
Pi1 log Pi1 Pi2 log Pi2 Pi3 log Pi3 Pi4 log Pi4
def
3. 互信息量：
I(xi ; yj) log
def
p( xi | y j ) p( xi )
4.
条件互信息量：
I ( xi ; y j | zk ) log
1 1 log log p( xi ) p( xi | y j )
自信息量 条件信息量
3.1.1 信源及其数学模型 3.1.2 信源的分类 输出消息的联系 输出消息的时间
信息论基础详细ppt课件
1928年，哈特莱(Hartley)首先提出了用对数度量信
息的概念。一个消息所含有的信息量用它的可能值
香农
的个数的对数来表示。
(香农)信息： 信息是事物运动状态或存在方式的不确定性的描述。 可运用研究随机事件的数学工具——概率来测度不确定性大小。 在信息论中，我们把消息用随机事件表示，而发出这些消息的信 源则用随机变量来表示。
2.1 自信息和互信息
2.1.1 自信息
随机事件的自信息量 I (xi ) 是该事件发生概率 p(xi ) 的函数，并且应该满 足以下公理化条件：
1. I (xi )是 p(xi )的严格递减函数。当 p(x1)p(x2) 时，I(x1)I(x2)，概率 越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大
事件 x i 的概率为p(xi ) ，则它的自信息定义为：
I(xi)d eflogp(xi)logp(1xi)
从图2.1种可以看到上述信息量的定义正 是满足上述公理性条件的函数形式。I (xi ) 代表两种含义：当事件发生以前，等于 事件发生的不确定性的大小；当事件发 生以后，表示事件所含有或所能提供的 信息量。
2．极限情况下当 p(xi )=0时，I(xi)；当 p(xi ) =1时，I (xi ) =0。
3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。
我们把某个消息 x i 出现的不确定性的大小，定义为自信息，用这
个消息出现的概率的对数的负值来表示：I(xi)lop(g xi)
自信息同时表示这个消息所包含的信息量，也就是最大能够给予 收信者的信息量。如果消息能够正确传送，收信者就能够获得这 么大小的信息量。
信息论讲义-第五章(13讲)
信息理论基础第13讲北京航空航天大学201教研室陈杰21.编码器—信源符号集S =(s 1,s 2, …s q )—码符号集X =(x 1,x 2…x r )—代码组(Source Code ) C =(W 1, W 2,…W q )—码字(Codeword ) W i =(x l1,x l2,…x li )2. 分组码—奇异性(Non-singular )—唯一可译性(Uniquely decodable )—即时码(Instantaneous )All codesNon-singular codesUniquely decodable codesInstantaneous codesFigure 5.1. Classes of codes343. 定长编码3.1 唯一可译定长码编码速率编码效率log log L ql N r=≥log 1log q r +>log log L r R qN=≥()()log H S H S R qη=≤例:英文字符数q =27,且log 2q=4.754 bit 信源熵H (S )=4.03 bit ,取编码速率R=log 2q 则编码效率η=85%53. 定长编码3.2 定长码编码定理(1)正定理：(2)逆定理：log ()L rR H S Nε=≥+2[()]i E D I s p N ε≤log ()2L rR H S Nε=≤−12N E p ε−≥−0E p →1E p →63. 定长编码3.2 定长码编码定理根据正定理，令p E <δlog ()L rR H S Nε=≥+2[()]i E D I s p N δε≤<2[()]i D I s N εδ≥()H S Rη=()()H s H s ε≤+[]222()()(1)i D I s N H S ηηδ≥⋅−1()H s ηεη−=75.4 变长码•引入1. 变长码无需很长的码长就能实现高效率的无失真信源编码2.变长码必须是唯一可译码，才能实现无失真编码3.变长码是唯一可译码的充要条件：(1)非奇异码(2)任意有限次扩展码是非奇异码4. 变长码必须即时码85.4.1码的分类和主要编码方法信源编码方法：⑴匹配编码：概率大的信源符号，代码长度短；反之，代码长度长⑵变换编码：从一种空间变换成另一种空间，然后进行编码⑶识别编码：对有标准形状的文字、符号和数据进行编码9定理：设信源符号集为S=(s 1,s 2, …，s q,)，码符号集为X=(x 1,x 2, …x r )，对信源进行编码，代码组C=(W 1,W 2, …W q )，相应码长分别l 1,l 2,…l q ，即时码存在（唯一可译码存在）的充要条件为：11≤∑=−qi l ir10释：(1)克拉夫特(Kraft)不等式为即时码存在充要条件(2)麦克米伦(McMilan )不等式为唯一可译码存在充要条件(3)该定理不能作为判别一种码是否为即时码（唯一可译码）的判据(4)当码字长度和码符号满足该不等式时，必可构造出即时码（唯一可译码）115.4.3 唯一可译码判别准则•唯一可译码：如果一个分组码对于任意有限的整数N ，其N 次扩展码均为非奇异码，则为唯一可译码•唯一可译码的充要条件：（见书上128页）121.码平均长度离散无记忆信源为编码后的码子码字的长度因为是唯一可译码，s i 和W i 一一对应则码字平均长度为[]1212()()()q q s s s S P p s p s p s ⎡⎤=⎢⎥⎣⎦""12,,,qW W W "ql l l ,,,21"()()i i p s p W =11()()q qi i i ii i L p W l p s l ====∑∑13释：(1)是每个信源符号编码需要的平均码符号个数；(2) 编码后，每个信源符号s i 平均用个码符号来表示，平均每个码符号携带的信息量是信道的信息传输率(3) 若传输一个码符号需要t 秒，则每秒传输率为故L L L s H X H R )()(==Ls H R t R t )(1==bit/码符号bit/秒L R t 信息传输率高2.紧致码定义：对于某一个信源和某一码符号集，若有一L个唯一可译码，其平均码长度小于所有其它唯一可译码的平均码长度，则称该码为紧致码（也称最佳码）•释：无失真信源编码核心问题是寻找紧致码14153.定理：（平均码长下界）设离散无记忆信源的信源熵为H (S )，用码符号集进行编码，则存在一种编码方式构成唯一可译码，平均码长满足[]1212()()()q q s s s SP p s p s p s ⎡⎤=⎢⎥⎣⎦""},,,{21q x x x X "=L rS H L r S H log )(1log )(+<≤16释：(1) 的极限值为，即下界；小于下界，则唯一可译码不存在(2) 当选择时，才能达到下界(3) 紧致码平均码长不一定达到下界(4) 达到下界的唯一可译码是紧致码(5) 紧致码最短码长L ()log H S r Llog ()log i i p s l r=−rS H L log )(=174 变长无失真信源编码定理（香农第一定理）定理：设离散无记忆信源其信源熵为H (S )，它的N 次扩展信源为[]1212()()()q q s s s SP p s p s p s ⎡⎤=⎢⎥⎣⎦""1212()()()N N qN q S P p p p αααααα⎡⎤⎡⎤=⎢⎥⎣⎦⎢⎥⎣⎦""18扩展信源熵为H (S N )，码符号集X =(x 1,x 2, …x r )，用X 对S N 编码，则总可以找到一种编码方法，构成唯一可译码，使信源S 中的每个信源符号所需要的码字平均长度满足或rS H N L N r S H N log )(1log )(≥>+)(1)(S H NL N S H r N r ≥>+19当时，则其中，是扩展信源中每个信源符号对应的平均码长式中，是对应的码字长度∞→N )(lim S H N L r N N =∞→rS H N L N N log )(lim =∞→N L i α1()Nq N i ii L p αλ==∑i λi α20释：对于平稳遍历的离散有记忆信源（如马尔可夫信源），有其中，为有记忆信源的极限熵N L N L 原始信源平均码长N次扩展信源编码后每原始信源符号的平均码长≥rH N L N N log lim ∞∞→=∞H5.4.4变长信源编码定理5.编码速率、编码效率、剩余度(1) 编码速率：变长编码的编码速率为 LN R= log r N (2) 编码效率：编码效率定义为H ( S ) NH r ( S ) NH ( S ) = = η= R LN LN log r(3) 剩余度：定长码的剩余度为NH r ( S ) γ = 1 −η = 1 − LN21例题 例5.2 设离散无记忆信源Ss2 ⎤ ⎡S ⎤ ⎡ s1 ⎢ P( S ) ⎥ = ⎢0.75 0.25⎥ ⎣ ⎦ ⎣ ⎦ 对信源S及其扩展信源进行二元变长编码， 求当信源扩展次数N＝2,3,4时的平均码长和 编码效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
将输出 y译 值为码 u(0字 )。
2021/3/12
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
其中d是y与u的Hamming距离。 注意到p/(D-1)<(1-p)。所以 pN(y|u)达到最大，当且仅当y与u的Hamming距离达到最小。 得证。
2021/3/12
15
§5.1 离散信道编码问题
命题 如果每个码字是等概出现的，则最大后验概率准则等价 于最大似然概率准则。
证明
max b(u| y) max q(u)pN(y|u)
（4）过程 (Y1Y2…YN)→(U1’U2’…UN’)→(X1’X2’…XL’)
称为纠错译码。当(X1’X2’…XL’)=(X1X2…XL)时称为正 确译码（实际上就是正确接收）。
2021/3/12
8
§5.1 离散信道编码问题
（5）N比L大得越多，1/DN-L份额越小，码字的分布越 稀疏，信道传输错误不在这1/DN-L份额之内的可能 性越大，即信道传输错误越容易被检测到。但N比L 大得越多，信道传输的浪费越大。
简记率b。(u|y)=P((U1U2…UN)=u|(Y1Y2…YN)=y)。称b(u|y)为后验概 最大后验概率准则：
当b(u(0) | y) maxb(u| y)时， u跑遍所有码字
将输出 y译值为码 u(0)。 字
2021/3/12
10
§5.1 离散信道编码问题
后验概率的计算：记 q(u)=P((U1U2…UN)=u)，称q(u)为先验概率； pN(y|u)=P( (Y1Y2…YN)=y|(U1U2…UN)=u)，我们知道p(y|u)是信
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
（以后将称d为Hamming距离）
2021/3/12
11
§5.1 离散信道编码问题
一些。发送哪个码字的条件下，最可能收到y，就认为发送 的是哪个码字。 最大似然概率准则（最小距离准则）的实现比最大后验概率 准则的实现更简单：前者只需要看哪个码字与y的Hamming 距离最小；后者需要知道各码字的概率分布，然后用贝叶 斯公式计算并比较后验概率。 两种准则都可以用在没有编码（直接发送）情况下的纠错译 码。
2021/3/12
2
§5.1 离散信道编码问题
设信道是一个D元字母输入/ D元字母输出的DMC信道，字母表 为{0, 1, …, D-1}。其信道转移概率矩阵为D×D矩阵如下。
1
p
p
p D 1 1 p
p
D
p
1
D
1
D
1
p D 误的概率定义为
（2）如果精心地设计变换C(X1X2…XL)=(U1U2…UN) 和猜测规则(Y1Y2…YN)→(U1’U2’…UN’)，则正确接 收的概率远远大于(1-p)L。
2021/3/12
7
§5.1 离散信道编码问题
（3）变换 (X1X2…XL)→(U1U2…UN)=C(X1X2…XL)
称为信道编码，又称为(N, L)码。一个事件的变换值 称为该事件的码字。L称为信息长，N称为码长。
12
§5.1 离散信道编码问题
最大似然概率准则
当pN(y|u(0))u跑m 遍a所x有 pN 码 (y字 |u)时， 将输出 y译值 为码 u(0)。 字
(看成转移概率矩阵中的第y列向量中的最大分量)
2021/3/12
13
最小距离准则（最小错误准则）
y与u的Hamming距离定义为(y1y2…yN)与 (u1u2…uN)对应位置值不相同的位数，记为 d(y, u)。
u跑遍所有码字
u跑遍所有码字w(y)
qw (u((y0)))u跑m 遍所 ax有码 pN字 (y|u)
2021/3/12
16
§5.1 离散信道编码问题
对两种译码准则的评述 最大后验概率准则具有很好的直观合理性。收到y的条件下，
最可能发送的是哪个码字，就认为发送的是哪个码字”。 最大似然概率准则（最小距离准则）所具有的直观合理性弱
（6）称R=L/N为编码速率，也称为信息率。（似乎与 信源编码相互倒置？）
（7）注解：“(X1X2…XL)不进行编码”实际上也是一 种编码，称为恒等编码。 此时N=L，事件 x=(x1x2…xL)的码字就是x自身。
2021/3/12
9
§5.1 离散信道编码问题
关于译码准则
译码准则就是猜测规则。当信道的输出值为y时，将其译为哪 个码字u最合理？ 最大后验概率准则
2021/3/12
17
§5.1 离散信道编码问题
例5.1.1 BSC信道的转移概率矩阵为
记w(y)=P((Y1Y2…YN)=y)。我们知道
w(y) q(u) pN (y | u)； u跑遍所有的码字 （全概率公式）
b(u | y) q(u) pN (y | u) w( y)
q(u) pN (y | u) ；
q(c) pN (y | c)
c跑遍所有的码字
（贝叶斯公式）
2021/3/12
信息论-第五章
§5.1 离散信道编码问题
最简单的检错和纠错
单个的字无法检错：扪→？ 词汇能够检错：我扪的→我扪的 词汇能够纠错：我扪的→我们的，我等的，我辈的，
我班的，… 原因分析：“扪→？”可以有几万个答案，但“我扪
的→？”的答案却很少。
结论：课文以及词汇的概率分布的稀疏性可以用来检 错和纠错。
P(输出不等于k|输入为k)= p，k∈{0, 1, …, D-1}。此处p<(1-p)。
2021/3/12
3
§5.1 离散信道编码问题
（1）(X1X2…XL)的事件共有DL个，因此(U1U2…UN) 的事件共有DL个，占N维向量值的份额为 DL/DN=1/DN-L。因此当信道传输错误时，有可能使 输出值(Y1Y2…YN)不在这1/DN-L份额之内。这就是说， 信道传输错误有可能被检测到。