解释最小错误概率译码准则,最大似然译码准则,最小距离译码准则
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论复习资料
8、 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收 序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。 三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道 中，最小距离译码准则等效于最大似然译码准则。 9、 保真度准则为：平均失真度不大于允许的失真度。 10、限失真信源编码：有失真信源编码的中心任务，在允许的失真范围内把编码的信息率压缩到最小。
4、线性分组码不具有的性质是（C）
1 / 2 1 / 4 [P XY ] 1 / 12 1 / 6
； [ PY ] [7 / 12 5 / 12] ；
； H (Y ) 7 / 12 log 2 (12 / 7) 5 / 12 log 2 (12 / 5)
I ( X ; Y ) H (Y ) H (Y | X )
对应的剩余度为
1 1
H1 0.811 1 0.189 H0 1 1 1 1 log log 2 2 2 2 H2 0.681 1 0.319 H0 1 1 1 1 log log 2 2 2 2
H ( p1 , p2 , , pL 1 , pL ) pL H (
并说明等式的物理意义
q q1 q2 , , , m ) pL p L pL
14、一阶齐次马尔可夫信源消息集
X∈｛ａ１,ａ２,ａ３｝ ，状态集Ｓ∈｛Ｓ１，Ｓ２，Ｓ３｝且令 Si=ai，
1 4 1 4 1 2 P(aj / S i ) 1 3 1 3 1 3 2 3 1 3 0
信息理论与编码-期末试卷A及答案
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
信息论复习资料
判断30名词解释4*5计算3道20分第一章1、自信息和互信息P6 公式2、信道P9 概念第二章1、离散平稳信源P18概念2、离散无记忆信源P19概念3、时齐马尔可夫信源P20概念4、自信息P22概念5、信息熵P25概念6、信息熵的基本性质P281)对称性2)确定性3)非负性4)扩展性5)可加性6)强可加性7)递增性8)极值性9)上凸性7、联合熵条件熵P42公式P43例题8、马尔克夫信源P54公式P55例题9、信源剩余度P5810、熵的相对率信源剩余度P5811、课后作业：2、4、13、21、22第三章1、有记忆信道P73概念2、二元对称信道BSC P743、前向概率、后向概率、先验概率、后验概率P764、条件熵信道疑义度、平均互信息P775、平均互信息、联合熵、信道疑义度、噪声熵计算公式P786、损失熵噪声熵 P797、平均互信息的特性P821)非负性2)极值性3)交互性4)凸状性8、信息传输率R P869、无噪无损信道P87概念10、有噪无损信道P88概念11、对称离散信道 P89概念12、对称离散信道的信道容量P90公式张亚威2012/06/20张亚威2012/06/2116、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9第五章1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。
2、 等长码 P172概念3、 等长信源编码定理 P1784、 编码效率 P1805、 克拉夫特不等式 P1846、 香农第一定理 P1917、 码的剩余度 P194第六章1、 最大后验概率准则 最小错误概率准则 P2002、 最大似然译码准则 P2013、 费诺不等式 P2024、 信息传输率（码率） P2055、 香农第二定理 P2156、 课后习题 3、第八章1、 霍夫曼码 最佳码 P2732、 费诺码 P2793、 课后习题 11、第八章1、 编码原则 译码原则 P3072、 定理9.1 P3133、 分组码的码率 P314公式4、 课后习题 3、一、 填空题1、 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。
错误概率、译码规则和有噪信道编码定理
通信过程的可靠性可以用传输的错误概率来衡量。
错误概率（误码率）：接收端收到错误码字的概率。
常用平均译码错误概率表示。
∑=j j j e y e p y p P )|()(译码规则： 设计一个函数F(y j )，该函数对于每一个输出符号y j 确定一个唯一的输入符号x j *与其对应，即：},,,{;,,2,1,)(21r j j j x x x x s j x y F ∈==**∑∑*-==j j j j j j j e y x p y p y e p y p P )]|(1)[()|()(平均错误概率为：最大后验概率译码准则（最佳译码准则）：把每个输出符号译成具有最大后验概率的那个输入符号，使得信道的平均错误概率最小。
即选择译码函数,)(*=j j x y F **≠≥ji j i j j x x y x p y x p ),|()|(使得最大似然译码准则：已知信道的前向传递概率的情况下，把每个输出符号译成具有最大前向传递概率的那个输入符号。
即选择译码函数,)(*=j j x y F **≠≥j i i j j j x x x y p x y p ),|()|(使得∑∑∑∑∑--*==-==Y x X i j i Y x X ji YjY X j i Yj j e x y p x p y x p y x p y x p y e p y p P *,*,,)|()()()()()|()(平均错误概率为：问题：如何降低错误概率？l改变译码规则；l改变输入符号的概率分布，也就是进行信道编码。
然而，信道编码降低了传输的错误概率，代价是信息传输率的降低。
给定信道容量为C的离散无记忆信道[X, P(y|x), Y]，其中P(y|x)为信道传递概率。
当信息传输率R<C时，只要码长n足够长，总可以在输入X n符号集中找到M（=2nR）个码字组成的一组码（2nR, n）和相应的译码规则，使译码的平均错误概率任意小（P E→0）。
信息理论与编码-期末试卷A及答案
信息理论与编码-期末试卷A及答案⼀、填空题（每空1分，共35分）1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
信息论的基础理论是，它属于狭义信息论。
2、信号是的载体，消息是的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的⾃信息量为 bit ，此信源的熵为 bit/符号。
4、某离散⽆记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P =???和12340.5122X x x x x w=，则其信源熵和加权熵分别为和。
5、信源的剩余度主要来⾃两个⽅⾯，⼀是，⼆是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输⼊有关，⽽与过去输⼊⽆关的信道称为信道。
8、马尔可夫信源需要满⾜两个条件：⼀、；⼆、。
9、若某信道矩阵为010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为和。
11、信源编码的概率匹配原则是：概率⼤的信源符号⽤，概率⼩的信源符号⽤。
（填短码或长码）12、在现代通信系统中，信源编码主要⽤于解决信息传输中的性，信道编码主要⽤于解决信息传输中的性，保密密编码主要⽤于解决信息传输中的安全性。
13、差错控制的基本⽅式⼤致可以分为、和混合纠错。
14、某线性分组码的最⼩汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。
15、码字1、0、1之间的最⼩汉明距离为。
16、对于密码系统安全性的评价，通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径，包括⽆条件安全性、和。
20、时间戳根据产⽣⽅式的不同分为两类：即和。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
信息论课后习题答案
第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。
答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。
信道容量C 是保证无差错传输时，信息传输率R 的权限值。
6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。
表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。
6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。
6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。
()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。
但并非概念定义一致。
6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。
1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。
（2）若信源等概分布，求最佳判决译码及错误概率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解释最小错误概率译码准则，最大似然译码准则，最小距离译码准则
【题目】解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。
【解答】
最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。