(完整版)信息论第五章答案
5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LK X H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制费诺码：香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度1K ； (3) 求对应于一个码字的信源序列的平均长度2K ； (4) 计算12K K ，并计算编码效率； (5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长K ，并计算编码效率。
解：（1）满足Kcraft 不等式：122821491=+⨯=--=-∑i K i；由码树图可见，没有一个码字是其它码字的前缀，码字均在树的终结点。
所以码字可分离。
数字符号信源符号/.6935911==∑=i i i L p K（3） 数字符号/.bit L p K i ii70862912='=∑=（4）信源符号/.bit K K 4756012=, 此值表示无记忆二元信源采用游程长度编码后每个二元信源需要的平均码长。
信源符号/.)(log )()(bit x p x p X H i i 469021i 2==∑=，%./)(69812==K K X H η（5）4位信源符号的联合概率、Huffman 编码及码长如下表：（码字可以不同，但码长一样） 801234567011111111000000%.)(/./,/.)(29549260449702141614======∑=KX H Symbit K K Sym bit L s p K i i i η5.6 有二元平稳马氏链，已知p (0/0) = 0.8，p (1/1) = 0.7，求它的符号熵。
用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率。
解：平稳时马尔科夫状态的概率：⎩⎨⎧=+-+=17018010100)()()().()(.)(S P S P S P S P S p 解得：⎩⎨⎧==525310/)(/)(S P S p 一阶马氏信源的熵：sym bit S S P S Sp S p H j i j i jii /.log log log )|(log )|()(7860725732535251422212111=--+-=-=∑∑==+701130102001800052153023121321.)|(,.)|(,.)|(,.)|(,/)(,/)()|()|()()(=================S S p S S p S S p S S p S p S p S S p S S p S p S S S p%.//.)()()()(14903361621253271253250952502125021125124250491251231254811191====+⨯+++⨯++⨯+⨯==+=∑K H sym bit L s p K i i i η11010101100111000011110006/2509/25021/25021/25024/25024/25049/25096/25015/25036/25045/25060/25094/250154/2500000001111115.7 对题5.6的信源进行游程编码。
若“0”游程长度的截止值为16，“1”游程长度的截止值为8，求编码效率。
解：一阶马氏信源的熵同上题，sym bit H /.786011=+ 二元平稳一阶记忆序列“0”游程的长度概率：∑∞=-=>=⎪⎩⎪⎨⎧=10001500110000011515321i i l ii i l i lp l l p p p l p )(,...,,)(///二元平稳一阶记忆序列“1”游程的长度概率：∑∞=-=>=⎪⎩⎪⎨⎧=111171110111111177321i i l i i i l i l p l l p p p l p )(,...,,)(///“1”游程长度的熵：信源符号/.2),()(log )(log )(log log )(log log )(log )(log log )(log log )(log log )(log log ][log ][][log ][][/////////////////////////////////////////////bit p p H p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p pl p p pp p p pp pp p l p l p l p l p l H i i i i i i i i i i i l l l l l il l l l l i i i l i i 696111111171111110117111121171111102711711271111211711111127111027117112711711111111210111027117171127111127110111110210111717112711101112101117171127111211121111111111111=--=-----=----+--=-∂∂⋅⋅---=----=--=--=-=∑∑∑∑∑∑=-==--=--=∞=同理，“0”游程长度的熵：信源符号/.),()(][////bit p p H p p l H i 48331101000015000=--= 分别对“0”和“1”游程序列进行Huffman 编码，并分别计算出它们的编码效率。
数字符号信源符号/.)())(()())(()()()()()(5113517654312517654312171651514132150013019060302000111500130110017014010120010130120010011502007012004012000111612=+++++++++=+++++++++=+++++++++++++++==∑=p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p L p L i i i %.././][199951134833200===L l H i η“1”游程序列的长度、对应得概率、Huffman 编码的二元码长及码字：数字符号二元码字/.)())((////////'73241432171121111411102111110812=++++++==∑=p p p p p p p p K p K i i i%.../][75987326962211===K l H i η %....][][/][/][][][111019973251136962483322000=++=++=++=∴K L l H l H l H l H l H l H i i i i i i ηηη 可见满足10ηηη>>，这里的“0”游程编码效率高，因为游程长度长，而“1”游程编码效率受游程的长度限制显得比“0”游程编码效率略低一些，因此整体的编码效率介于两者之间。
信息论-第五章PPT课件
（以后将称d为Hamming距离）
2020/6/1
.
11
§5.1 离散信道编码问题
将(U1U2…UN)输入信道； 信道的输出为(Y1Y2…YN)； 再根据(Y1Y2…YN)的值猜测出输入信道的值(U1’U2’…UN’)，
并根据变换式
(U1’U2’…UN’)=C(X1’X2’…XL’) 将(U1’U2’…UN’)反变换为(X1’X2’…XL’)。 如果(X1’X2’…XL’)=(X1X2…XL)，则正确接收。
2020/6/1
.
6
§5.1 离散信道编码问题
（1）(X1X2…XL)的事件共有DL个，因此(U1U2…UN) 的事件共有DL个，占N维向量值的份额为 DL/DN=1/DN-L。因此当信道传输错误时，有可能使 输出值(Y1Y2…YN)不在这1/DN-L份额之内。这就是说， 信道传输错误有可能被检测到。
{0, 1, …, D-1}。
将此随机变量序列切割成L维随机向量准备输入 信道：
(X1X2…XL), (XL+1XL+2…X2L), …。
2020/6/1
.
4
§5.1 离散信道编码问题
如果直接将(X1X2…XL)输入信道，信道的输出 为(X1’X2’…XL’)，则
①当信道传输错误时无法检测到（即接收方无 法确知是否正确接收）。
第五章：信道编码定理
§5.1 离散信道编码问题 §5.2~3 离散信道编码定理
信息论第5章-1
log m K log m
L
K log m
K log m
22
二元编码：编码效率=编码后的信息传输率
定长编码
基本源编码：
对单个符号X进行编码， X∈{x1 ,x2 ,…, xn}，输入符号 总共有 n 种 若对信源进行定长编码 Ki=K，实现无失真编码 (存在 唯一可译码)的条件——Kraft不等式
码 表 码0 00 01 10 11 码1 0 11 00 11 码2 0 10 00 01 码3 1 10 100 1000 码4 1 01 001 0001
11
信源符号 x1 x2 x3 x4
码的分类
奇异码 → 非唯一可译码
非奇异码中既有唯一可译码也有非唯一可译码
等长码：非奇异 → 唯一可译码 变长码：任意N次扩展码（ N ≥ 1）均为非奇异码
第五章
信源编码
信源编码
5.1 信源编码的定义 5.2 无失真信源编码 5.3 限失真信源编码
5.4 常用信源编码方法简介
2
信源编码
5.1 信源编码的定义 5.2 无失真信源编码 5.3 限失真信源编码
5.4 常用信源编码方法简介
3
信源编码的定义
例：英文电报信源符号X={a,b,c…z,空格符,…}，n=32。数字信道只允 许{0, 1}两种状态的信号，因此为了在数字信道中传输，需要对信源符 号进行编码
i i
i
码元符号/信源符号
L长符号序列编码： K K L L
p(x ) K
i i
Li
L
码元符号 /信源符号
编码后的信息传输率R：编码后平均每个码元传送的 信息量 H L ( X) H(X )
信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案 第二章错误!未定义书签。
2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：状态图如下 状态转移矩阵为：设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3由1231WP W W W W =⎧⎨++=⎩得1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭状态图为：设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4有411i i WP W W ==⎧⎪⎨=⎪⎩∑得13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息； (2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量； (4)两个点数之和（即2,3,…,12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息量。
信息论与编码陈运主编答案完整版
信息论与编码陈运主编答案完整版信息论与编码课后习题答案详解试问四进制、⼋进制脉冲所含信息量是⼆进制脉冲的多少倍？解：四进制脉冲可以表⽰4 个不同的消息，例如：{0, 1, 2, 3}⼋进制脉冲可以表⽰8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} ⼆进制脉冲可以表⽰ 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ ⼋进制脉冲的平均信息量H X( 2) = log n = log8 = 3 bit symbol/⼆进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/所以：四进制、⼋进制脉冲所含信息量分别是⼆进制脉冲信息量的 2 倍和3 倍。
居住某地区的⼥孩⼦有25%是⼤学⽣，在⼥⼤学⽣中有75%是⾝⾼160厘⽶以上的，⽽⼥孩⼦中⾝⾼160厘⽶以上的占总数的⼀半。
假如我们得知“⾝⾼160厘⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？解：设随机变量X 代表⼥孩⼦学历X x1（是⼤学⽣）x2（不是⼤学⽣）P(X)设随机变量Y 代表⼥孩⼦⾝⾼Y y1（⾝⾼>160cm）y2（⾝⾼<160cm）P(Y)已知：在⼥⼤学⽣中有75%是⾝⾼160 厘⽶以上的即：p y( 1 / x1) = bit求：⾝⾼160 厘⽶以上的某⼥孩是⼤学⽣的信息量p x p y( 1) ( 1 / x1 ) log ×=bit即：I x( 1 / y1 ) =log p x( 1 / y1 ) = log =p y( 1 )⼀副充分洗乱了的牌（含52张牌），试问 (1) 任⼀特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52 张牌共有 52！种排列⽅式，假设每种排列⽅式出现是等概率的则所给出的信息量是：p x ( i ) =I x ( i ) =?log p x ( i ) = log52!= bit(2) 52 张牌共有 4 种花⾊、13 种点数，抽取 13 张点数不同的牌的概率如下：p x ( i ) =C 5213413I x ( i ) = ?log p x ( i ) = ?logC 5213 = bit设离散⽆记忆信源P X (X ) = x 31 /=80x 2 =1 x 3 = 2 x 4 = 3??，其发出的信息为 1/4 1/4 1/8 ?(202032)，求(1) 此消息的⾃信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是：p = ??3??14 ×?? 1 ??25 ×??1??6 ?8?48此消息的信息量是：I =?log p = bit(2) 此消息中平均每符号携带的信息量是：I n / = 45 = bit从⼤量统计资料知道，男性中红绿⾊盲的发病率为7%，⼥性发病率为%，如果你问⼀位男⼠：“你是否是⾊盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问⼀位⼥⼠，则答案中含有的平均⾃信息量是多少？解：男⼠： p x ( Y ) = 7%I x ( Y ) = ?log p x ( Y ) = ? = bit p x ( N ) = 93%I x ( N ) = ?log p x ( N ) = ? = bit H X () p x ( )log p x ( ) bitsymbol /i⼥⼠：H X () p x ( )log p x ( )bit symbol /P X ( )H(X) > log6不满⾜信源熵的极值性。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论答案完整版
/8
⎥ ⎦
，其发出的消息为(202
120
130
213
001
203 210 110 321 010 021 032 011 223 210)，求：
(1) 此消息的自信息是多少？
(2) 在此消息中平均每个符号携带的信息量是多少?
解：（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。因
在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并 形成一门独立的分支——纠错码理论。
1959 年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源 编码定理。从此，发展成为信息率失真编码理论。
香农 1961 年的论文“双路通信信道”开拓了网络信息论的研究。 现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地 渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。
I (a4
=
3)
=
− log
P(a4 )
=
− log
1 8
=
log2
8=3(比特)
此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自
信息是
I = 14I (a1 = 0) +13I (a2 = 1) +12I (a3 = 2) + 6I (a4 = 3) ≈ 14×1.415 +13× 2 +12× 2 + 6× 3 ≈ 87.71(比特)
此，此消息的自信息就等于各个符号的自信息之和。则可得：
I
(a1
=
《信息论、编码与密码学》课后习题答案
（3）两个码字之间的最小距离等于任何非零码字的最小重量，即
设 ，即 ， ， ， ，
首先证明条件（1）：
， ， ， ， ， ，
很明显，条件（1）是满足的。条件（2）也是显然成立的。
最后证明条件（3）：
不难看出最小距离 ，并且最小重量 ，即
综上，三个条件都满足，那么 就是一个线性码，它的最小距离是2。
0.01
1111
该信源的熵为：
每个组的平均比特数为:
故该码的效率为：
(3)依题意，把符合每三个分成一组，再重新应用霍夫曼编码算法，得:
编码表格如下：
符号对
概率
自信息
码字
0.1250
2.7090
100
0.1000
3.3223
0000
0.1000
3.3223
0001
0.1000
3.3223
110
0.0800
12）这是一个线性码？
解：（1） =
=
=
=
=
=
=
=
此矩阵生成的码为：{00000，01010，10011，11001，10100，11110，00111，01101}
（2）
又在二元情况下，
奇偶校验矩阵可写为：
(4该码的标准阵列
（5）奇偶校验矩阵H的第1、3列的和为零向量，
因此，这个码的最小距离为：d*=2。
3.6443
011
0.0800
3.6443
0100
0.0800
3.6443
0101
0.0640
3.9662
0011
0.0250
5.3223
信息论与编码理论基础(第五章)
2012-5-10
8
(N, L)分组码的纠错译码 分组码的纠错译码 分组码的
译码器根据收到的N 长码段y=(Y1Y2…YN)和编码规则，对发送 的M=2L个可能的信息段｛xm=(X1X2…XL)｝中的哪一个作出判 纠错译码。 决，这样的一个通信过程y→xm’=(X1’X2’…XL’)称为纠错译码 纠错译码 译码是编码的反变换，也是一种映射，若与码段y=(Y1Y2…YN) 对应的信息段是xm，经过通信过程判为xm’，则： 若xm’=xm，则正确译码; 若xm’≠xm，发生译码错误。 译码错误概率（误组率）： 译码错误概率（误组率）： Pe = Pr {m ' ≠ m} 接收y的译码错误概率： 接收 的译码错误概率： Pe ( y ) = Pr {m ' ≠ m | y} 的译码错误概率
规则
2012-5-10 4
一般来说，引入监督码元越多，码的检错、纠 错能力越强，但信道的传输效率下降也越多。 人们研究的目标是寻找一种编码方法使所加的 监督码元最少，而检错、纠错能力又高且又便 于实现。
信息码元k 监督码元r 纠正发 现
规则
2012-5-10 5
通信过程
{Xm} 信源 信道编码 器 纠错编码器 调制器 {Um} 信道 {Ym} 信道译码 器 纠错译码器 解调器 {Xm‘} 信宿
对特定的接收序列y， 对特定的接收序列 ， 等 Ω( y ) = Q (m ) P ( y | 选择 使得 转移成 xm ) 使得m’转移成 选择m‘使得 m =1 y的概率不小于其它任 的概率不小于其它任 Q (m ') P ( y | xm ' ) ≥ Q (m ) P ( y | xm ) ∀m '的概率 意消息转移为y的概率 意消息转移为 ≠ m
信息论习题集+答案(完版整)
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66）8、连续信源 （68）9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138） 16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181） 19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184） 22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195） 25、循环码 （213） 二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论与编码第五章
ai 101111
j 111100
D( i , j ) 3
再定义，由0，1构成的二进制码C中，任意两个码字的汉明
距离的最小值称为该码C的最小距离，即：
Dmin min{ D(ci , c j )}
ci c j
ci , c j c
c(A) {000,111}
c(B) :{000,011,101,110} c(C) :{000,001,100,010}
左： H ( pE )
pE
log(r
1)
pE
log
1 pE
(1
1 pE ) log 1 pE
pE
log(r 1)
pE
log
r 1 (1 pE
1 pE ) log 1 pE
s r
r 1 s
1
p(aibj ) log
j1 i*
pE
j 1
i *
p(ai
bi
)
log
1
pE
右： H(x |
§5.1 译码规则和平均错误概率
信源符号编码后经信道传输到达信道的输出端并不表 示通信过程的终结，还要经过一个译码过程，或称判决过 程，才能到达消息的终端（信宿），因此，采用什么样的 译码规则，对通信系统的可靠性影响很大。
0 p 1/ 3
0
p
2/3
1
1
p
p(a 0 | b 0) p(a 1| b 1) p 1 3
s j 1
r i*
p(aibj
)
log
r 1 pE
s j 1
i*
p(ai
bi
)
log
1
1 pE
s j 1