第5章_离散信道及其信道编码
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
编码理论(第二版)(田丽华)-第5章
第5章 信道编码原理
(1)信道按其输入／输出信号在幅度和时间上的取值是离 散或连续来划分,可分成三类，分别是数字信道 (DigitalChannel)或离散信道(DiscreteChannel)、模拟信道 (AnalogChannel)或波形信道(WaveformChannel)和连续信道 (ContinuousChannel)。
b1
a1 p(b1 a1)
P a2 p(b1 a2 )
b2
p(b2 a1)
p(b2 2 )
bs p(bs a1) p(bs a2 )
（5－2）
ar p(b1 ar ) p(b2 ar ) p(bs ar )
第5章 信道编码原理
式中：0 p(bj ai ) 1,i 1,2,...,r; j 1,2,...,s; 且
第5章 信道编码原理
(3)信道按其输入/输出信号之间的关系是否是确定关系 来划分，可分为有噪声信道和无噪声信道。一般来讲，信道输 入与输出之间的关系是一种统计依存关系，而不是确定关系。 这是因为信道中总存在某种程度的噪声。在某些情况下，若信 道中的噪声与有用信号相比很小可以忽略不计，则这时的信道 可以理想化为具有确定关系的无噪声信道。
(2)信道按其输入/输出之间关系的记忆性来划分,可分为 无记忆信道和有记忆信道两类。如果信道的输出只与信道该时 刻的输入有关而与其他时刻的输入无关，则称此信道是无记忆 的；反之,如果信道的输出不但与信道现时刻的输入有关，而 且还与以前时刻的输入有关，则称此信道为有记忆的，实际信 道一般都是有记忆的。信道中的记忆现象来源于物理信道中的 惯性元件,如电缆信道中的电感电容、无线信道中电波传布的 衰落现象等。
第5章 信道编码原理
因信道的输入有r种不同的输入符号，输出有s种不同的输
信道编码的概念
10/30
二进制信道：当码字 C 和接收向量 R 均由二元序列表示 时，称编码信道为二进制信道。 C=(C0,C1,…,Cn-1), Ci∈{0,1} R=(R0,R1,…,Rn-1), Ci∈{0,1} 描述二进制信道输入输出关系或噪声干扰程度的是转移概 率p(R/C)。
无记忆二进制信道：对任意的n都有 则称为无记忆二进制信道。 无记忆二进制对称信道/BSC/硬判决信道：无记忆二进制 信道的转移概率又满足 p(0/1)=p(1/0)=pb，称为无记忆二 进制对称信道(见下页)。
编码信道：
无线通信中的发射机、天线、自由空间、接收机等的全体； 有线通信中的如调制解调器、电缆等的全体； Internet 网的多个路由器、节点、电缆、底层协议等的全体； 计算机的存储器（如磁盘等）的全体。
码字C 信道编码 编码信道 接收向量R 信道译码 消息m’
消息m
编码信道
2012/5/31
码序列中的信息序列码元与多余码元之间是相关的；
信道译码器利用这种预知的 编码规则译码。检验接收到 的数字序列 R 是否符合既定的 规则，从而发现 R 中是 否有错，或者纠正其中的差错； 根据相关性来检测和纠正传输过程中产生的差错就是信 道编码的基本思想。
13/30
2012/5/31
码元的组成及其它们之间的关系
混合纠错(HEC)：是FEC与ARQ方式的结合。发送端发送同时具有 自动纠错和检测能力的码组，接收端收到码组后，检查差错情况， 如果差错在码的纠错能力以内，则自动进行纠正。如果信道干扰很 严重，错误很多，超过了码的纠错能力，但能检测出来，则经反馈 信道请求发端重发这组数据。 信息反馈(IRQ)：接收端把收到的数据，原封不动地通过反馈信道 送回到发端，发送端比较发的数据与反馈来的数据，从而发现错误， 并且把错误的消息再次传送，直到发端没有发现错误为止。
《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社
信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特 所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式） 或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
信息论-第五章
将输出值 y译为码字 u(0)。
2024/10/2
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
记w(y)=P((Y1Y2…YN)=y)。我们知道
w( y) q(u) pN ( y | u)； u跑遍所有的码字 （全概率公式）
b(u | y) q(u) pN ( y | u) w( y)
q(u) pN ( y | u) ；
q(c) pN ( y | c)
c跑遍所有的码字
（贝叶斯公式）
一些。发送哪个码字的条件下，最可能收到y，就认为发送 的是哪个码字。 最大似然概率准则（最小距离准则）的实现比最大后验概率 准则的实现更简单：前者只需要看哪个码字与y的Hamming 距离最小；后者需要知道各码字的概率分布，然后用贝叶 斯公式计算并比较后验概率。 两种准则都可以用在没有编码（直接发送）情况下的纠错译 码。
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
（以后将称d为Hamming距离）
2024/10/2
11
§5.1 离散信道编码问题
C40
p0 (1
p)4
C41
p1 (1
p)3
1 2
C42
p2 (1
信息论与编码理论习题答案全解
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
第五章 编码定理 PPT课件
S2 0.18
S3 0.1
S4 S5 0.1 0.07
S6 0.06
S7 0.05
S8 0.04
可以求得H(S)=2.5524比特/符号及方差
（2 S） 7.82
若 信 可要源见设求符，译编号差码码序错差效列率错率长与N为（ 为度编2：1必码9SH00）H须效%-(26NS2(（(，2S满率7)S.)1S)8H即足要0）2H-(26S2：求(0(S7)S.2.)0并N)88（.72292不.10S8H0）.2高21H0可-(268S20.(79(S2时7).S解8.6))821，可2得001必解.620088.须得792.18N0把021可.820118解H0600.H82-(得26个S28(1(S)0S符)8) 0号.02.8208.792.821可
当 N→∞时，由④式得： N 2
r M
→1ex0p( N2N(无S2绝))对大应部的分码在字，A译中码的一序定列出已错
在N→∞时，由①式得 P(A ) →1 P( Ac ) 0
全部序列几乎都落入 A 集，且无对应的码字，故译
码错误概率趋于1。完成逆定理的证明。
第五章 编码定理
第五章 编码定理
3、变换编码 特点：将原来的信号空间变换为另外一个空间。 如Fourier（傅里叶）变换、Haar（哈尔）变换、
Walsh-Hadamard（阿达玛）变换（简称DWHT）、 Slant变换、Cosine变换、Sine变换、 Hotelling 变换等 4、识别编码 特点：关联识别（与样本比较识别），逻辑识别 （利用逻辑表达式判断识别）。
aN A
aN A
M exp[(H (S) )N ]
P(A ) P(aN ) M min P(aN )
第五章信道编码
上海第二工业大学冯涛编写
17:18:27
3、单用户信道和多用户信道 单用户信道：信道只有一个输入端和一个输出端，且只能 进行单方向的通信。 多用户信道：又称多端信道，输入端或者输出端至少有一 端具有两个或者两个以上用户，并且可以实现双向通信，目 前大多数信道都是多端信道。 4、离散信道、连续信道、半离散半连续信道和波形信道 离散信道：又称数字信道，该类信道中输入空间、输出空 间均为离散时间集合，集合中事件的数量是有限的，或者无 限的，随机变量取值都是离散的。 波形信道：也称为时间连续信道，信道输入、输出都是时 间的函数，而且随机变量的取值都取自连续集合，且在时间 上的取值是连续的。
17:18:27
信道(information channels)
X={X0,X1,X2… Xn-1}含n 个元素的输入符号集
Y={y0,y1,y2…ym-1}含m个 元素的输出符号
n与m的值不同，信道模型不同
9
上海第二工业大学冯涛编写
17:18:27
信道的数学模型： {X P(Y/X) Y}
x
P(Y/X)
由于长途线路是无法传送近似于0的分量，即：在计算机 的远程通信中，是不能直接传输原始的电脉冲信号（基带信 号）。因此就需要利用频带传输，用基带脉冲对载波波形的 某些参量进行控制，使这些参量随基带脉冲变化，这就是调 制。经过调制的信号称为已调信号。已调信号通过线路传输 到接收端，然后经过解调恢复为原始基带脉冲。
Y
输入与输出之间一般不是确定的函数关系，而是统计 依赖的。
10
上海第二工业大学冯涛编写
17:18:27
5.1 信道分类 1、有线信道和无线信道 有线信道：明线、对称电缆、同轴电缆及光缆等。 无线信道：地波传播、短波电离层反射、超短波或微波视 距中继、人造卫星中继以及各种散射信道等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5
“信息论与编码”课件
5.1 信道的分类及其描述
（5）信道按其统计特性来划分， 恒参信道：信道的统计特性不随时间变化，又称为平 稳信道。 变参信道：信道的统计特性随时间变化。
本章只讨论平稳的单向单路的无扰和有扰离散 信道，对于有扰离散信道将分别讨论无记忆和 有记忆两种情况。
log 2568000 8000 × log 256 = 64 kbps Ct = = T
这就是传送PCM信号需要的信道容量。
东南大学移动通信国家重点实验室
13
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 一般地，若每个信道基本符号的长度为b秒，每 秒钟内信道上可传送的信道基本符号数为n，则 n =1/b；T秒钟内信道上可构成的不同消息数为 N(T)=D nT，其中nT为T 秒钟内信道上可传送的 信道基本符号数。于是 Ct = nlb D bps (5.6) 如果不以秒而是以一个码元的时间作为标准， 则 C = Ct / n = lb D bit/码元时间 (5.7)
(5.8)
式中第1行的××⋅⋅⋅××表示除a1外的D – 1个信道基本符号的 全排列，其余类推。利用递推的方法或其他方法可得 C = lb rmax bit /单位码元时间 其中rmax是N (T)的特征方程 (5.9)
(5.10) 的最大正实根。 从物理概念考虑（脉冲间隔T）lbD/T
东南大学移动通信国家重点实验室
(a )
东南大学移动通信国家重点实验室
21
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 推广之，设从状态 i 到状态 j 发的符号为 a ，所 k ak b 用的时间为 ij ，则 (a ) (a ) ，b11 b11 —从状态1到状态1，有两种可能：b11 (a ) (a ) b21 —从状态2到状态1，有两种可能： b21 ，b21 (a ) (a ) b12 ，b12 b12 —从状态1到状态2，有两种可能： b22 —从状态2到状态2，无此可能。 根据表5.1，有
lbN (T ) C t = lim T →∞ T
东南大学移动通信国家重点实验室
(5.5)
10
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
定义5.2 信道基本符号是指信道上允许 传送的符号，是信源编码器的输出。
例如：二进制信道只有1、0两个基本符号； 多进制信道有多个基本符号，如16进制信道 包括0~ F 这16种基本符号。
东南大学移动通信国家重点实验室
7
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念 消息在无扰离散信道上传输不会损失信息量， 所以在这种信道上的信息传输速率就等于信源 的时间熵，即 Rt = Ht bit/s (5.1) 平均互信息量实质上就是量纲为比特/码元（或 比特/符号、比特/符号序列等）的信息传输速 率。如果改变其时间单位，则有 1 (5.2) Rt = I ( X; Y) t
东南大学移动通信国家重点实验室
14
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 2. 无固定约束的不均匀编码信道的信道容量 无固定约束的不均匀编码信道的基本符号 是等幅的不等长脉冲，用脉冲占有时间的不同 来携带信息。
东南大学移动通信国家重点实验室
15
“信息论与编码”课件
t为1码元（或符号、符号序列等）所占用的时间，主 单位为s。
8
东南大学移动通信国家重点实验室
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
信道容量概念
消息在不失真传输的条件下，信道所允许的最 大信息传输速率称为信道容量，即 C = Rmax。 当单位为b/s（bps）时，C变换为Ct ，有 Ct = Rt max (5.3)
东南大学移动通信国家重点实验室
9
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.1 基本概念
信道容量和信道中传输的消息数目之间的 关系
对无扰情况，信道传输的信息量就是信源发出 的信息量，若在T时间内信源发出的符号总数为 N(T)，则
lbN (T ) Ct ≈ T
(5.4)
若消息之间是统计独立的，则对于平稳来自源，有( a1 ) ( a2 ) ( a1 ) ( a2 ) N 2 (T ) = N1 (T − b11 ) + N1 (T − b11 ) + N 2 (T − b21 ) + N 2 (T − b21 )
(5.12) 式中 N 1 (T − b12 3 ) 表示在T时间内发的最后一个符号 是a3并使状态从状态1改变到状态2的各种可能消息的总 数，而a3用的时间为b12；其余类推。
17
r
− t1
+r
−t2
++ r
−tD
−1 = 0
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量 3. 有固定约束的不均匀编码信道的信道容量
假如编码不满足遍历性，即由转移不受限制变为转移 受限制，传输它的信道就成为有固定约束的不均匀编 码信道。 传输莫尔斯（Morse）电码的信道是一种典型的有固 定约束的不均匀编码信道，下面通过对它的分析来看 这种信道的信道容量。
东南大学移动通信国家重点实验室
18
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
例5.3 电报员发报用Morse电码；Morse电码由点、划、字 母间隔和单词间隔四种基本符号构成，见表5.1，表中的 “＋”表示按键合上，“－”表示按键断开，分别相应于 发声与不发声状态；试求Morse信道的信道容量。
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
例5.2 求传输脉冲时间调制信号的信道容量。
解 求信道容量，主要是求在T 时间内能构成的不同消息总
数N(T)。 若以最窄的脉冲作为单位码元而其他脉冲的宽度都是它的 倍数，则PTM脉冲宽度量化为有限种信道基本符号。 设有D种信道基本符号，分别为：a1, a2, …, aD ；对应的占 用时间分别为：t1, t2, …, tD ；选取时间T 能够遍历D种信道 基本符号，则在T 内可能构成的符号总数N (T)是D种信道 基本符号的全排列，有如下表达式：
“信息论与编码”课件
第五章 离散信道及其信道编码
东南大学移动通信国家重点实验室
1
“信息论与编码”课件
本章内容提要
信道的分类及其描述 无扰离散信道的传输特性 有扰离散信道的传输特性 译码准则 有扰离散信道的信道编码定理 信道编码定理的应用 Fano不等式的证明
东南大学移动通信国家重点实验室
东南大学移动通信国家重点实验室
16
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
(续)
N (T ) = a1 × × × × + a 2 × × × × + + a D × × × × = × × × × × a1 + × × × × × a 2 = N (T − t1 ) + N (T − t 2 ) + + N (T − t D ) + + × × × × × aD
基本符号 构成 点 划 ＋－ ＋＋ ＋－ 持续时间 具体实现 t1 =2 t2 =4 t3 =3 t4 = 6 清脆响一短声 响一长声，声长三倍点 3个单位码元时间不发声 6个单位码元时间不发声
字母间隔 ――― 单词间隔 ――――――
表5.1 Morse电码的构成表
东南大学移动通信国家重点实验室
19
2
“信息论与编码”课件
5.1 信道的分类及其描述
信道模型
X
信道{P(y/x)}
Y
图5.1 信道模型 图中X为信道的输入消息集合，也称为信道的输入 空间，Y为信道的输出消息集合，也称为信道的输出 空间。集合{P(y|x)}是描述信道特征的传输概率集合。
东南大学移动通信国家重点实验室
3
“信息论与编码”课件
东南大学移动通信国家重点实验室
4
“信息论与编码”课件
5.1 信道的分类及其描述
（3） 信道按输入/输出信号间的关系是否确定来划分， 无扰信道：信道输入/输出之间的关系是一种确定的关系，这 是一种理想化的信道，信道上不存在噪声及干扰。无扰信道 是一种理想信道，可以作为衡量其他信道特性的参考。 有扰信道：信道输入/输出之间的关系是一种统计依存的关系， 信道上存在干扰或噪声，或两者都有。实际的通信信道几乎 都是有扰信道。 （4） 信道按其输入/输出之间关系的记忆性来划分， 无记忆信道：在某一时刻信道的输出消息仅与当时的信道输 入消息有关，而与前面时刻的信道输入或输出消息无关。信 道的统计特性可以用信道传输概率的集合{P(y|x)}来描述。 有记忆信道：在任意时刻信道的输出消息不仅与当时的信道 输入消息有关，还与以前时刻的信道输入消息和（或）输出 消息有关。实际信道一般都是有记忆的。
a1
状态1
a2
a3 a4 a1 a2
状态2
图5.2 例5.3的状态转移图
20
东南大学移动通信国家重点实验室
“信息论与编码”课件
5.2 无扰离散信道的传输特性
5.2.2 典型无扰离散信道的信道容量
先求在时间T内从状态1转移到状态2或从状态1、2转移 到状态1的各种可能消息的总数目，分别用N1(T)和N2(T) ( a3 ) ( a4 ) 表示。则 N1 (T ) = N1 (T − b12 (5.11) ) + N1 (T − b12 )