信息论与编码课程设计

信息论与编码课程设计
信息论与编码课程设计

信息论与编码课程设计报告设计题目:判断唯一可译码、香农编码

专业班级电信12-03

学号 311208000607

学生姓名曹琳

指导教师成凌飞

教师评分

2015年 3月21日

目录

一、设计任务与要求 (2)

二、设计思路 (2)

三、设计流程图 (3)

四、程序运行及结果 (4)

五、心得体会 (6)

参考文献 (7)

附录:源程序 (8)

一、设计任务与要求

通过本次课程设计的练习,使学生进一步巩固信源熵、信源编码的基本原理,掌握具体的编码方法,熟悉编程软件的使用,培养学生自主设计、编程调试的开发能力,同时提高学生的实践创新能力。

1、判断唯一可译码

利用尾随后缀法判断任意输入的码是否为唯一可译码,即设计一个程序实现判断输入码组是否为唯一可译码这一功能。

2、香农编码

熟悉运用香农编码,并能通过C语言进行编程,对任意输入消息概率,利用香农编码方法进行编码,并计算信源熵和编码效率。

二、设计思路

1、判断唯一可译码

在我们学习使用了克劳夫特不等式之后,知道唯一可译码必须满足克劳夫特不等式。但是克劳夫特不等式仅仅是存在性的判定定理,即该定理不能作为判断一种码是否为唯一可译码的依据。也就是说当码字长度和码符号数满足克劳夫特不等式时,则必可以构造出唯一可译码,否则不能构造出唯一可译码。因此我们必须找到一种能够判断一种码是否为唯一可译码的方法,尾随后缀法。

尾随后缀法算法描述:

设C为码字集合,按以下步骤构造此码的尾随后缀集合F:

(1) 考查C中所有的码字,若Wi是Wj的前缀,则将相应的后缀作为一个尾随后缀放入集合F0中;

(2) 考查C和Fi两个集合,若Wj∈C是Wi∈Fi的前缀或Wi∈Fi 是Wj∈C 的前缀,则将相应的后缀作为尾随后缀码放入集合Fi+1

(3)F包含于Fi即为码C

(4) 若F中出现了C中的元素,则算法终止,返回假(C不是唯一可译码);否则若F中没有出现新的元素,则返回真。

在我们设计的算法中,需要注意的是我们需要的是先输出所有尾随后缀的集合,然后再判断该码是否是唯一可译码,即如F中出现了C中的元素,则C不是唯一可译码,否则若F中没有出现新的元素,则C为唯一可译码。而不是F中出

现C中的元素就终止,这也是在本题的要求中需要注意的问题。

2、香农编码

香农第一定理指出了平均码长与信源之间的关系,同时也指出了可以通过编码使平均码长达到极限值,这是一个很重要的极限定理。香农第一定理指出,选择每个码字的长度Ki满足下式:

I(xi)≤K﹤I(xi)+1,

就可以得到这种码。这种编码方法就是香农编码。

香农编码法有重要的理论意义。编码步骤如下:

(1)将信源消息符号按其出现的概率大小依次排列:

p(x1)≥p(x2)≥···≥p(xn)

(2)确定满足下列不等式整数码长Ki:

-log2p(xi)≤Ki<-log2p(xi)+1

(3)为了编成唯一可译码,计算第i个消息的累加概率;

(4)将累加概率Pi变成二进制数;

(5)取Pi二进制数的小数点后Ki位即为该消息符号的二进制码字。三、设计流程图Array

1、判断唯一可译码

其框图如下:

2、香农编码

其框图如下:

四、程序运行及结果

1、判断唯一可译码

其运行结果如下图所示:

2、香农编码

其运行结果如下图所示:

五、心得体会

这次信息论与编码的程序设计,对于我来说是一个挑战。课程设计是培养学生综合运用所学知识,发现问题、提出问题、分析问题和解决问题的过程,锻炼学生的逻辑思维能力和实践能力,是对学生实际工作能力的具体训练和考察过程。在整个课程程序中,我们充分应用和调用各个程序模块,从而部分实现了此次程序设计的所应该有的功能。就是我在课程设计是比较成功的方面,而在这个过程中,让我感觉收获最大的就是我们都能利用这次课程设计学到很多我们在课本上没有的知识,充分的发挥了我们的主动性,使我们学会了自主学习,和独立解决问题的能力。这次的程序软件基本上运行成功,可以简单的输入进行压缩,并且运用简单的数字告诉程序的操作者下一步该如何进行,使得程序规模相对较小,即功能还不很全面,应用也不很普遍。

总而言之,这次数据结构课程设计让我们感触很深,使我们每个人都了解到学习不应该只局限于课本,因为课本上告诉我们的只是很有限的一部分,只是理论上的死知识,所涉及的范围也是狭窄的。我们若想在有限的范围内学习到无限的知识,就要我们自己懂得争取,懂得自学,懂得充分利用身边的任何资源。

在我们的程序中有一部分查找许多该方面的资料,我竭力将所获得的信息变成自己的资源。我动手上机操作的同时,在了解和看懂的基础上对新学的知识进行改进和创新,但是在我们的程序软件中还有很多的不足,需要加以更新。通过这次课程设计,我们都意识到了自己动手实践的弱势,特别是在编程方面,于是我们知道了计算机的实践操作是很重要的,只有通过上机编程才能充分的了解自己的不足。

通过这次的课程设计,我们深刻意识到自己在学习中的弱点,同时也找到了克服这些弱点的方法,这是在此活动中得到的一笔很大的财富。同时也感谢老师给我们这次机会,发现自身存在的缺点与不足,从而在以后的大学生活中更好的提升和完善自我。

参考文献

[1]曹雪虹.信息论与编码[M]. 北京:清华大学出版社,2009.2

[2]河南理工大学概率论与数理统计教研组.概率论与数理统计[M]. 北京:高等教育出版社,2013.4

[3]贾宗璞.C语言程序设计[M].北京:北京邮电大学出版社,2010

附录:源程序

1、判断唯一可译码

#include

#include

#include

struct strings

{

char *string;

struct strings *next;

};

struct strings Fstr, *Fh, *FP;

//输出当前集合

void outputstr(strings *str)

{

do

{

cout<string<

str = str->next;

}while(str);

cout<

}

inline int MIN(int a, int b)

{ return a>b?b:a; }

inline int MAX(int a, int b)

{ return a>b?a:b; }

#define length_a (strlen(CP))

#define length_b (strlen(tempPtr))

//判断一个码是否在一个码集合中,在则返回0,不在返回1 int comparing(strings *st_string,char *code)

{

while(st_string->next)

{

st_string=st_string->next;

if(!strcmp(st_string->string,code))

return 0;

}

return 1;

}

//判断两个码字是否一个是另一个的前缀,如果是则生成后缀码

void houzhui(char *CP,char *tempPtr)

{

if (!strcmp(CP,tempPtr))

{

cout<<"集合C和集合F中有相同码字:"<

<

<<"不是唯一可译码码组!"<

exit(1);

}

if (!strncmp(CP, tempPtr, MIN(length_a,length_b)))

{

struct strings *cp_temp;

cp_temp=new (struct strings);

cp_temp->next=NULL;

cp_temp->string=new char[abs(length_a-length_b)+1];

char *longstr;

longstr=(length_a>length_b ? CP : tempPtr);//将长度长的码赋给longstr //取出后缀

for (int k=MIN(length_a,length_b); kstring[k - MIN(length_a,length_b)]=longstr[k];

cp_temp->string[abs(length_a-length_b)]=NULL;

//判断新生成的后缀码是否已在集合F里,不在则加入F集合

if(comparing(Fh,cp_temp->string))

{

FP->next=cp_temp;

FP=FP->next;

}

}

}

void main()

{

//功能提示和程序初始化准备

cout<<"\t\t唯一可译码的判断!\n"<

struct strings Cstr,*Ch, *CP,*tempPtr;

Ch=&Cstr;

CP=Ch;

Fh=&Fstr;

FP=Fh;

char c[]="C :";

Ch->string=new char[strlen(c)];

strcpy(Ch->string, c);

Ch->next=NULL;

char f[]="F :";

Fh->string=new char[strlen(f)];

strcpy(Fh->string, f);

Fh->next=NULL;

//输入待检测码的个数

int Cnum;

cout<<"输入待检测码的个数:";

cin>>Cnum;

cout<<"输入待检测码"<

for(int i=0; i

{

cout<

char tempstr[10];

cin>>tempstr;

CP->next=new (struct strings);

CP=CP->next;

CP->string=new char[strlen(tempstr)] ;

strcpy(CP->string, tempstr);

CP->next = NULL;

}

outputstr(Ch);

CP=Ch;

while(CP->next->next)

{

CP=CP->next;

tempPtr=CP;

do

{

tempPtr=tempPtr->next;

houzhui(CP->string,tempPtr->string);

}while(tempPtr->next);

}

outputstr(Fh);

struct strings *Fbegin,*Fend;

Fend=Fh;

while(1)

{

if(Fend == FP)

{

cout<<"是唯一可译码码组!"<

exit(1);

}

Fbegin=Fend;

Fend=FP;

CP=Ch;

while(CP->next)

{

CP=CP->next;

tempPtr=Fbegin;

for(;;)

{

tempPtr=tempPtr->next;

houzhui(CP->string,tempPtr->string);

if(tempPtr == Fend)

break;

}

}

outputstr(Fh);//输出F集合中全部元素}

}

2、香农编码

#include

#include

#include

#include

class T

{

public:

T() {}

~T();

void Create();

void Coutpxj();

void Coutk();

void Coutz();

void Print();

protected:

int n;

double *p;

double *pxj;

int *k;

double *mz;

};

void T::Create()

{

cout<<"请输入信源符号个数:";

cin>>n;

p=new double[n];

cout<<"请分别输入这"<

for(int i=0;i

cin>>p[i];

pxj=new double[n];

k=new int[n];

mz=new double[n];

double sum=0.0;

for(i=0;i

sum+=p[i];

if(sum!=1.0)

throw 1;

else

{

for(i=0;i

{

int k=i;

for(int j=i+1;j

if(p[k]

double m=p[i];

p[i]=p[k];

p[k]=m;

}

}

}

T::~T()

{

delete p;

delete pxj;

delete k;

delete mz;

}

void T::Coutpxj()

{

pxj[0]=0;

for(int i=1;i

{

pxj[i]=0;

for(int j=0;j

pxj[i]+=p[j];

}

}

void T::Coutk()

{

for(int i=0;i

{

double d=(-1)*(log(p[i])/log(2));

if(d-(int)d>0) k[i]=(int)d+1;

else k[i]=(int)d;

}

}

void T::Print()

{

cout<<"Xi"<

<

<

<

<

for(int i=0;i

{ cout<<"X"<

<

<

mz[i]=pxj[i];

for(int j=0;j

{

if(2*mz[i]-1>=0)

{

cout<<1;

mz[i]=2*mz[i]-1;

}

else

{

cout<<0;

mz[i]=2*mz[i];

}

}

cout<

}

double K=0.0,H=0.0,Y;

for(i=0;i

{

K+=(double)p[i]*k[i];

H+=(-1)*p[i]*(log10(p[i])/log10(2.0));

}

Y=H/K;

cout<<"平均码长:"<

cout<<"信源熵:"<

cout<<"编码效率:"<

}

void main()

{

T t;int e;

try

{

t.Create();

t.Coutpxj();

t.Coutk();

t.Print();

}

catch(int e)

{if(e==1) cout<<"输入错误,请重新运行";} }

答案~信息论与编码练习

1、有一个二元对称信道,其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号,并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑,10秒钟内能否将这消息序列无失真地传送完? 解答:消息是一个二元序列,且为等概率分布,即P(0)=P(1)=1/2,故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量=14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为: 信道容量(最大信息传输率)为: C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为: Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量=10× Rt ≈ 1.288×104比特 可见,此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量,故从信息传输的角度来考虑,不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布,且有如下两个信道,其转移概率矩阵分别为: 试求这两个信道的信道容量,并问这两个信道是否有噪声? 3 、已知随即变量X 和Y 的联合分布如下所示: 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答:(1)由信道1的信道矩阵可知为对称信道故C 有熵损失,有噪声。(2)为对称信道,输入为等概率分布时达到信道容量无噪声

信息论与编码理论习题答案

信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章 信息量和熵 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速 率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信息 量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点数之和, Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子,试求: (1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。 解: bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间: * (3)信源空间: bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴++ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格内,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格内。 (1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。 解: ! bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士:“你是否是红绿色盲”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士,则她的答案中含有多少平均信息量 解:

信息论与编码试题集与答案(新)

1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 (√ ) 2. 线性码一定包含全零码。 (√ ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 (√ ) 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 (√ ) 8. 信道容量是信道中能够传输的最小信息量。 (×) 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方 法叫做最佳译码。 (√ )

信息论与编码习题参考答案

bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为:每帧图像的熵是:每个像素的熵是:,由熵的极值性: 由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是:量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数,如下:先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得: 的算术平均值的函数,函数的平均值小于变量由凸函数的性质,变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n

信息论与编码课后习题答案

1. 有一个马尔可夫信源,已知p(x 1|x 1)=2/3,p(x 2|x 1)=1/3,p(x 1|x 2)=1,p(x 2|x 2)=0,试画出该信源的香农线图,并求出信源熵。 解:该信源的香农线图为: 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前,先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程:)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2.设有一个无记忆信源发出符号A 和B ,已知4 341)(.)(= =B p A p 。求: ①计算该信源熵; ②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率; ③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。 解:①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码技术复习题2

《信息论与编码技术》复习题(2) 一、(32分)综合概念题 1. 什么是系统码和典型矩阵?写出常用的典型生成矩阵的两种形式。 2. 根据平均互信息定义的信道容量是指: a. 信道固定时的最大平均互信息; b. 信道固定时的最小平均互信息; c. 信源固定时的信道的最小平均互信息; d. 信源固定时的信道的最大平均互信息。 3. 什么是离散平稳信源? a. 任意两个不同时刻随机矢量的各维概率分布都相同; b. 任意两个不同时刻随机矢量的各维概率分布都不相同; c. 任意两个不同时刻随机矢量的各维概率密度函数都相同; d. 任意两个不同时刻随机矢量的各维概率密度函数都不相同。 4. 设计一个信道容量为22 kbit/s 的电话信道,若信道上的信号与噪声的平均功率比值为20 dB ,请问该信道的通频带应该为多少? 5. 设信源有q 个符号,则当信源 分布时熵最大,其最大值为 。 6. 当信道固定时,平均互信息是输入分布的 函数;当信源固定时,平均互信息是信道转移概率的 函数。 7. 信源编码是通过压缩信源冗余度来提高 ,而信道编码是增加冗余度来提高 。 8. 请判断具有下列码长{1, 2, 3, 3, 3, 4}的二进制码是否可构成唯一可译码。 二、(10分)设有对称信源(s = r = 4),信源X = {a 1, a 2, ..., a r } = {0, 1, 2, 3},信宿Y = { b 1, b 2, ..., b s } = {0, 1, 2, 3}。若失真度定义为:d (a i , b j ) = (b j -a i )2,求其失真矩阵D 。 三、(15分)某离散无记忆信源?? ????=??????4.06.0)(21a a x p X ,通过图1的信道传输,求: 图1 离散信道 (1)该信源中a 1和 a 2分别含有的自信息; (2)X 和Y 的信息熵; (3)信道的疑义度H (X|Y ); (4)接收到信息Y 后获得的平均互信息量。 四、(16分)设有一个离散无记忆信源?? ????=??????5.03.02.0)(321a a a x p X , (1)对该信源进行二元费诺编码,计算其平均码长和编码效率;

信息论与编码期中试卷及答案

信息论与编码期中试题答案 一、(10’)填空题 (1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 (2)必然事件的自信息是0 。 (3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 (4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。 二、(10?)判断题 (1)信息就是一种消息。(? ) (2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。(? ) (3)概率大的事件自信息量大。(? ) (4)互信息量可正、可负亦可为零。(? ) (5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。 (? ) (6)对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。(? ) (7)非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。(? ) (8)信源变长编码的核心问题是寻找紧致码(或最佳码)。 (? ) (9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、(10?)居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (5分) 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (4分) I(A|B)=-log0.375=1.42bit (1分)

信息论与编码复习题

一、填空题 1.设信源X 包含4个不同离散消息,当且仅当X 中各个消息出现的概率为___Pi=1/4___时,信源熵达到最大值,为__2bit_,此时各个消息的自信息量为____2bit_______。 2.如某线性分组码的最小汉明距dmin=4,则该码最多能检测出___3_____个随机错,最多能 纠正___INT__个随机错。 3.克劳夫特不等式是唯一可译码___存在___的充要条件。 4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I (X :Y )=H (X )-H (X/Y ) 5.__信源__编码的目的是提高通信的有效性,_信道_编码的目的是提高通信的可靠性,__ 加密__编码的目的是保证通信的安全性。 6.信源编码的目的是提高通信的 有效性 ,信道编码的目的是提高通信的 可靠性 ,加密 编码的目的是保证通信的 安全性 。 7.设信源X 包含8个不同离散消息,当且仅当X 中各个消息出现的概率为__1/8_____时,信 源熵达到最大值,为___3bit/符号_________。 8.自信息量表征信源中各个符号的不确定度,信源符号的概率越大,其自信息量越__小____。 9.信源的冗余度来自两个方面,一是信源符号之间的_相关性__,二是信源符号分布的 __不均匀性___。 10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移 码估值 。 11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。 二、单项选择题 1.下面表达式中正确的是( A )。 A. ∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j i y y x p )(),(ω D.∑=i i j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元,设每个像元有64种彩色度,每种彩度又有 16种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现,并且各个 组合之间相互独立。每秒传送25帧图像所需要的信道容量( C )。 A. 50106 B. 75106 C. 125106 D. 250106

信息论与编码期末试卷

上海大学2011~2012学年度冬季学期试卷(A卷) 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明: 我保证遵守《上海大学学生手册》中的《上海大学考场规则》,如有考试违纪、作弊行为,愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一:填空题(每空2分,共40分) 1:掷一个正常的骰子,出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子,‘点数之和为5’这一事件的自信息量为___________.(注明物理单位) 2:某信源包含16个不同的离散消息,则信源熵的最大值为___________,最小值为_____________. 3:信源X经过宥噪信道后,在接收端获得的平均信息量称为______________. 4:一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5:信源编码可提高信息传输的___有效___性,信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ,则该信道为具有____归并____性能的信道 7:根据香农第一定理(定长编码定理)若一个离散无记忆信源X的信源熵为H(X),对其n个符号进行二元无失真编码时,其码字的平均长度必须大于____________ 8:若某二元序列是一阶马尔科夫链,P(0/0)=0.8,P(1/1)=0.7,则‘0’游程长度为4的概率为____________,若游程序列为312314,则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g,则接收向量为(1111011)的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码,第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为:00000,10101,01111,11010,则该码为(____,_____),该码最多可以纠正_______位错误,共有________陪集. 12:码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13:(7,4)汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ,则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特; 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得, Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦,它有???? ??37种排法,Y 表示梧桐树可以栽 种的位置,它有???? ??58种排法,所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻,因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取,X=1表示录取; Y=0表示本市,Y=1表示外地; Z=0表示学过英语,Z=1表示未学过英语,由此得

信息论与编码复习资料(新)

“信息论与编码”复习 1.消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言,文字和图像等。 信号是消息的物理体现。 消息是信息的数学载体、信号是信息的物理载体 信号:具体的、物理的 消息:具体的、非物理的 信息:非具体的、非物理的 同一信息,可以采用不同形式的物理量来载荷,也可以采用不同的数学描述方式。同样,同一类型信号或消息也可以代表不同内容的信息 2.信息的特征与分类。 1接收者在收到信息之前,对其内容是未知的,所以信息是新知识,新内容; 2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识; 3信息可以产生,也可以消失,同时信息可以被携带,被存储及处理; 4信息是可以量度的,信息量有多少的差别。 31948年,Shannon提出信息论,“通信中的数学理论”—现代信息论的开创性的权威论文,为信息论的创立作出了独特的贡献。 4.通信系统的物理模型(主要框图),各单元(方框)的主要功能及要解决的主要问题。 信源的核心问题是它包含的信息到底有多少,怎样将信息定量地表示出来,即如何确定信息量。 信宿需要研究的问题是能收到或提取多少信息。 信道的问题主要是它能够传送多少信息,即信道容量的多少。

5.通信的目的?要解决的最基本问题?通信有效性的概念。提高通信有效性的最根本途径?通信可靠性的概念。提高通信可靠性的最根本途径?通信安全性的概念,提高通信安全性的最根本途径? 通信系统的性能指标主要是有效性,可靠性,安全性和经济性。通信系统优化就是使这些指标达到最佳。 从提高通信系统的有效性意义上说,信源编码器的主要指标是它的编码效率,即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。 提高可靠性:信道编码。增加冗余。 提高安全性:加密编码。 6.随机事件的不确定度和它的自信息量之间的关系及区别?单符号离散信源的数学模型,自信息量、条件自信息量、联合自信息量的含义? 信源符号不确定度:具有某种概率的信源符号在发出之前,存在不确定度,不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量,两者的单位相同,但含义不同: ?不确定度是信源符号固有的,不管符号是否发出; ?自信息量是信源符号发出后给予收信者的; ?为了消除该符号的不确定度,接受者需要获得信息量。 自信息量 8.信息量的性质?含义?分别从输入端、输出端和系统总体来理解互信息量的含义。 自信息量指的是该符号出现后,提供给收信者的信息量。 9. 各种熵(信源熵,条件熵,联合熵(共熵),等)的含义及其关系。 信源熵:

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 ( ) 2. 线性码一定包含全零码。 ( ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. " 5. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 ( ) 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 ( ) 9. 信道容量是信道中能够传输的最小信息量。 (×) 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 11. ! 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =, ()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =,(0|11)p =,(1|00)p =, (1|11)p =,(0|01)p =,(0|10)p =,(1|01)p =,(1|10)p =。画出状态图,并计算各状态 的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码复习总结

信息论与编码复习总结 题型:填空、解答、计算 1、编码:无失真与限失真信源编码定理 编码分为信源编码和信道编码,其中信源编码又分为无失真和限失真 三大定理: 无失真信源编码定理(第一极限定理)(可逆) 信道编码定理(第二极限定理) 限失真信源编码定理(第三极限定理)(不可逆) Shannon(香农)信息论:在噪声环境下,可靠地、安全地、有效地传送信息理论。通信系统模型方框图: 信道的种类很多,如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类,例如:无干扰信道和有干扰信道、恒参信道和变参信道、离散信道(Discrete Channel)和连续信道(Continuous Channel)、单用户信道和多用户信道等。 信源的描述:通过概率空间描述

平稳包含齐次,而齐次不包含平稳(重要,第二章计算题) 定义:若齐次马尔可夫链对一切i,j存在不依赖于i的极限,则称其具有遍历性,p j称为平稳分布(如下) 设有一齐次马尔可夫链,其状态转移矩阵为P,其稳态分布为w j=p(s j) 自信息量的特性: p(x i)=1,I(x i)=0; p(x i)=0,I(x i)=∞;非负性;单调递减性;可加性;定义:联合概率空间中任一联合事件的联合(自)信息量为: 定义:对于给定离散概率空间表示的信源,在出现y事件后所提供有关事件x的信息量定义互信息,单位为比特

信道模型:二进制离散信道BSC;离散无记忆信道DMC;波形信道 信源编码器的目的:是使编码后所需的信息传输率R尽量小。 信源编码:主要任务就是减少冗余,提高编码效率。

信息论与编码_习题解答

居住某地区的女孩子有25%是大学生,在女大学生中有 75%是身高160厘米以 上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息,问获得多少信息量 解: 设随机变量 X P(X) X 代表女孩子学历 X 1 (是大学生) X 2 (不是大学生) 设随机变量 Y 代表女孩子身高 丫 y 1 (身高 >160cm ) y 2 (身高 <160cm ) P (Y ) 已知:在女大学生中有 75%是身高160厘米以上的 即:p(y 1 /x 1) 0.75 bit 求:身高160厘米以上的某女孩是大学生的信息量 亦 p(x-| )p(y 1 /x 1) 0.25 0.75 ... 即:I (x 1 / y 1) log p(x 1 / y 1) log - - — log 1.415 bit p(yj 0.5 设有一离散无记忆信源,其概率空间为 X P X 1 0 X 2 1 X 3 2 X 4 3 3/8 1/4 1/4 1/8 (1 )求每个符号的自信息量 (2)信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321 010 021 032 011 223 210},求该序列的自信息量和平均每个符号携带的信息量 & 1 8 解:I (x 1) log 2 log 2 1.415bit P(x 1) 3 同理可以求得 I (X 2) 2bit, I (x 3 ) 2bit,I(x 3) 3bit 因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有:I 14I (X 1) 13I (X 2) 12I (X 3) 6I (X 4) 87.81bit 87 81 平均每个符号携带的信息量为 1.95bit/符号 45 有两个二元随机变量X 和丫,它们的联合概率为 并定义另一随机变量Z = XY (—般乘积),试计算: (1) H(X) H(Y), H(Z), H(XZ), H(Y 和) H(XYZ)

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案,仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3, 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数,可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解: ⑻骰子A和B,掷出7点有以下6种可能: A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6,所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能: A=6,B=6 概率为1/36,所以信息量 -log(1/36)=2+log9 ~ bit 解: 出现各点数的概率和信息量: 1 点:1/21 , log21 ?bit ; 2 点:2/21 , log21-1 ?bit ; 3 点:1/7 , log7 4 点:4/21 , log21-2 5 点:5/21 , log (21/5 )~; 6 点:2/ 7 , log(7/2)? 平均信息量: (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解: X=1:考生被录取;X=0考生未被录取; Y=1:考生来自本市;Y=0考生来自外地; Z=1:考生学过英语;z=o:考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ;P( Y=1/ X=0)=1/10 ;P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

信息论与编码试题集与复习资料新

1. 在无失真的信源中,信源输出由 R(D) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后 一加密_ 编码,再 _信道. 编码,最后送入信道。 3?带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公 式是C Wlog(1 SNR);当归一化信道容量 C/W 趋近于零时,也即信道完全丧失了通 信能力,此时E b /N o 为-1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论 极限。 2 x x 1,则信息位长度k 为_3_,校验多项式 6. 设输入符号表为 X = {0 , 1},输出符号表为 Y = {0,1}。输入信号的概率分布为 p = (1/2, 1/2),失真函数为 d(0, 0) = d(1, 1) = 0 , d(0, 1) =2 , d(1 , 0) = 1,则 D min = _0_, R(D min ) 1 0 [p(y/x)] = ; D max = 0.5 , R(D max )= 0 1 1 L ,相应的编码器转移概率矩阵[p(y/x)] = 1 7. 已知用户 A 的RSA 公开密钥(e,n)=(3,55), p 5,q 密钥(d,n) = (27,55)。若用户B 向用户A 发送m=2的加密消息,则该加密后的消息为 、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 () 2. 线性码一定包含全零码。 () 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (X) 4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (X) 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度 L 的增大而增大。 (X) 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量 X ,当它是正态分布时具 有最大熵。 () 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 () 8. 信道容量是信道中能够传输的最小信息量。 (X) 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (X) 10. 在已知收码R 的条件下找出可能性最大的发码 C i 作为译码估计值,这种译码方 H(X) 来度量;在有失真的信源中,信源输出由 4.保密系统的密钥量越小,密钥熵 C)就越大。 H(K)就越 小,其密文中含有的关于明文的信息量 I(M ; 信道 5. 已知n = 7的循环码g(x) 3 h(x)=—x x 1 x 4 1bit/symbol ,相应的编码器转移概率矩阵 11,则(n) 40 ,他的秘密

相关文档
最新文档