香农限与编码码率
实验四_香农编码
实验名称：实验四香农编码 一、实验目的： 加深对香农公式的理解及其具体的实现过程。 二、实验内容与原理： 内容：计算二进制香农编码 三、实验步骤 1．分析香农公式的算法 2．将香农公式的流程转换为具体的代码 四、实验数据及结果分析(可附程序运行截图) 编码的结果： 平均码长和编码效率： 五、代码附录 clear; % c = strcat(a,b)字符串连接 p=[0.25 0.25 0.2 0.15 0.1 0.05]; P=fliplr(sort(p));%按大到小排序 Pa=[0;0];
%累加和的定义----第一行为累加和，第二行为Ki %求累加和 for x=1 for y=1:1:5 %Pa(x,y)=1; Pa(x,y+1)=P(x,y)+ Pa(x,y); end end %ceil 是取向离它最近的大整数圆整 for i=2 for j=1:1:6 Pa(i,j)=ceil( -log2(P(1,j)) ); end end %信源熵 H=0;L=0; for i=1:1:6 H=H-P(i)*log2(P(i)); L=L+P(i)*Pa(2,i); end u=H/L; disp('平均码长：；'); disp(L); disp('编码效率：'); disp(u); %求各符号的编码 temp=[];%临时的编码值:1:6 for m=1:1:6 fprintf('a(%d):',m); for n=1:1:abs(Pa(2,m)) temp(m,n)=Pa(1,m)*2; if temp(m,n)>=1 O(m,n)=1; Pa(1,m)=temp(m,n)-1; else O(m,n)=0; Pa(1,m)=temp(m,n); end fprintf('%d',O(m,n)); end fprintf('\n');
香农三大定理
香农第一定理：可变长无失真信源编码定理。采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值。超过了这一极限就不可能实现无失真的译码。 香农第二定理：有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。 香农第三定理：保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即 D'<=D. 一:香农第一定理(可变长无失真信源编码定理) 设信源S的熵[shāng]H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒 (C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。 二:香农第二定理（有噪信道编码定理） 设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R 公式：C=B*log2(1+S/N) 注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。 三:香农第三定理（保失真度准则下的有失真信源编码定理） 设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为 M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)<=D+a。 信息论实验报告 学生： 班级： 学号： 实验一香农编码一、程序设计的流程图 二、程序清单 #include #include aa=tem-1; } else { MM[i]+='0'; aa=tem; } } } string BB[N]; for(int i=0;i 香农编码--信息论大作业-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII 信息论与编码课程大作业 题目：香农编码 学生姓名： ****** 学号： &********** 专业班级： ******************* 2013 年 5 月 10 日 香农编码 1.香农编码的原理/步骤 香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。如何构造这种码？香农第一定理指 出，选择每个码字的长度K i将满足式I(x i)≤K i＜I p(x i)+1就可以得到这种码。这种编码方法就是香农编码。 香农编码步骤如下: (1)将信源消息符按从大到小的顺序排列。 (2)计算p[i]累加概率； (3)确定满足自身要求的整数码长； (4)将累加概率变为二进制数； (5)取P[i]二进制数的小数点后Ki位即为该消息符号的二进制码字。 2. 用C语言实现 #include 香农编码实验报告 姓名：徐以刚 学号：20094034 专业班级：信计09.1 学院：理信学院 一 、实验目的 1. 了解香农编码的基本原理及其特点； 2. 熟悉掌握香农编码的方法和步骤； 3. 掌握C 语言或者Matlab 编写香农编码的程序。 二、实验要求 对于给定的信源的概率分布,按照香农编码的方法进行计算机实现. 三、实验原理 给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1．信源符号按概率从大到小排列 2. 对信源符号求累加概率，表达式： G i =G i-1+p(x i ) 3. 求自信息量，确定码字长度。自信息量I(x i )=-log(p(x i ));码字长度取大于等 于自信息量的最小整数。 4. 将累加概率用二进制表示，并取小数点后码字的长度的码 。 四、实验内容 离散无记忆信源符号S 的概率分布： S 1S 2S 3S 4S 5S 6S 7S P(S) = 0.20 0.19 0.18 0.17 0.15 0.10 0.01 对离散无记忆信源分布S 进行香农编码 1.画出程序设计的流程图 2.写出程序代码， N=input('N='); %输入信源符号的个数 s=0; l=0; H=0; for i=1:N p(i)=input('p='); %输入信源符号概率分布矢量,p(i)<1 s=s+p(i) H=H+(-p(i)*log2(p(i)));I(i)=-log2(p(i)); %计算信源信息熵end if abs(s-1)>0, error('不符合概率分布') end for i=1:N-1 for j=i+1:N if p(i) 现代通信与香农三大定理 姓名：杨伟章学号：201110404234 摘要：当我们提起信息论，就不得不把香农和信息论联系在一起，因为正是香农为通信理论的发展所做出的划时代贡献，宣告了一门崭新的学科——信息论的诞生。从此，在香农信息论的指导下，为了提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。其实，信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相互结合而逐步发展起来的一门新兴交叉学科。 关键词：信息论基础现代通信系统香农三大定理 上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。但是通信技术已经有了相当的发展。从十九世纪中叶，电报就已经很普遍了。电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母E只有一个点。而不常用的Z有两划两点。这样，在传送英语时，平均每个字母的码数就减少了。事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。这在一百五十多年前，是相当了不起了。 在二次世界大战时，雷达和无线电在军事上广泛应用。无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。各种不同的调制方式也纷纷问世。于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？ “传输速率是波特率与每波特所含比特数的乘积。波特率受频宽的限制，而每波特所含比特数受噪声的限制。”前一个限制，由那奎斯特（Harry Nyquist）在1928年漂亮地解决了。而后一个问题则更复杂。1928年，哈特利（R. V. L. Hartley）首先提出了信息量的概念，并指出编码（如摩斯码）在提高传送速度中的重要作用。但是他未能完整定量地解决这个问题。二战期间，维纳（Norbert Wiener）发展了在接收器上对付噪声的最优方法。但是传输速率的上限还是没有进展。 在这种情况下，香农（Claude E Shannon）在1948年发表了《通信的一个数 实验二 香农编码的计算与分析 一、[实验目的] 1、理解香农第一定理指出平均码长与信源之间的关系。 2、加深理解香农编码具有的重要理论意义。 3、掌握Shannon 编码的原理。 4、掌握Shannon 编码的方法和步骤。 5、熟悉shannnon 编码的各种效率 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 香农第一定理： 设离散无记忆信源为 12 (1) (2)....()S s s sq P p s p s p sq ????=???????? 熵为H(S)，其N 次扩展信源为 12 (1) (2)....()N q S p p p q P αααααα????=???????? 熵为H(S N )。码符号集X=（x1,x2,…,xr ）。先对信源N S 进行编码，总可以 找到一种编码方法，构成惟一可以码，使S 中每个信源符号所需的平均码长满足： 1N L H S H S N N +>≥（）（）logr logr 当N →∞时 lim ()N r N L H S N →∞= N L 是平均码长 1 ()N q N i i i L p αλ==∑ i λ是i α对应的码字长度 四、[实验内容] 1、根据实验原理，设计shannon 编码方法，在给定 条件下，实现香农编码并算出编码效率。 2、请自己构造两个信源空间，根据求Shannon 编码结果说明其物理意义。 五、[实验过程] 每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法； 要求： 1）有标准的实验报告 （10分） 2）程序设计和基本算法合理（30分） 3）实验仿真具备合理性（30分） 4）实验分析合理（20分） 5）能清晰的对实验中出现的问题进行分析并提出解决方案（10分） S P s1 s2 s3 s4 s5 s6 s7 0.01 0.17 0.19 0.10 0.15 0.18 0.2 = 信道容量 根据香农信息论，对于连续信道，如果信道带宽为B ，并且收到加性高斯白噪声的干扰，则信道容量的理论公式为 信息速率：信道可能传输的最大：信噪比 ：信号的平均功率 ：白噪声的平均功率 C N S S N bps N S B C ) )......(1(log 2+= 根据香农公式可以得出以下结论： ①：任何一个信道，都有一个信道容量。如果信源的信息速率R 小于或等于信道容量C ，那么理论上存在一种方法使信源能以任意小的差错率通过信道传输；如果R 大于C ，则无差错传输再理论是不可能的。 ②：给定的信道容量可以用不同的带宽和信道比的组合来传输。若减小带宽，则必须加大信号功率，来增大信噪比。或者，若有较大的传输带宽，则同样的C 能够用较小的信号功率（即较小的信噪比）来传输。这表明宽度系统表现出较好的抗干扰特性。因此当信噪比太小而不能保证通信质量时，常采用宽带系统，用增加带宽来提高信道容量，以改善通信质量。这就是通常所谓的用带宽换功率的措施。但是应当指出，带宽和信噪比的互换并不是自动的，必须变换信号使之具有所要求带宽。实际上是通过调制和编码来完成的。调制和编码的过程就是实现带宽与信噪比之间互换的手段。 ③：当信道噪声为高斯白噪声时，假定白噪声的功率谱密度为n 0(W/Hz)，则噪声功率 N=B*n 0，则香农公式变换为： 0020244.1)1(log lim lim ))......(1(log n S B n S B C bps B n S B C B B ≈+=+=∞→∞→ 由此可知，当S 和n 0一定时，信道容量随着带宽B 增大而增大，然而当B->无穷大时， C 不会无限增大，而是趋向于一个常数。 ④：由于信息速率C=1/T,T 为传输时间，代入得出： )1(log 12N S TB += 可见，当S/N 一定时，给定的信息量可以用不同的带宽和时间的组合来传输。和带宽与信噪比可以互换类似，带宽与时间也可以互换。 湖南大学 信息科学与工程学院 实验报告 实验名称香农编码 课程名称信息论与编码1、实验目的 （1）进一步熟悉Shannon 编码算法； （2）掌握C 语言程序设计和调试过程中数值的进制转换、数值与字符串之间的转换等 技术。 2、实验要求 （1）输入：信源符号个数q 、信源的概率分布p ； （2）输出：每个信源符号对应的Shannon 编码的码字。 3、Shannon 编码算法 1：procedure SHANNON(q,｛P i ｝) 2: 降序排列｛P i ｝ 3: for i=1 q do 4: F(i s ) 5：i l 2[]log 1/()i p s 6：将累加概率F(i s )（十进制小数）变换成二进制小数。 7：取小数点后i l 个二进制数字作为第i 个消息的码字。 8：end for 9：end procedure ------------------------------------------------------------------------------------------------------------------ 4、调试过程 1、fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory fatal error C1083: Cannot open include file: 'values.h': No such file or directory 原因：unistd.h 和values.h 是Unix 操作系统下所使用的头文件 纠错：删去即可 2、error C2144: syntax error : missing ')' before type 'int' error C2064: term does not evaluate to a function 原因：l_i(int *)calloc(n,sizeof(int)); l_i 后缺少赋值符号使之不能通过编译 纠错：添加上赋值符号 3、error C2018: unknown character '0xa1' 原因：有不能被识别的符号 纠错：在错误处将不能识别的符号改为符合C 语言规范的符号 4、error C2021: expected exponent value, not ' ' 1 1()i k k p s -=∑ 实验一 香农编码和Huffman 编码 一、实验目的 进一步熟悉香农编码和Huffman 编码过程，掌握matlab 语言递归程序的设计和调试技术。 二、实验要求 1．已知信源符号个数和信源的概率分布，要求写出香农和Huffman 的代码，输出每个信源符号对应的香农和Huffman 编码的码字。 2．以一组信源码字为例，给出输出码字，并求出编码效率。 三、基本原理 ● 香农编码： 编码规则如下： 1.将信源消息符号按其出现的概率大小排列 1()p x ≥2()p x ≥···≥()n p x 2.确定满足下列不等式的整数码长Ki ： 2l o g ()i p x -≤i K <2log ()i p x -+1 3.为了编成唯一可译码，计算第i 个消息的累加概率 Pi=1 1 ()i k k p x -=∑ 4.将累加概率Pi 变换成二进制数。 5.取Pi 二进数的小数点后Ki 位即为该消息符号的二进制码数。 ● Huffman 编码： 1.将n 个信源消息符号按其出现的概率大小依次排列， 1()p x ≥2()p x ≥···≥()n p x 2.取两个概率最小的字母分别配以0和1两码元，并将这两个概率相加作为一个新字母的概率，与未分配的二进符号的字母重新排队。 3.对重排后的两个概率最小符号重复步骤（2）的过程。 4.不断继续上述过程，直到最后两个符号配以0和1为止。 5.从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。 四、实验报告内容 1．描述所用算法，给出代码。 2．与其他编码方式相比，香农和Huffman 编码各有何优缺点，其压缩效率如何？ 中南大学 《信息论与编码》实验报告 题目信源编码实验 指导教师 学院 专业班级 姓名 学号 日期 目录 一、香农编码 (3) 实验目的 (3) 实验要求 (3) 编码算法 (3) 调试过程 (3) 参考代码 (4) 调试验证 (7) 实验总结 (7) 二、哈夫曼编码 (8) 实验目的 (8) 实验原理 (8) 数据记录 (9) 实验心得 (10) 一、香农编码 1、实验目的 （1）进一步熟悉Shannon 编码算法； （2）掌握C 语言程序设计和调试过程中数值的进制转换、数值与字符串之间 的转换等技术。 2、实验要求 （1）输入：信源符号个数q 、信源的概率分布p ； （2）输出：每个信源符号对应的Shannon 编码的码字。 3、Shannon 编码算法 1：procedure SHANNON(q,｛Pi ｝) 2: 降序排列｛Pi ｝ 3: for i=1 q do 4: F(i s ) 5：i l 2 []log 1/()i p s 6：将累加概率F(i s )（十进制小数）变换成二进制小数。 7：取小数点后i l 个二进制数字作为第i 个消息的码字。 8：end for 9：end procedure ------------------------------------------------------------------------------------------------------------------ 4、调试过程 1、fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory fatal error C1083: Cannot open include file: 'values.h': No such file or directory 原因：unistd.h 和values.h 是Unix 操作系统下所使用的头文件 纠错：删去即可 2、error C2144: syntax error : missing ')' before type 'int' error C2064: term does not evaluate to a function 原因：l_i(int *)calloc(n,sizeof(int)); l_i 后缺少赋值符号使之不能通过编译 纠错：添加上赋值符号 1 1 ()i k k p s -=∑ 谈香农定理 克劳德.香农,1916年4月30日出生于美国密歇根州的加洛德，他是信息时代的奠基人。他这一生的两大贡献之一便就是信息论，信息熵的概念提出和香农公式。信息传输给出基本数学模型的核心人物是香农。1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式：H=∑-pi log pi 如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特(bit)为单位。今天在计算机和通信中广泛使用的字节 (Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量概念作出决定性的贡献。香农在进行信息的定量计算的时候，明确地把信息量定义为随机不定性程度的减少。这就表明了他对信息的理解：信息是用来减少随机不定性的东西。或香农逆定义：信息是确定性的增加。事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。 香农定理：香农定理描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信号噪声功率比之间的关系. 在有随机热噪声的信道上传输数据信号时，数据传输率Rmax与信道带宽B，信噪比S/N关系为： Rmax=B*Log2(1+S/N)。 在信号处理和信息理论的相关领域中，通过研究信号在经过一段距离后如何衰减以及一个给定信号能加载多少数据后得到了一个著名的公式，叫做香农（Shannon）定理。它以比特每秒（bps）的形式给出一个链路速度的上限，表示为链路信噪比的一个函数，链路信噪比用分贝（dB）衡量。因此我们可以用香农定理来检测电话线的数据速率。 香农定理由如下的公式给出: C=B*log2(1+S/N) 其中C是可得到的链路速度也就是信道容量，B是链路的带宽，S是平均信号功率,N是平均噪声功率，信噪比（S/N）通常用分贝（dB）表示，分贝数=10×log10（S/N）。 通常音频电话连接支持的频率范围为300Hz到3300Hz，则B=3300Hz－300Hz=3000Hz，而一般链路典型的信噪比是30dB，即S/N=1000，因此我们有C=3000×log2（1001），近似等于30Kbps，是28.8Kbps调制解调器的极限，因此如果电话网络的信噪比没有改善或不使用压缩方法，调制解调器将达不到更高的速率。 香农公示还有几个重要结论：当心道德传输宽带一定时，接收端的信噪比越大，其系统的信噪容量越大。当噪声功率趋近0时，信道容量趋近无穷。当接收端的信噪比一定时，信道的传输宽带越大，其系统的信道容量也越大。当信道带宽趋于无穷时，信道容量并不趋于无穷，而是趋于一个固定值。当信道容量一定时，信道带宽与信噪比可以互换。比如，可以通过增加系统的传输带宽来降低接收机对信噪比的要求，即以牺牲系统的有效性来换取系统的可靠性，这也正是扩频通信的理论基础。 09物电四班何玲 2009070416 本科生实验报告 实验课程信息论与编码 学院名称信息科学与技术学院 专业名称通信工程 学生姓名 学生学号 指导教师谢振东 实验地点6C601 实验成绩 二〇一五年十一月二〇一五年十一月 实验一：香农（Shannon ）编码 一、实验目的 掌握通过计算机实现香农编码的方法。 二、实验要求 对于给定的信源的概率分布，按照香农编码的方法进行计算机实现。 三、实验基本原理 给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1、将信源消息符号按其出现的概率大小排列 )()()(21n x p x p x p ≥≥≥ 2、确定满足下列不等式的整数码长K i ； 1)(l o g )(l o g 22+-<≤-i i i x p K x p 3、为了编成唯一可译码，计算第i 个消息的累加概率 ∑ -== 1 1 )(i k k i x p p 4、将累加概率P i 变换成二进制数。 5、取P i 二进制数的小数点后K i 位即为该消息符号的二进制码。 四、源程序： #include int i,j; for(i=0;i 目录 实验目的： (2) 实验要求： (2) 程序算法： (2) 程序运行结果： (4) 程序操作步骤： (5) 试验中遇到的困难及解决方法： (5) 实验心得及体会： (5) 实验目的： 1.进一步熟悉使用C++编程语言及软件。 2.进一步认识shannon编码过程，并能在学习中灵活运用。 实验要求： 要求： (a) 允许使用的编程语言：C、C++、Basic、Pascal、Fortran、Java、Perl 、Tk/Tcl (b) 输入：信源符号个数q、信源符号s0,...,sq?1，信源概率分布p0,...,pq?1。 (c) 输出：信源符号与码字的对应关系表（编码表）。 (d) 源程序格式整齐清晰，注释简单明了。 程序算法： (a) 将q 个信源符号按其概率的递减次序排列： p(s0) > p(s1) > ... > p(sq?1) (b) 计算出各个信源符号的累加概率： (c) 按下式计算第i 个消息的二元代码组的码长li： (d) 将累加概率F(si)（十进制小数）变换成二进制小数。根据码长li 取小 数点后li 个二进制符号作为第i 个消息的码字。 程序代码： #include r[n]=r[i]; //设置哨兵 m[n]=m[i]; //设置哨兵 for(int j=i-1;(r[n]>r[j])&&(j>=0);j--)//寻找插入位置 { r[j+1]=r[j];//记录后移 m[j+1]=m[j];//记录后移 } r[j+1]=r[n]; m[j+1]=m[n]; } } void Leijia(double p[], int s)//将当前概率及之前概率相加{ for(int r=1;r 香农采样定理 采样定理，又称香农采样定理，奈奎斯特采样定理，是信息论，特别是通讯与信号处理学科中的一个重要基本结论.E. T. Whittaker(1915年发表的统计理论),克劳德·香农与Harry Nyquist都对它作出了重要贡献。另外,V. A. Kotelnikov 也对这个定理做了重要贡献。 采样是将一个信号（即时间或空间上的连续函数）转换成一个数值序列（即时间或空间上的离散函数）。采样定理指出， 如果信号是带限的，并且采样频率高于信号带宽的一倍，那么，原来的连续信号可以从采样样本中完全重建出来。 带限信号变换的快慢受到它的最高频率分量的限制，也就是说它的离散时刻采样表现信号细节的能力是有限的。采样定理是指，如果信号带宽小于奈奎斯特频率（即采样频率的二分之一），那么此时这些离散的采样点能够完全表示原信号。高于或处于奈奎斯特频率的频率分量会导致混叠现象。大多数应用都要求避免混叠，混叠问题的严重程度与这些混叠频率分量的相对强度有关。 采样简介 从信号处理的角度来看，此采样定理描述了两个过程：其一是采样，这一过程将连续时间信号转换为离散时间信号；其二是信号的重建，这一过程离散信号还原成连续信号。 连续信号在时间（或空间）上以某种方式变化着，而采样过程则是在时间（或空间）上，以T为单位间隔来测量连续信号的值。T称为采样间隔。在实际中，如果信号是时间的函数，通常他们的采样间隔都很小，一般在毫秒、微秒的量级。采样过程产生一系列的数字，称为样本。样本代表了原来地信号。每一个样本都对应着测量这一样本的特定时间点，而采样间隔的倒数，1/T即为采样频率，fs，其单位为样本/秒，即赫兹(hertz)。 信号的重建是对样本进行插值的过程，即，从离散的样本x[n]中，用数学的方法确定连续信号x(t)。 从采样定理中，我们可以得出以下结论： 如果已知信号的最高频率f H，采样定理给出了保证完全重建信号的最低采样频率。这一最低采样频率称为临界频率或奈奎斯特频率，通常表 实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称： 年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22) 实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7 五、编码程序 #include"stdio.h" #include 5. 克劳德. 艾尔伍德. 香农（Claude Elwood Shannon）——数学家、信息论的创始人 克劳德·艾尔伍德·香农（1916—2001）——1916年4月30日出生于美 国密歇根州的加洛德（Petoskey），1936年毕业于密歇根大学并获得数学和电 子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位和电子工 程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他 成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成 为名誉教授。香农博士于2001年2月26日去世，享年84岁。 香农在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期 间，开始思考信息论与有效通信系统的问题。经过8年的努力，从1948年6月到10月，香农在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了影像深远的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农解决了过去许多悬而未决的问题：阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的基础性理论著作。那时，他才不过刚刚三十出头。 香农的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义盾息论”发展到了“广义信息论”。香农一鸣惊人，成了这门新兴学科的寞基人。20世纪80年代以来，当人们在议论未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法，未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。 香农被尊称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学原理》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了熵的定义： 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵的概念量度的是消息中所含的信息量，而去除了消息中固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。 实验二 香农编码得计算与分析 一、[实验目得] 1、理解香农第一定理指出平均码长与信源之间得关系。 2、加深理解香农编码具有得重要理论意义。 3、掌握Shannon 编码得原理。 4、掌握Shannon 编码得方法与步骤。 5、熟悉shannnon 编码得各种效率 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 香农第一定理: 设离散无记忆信源为 熵为H(S),其N 次扩展信源为 熵为H(S N )。码符号集X=(x1,x2,…,xr)。先对信源进行编码,总可以找到一种编码方法,构成惟一可以码,使S 中每个信源符号所需得平均码长满足: 当N 时 就是平均码长 就是对应得码字长度 四、[实验内容] 1、根据实验原理,设计shannon 编码方法,在给定 条件下,实现香农编码并算出编码效率。 2、请自己构造两个信源空间,根据求Shannon 编码结果说明其物理意义。 五、[实验过程] 每个实验项目包括:1)设计思路2)实验中出现得问题及解决方法; 要求: 1)有标准得实验报告 (10分) S P s1 s2 s3 s4 s5 s6 s7 0、01 0、17 0、19 0、10 0、15 0、= 2)程序设计与基本算法合理(30分) 3)实验仿真具备合理性(30分) 4)实验分析合理(20分) 5)能清晰得对实验中出现得问题进行分析并提出解决方案(10分) 附录: 程序设计与算法描述参考 (1))按降序排列概率得函数 %[p,x]=array(P)为按降序排序得函数% %P为信源得概率矢量,x为概率元素得下标矢量% %P为排序后返回得信源得概率矢量% %x为排序后返回得概率元素得下标矢量% %******************************% function[p,x]=array(P) n=length(P); X=1:n; P=[P;X]; for i=1:n max=P(1,i); maxN=i; MAX=P(:,i); for j=i:n if(max信息论实验报告-
香农编码--信息论大作业
香浓编码实验报告
现代通信与香农三大定理
实验二 香农编码的计算与分析
香农定律
香农编码实验报告
实验一 香农编码和Huffman编码
香农编码实验报告
香农定理
信息论与编码实验报告.
信息论实验报告香农编码
香农采样定理
信息论与编码实验报告材料
香农的简介
实验二 香农编码的计算与分析1