信息论实验报告
信息论实验报告
信息论实验报告班级：姓名：学号：实验一：信道容量的迭代算法1.实验目的（1）进一步熟悉信道容量的迭代算法；（2）学习如何将复杂的公式转化为程序；（3）掌握C 语言数值计算程序的设计和调试技术。
2、实验要求（1）已知：信源符号个数r 、信宿符号个数s 、信道转移概率矩阵P 。
（2）输入：任意的一个信道转移概率矩阵。
信源符号个数、信宿符号个数和每个具体的转移概率在运行时从键盘输入。
（3）输出：最佳信源分布P*，信道容量C 。
3.算法分析1：procedure CHANNEL CAPACITY(r,s,(ji p )) 2：initialize:信源分布i p =1/r ，相对误差门限σ，C=—∞3：repeat4：5：6： C 2211log [exp(log )]r s ji ij r j p φ==∑∑7：until C Cσ∆≤8：output P*= ()i r p ,C9：end procedure4.程序调试21211exp(log )exp(log )sji ij j r s ji ij r j p p φφ===∑∑∑i p 1i ji r i ji i p p p p =∑ijφ1、头文件引入出错f:\visualc++\channel\cpp1.cpp(4) : fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory————#include<unistd.h>纠错：//#include<unistd.h>f:\visualc++\channel\cpp1.cpp(5) : fatal error C1083: Cannot open include file: 'values.h': No such file or directory————#include<values.h>纠错：//#include<values.h>2、变量赋值错误f:\visualc++\channel\cpp1.cpp(17) : error C2065: 'ij' : undeclared identifierf:\visualc++\channel\cpp1.cpp(17) : error C2440: 'initializing' : cannot convert from 'int' to 'float ** ' Conversion from integral type to pointer type requires reinterpret_cast, C-style cast or function-style cast————float **phi_ij=ij=NULL;纠错：float **phi_ij=NULL;3、常量定义错误f:\visualc++\channel\cpp1.cpp(40) : error C2143: syntax error : missing ';' before 'for' ————for(i=0;i<r;i++)phi_ij[i]=(float *)calloc(s,sizeof(float));f:\visualc++\channel\cpp1.cpp(52) : error C2021: expected exponent value, not ' '————if(fabs(validate -1.0)>DELTA)f:\visualc++\channel\Cpp1.cpp(84) : error C2021: expected exponent value, not ' '————if(fabs(p_j)>=DELTA)f:\visualc++\channel\Cpp1.cpp(100) : error C2021: expected exponent value, not ' '————if(fabs(phi_ij[i][j])>=DELTA)f:\visualc++\channel\Cpp1.cpp(116) : error C2021: expected exponent value, not ' ' ————while(fabs(C-C_pre)/C>DELTA);纠错：#define DELTA 0.000001;F:\visualc++\channel\Cpp1.cpp(68) : error C2065: 'MAXFLOAT' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(68) : warning C4244: '=' : conversion from 'int' to 'float', possible loss of data————C=-MAXFLOAT;纠错：#define MAXFLOAT 1000000;3、引用中文逗号f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'f:\visualc++\channel\cpp1.cpp(60) : error C2065: 'Starting' : undeclared identifierf:\visualc++\channel\cpp1.cpp(60) : error C2059: syntax error : '.'f:\visualc++\channel\cpp1.cpp(60) : error C2017: illegal escape sequencef:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'————fprintf(stdout,”Starting..\n”);纠错：fprintf(stdout,"Starting..\n");4、没有进行强制转换F:\visualc++\channel\Cpp1.cpp(65) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————p_i[i]=1.0/(float)r;纠错：p_i[i]=(float)(1.0/(float)r);F:\visualc++\channel\Cpp1.cpp(101) : warning C4244: '+=' : conversion from 'double' to 'float', possible loss of data————sum[i]+=p_ji[i][j]*log( phi_ij[i][j])/ log(2.0);纠错：sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0));F:\visualc++\channel\Cpp1.cpp(103) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————sum[i]=pow(2.0,sum[i]);纠错:sum[i]=(float)(pow(2.0,sum[i]));F:\visualc++\channel\Cpp1.cpp(114) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————C= log(p_j)/ log(2.0);纠错：C= (float)(log(p_j)/ log(2.0));4、表达式错误F:\visualc++\channel\Cpp1.cpp(86) : error C2065: 'phi_ji' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer typeF:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer type ————phi_ij[i][j]=p_i[i]* phi_ji[i][j]/p_j;纠错：phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'fprint' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'The' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(122) : error C2146: syntax error : missing ')' before identifier 'iteration'F:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequenceF:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequenceF:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'————fprint(stdout,”The iteration number is %d.\n\n”,k);纠错：fprintf(stdout,"The iteration number is %d.\n\n",k);F:\visualc++\channel\Cpp1.cpp(145) : error C2143: syntax error : missing ')' before ';' ————free((p_i);纠错：free(p_i);5、没有返回值F:\visualc++\channel\Cpp1.cpp(149) : warning C4508: 'main' : function should return a value; 'void' return type assumed、纠错：return 0;5.改进程序/*引入头文件*/#include<stdio.h>#include<math.h>#include<stdlib.h>/*定义常量*/#define DELTA 0.0000001//DELTA为相对误差门限#define MAXFLOAT 1000000;//MAXFLOAT为初始化信道容量值int main( void){/*定义全局变量*//*register允许直接从寄存器中读取变量，提高速率*/register int i,j;//i、j为整型变量register int k;//信道容量迭代计算次数int r,s;//r为信源符号个数，s为新宿符号个数float *p_i=NULL;//r个信源符号发生的概率float **p_ji=NULL;//信源到新宿的信道转移概率矩阵Pfloat **phi_ij=NULL;float C,C_pre,validate;//C为信道容量，C_pre为信道最大容量，validate为判定输入转移概率矩阵是否合法float * sum=NULL;//信源符号所带的全部信息量float p_j;//条件概率/*输入信源符号和新宿符号个数*/printf("请输入信源符号个数r、信宿符号个数s...\n");printf("+++++注意！！！r必须大于等于s！！+++++\n");fscanf(stdin,"%d",&r);fscanf(stdin,"%d",&s);/*为 p_i,p_ji 和 phi_ij 分配内存空间*/p_i=(float *)calloc(r,sizeof(float));p_ji=(float **)calloc(r,sizeof(float));/*为每个p_ji分配大小为s的内存空间*/for(i=0;i<r;i++)p_ji[i]=(float *)calloc(s,sizeof(float));phi_ij=(float **)calloc(r,sizeof(float*));/*输入转移概率矩阵*/for(i=0;i<r;i++)/*为每个phi_ij分配大小为s的内存空间*/phi_ij[i]=(float *)calloc(s,sizeof(float));printf("信道转移概率矩阵P...\n");for(i=0;i<r;i++)for(j=0;j<s;j++)fscanf(stdin,"%f",&p_ji[i][j]);/*判定输入的转移概率矩阵是否正确*/for(i=0;i<r;i++){validate=0.0;for(j=0;j<s;j++){validate +=p_ji[i][j];}if((validate-1.0)>=0)//如果转移概率矩阵的概率和大于1，输入数据不合法{fprintf(stdout,"invalid input data.\n");exit(-1);}}/*显示开始计算..*/fprintf(stdout,"Starting..\n");/*初始化 p_i 和 phi_ij*/for(i=0;i<r;i++){/* p_i为等概率，即概率为1/r*/p_i[i]=(float)(1.0/(float)r);}/*初始化信道容量c，迭代次数k和临时变量variable*/C=-MAXFLOAT;k=0;/* 为sum分配大小为r的内存空间*/sum=(float *)calloc(r,sizeof(float));/*开始迭代计算*/do{k++;//每进行一次迭代，迭代次数k加1/* 计算phi_ij(k)*/for(j=0;j<s;j++){p_j=0.0;for(i=0;i<r;i++)p_j+=p_i[i]*p_ji[i][j];if(fabs(p_j)>=DELTA)for(i=0;i<r;i++)phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;elsefor(i=0;i<r;i++)phi_ij[i][j]=0.0;}/*计算p_i(k+1)*/p_j=0.0;for(i=0;i<r;i++){sum[i]=0.0;for(j=0;j<s;j++){/*相对误差门限为0*/if(fabs(phi_ij[i][j])>=DELTA)sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0)); }sum[i]=(float)(pow(2.0,sum[i]));p_j+=sum[i];}for(i=0;i<r;i++){p_i[i]=sum[i]/p_j;}C_pre=C;C= (float)(log(2.0)/log(p_j) );}while(fabs(C-C_pre)/C>DELTA);free(sum);sum=NULL;/*显示结果*/fprintf(stdout,"The iteration number is %d.\n\n",k);//迭代次数fprintf(stdout,"The capacity of the channel is %.6f bit/symbol:\n\n",C);//信道容量fprintf(stdout,"The best input probability distribution is :\n");//最佳信源分布 for(i=0;i<r;i++)fprintf(stdout,"%.6f\n",p_i[i]);fprintf(stdout,"\n");/* 释放指针空间*/for(i=s-1;i>=0;i--){free(phi_ij[i]);phi_ij[i]=NULL;}free(phi_ij);phi_ij=NULL;for(i=r-1;i>=0;i--){free(p_ji[i]);p_ji[i]=NULL;}free(p_ji);p_ji=NULL;free(p_i);p_i=NULL;exit(0);return 0;}6.实验结果6.实验二：唯一可译码判决准则1.实验目的（1）进一步熟悉唯一可译码判决准则；（2）掌握C语言字符串处理程序的设计和调试技术。
信息基础论实验报告
一、实验目的1. 理解信息的基本概念和特征。
2. 掌握信息系统的基本组成和功能。
3. 了解信息处理的基本方法和技术。
4. 培养运用信息理论分析和解决实际问题的能力。
二、实验内容1. 信息的基本概念和特征2. 信息系统的组成和功能3. 信息处理的基本方法和技术4. 信息安全与伦理三、实验步骤1. 信息的基本概念和特征（1）查阅资料，了解信息的基本概念和特征。
（2）通过实例分析，加深对信息概念的理解。
（3）讨论信息在日常生活、工作中的应用。
2. 信息系统的组成和功能（1）学习信息系统组成的基本要素，如硬件、软件、数据等。
（2）了解信息系统的功能，包括信息收集、处理、存储、传输、检索等。
（3）分析信息系统在各个领域的应用。
3. 信息处理的基本方法和技术（1）学习信息处理的基本方法，如编码、解码、压缩、解压缩等。
（2）了解信息处理技术的应用，如数字信号处理、图像处理、语音处理等。
（3）通过实例分析，掌握信息处理技术在实际问题中的应用。
4. 信息安全与伦理（1）学习信息安全的基本概念和重要性。
（2）了解信息安全的技术手段，如加密、认证、防火墙等。
（3）讨论信息伦理问题，如隐私保护、知识产权等。
四、实验结果与分析1. 信息的基本概念和特征通过查阅资料和实例分析，我们了解到信息是反映客观事物属性和运动状态的知识，具有客观性、普遍性、传递性、共享性、时效性等特征。
信息在日常生活、工作中的应用十分广泛，如天气预报、电子商务、社交网络等。
2. 信息系统的组成和功能通过学习，我们了解到信息系统由硬件、软件、数据、人员等要素组成。
信息系统的功能包括信息收集、处理、存储、传输、检索等。
在各个领域，如政府、企业、教育等，信息系统都发挥着重要作用。
3. 信息处理的基本方法和技术通过学习，我们掌握了信息处理的基本方法，如编码、解码、压缩、解压缩等。
同时，我们了解到信息处理技术在数字信号处理、图像处理、语音处理等领域的应用，为解决实际问题提供了有力支持。
信息论上机实验报告
信息论与编码实验报告实验一：计算离散信源的熵一、实验设备: 1、计算机2、软件：Matlab 二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程； 三、习题：1. 甲地天气预报构成的信源空间为：1111(),,,8482X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨云 大雨晴 乙地信源空间为：17(),88Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦小雨晴 求此两个信源的熵。
求各种天气的自信息量。
代码：x=[1/2,1/4,1/8,1/8]; y=[7/8,1/8];HX=sum(-x.*log2(x)) HY=sum(-y.*log2(y)) IX=-log2(x) IY=-log2(y) 答案：() 1.75;()0.5436H X H Y ==2、 某信息源的符号集由A 、B 、C 、D 、E 组成，设每一符号独立出现，其出现的概率分别为，1/4，1/8，1/8，3/16，5/16，试求该信源符号的平均信息量。
代码：x=[1/4,1/8,1/8,3/16,5/16]; HX=sum(-x.*log2(x))答案：H(X) = 2.2272bit/符号3、设有四个消息分别以概率1/4，1/8，1/8，1/2传送，每一消息的出现是相互独立的。
试计算其平均信息量。
代码：x=[1/4,1/8,1/8,1/2]; HX=sum(-x.*log2(x)) 答案：H(X) =1.75bit/符号4. 设一个二元信源（只有0和1两种符号）其概率空间为：(),1X p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦0 1编程画出H 与p 的关系，并说明当P 呈什么分布时，平均信息量达到最大值。
（说明：H=-p.*log2(p)-(1-p).log2(1-p);） 代码：p= 1/1000000:1/1000:1;H=-p.*log2(p)-(1-p).*log2(1-p); plot(p,H) grid on xlabel('p'); ylabel('HP'); 图：实验二：验证熵的可加性与强可加性1. 【例2.6】有一离散无记忆信源123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦验证二次扩展信源2X 的熵等于离散信源X 的熵的2倍，即2()2()H X H X =代码：x=[1/2,1/4,1/4];hx=sum(x.*log2(1./x))x2=[1/4,1/16,1/16,1/8,1/8,1/8,1/16,1/8,1/16] hx2=sum(x2.*log2(1./x2)) 答案：2() 1.5;() 3.0H X H X ==2. 验证两个统计独立的信源,X Y ，验证：()()()H XY H X H Y =+其中：123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦123111(),,333b b b Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦代码：x=[1/2,1/4,1/4]; y=[1/3,1/3,1/3];xy=[1/6,1/6,1/6,1/12,1/12,1/12,1/12,1/12,1/12] hx=sum(x.*log2(1./x)) hy=sum(y.*log2(1./y)) Hxy=sum(xy.*log2(1./xy)) 答案：() 1.5,() 1.585() 3.085H X H Y H XY ===3、条件熵的计算与熵的强可加性 验证离散二维平稳信源，满足：12121()()(|)H X X H X H X X =+某一离散二维平稳信源0121141(),,3694X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦12X X 其联合概率分布12()p X X 为：编程计算：1) 联合熵12()H X X 2) 条件熵21(|)H X X3) 验证：12121()()(|)H X X H X H X X =+代码：x1=[11/36,4/9,1/4]; x2=[11/36,4/9,1/4];b=[1/4,1/18,0;1/18,1/3,1/18;0,1/18,7/36]; HXY=0;for i=1:size(b,1) for j=1:size(b,2) if b(i,j)>0HXY=HXY-b(i,j).*log2(b(i,j)); end end end HXYHx1=sum(x1.*log2(1./x1)) Hx2=sum(x2.*log2(1./x2))b0=b(1,:); b1=b(2,:); b2=b(3,:);x1x2=[b0./x2;b1./x2;b2./x2]; Hx1x2=0;for i=1:size(x1x2,1) for j=1:size(x1x2,2) if x1x2(i,j)>0Hx1x2=Hx1x2-b(i,j).*log2(x1x2(i,j)); end end end Hx1x2 答案：12112121() 1.5426;(|)0.8717() 2.4144()(|) 2.4144H X H X X H X X H X H X X ===+=实验三：离散信道的平均互信息的计算1. 【习题3.1】 设信源12()0.6,0.4X x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦通过一干扰信道，接收到符号为12[,]Y y y =，其信道矩阵为：516631,44P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦1) 求信源X 中事件1x 和2x 分别含有的自信息；2) 收到消息(1,2)j y j =后，获得的关于(1,2)i x i =的信息量；3) 求信源X 和输出变量Y 的信息熵； 4) 信道疑义度(|)H X Y 和噪声熵(|)H Y X ； 5) 接收到消息Y 后获得的平均互信息；代码：x=[0.6,0.4];p=[5/6,1/6;3/4,1/4]; Ix1=log2(1./(x(1,1))) Ix2=log2(1./(x(1,2)))pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)]; py=[x*p(:,1),x*p(:,2)];px_y=[pxy(:,1)/py(1,1),pxy(:,2)/py(1,2)]; I=log2(p./[py;py]) Hx=sum(x.*log2(1./x)) Hy=sum(py.*log2(1./py))Hx_y=sum(sum(pxy.*log2(1./px_y))) Hy_x=sum(sum(pxy.*log2(1./p)))Ixy=sum(sum(pxy.*log2(p./[py;py])))答案：12111221221.()0.737() 1.32192.(;)0.0589,(;)0.263,(;)0.0931,(;)0.32193.()0.971,()0.72194.(|)0.9635(|)0.71455.(;)0.0074I x I x I x y I x y I x y I x y H X H Y H X Y H Y X I X Y ====-=-======2. 二元信道的互信息与信源分布的关系 有二元信源：01()1X p x ωω⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦有二元信道，其传递矩阵为：11p p P p p -⎡⎤=⎢⎥-⎣⎦， 其中0.2p =，即传递矩阵0.80.20.20.8P ⎡⎤=⎢⎥⎣⎦编程实现下面题目：1) 画出平均互信息(;)I X Y 随信源分布ω的关系曲线，并求出最大平均互信息。
信息导论实验报告总结(3篇)
第1篇一、实验背景随着信息技术的飞速发展，信息已成为现代社会的重要资源。
为了让学生更好地了解信息的基本概念、信息处理技术以及信息在各个领域的应用，我们开展了信息导论实验。
本次实验旨在通过实际操作，使学生掌握信息处理的基本方法，提高信息素养，为后续相关课程的学习打下基础。
二、实验目的1. 理解信息的基本概念，掌握信息处理的基本方法。
2. 掌握信息检索技巧，提高信息获取能力。
3. 了解信息在各个领域的应用，增强信息意识。
4. 培养学生的动手能力和团队协作精神。
三、实验内容1. 信息检索实验：通过搜索引擎、数据库等工具，查找特定主题的相关信息，并评价信息的可靠性。
2. 信息处理实验：运用文字处理软件、表格处理软件等工具，对收集到的信息进行整理、分析、加工和展示。
3. 信息安全实验：学习信息加密、数字签名等安全技术在信息传输和存储中的应用。
4. 信息可视化实验：运用图表、图形等手段，将抽象的信息转化为直观的可视化形式。
四、实验过程1. 实验准备：学生分组，明确实验任务，查阅相关资料，准备实验所需的软件和工具。
2. 实验实施：按照实验指导书的要求，完成各项实验任务。
3. 实验总结：对实验过程中遇到的问题进行分析，总结实验经验，撰写实验报告。
五、实验结果与分析1. 信息检索实验：学生通过搜索引擎、数据库等工具，成功检索到所需信息，并学会评价信息的可靠性。
2. 信息处理实验：学生运用文字处理软件、表格处理软件等工具，对收集到的信息进行整理、分析、加工和展示，提高了信息处理能力。
3. 信息安全实验：学生掌握了信息加密、数字签名等安全技术在信息传输和存储中的应用，增强了信息安全意识。
4. 信息可视化实验：学生通过图表、图形等手段，将抽象的信息转化为直观的可视化形式，提高了信息传达效果。
六、实验心得与体会1. 信息检索实验让我认识到，信息检索是获取信息的重要途径，掌握信息检索技巧对于提高信息素养至关重要。
2. 信息处理实验让我体会到，信息处理能力是信息时代必备的基本技能，通过实际操作，我学会了如何高效地处理信息。
信息论实验报告-
信息论实验报告学生：班级：学号：实验一香农编码一、程序设计的流程图二、程序清单#include <iostream>#include<math.h>#include<string>using namespace std;void swap(double *x,double *y);int main(){int N;cout<<"输入信源个数"<<endl;cin>>N;double S[N]; //注意变量在数组中的影响cout<<"输入信源概率"<<endl;for(int i=0;i<N;i++)cin>>S[i];for(int i=0;i<N;i++){for(int j=i;j<N;j++)if(S[i]<S[j])swap(S[i],S[j]);}int nm[N];for(int i=0;i<N;i++){nm[i]=int(-(log(S[i])/log(2)))+1;if(nm[i]==(-(log(S[i])/log(2)))+1)nm[i]--;}double AA[N];AA[0]=S[0];for(int i=1;i<N;i++ )AA[i]=AA[i-1]+S[i];string MM[N];for(int i=0;i<N;i++){double tem=0;double aa=AA[i];for(int j=0;j<N;j++){tem=aa*2;if(tem>1){MM[i]+='1';aa=tem-1;}else{MM[i]+='0';aa=tem;}}}string BB[N];for(int i=0;i<N;i++){for(int j=0;j<nm[i];j++)BB[i]+=MM[i][j];}cout<<"输出编码"<<endl;for(int i=0;i<N;i++)cout<<BB[i]<<endl;}void swap(double &x,double &y){double a;a=x;x=y;y=a;}实验二.费洛编码.一、 流程图二、程序清单#include <iostream>#include<string>#include<math.h>using namespace std;void dw(int n,int H,int W,double *si,string *m); int main(){int N;cout<<"输入信源个数"<<endl;cin>>N;double S[N];cout<<"输入信源概率"<<endl;for(int i=0;i<N;i++)cin>>S[i];for(int i=0;i<N;i++){for(int j=i;j<N;j++){if(S[i]<S[j]){double a;a=S[i];S[i]=S[j];S[j]=a;}}}string MM[N];dw(N,0,N-1,S,MM);cout<<"输出编码"<<endl;for(int i=0;i<N;i++)cout<<MM[i]<<endl;}void dw(int n,int H,int W,double *si,string *m ) {double sum=0,sm=0;int a1=W-H;if(a1>=1){for(int j=H;j<=W;j++)sum+=*(si+j);double b[n];for(int i=H;i<=W;i++){sm+=*(si+i);b[i]=fabs(2*sm-sum)/sum;}int ZH;double a=b[H];for(int i=H;i<=W;i++)if(b[i]<=a){a=b[i];ZH=i;}for(int i=H;i<=W;i++){if(i<=ZH) m[i]+='0';else m[i]+='1';}int nn=n;double *ss;ss=si;string *mm;mm=m;if(ZH==H)dw(nn,ZH+1,W,ss,mm);else if(ZH==W-1)dw(nn,H,ZH,ss,mm);else{dw(nn,H,ZH,ss,mm);dw(nn,ZH+1,W,ss,mm);}}}实验三.霍夫曼一、程序流程图二、 程序清单#include<iostream>#include<string>using namespace std;struct HNode{double weight;int parent;int lchild;int rchild;};void HuffmanTree(HNode *HuffNode,int n,double *si,string *m); int hc(string m);void nv(string *m,int n);int main(){int N;cout<<"输入信源个数"<<endl;cin>>N;double *S=new double[N];cout<<"输入信源概率"<<endl;for(int i=0;i<N;i++)cin>>S[i];string *MM=new string[N];for(int i=0;i<N;i++){for(int j=i;j<N;j++){if(S[i]<S[j]){double a;a=S[i];S[i]=S[j];S[j]=a;}}}HNode *node=new HNode[2*N-1];HuffmanTree(node,N,S,MM);nv(MM,N);cout<<"输出编码"<<endl;for(int i=0;i<N;i++)cout<<MM[i]<<endl;}void HuffmanTree(HNode *HuffNode,int n,double *si,string *m) {int i,j,x1,x2,c,p;float m1,m2;for (i=0;i<2*n-1;i++){HuffNode[i].weight=0;HuffNode[i].parent=-1;HuffNode[i].lchild=-1;HuffNode[i].rchild=-1;}for (i=0;i<n;i++){HuffNode[i].weight=si[i];}for (i=0;i<n-1;i++){m1=m2=1;x1=x2=0;for (j=0;j<n+i;j++){if (HuffNode[j].parent==-1&&HuffNode[j].weight<m1){m2=m1;x2=x1;m1=HuffNode[j].weight;x1=j;}else if (HuffNode[j].parent==-1&&HuffNode[j].weight<m2){m2=HuffNode[j].weight;x2=j;}}HuffNode[x1].parent=n+i;HuffNode[x2].parent=n+i;HuffNode[n+i].weight=HuffNode[x1].weight+HuffNode[x2].weight;HuffNode[n+i].lchild=x1;HuffNode[n+i].rchild=x2;}for(i=0;i<n;i++){c=i;p= HuffNode[c].parent;while(p!=-1){if(HuffNode[p].lchild ==c)m[i]+='0';elsem[i]+='1';c=p;p=HuffNode[c].parent;}}}int hc(string m){int a=0;for(int i=0;m[i]!='\0';i++)a++;return a;}void nv(string *m,int n){char mn[n];int b;for(int i=0;i<n;i++){b=hc(m[i]);for(int j=0;j<b;j++){mn[j]=m[i][b-j-1];}m[i]=mn;}}实验四.信道一、程序流程图三、程序清单#include <stdlib.h>#include <iostream>#include <math.h>using namespace std;int main(){int ni,no;int i,j;cout<<"输入信源个数"<<endl;cin>>ni;cout<<"输出信源个数"<<endl;cin>>no;double *Si=new double[ni];double *So=new double[no];cout<<"输入信源概率"<<endl;for (i=0;i<ni;i++){cin>>Si[i];}cout<<endl;//再输入信道转移概率矩阵//注意进行判断，某行如果总概率大于1，则出现错误应从新输入cout<<"输入转移概率："<<endl;float **p; //转移条件概率p=new float *[ni];for (i=0;i<ni;i++){p[i]=new float[no];}for (i=0;i<ni;i++){for (j=0;j<no;j++){cin>>p[i][j];}}for (i=0;i<ni;i++){float a=0;for (j=0;j<no;j++){a+=p[i][j];}if (a!=1.0){cout<<"输入数据有误，请检查后再次输入。
信息论实习报告
实习报告实习单位：某某信息科技有限公司实习时间：2023年2月18日至2023年3月18日实习岗位：信息论实习生一、实习背景及目的随着信息技术的快速发展，信息论作为一门研究信息传输和处理的理论基础，在各领域中发挥着越来越重要的作用。
为了加深我对信息论知识的理解，提高实际操作能力，我选择了某某信息科技有限公司进行为期一个月的实习。
实习目的在于将所学理论知识与实际工作相结合，拓宽知识面，培养实践操作技能。
二、实习内容及收获1. 实习内容（1）参与公司项目研发，负责信息传输过程中的信号处理和编码工作。
（2）协助工程师进行实验室测试，收集实验数据，分析实验结果。
（3）学习公司内部技术文档，了解公司的信息论技术应用和发展方向。
（4）参加公司组织的培训课程，提升自己在信息论方面的专业知识。
2. 实习收获（1）理论知识应用：通过实际参与项目研发，我将所学的信息论知识应用于实际工作中，提高了理论知识的实际运用能力。
（2）实践操作技能：在实验室测试过程中，我学会了使用各种测试设备，掌握了实验数据的收集和分析方法。
（3）团队协作：与公司同事共同完成项目任务，我学会了如何进行有效沟通，提高了团队协作能力。
（4）行业认识：通过实习，我更加了解了信息论在实际应用中的重要性，以及对相关行业的发展趋势有了更深入的认识。
三、实习中遇到的问题及解决办法在实习过程中，我遇到了一些问题，主要包括：（1）理论知识与实际应用的衔接：在实际工作中，我发现所学理论知识并不能直接应用于实际问题，需要不断地学习和摸索。
（2）技术难题：在项目研发过程中，遇到了一些技术难题，需要向工程师请教和寻求帮助。
解决办法：（1）加强学习：通过阅读相关资料和参加公司培训，提高自己的理论水平和实际操作能力。
（2）积极请教：遇到问题时，主动向工程师请教，争取他们的指导和帮助。
四、实习总结通过本次实习，我对信息论在实际应用中的重要性有了更深入的认识，同时自己的实践操作能力和团队协作能力也得到了锻炼和提高。
信息论实验报告
桂林理工大学实验报告班级：通信09-2班学号：3090731219 姓名：崔泽实验名称：计算离散信源的熵日期：2011年5月10日一、实验目的1、熟悉离散信源的特点2、熟悉离散信源平均信息量的计算方法二、实验内容1、写出计算自信息量的Matlab程序2、写出计算离散信源平均信息量的Matlab程序3、掌握二元离散信源的最大信息量与概率的关系4、完成习题三、习题1、程序：x=[0.5 0.25 0.125 0.125 ];y=[0.875 0.125];b=-x.*log2(x)H1=sum(b)c=-y.*log2(y)H1=sum(c)X=-log2(x)Y=-log2(y)程序运行结果：b = 0.5000 0.5000 0.3750 0.3750H1 =1.7500c = 0.1686 0.3750H1 = 0.5436X = 1 2 3 3Y =0.1926 3.0000由上面结果可以看出，甲信源的熵为： 1.7500已信源的熵为：0.5436甲地各种天气的信息量晴，云，大雨，小雨分别为1 2 3 3已地各种天气的信息量晴，小雨分别为0.1926 3.00002、Matlab程序：x=[1/4 1/8 1/8 3/16 5/16];a=-x.*log2(x);H=sum(a)程序运行结果：H = 2.22723、Matlab程序：X=[1/4 1/8 1/8 1/2];a=-x.*log2(x);H=sum(a)程序运行结果：H = 1.75003、Matlab程序：p=0.00011:0.1:0.99999;x=[p,1-p];a=-x.*log2(x);H=sum(a)plot(x,a)pHH = 7.0879当p呈等概率分布时，平均信息量达到最大值7.0879桂林理工大学实验报告班级：通信09-2班学号：3090731225 姓名：崔泽实验名称：离散信道德平均互信息及其信道容量的计算日期：2011年5月20日一、实验目的1、了解信道传输概率的状态图和信道转移概率的矩阵的特点2、了解什么是信道容量和最佳输入概率分布3、熟悉计算平均互信息和信道容量的计算步骤二、实验内容1、写出计算互信息和平均互信息的Matlab程序2、写出计算几种特殊离散信道的信道容量的Matlab程序3、完成习题三、习题1、Matlab程序：w=0.01:0.1:0.99;a1=log2(0.8./(0.6.*w+0.2));a2=log2(0.2./((-0.6).*w+0.8))I=0.8.*w.*a1+0.2.*(1-w).*a2+0.2.*w.*a2+0.8.*(1-w).*a1plot(w,I)程序运行结果：Imax=1.1681；即 C=1.1681；2、（1）原理：C=logr Matlab程序：r=3;c=log2(r)运算结果：c =1.5850（2）原理：C=log2(s)Matlab程序:S=2;C=log2(s)运行结果：C=1（3）原理：C=log2(s)-H(p1,p2,…,ps); Matlab程序:s=4;c=log2(s)+2/3*log2(1/3)+1/3*log2(1/6) 运行结果：c =0.0817（4）4、一般信道，其信道矩阵为：111244121636113884P⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦桂林理工大学实 验 报 告班级：通信09-2班 学号：3090731225 姓名：崔泽 实验名称：有噪信道编码定理 日期：2011年5月30日一、实验目的1、理解有噪信道编码定理的物理意义2、熟悉 Matlab 编程二、实验内容1、学习应用有噪信道编码定理解决实际问题2、将程序在计算机上仿真实现，验证程序的正确性3、完成习。
信息论课程实验报告
中国地质大学(武汉)CHINA UNIV ERSIT Y OF GEOSCIENCES信息论课程实验报告指导老师：严军姓名：刘一龙班级：71082-14学号：20081002007中国地质大学（武汉）2011年6月实验一构造（7,4）系统码一、实验题目Construct a systematic (7,4) linear block code. Y ou can use c / MA TLAB / HDL (VHDL or Verilog-HDL) to describe it. Please write the detail of how to realize it in computer language. And list the program lines.二、实验程序算法设计：利用H的线性独立，通过n的二进制形式构造出H，然后利用H构造出G。
本算法具有通用性，不仅可以计算出（7,4）的生成矩阵，还可以构造出（15,11），（31,26）的生成矩阵。
Matlab程序：clc;disp('请输入系统码n的值');n = input('n=');disp('请输入系统码k的值');k = input('k=');r = n-k;temp=[];for i=1:ny=dec2bin(i,r);for j=1:rtemp(i,j)=mod(y(j),2);endendfor i=1:rt = temp(i,:);temp(i,:)=temp(2^(i-1),:);temp(2^(i-1),:)=t;endfor i=1:(fix(r/2))t = temp(:,i);temp(:,i)=temp(:,r-i+1);temp(:,r-i+1)=t;endH = temp';%-----构造矩阵G--------%P=H(:,r+1:n);G=[P',eye(k)];disp('生成矩阵');Gdisp('校验矩阵');H三、实验结果请输入系统码n的值n=7请输入系统码k的值k=4生成矩阵G =1 1 0 1 0 0 01 0 1 0 1 0 00 1 1 0 0 1 01 1 1 0 0 0 1校验矩阵H =1 0 0 1 1 0 10 1 0 1 0 1 10 0 1 0 1 1 1请输入系统码n的值n=15请输入系统码k的值k=11生成矩阵G =Columns 1 through 81 0 1 0 1 0 0 00 1 1 0 0 1 0 01 1 1 0 0 0 1 01 1 0 0 0 0 0 11 0 0 1 0 0 0 00 1 0 1 0 0 0 01 1 0 1 0 0 0 00 0 1 1 0 0 0 01 0 1 1 0 0 0 00 1 1 1 0 0 0 01 1 1 1 0 0 0 0 Columns 9 through 150 0 0 0 0 0 00 0 0 0 0 0 00 0 0 0 0 0 00 0 0 0 0 0 01 0 0 0 0 0 00 1 0 0 0 0 00 0 1 0 0 0 00 0 0 1 0 0 00 0 0 0 1 0 00 0 0 0 0 1 00 0 0 0 0 0 1校验矩阵H =Columns 1 through 81 0 0 0 1 0 1 10 1 0 0 0 1 1 10 0 1 0 1 1 1 00 0 0 1 0 0 0 0Columns 9 through 151 0 1 0 1 0 10 1 1 0 0 1 10 0 0 1 1 1 11 1 1 1 1 1 1实验二循环码一、实验题目We have already learned how to encode and decode cyclic codes. Please use the generator polynomial g(x)=1+x+x2+x4to construct a (7,3) code. And if the received code vector is [1 1 0 0 1 1 1], how to decode it? Use c / MATLAB / HDL language to realize the encoding and decoding system.二、实验程序算法设计：通过计算自己将生成矩阵G输入到计算机，然后输入要传输的信息m，利用c=mG 自动生成码字c。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
游程编码实现有效性提高的原理及通用编码的思想康乐203201505020摘要：信源编码的目的是提高信息传输效率，其思想是去除消息中的冗余成分。
在无失真的信源编码中，根据信源的统计特性进行编码称为统计编码，而在信源统计特性未知的情况下，就需要一种新的编码方法，称之为通用编码。
本文对统计编码中的游程编码进行了分析，说明其有效性，给出其具有有效性的原理论述，对游程编码的截断效应进行了仿真；同时分析了通用编码的存在性与构造方法，还以字典码为例进行了仿真。
关键词：信源编码游程编码通用编码字典码一、信源编码概述通信的根本问题是将信源的输出在接收端精确的或近似的重现出来。
为此需要解决两个问题。
其一是信源的输出应如何描述，及如何计算它产生的信息量；其二是如何表示信源的输出，即信源编码问题。
由于信源可以根据信息输出的形式分为离散信源和连续信源，因此信源编码也就可以分为离散信源和连续信源。
根据通信的要求，可以将信源编码分为无失真信源编码和限定失真的信源编码。
若要求精确的重现信源的输出，就要保证信源产生的全部信息无损的传递给信宿，这时的信源编码就是无失真信源编码。
许多实际情况下，并不要求完全精确地复制出信源的输出，而且在有干扰的情况下，这也是不可能的。
一般对信源-信宿要定出可接收准则或保真度准则，这就是限定失真的信源编码。
离散信源的输出可以用如下符号序列表示：21012,,,,,U U U U U --其中l U 表示在第l 时刻产生的符号，l 为整数。
l U 为一随机变量，它在有限字母集{}1,k A a a =中选取。
如果使用D 字母的集合{}1,d B b b =作为码表，那么如果组成码字的码符号数目相等，我们就称之为等长编码，否则称之为非等长编码。
非等长编码则可以根据编码是否依赖信源的统计特性分为统计编码与通用编码。
二、 游程编码 2.1 游程编码概念游程编码（RLC, Run Length Coding ），又称“运行长度编码”或“行程编码”，是一种统计编码，该编码属于无损压缩编码，是栅格数据压缩的重要编码方法。
游程编码中的游程是指字符序列中各个字符连续重复出现而形成的字符串长度，编码方法是将字符序列映射成字符串长度和位置的标志序列，那么对于M 元序列：011{,,,}M u u u -输入的消息序列{,,,,,}i r r r k U u u u u u 中的符号r U 的游程长度()L r 就是其游程长度。
例如：5555557777733322221111111行程编码为：（5，6）（7，5）（3，3）（2，4）（1，7）。
可见，行程编码的位数远远少于原始字符串的位数。
2.2 游程编码有效性在对图像数据进行编码时，沿一定方向排列的具有相同灰度值的像素可看成是连续符号，用字串代替这些连续符号，可大幅度减少数据量。
游程编码记录方式有两种：①逐行的记录每个游程的终点列号：②逐行的记录每个游程的长度第一种方式：A A AB B AC C C A这个图形就记为： A,3，B,5 A,1，C,4，A,5 第二种就记作： A,3，B,2 A,1，C,3，A,1行程编码是连续精确的编码，在传输过程中，如果其中一位符号发生错误，即可影响整个编码序列，使行程编码无法还原回原始数据。
游程长度在栅格加密时，数据量没有明显增加，压缩效率较高，且易于检索、叠加合并等操作，运算简单，适用于机器存储容量小，数据需大量压缩，而又要避免复杂的编码和解码运算，增加处理和操作时间的情况。
举例来说，一组输入序列"AAAABBBCCDEEEE"，由4个A 、3个B 、2个C 、1个D 、4个E 组成，经过游程编码可将序列压缩为4A3B2C1D4E ，即由14个单位转成10个单位长度。
简言之，其优点在于将重复性高的数据量压缩成小单位；然而，其缺点在于─若该字符出现频率不高，可能导致压缩结果数据量比原始序列大，例如：原始序列"ABCDE"，压缩结果为"1A1B1C1D1E"即由5个单位转成10个单位长度。
2.3 游程编码有效性原理由于游程编码并没有一个完备的数学公理体系作为支撑，因此想要分析它的有效性就要分类进行，本文只讨论了二元游程编码以及多元游程编码中的冗余位编码的有效性原理。
冗余位编码 对于M 元序列：011{,,,}M u u u当M≥3时，只凭借游程长度L 无法实现可逆的编码，需要添加其他符号。
当M 很大时，附加标志可能抵消压缩编码的好处。
但是有一种特殊情况,当输入序列为：1231112m m m U x x x x yy yyyyx x y yyy +=⋯⋯⋯⋯⋯经过游程编码可以分解为以下两个序列：1111000000110000L =⋯⋯⋯⋯⋯'1231112 m m m U x x x x x x +=⋯⋯⋯即将一个多元序列分解为一个二元序列和一个缩减多元序列，从而提高了编码效率。
二元游程编码对于二元相关信源来说，对其N 次扩展信源编码才能提高编码效率。
这将产生符号数剧增，码字多，译码复杂，符号间相关性没有利用等等一系列问题。
而对于二元相关信源，游程编码可以只凭借游程长度L 实现可逆的编码，下面给出有效性的证明：假设游程编码将二元相关信源编码为黑游程与白游程，分别对应 1与0的长度。
那么可以得到白游程熵：w l 为白游程长度，L 为白游程最大长度由信源编码定理：w L 为白游程平均码长。
所以白游程长的平均值为：联立上述几式可得：白像素熵值为：白像素平均码长为：带入（4）式中可得：同理对黑游程也可以得到：每个像素的熵值： (8)每个像素平均码长： (9)将（5）乘以w P 加上（7）乘以B P ：可以看出二元相关信源编码后的平均码长仍以信源熵为极限，所以压缩效率较高。
三、通用编码3.1通用编码的存在性统计分布需要精确的知道信源的概率分布，或者对信源的实际分布和假设分布之间的偏差很敏感时。
一旦实际分布与假设分布有差异时，通用编码的性能会急剧下降。
但在实际应用中，想要确切的获得信源的统计特性是十分困难的，这时就需要寻找一种与信源统计特性无关的编码方案。
由香农第三定理，只要码长足够长，总可以找到一种信源编码，使得编码后的信息传输率略大于率湿疹函数，而编码的平均失真度不大于给定的允许失真度。
这就说明了至少存在有限失真的通用编码方法，使得编码长度足够大时，错误概率任意小。
3.2通用编码的构造方法由于统计特性不确知是通用编码的困难之处，因此可以考虑对信源的概率统计特性进行估计，并用估计的统计特性为基础，将类似于统计编码的设计思路应用到通用编码上。
这种构造方法一般的特点是边统计，边编码，以使得完成的编码与心愿的概率统计特性近似的匹配。
另外一种构造方法是考虑到通用编码存在的依据：只要编码速率R＞H(x)，H(x)是信源熵，那么当编码长度充分的大时，可以使得译码错误概率任意小。
那么只要对平均码长做出约束，就可以大致确定通用编码的方式。
这种构造方法是以序列复杂度的理论为基础，以求出平均码长极限，从而获得编码方案。
3.3字典码字典码是使用估计信源的统计特性来构造通用编码方法的典型应用。
编码LZ编码器的输出是码字-字符(W,C)对，每次输出一对到码字流中，与码字W相对应的缀-符串用字符C进行扩展生成新的缀-符串，然后添加到词典中。
是边生成字典，边编码的过程。
编码算法步骤1：在开始时，词典和当前前缀P都是空的。
步骤2：当前字符C ：=字符流中的下一个字符。
步骤3：判断P+C是否在词典中：(1) 如果“是”：用C扩展P，让P ：= P+C ；(2) 如果“否”：①输出与当前前缀P相对应的码字和当前字符C；② 把字符串P+C 添加到词典中。
③ 令P ：=空值。
(3) 判断字符流中是否还有字符需要编码① 如果“是”：返回到步骤2。
② 如果“否”：若当前前缀P 不是空的，输出相应于当前前缀P 的码字，然后结束编码。
N开始获得信源序列初始化字典初始化待处理字 符串能否在字典中找到短语得到短语号更新最后一个字符已到输入序列中最后一结束输出：字典中最后一个字符更新字典，将最新的字符加更新最后一个字符YNY图 1 字典码编码流程图●译码LZ的译码过程与之相反，将当前码字W对应的前缀输出，再输出当前编码对应符号C。
从空集开始更新字典，不断添加新的缀-符串。
是边生成字典，边译码的过程。
译码算法•步骤1：在开始时词典是空的。
•步骤2：当前码字W ：=码字流中的下一个码字。
•步骤3：当前字符C ：= 紧随码字之后的字符。
•步骤4：输出当前码字的缀-符串到字符流，然后输出字符C。
•步骤5：把W+C添加到词典中。
•步骤6：判断码字流中是否还有码字要译码(1) 如果“是”，就返回到步骤2。
(2) 如果“否”，则结束。
四、 总结本文对统计编码中的游程编码进行了分析，说明其有效性，给出其具有有效性的原理论述，对游程编码的截断效应进行了仿真；同时分析了通用编码的存在性与构造方法，还以字典码为例进行了仿真。
其中遇到的难点有以下几点：• 游程编码理论分析• 游程编码截断效应仿真• 通用编码构造方法总结 图 2 字典码译码流程图•字典码编程实现解决问题的方法主要有：•将游程编码视为黑白二种游程，先分别计算其平均码长，再将两种游程看成一种编码，计算其平均码长，从而说明游程编码是一种熵编码。
•游程编码的仿真中存在寻找不同游程变化点的过程，是整体算法计算复杂度最集中的部分，后来在改进中使用求导的方法来获得游程变化点，大大减少了复杂度，是的截断效应的仿真点数增多，效果能够更加明显。
•通用编码的构造方法在一般的教参中很少提及，大多含混而过，此处综合了许多文献的观点。
•字典码的编程实现还是较为复杂的，主要是编译码过程中对字典的构造需要大量的计算，但是通过改进，可以动态的建立字典，只需传递字典的大小而不必传输字典本身，并且可以将每一步的输出都输出出来，从而验证了代码的正确性。
参考文献：[1].徐利华, 陈早生. 二值图像中的游程编码区域标记[J]. 光电工程,2004, 31(6):63-65. 最得力的参考文献[2].魏佳圆, 温媛媛, 周诠. 二值图像游程-Huffman编码方法研究及Matlab实现[J]. 空间电子技术, 2015(1):93-96.[3]. 谭兆信. 散列高阶字典编码及其实现[J]. 软件学报,1998(8):632-636.[4].李畅. 无损图像压缩算法与有损图像压缩算法分析[J]. 现代计算机：普及版, 2015(12):61-64.[5].。