信息论与编码实验报告-信道容量的迭代算法
信息论与编码实验报告
实验报告课程名称：信息论与编码姓名：系：专业：年级：学号：指导教师：职称：年月日目录实验一信源熵值的计算 (1)实验二Huffman信源编码 (6)实验三Shannon编码 (12)实验四信道容量的迭代算法 (16)实验五率失真函数 (20)实验六差错控制方法 (29)实验七汉明编码 (32)实验一 信源熵值的计算一、 实验目的1 进一步熟悉信源熵值的计算2熟悉 Matlab 编程二、实验原理熵（平均自信息）的计算公式∑∑=--==q i i i qi i i p p p p x H 1212log 1log )( MATLAB 实现：))(log *.(2x x sum HX -=；或者))((log *)(2i x i x h h -=流程：第一步：打开一个名为“nan311”的TXT 文档，读入一篇英文文章存入一个数组temp ，为了程序准确性将所读内容转存到另一个数组S ，计算该数组中每个字母与空格的出现次数(遇到小写字母都将其转化为大写字母进行计数)，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值（本程序中单位为奈特nat ）。
程序流程图：三、实验内容1、写出计算自信息量的Matlab 程序2、已知：信源符号为英文字母（不区分大小写）和空格。
输入：一篇英文的信源文档。
输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。
四、实验环境Microsoft Windows 7Matlab 6.5五、编码程序#include"stdio.h"#include <math.h>#include <string.h>#define N 1000int main(void){char s[N];int i,n=0;float num[27]={0};double result=0,p[27]={0};FILE *f;char *temp=new char[485];f=fopen("nan311.txt","r");while (!feof(f)) {fread(temp,1, 486, f);}fclose(f);s[0]=*temp;for(i=0;i<strlen(temp);i++){s[i]=temp[i];}for(i=0;i<strlen(s);i++){if(s[i]==' ')num[26]++;else if(s[i]>='a'&&s[i]<='z')num[s[i]-97]++;else if(s[i]>='A'&&s[i]<='Z')num[s[i]-65]++;}printf("文档中各个字母出现的频率:\n"); for(i=0;i<26;i++){p[i]=num[i]/strlen(s);printf("%3c:%f\t",i+65,p[i]);n++;if(n==3){printf("\n");n=0;}}p[26]=num[26]/strlen(s);printf("空格:%f\t",p[26]);printf("\n");for(i=0;i<27;i++){if (p[i]!=0)result=result+p[i]*log(p[i]);}result=-result;printf("信息熵为:%f",result);printf("\n");return 0;六、求解结果其中nan311.txt中的文档如下：There is no hate without fear. Hate is crystallized fear, fear’s dividend, fear objectivized. We hate what we fear and so where hate is, fear is lurking. Thus we hate what threatens our person, our vanity and our dreams and plans for ourselves. If we can isolate this element in what we hate we may be able to cease from hating.七、实验总结通过这次实验，我们懂得了不必运行程序时重新输入文档就可以对文档进行统计，既节省了时间而且也规避了一些输入错误。
可以码信道容量迭代算法C 程序.
信息科学基础课程设计报告学院班级学号姓名课程设计一、信道容量的迭代算法1.课程设计目的（1）进一步熟悉信道容量的迭代算法；（2）学习如何将复杂的公式转化为程序；（3）掌握程序设计语言的数值计算程序和调试技术。
2.课程设计要求（1）已知：信源符号个数r、信宿符号个数s、信道转移概率矩阵P；（2）输入：任意的一个信道转移概率矩阵。
信源符号个数、信宿符号个数和每一个具体的转移概率在运行时从键盘输入；（3）输出：最佳信源分布*p，信道容量C。
3. 程序设计代码：#include<stdio.h>#include<math.h>#define MAX 100double Calculate_a(int k,double pa[]);double Calculate_C1(double pa[],double a[]);double Calculate_C2(double a[]);int r,s;double pba[MAX][MAX];void main(){int i,j;double C1,C2,E;double a[MAX],pa[MAX];E=0.000001;printf("请输入信源符号个数r:\n");scanf("%d",&r);printf("请输入信宿符号个数s:\n");scanf("%d",&s);printf("请输入信源P[ai]:\n");for(i=0;i<r;i++)scanf("%lf",&pa[i]);printf("请输入信道转移概率矩阵P[bj][ai]:\n");for(i=0;i<r;i++)for(j=0;j<s;j++)scanf("%lf",&pba[i][j]);do{for(i=0;i<r;i++)a[i]=Calculate_a(i,pa);C1=Calculate_C1(pa,a);C2=Calculate_C2(a);if(C2-C1>=E){double sum=0;for(i=0;i<r;i++)sum+=pa[i]*a[i];for(i=0;i<r;i++)pa[i]=pa[i]*a[i]/sum;}else{printf("最佳信源概率:\n");for(i=0;i<r;i++)printf(" %lf \n",pa[i]);}}while(C2-C1>=E);printf("信道容量为:%lf\n",C1/log(2));}double Calculate_a(int k,double pa[]){int i,j;double temp,sum2=0;for(j=0;j<s;j++){double sum1=0;for(i=0;i<r;i++){sum1+=pa[i]*pba[i][j];}temp=pba[k][j]/sum1;temp=log(temp);sum2+=pba[k][j]*temp;}return exp(sum2);}double Calculate_C1(double pa[],double a[]) {int i;double sum=0;for(i=0;i<r;i++)sum+=pa[i]*a[i];return log(sum);}double Calculate_C2(double a[]){int i;double max=a[0];for(i=0;i<r;i++)if(max<a[i]) max=a[i];return log(max);}4.输入、输出结果：例1：请输入信源符号个数r:2请输入信宿符号个数s:3请输入信源P[ai]:0.50.5请输入信道转移概率矩阵P[bj][ai]: 0.50.30.20.30.50.2最佳信源概率:0.5000000.500000信道容量为:0.036453Press any key to continue例2 ：请输入信源符号个数r:3请输入信宿符号个数s:3请输入信源P[ai]:0.20.30.5请输入信道转移概率矩阵P[bj][ai]: 0.50.333333330.166666660.166666660.50.3333333330.333333330.166666660.5最佳信源概率:0.3333300.3333340.333337信道容量为:0.125815Press any key to continue课程设计二、惟一可译码判决准则1.课程设计目的（1）进一步熟悉惟一可译码判决准则；（2）掌握程序设计语言字符串处理程序和调试技术。
信息论与编码实习报告
信息论与编码实习报告指导老师：姓名：班级：学号：实验一绘制二进制熵函数曲线一、内容用Matlab软件制作二进制熵函数曲线。
二、要求1.掌握Matlab绘图函数2.掌握、理解熵函数表达式及其性质三．Matlab程序及实验结果1.matlab程序：p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);title('二进制熵函数曲线');ylabel('H(P,1-P)')2.运行结果：结果分析：从图中可已看出当p=0.5即信源等概时熵取得最大值。
实验二一般信道容量迭代算法一、内容编程实现一般信道容量迭代算法。
伪代码见教材。
二、要求1.掌握一般信道容量迭代算法的原理2.掌握MA TLAB开发环境的使用（尤其是程序调试技巧），或者使用C语言完成程序设计三．Matlab程序及运行结果1.matlab程序：clc;clear all;N = input('输入信源符号X的个数N=');M = input('输入信源符号Y的个数M=');p_yx=zeros(N,M); %程序设计需要信道矩阵初始化为零fprintf('输入信道矩阵概率\n')for i=1:Nfor j=1:Mp_yx(i,j)=input('p_yx='); %输入信道矩阵概率if p_yx(i)<0error('不符合概率分布')endendEndfor i=1:N %各行概率累加求和s(i)=0;for j=1:Ms(i)=s(i)+p_yx(i,j);endendfor i=1:N %判断是否符合概率分布if (s(i)<=0.999999||s(i)>=1.000001)error('不符合概率分布')endendb=input('输入迭代精度：'); %输入迭代精度for i=1:Np(i)=1.0/N; %取初始概率为均匀分布endfor j=1:M %计算Q(j)Q(j)=0;for i=1:NQ(j)=Q(j)+p(i)*p_yx(i,j);endendfor i=1:N %计算F(i) f(i)=0;for j=1:Mif(p_yx(i,j)==0)f(i)=f(i)+0;elsef(i)=f(i)+p_yx(i,j)*log(p_yx(i,j)/Q(j));endendF(i)=exp(f(i));endx=0;for i=1:N %计算x x=x+p(i)*F(i);endIL=log2(x); %计算ILIU=log2(max(F)); %计算IUn=1;while((IU-IL)>=b) %迭代计算for i=1:Np(i)=p(i)*F(i)/x; %重新赋值p(i) endfor j=1:M %计算Q(j) Q(j)=0;for i=1:NQ(j)=Q(j)+p(i)*p_yx(i,j);endendfor i=1:N %计算F(i) f(i)=0;for j=1:Mif(p_yx(i,j)==0)f(i)=f(i)+0;elsef(i)=f(i)+p_yx(i,j)*log(p_yx(i,j)/Q(j));endEndF(i)=exp(f(i));endx=0;for i=1:N %计算xx=x+p(i)*F(i);endIL=log2(x); %计算ILIU=log2(max(F)); %计算IUn=n+1;endfprintf('信道矩阵为：\n');disp(p_yx);fprintf('迭代次数n=%d\n',n);fprintf('信道容量C=%f比特/符号',IL);2.运行结果为：若输入信道矩阵为：0.8500 0.15000.7500 0.2500则运行结果为：实验四线性分组码的信道编码和译码一、内容编程实现线性分组码（6,2）重复码的信道编码和译码。
信息论实验
设计并完成以下三个实验，要求有实验目的、原理、步骤、结果、程序和分析讨论（30分，每个实验10分） 实验①信道容量的计算实验②Huffman 编码或者算术编码实验 实验③信道编码方案设计实验一 信道容量的计算一、 实验目的1、 熟悉Matlab 工作环境以及工具箱；2、 掌握一般信道容量迭代算法原理。
3、 学习如何将复杂的公式转化为程序实现。
二、 实验要求1、 已知信源符号个数，信宿符号个数，信道转移概率矩阵P 。
2、 输入任意的一个信道转移概率矩阵，信源符号个数，信宿符号个数和每个具体转移概率，得出结果。
三、 实验原理定理：设信道的前向转移概率矩阵J K k j a b q Q ⨯=))((，0P 是任给的输入字母的一个初始概率分布，其所有分量)(0k a P 均不为零。
按照下式不断对概率分布进行迭代、更新：∑=+=Ki ri i r rk k rk r P a p P a p a p11)()()()()(ββ其中[]⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧===∑∑===J j Ki i j i rk j k j pp k rk a b q a p a b q a b q Y a x I P r11)()()(log)(exp );(exp )(β则由此所得的),(Q p I r 序列收敛于信道容量C 。
在上述定理中，输入字母概率分布的更新方法具有很明显的意义，即不断将具有较大互信息);(Y a x I k =的输入字母的概率加以提高，将具有较小互信息);(Y a x I k =的输入字母的概率加以降低。
四、实验程序及结果。
进行Matlab仿真，仿真程序如下：contmax.m文件function [P_X,C,N]=contmax(P_YX,E)%计算任意信道的信道容量C及最佳输入分布P_X%P_X为输入概率分布%C为信道容量%N为迭代次数%P_YX为DMC信道的转移矩阵%E为预设精度if length(find(P_YX<0)~=0) %转移矩阵中各元素必须大于等于0 error('Not a probable vector, Negative component');endB=abs(sum(P_YX')-1);if max(B)>10e-10 %转移矩阵的行和必须等于1，否则重新输入error('Not a probable vector, Component do not add up to "1" ');end%变量初始化C1=1;C=0;N=0; r=size(P_YX);P_X=ones(1,r(1))/r(1);%调整P_YX的零元素值Pyx=(P_YX==0).*eps;P_YX=P_YX+Pyx;%迭代求解while (abs(C1-C))>EP_Y=P_X*P_YX;I1=sum((P_YX.*log2(P_YX))');I2=log2(P_Y)*(P_YX'); BETA=exp(I1-I2);B=P_X*(BETA');C1=log(B);C=log(max(BETA));P_X=P_X.*BETA/B;N=N+1; %迭代次数end保存为contmax.m文件执行程序为：p=0.4;P_YX=[1,0,0;0,1-p,p;0,p,1-p]; %信道的转移矩阵[P_X,C,n]=contmax(P_YX,0.001) %预设迭代精度e=0.001C0=log2(1+2*(p^p)*((1-p)^(1-p))) %通过算式直接求得信道容量执行结果：P_X =0.4887 0.2557 0.2557C =1.0340n =9C0 =1.0333五、分析讨论迭代精度对计算结果的影响。
信道容量迭代计算实验报告
信道容量迭代计算实验报告王升10271051信科1002信道容量迭代计算实验报告一、实验目的：了解信道容量的定义和计算方法，能编写出正确的程序进行迭代计算得出信道容量。
二、实验要求：1）输入：输入信源个数、信宿个数和信道容量的精度，程序能任意生成随机的信道转移概率矩阵。
2）输出：输出最佳信源分布和信道容量。
三、实验环境：Matlab四、实验原理：五、源程序代码：clear;r=input('输入信源个数：');s=input('输入信宿个数：');deta=input('输入信道容量的精度：');Q=rand(r,s); %创建m*n随机分布矩阵A=sum(Q,2);B=repmat(A,1,s);disp('信源转移概率矩阵:'),p=Q./B %信源转移概率矩阵i=1:1:r;q(i)=1/r;disp('原始信源分布：'),qc=-10e-8;C=repmat(q',1,s);for k=1:1:100000m=p.*C; %后验概率的分子部分a=sum(m); %后验概率的分母部分su1=repmat(a,r,1);t=m./su1; %后验概率矩阵D=exp(sum(p.*log(t),2)); %信源分布的分子部分su2=sum(D); %信源分布的分母部分q=D/su2; %信源分布C=repmat(q,1,s);c(k+1)=log(sum(exp(sum(p.*log(t),2))))/log(2);kk=abs(c(k+1)-c(k))/c(k+1);if(kk<=0.000001)break;endenddisp('最大信道容量时的信源分布：q='),disp(q') disp('最大信道容量：c='),disp(c(k+1))六、实验结果：。
实验二：信道容量的迭代算法
实验二信道容量迭代算法一、实验目的：了解信道容量的计算方法二、实验内容与原理：内容：1．令pe1=pe2=0.1和pe1=pe2=0.01，分别计算该对称信道的信道容量和最佳分布；2．令pe1=0.15，pe2=0.1和pe1=0.075pe2=0.01，分别计算该信道的信道容量和最佳分布；信道容量是信息传输率的极限，当信息传输率小于信道容量时，通过信道编码，能够实现几乎无失真的数据传输；当数据分布满足最佳分布时，实现信源与信道的匹配，使得信息传输率能够达到信道容量。
本实验利用信道容量的迭代算法，使用计算机完成信道容量的计算。
三、程序代码#include<stdio.h>#include<math.h>int main(){double Pe1,Pe2,Pa1_=0,Pa2_=0; double b1a1,b2a1,b1a2,b2a2;double Pa1=0,Pa2=0;double I=0,max=0;//平均互信息量,最大平均互信息量int count=0;printf("输入信道容量参数Pe1：");scanf("%lf",&Pe1);printf("输入信道容量参数Pe2：");scanf("%lf",&Pe2);printf("信道容量参数：Pe1=%lf Pe2=%f\n",Pe1,Pe2);b1a1=1-Pe1;b2a1=Pe1;b1a2=Pe2;b2a2=1-Pe2;for(Pa1=0.01;Pa1<=1;Pa1=Pa1+0.01){ Pa2=1-Pa1;count=count+1;I=Pa1*b1a1*( log( b1a1/(Pa1*b1a1+Pa2*b1a2) )/log(2) )+Pa1*b2a1*( log(b2a1/(Pa1*b2a1+Pa2*b2a2) )/log(2) )+Pa2*b1a2*( log(b1a2/(Pa1*b1a1+Pa2*b1a2) )/log(2) )+Pa2*b2a2*( log(b2a2/(Pa1*b2a1+Pa2*b2a2) )/log(2) );printf("%10lf",I);if (I>max){max=I;Pa1_=Pa1,Pa2_=Pa2;}elsecontinue;}printf("\n");printf(" 一共计算机了：%d\n",count);printf(" 最大互信息量为：%lf\n",max);printf(" 最大互信息量的P(a1)=%lf;P(a2)=%lf\n",Pa1_,Pa2_); }四、运行结果。
离散无记忆信道的信道容量计算实验报告
感谢聆听！
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
运行结果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入概 率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越高， 结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
程序设计思路
（1）参数输入模块
（2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
（3）迭代模块1
（4）迭代模块2
（5）输出模块
P116 4.3 (b)
一般的王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
(完整word版)信道容量迭代算法
C(n 1, n) ln p(ai )i
i
C(n 1, n)
ln(
max i
i
)
C(n+1,n)— C (n+1,n)<
是
否
C=C(n+1,n)
终止
P=input('转移概率矩阵 P=') e=input('迭代精度 e=') [r,s]=size(P); k=0; C=0; C_0=0; C_1=0; [r,s]=size(P); for i=1:r
C_1=log2(max(A));
if (abs(C_0-C_1)<e)
C=C_0;
fprintf('迭代次数: k=%d\n',k)
fprintf('信道容量: C=%f 比特/符号\n',C)
b/(X*A');
continue;
end
end 实 验 结 果 及 分 析：
end
end
end
X=ones(1,r)/r;
A=zeros(1,r);
B=zeros(r,s);
while(1)
k=k+1;
for i=1:r
for j=1:s
B(i,j)=log(P(i,j)/(X*P(:,j))+eps);
end
A(1,i)=exp(P(i,:)*B(i,:)');
end
C_0=log2(X*A');
if(sum(P(i,:))~=1) error('概率转移矩阵输入有误！！') return;
end for j=1:s
if(P(i,j)<0||P(i,j)>1) error('概率转移矩阵输入有误！！')
实验二---一般信道容量迭代算法.doc
实验二---一般信道容量迭代算法.doc实验二一般信道容量迭代算法1．实验目的掌握一般离散信道的迭代运算方法。
2．实验要求1）理解和掌握信道容量的概念和物理意义2）理解一般离散信道容量的迭代算法3）采用Matlab 编程实现迭代算法4）认真填写试验报告3．算法步骤①初始化信源分布),,,,,(21)0(p p p p P ri =（一般初始化为均匀分布） ,置迭代计数器k=0 ,设信道容量相对误差门限为δ ,δ>0 ,可设-∞=C )0(；②∑=i k i ij k i ij k ji p p p p )()()(? s j r i ，??=??=,1;,,1 ③∑∑∑??=+i k ji j ij k ji j ij k i p p p ??)()()1(ln exp ln exp r i ,,1??= ④??=∑∑+ik ji j ij k p C ?)()1(ln exp ln ⑤如果δ≤-++C C Ck k k )1()()1( ,转向⑦；⑥置迭代序号k k →+1,转向②；⑦输出p k i )1(+和C k ）（1+的结果；⑧停止。
4．代码P=input('转移概率矩阵P=')e=input('迭代精度e=')[r,s]=size(P);n=0;C=0;C_k=0;C_k1=0;X=ones(1,r)/r;A=zeros(1,r);B=zeros(r,s);%初始化各变量while(1)n=n+1;for i=1:rfor j=1:sB(i,j)=log(P(i,j)/(X*P(:,j))+eps); if P(i,j)==0B(i,j)=0;elseendendA(1,i)=exp(P(i,:)*B(i,:)');endC_k=log2(X*A');C_k1=log2(max(A));if (abs(C_0-C_1)。
信道容量实验报告
湖南大学信息科学与工程学院实验报告实验名称信道容量的迭代算法课程名称信息论与编码第1页共9页1.实验目的（1）进一步熟悉信道容量的迭代算法； （2）学习如何将复杂的公式转化为程序；（3）掌握C 语言数值计算程序的设计和调试技术。
2、实验方法硬件：pc 机开发平台：visual c++软件 编程语言：c 语言3、实验要求（1）已知：信源符号个数r 、信宿符号个数s 、信道转移概率矩阵P 。
（2）输入：任意的一个信道转移概率矩阵。
信源符号个数、信宿符号个数和每个具体的转移概率在运行时从键盘输入。
（3）输出：最佳信源分布P*，信道容量C 。
4.算法分析1：procedure CHANNEL CAPACITY(r,s,(jip ))2：initialize:信源分布ip =1/r ，相对误差门限σ，C=—∞3：repeat 4：5：6：C2211log [exp(log )]rsji ij r j p φ==∑∑7：until C Cσ∆≤8：output P*=()i rp ,C9：end procedure21211exp(log )exp(log )sji ij j r sjiij r j p pφφ===∑∑∑ip 1i jiri jii p p p p=∑ijφ5.程序调试1、头文件引入出错f:\visualc++\channel\cpp1.cpp(4) : fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory————#include<unistd.h>纠错：//#include<unistd.h>f:\visualc++\channel\cpp1.cpp(5) : fatal error C1083: Cannot open include file: 'values.h': No such file or directory————#include<values.h>纠错：//#include<values.h>2、变量赋值错误f:\visualc++\channel\cpp1.cpp(17) : error C2065: 'ij' : undeclared identifierf:\visualc++\channel\cpp1.cpp(17) : error C2440: 'initializing' : cannot convert from 'int' to 'float ** ' Conversion from integral type to pointer type requires reinterpret_cast, C-style cast or function-style cast————float **phi_ij=ij=NULL;纠错：float **phi_ij=NULL;3、常量定义错误f:\visualc++\channel\cpp1.cpp(40) : error C2143: syntax error : missing ';' before 'for' ————for(i=0;i<r;i++)phi_ij[i]=(float *)calloc(s,sizeof(float));f:\visualc++\channel\cpp1.cpp(52) : error C2021: expected exponent value, not ' '————if(fabs(validate -1.0)>DELTA)f:\visualc++\channel\Cpp1.cpp(84) : error C2021: expected exponent value, not ' '————if(fabs(p_j)>=DELTA)f:\visualc++\channel\Cpp1.cpp(100) : error C2021: expected exponent value, not ' '————if(fabs(phi_ij[i][j])>=DELTA)f:\visualc++\channel\Cpp1.cpp(116) : error C2021: expected exponent value, not ' ' ————while(fabs(C-C_pre)/C>DELTA);纠错：#define DELTA 0.000001;F:\visualc++\channel\Cpp1.cpp(68) : error C2065: 'MAXFLOAT' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(68) : warning C4244: '=' : conversion from 'int' to 'float', possible loss of data————C=-MAXFLOAT;纠错：#define MAXFLOAT 1000000;3、引用中文逗号f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'f:\visualc++\channel\cpp1.cpp(60) : error C2065: 'Starting' : undeclared identifierf:\visualc++\channel\cpp1.cpp(60) : error C2059: syntax error : '.'f:\visualc++\channel\cpp1.cpp(60) : error C2017: illegal escape sequencef:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'————fprintf(stdout,”Starting..\n”);纠错：fprintf(stdout,"Starting..\n");4、没有进行强制转换F:\visualc++\channel\Cpp1.cpp(65) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————p_i[i]=1.0/(float)r;纠错：p_i[i]=(float)(1.0/(float)r);F:\visualc++\channel\Cpp1.cpp(101) : warning C4244: '+=' : conversion from 'double' to 'float', possible loss of data————sum[i]+=p_ji[i][j]*log( phi_ij[i][j])/ log(2.0);纠错：sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0));F:\visualc++\channel\Cpp1.cpp(103) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————sum[i]=pow(2.0,sum[i]);纠错:sum[i]=(float)(pow(2.0,sum[i]));F:\visualc++\channel\Cpp1.cpp(114) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————C= log(p_j)/ log(2.0);纠错：C= (float)(log(p_j)/ log(2.0));4、表达式错误F:\visualc++\channel\Cpp1.cpp(86) : error C2065: 'phi_ji' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer typeF:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer type ————phi_ij[i][j]=p_i[i]* phi_ji[i][j]/p_j;纠错：phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'fprint' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'The' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(122) : error C2146: syntax error : missing ')' before identifier 'iteration'F:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequenceF:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequenceF:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'————fprint(stdout,”The iteration number is %d.\n\n”,k);纠错：fprintf(stdout,"The iteration number is %d.\n\n",k);F:\visualc++\channel\Cpp1.cpp(145) : error C2143: syntax error : missing ')' before ';' ————free((p_i);纠错：free(p_i);5、没有返回值F:\visualc++\channel\Cpp1.cpp(149) : warning C4508: 'main' : function should return a value; 'void' return type assumed、纠错：return 0;6.改进程序/*引入头文件*/#include<stdio.h>#include<math.h>#include<stdlib.h>/*定义常量*/#define DELTA 0.0000001//DELTA为相对误差门限#define MAXFLOAT 1000000;//MAXFLOAT为初始化信道容量值int main( void){/*定义全局变量*//*register允许直接从寄存器中读取变量，提高速率*/register int i,j;//i、j为整型变量register int k;//信道容量迭代计算次数int r,s;//r为信源符号个数，s为新宿符号个数float *p_i=NULL;//r个信源符号发生的概率float **p_ji=NULL;//信源到新宿的信道转移概率矩阵Pfloat **phi_ij=NULL;float C,C_pre,validate;//C为信道容量，C_pre为信道最大容量，validate为判定输入转移概率矩阵是否合法float * sum=NULL;//信源符号所带的全部信息量float p_j;//条件概率/*输入信源符号和新宿符号个数*/printf("请输入信源符号个数r、信宿符号个数s...\n");printf("+++++注意！！！r必须大于等于s！！+++++\n");fscanf(stdin,"%d",&r);fscanf(stdin,"%d",&s);/*为 p_i,p_ji 和 phi_ij 分配内存空间*/p_i=(float *)calloc(r,sizeof(float));p_ji=(float **)calloc(r,sizeof(float));/*为每个p_ji分配大小为s的内存空间*/for(i=0;i<r;i++)p_ji[i]=(float *)calloc(s,sizeof(float));phi_ij=(float **)calloc(r,sizeof(float*));/*输入转移概率矩阵*/for(i=0;i<r;i++)/*为每个phi_ij分配大小为s的内存空间*/phi_ij[i]=(float *)calloc(s,sizeof(float));printf("信道转移概率矩阵P...\n");for(i=0;i<r;i++)for(j=0;j<s;j++)fscanf(stdin,"%f",&p_ji[i][j]);/*判定输入的转移概率矩阵是否正确*/for(i=0;i<r;i++){validate=0.0;for(j=0;j<s;j++){validate +=p_ji[i][j];}if((validate-1.0)>=0)//如果转移概率矩阵的概率和大于1，输入数据不合法{fprintf(stdout,"invalid input data.\n");exit(-1);}}/*显示开始计算..*/fprintf(stdout,"Starting..\n");/*初始化 p_i 和 phi_ij*/for(i=0;i<r;i++){/* p_i为等概率，即概率为1/r*/p_i[i]=(float)(1.0/(float)r);}/*初始化信道容量c，迭代次数k和临时变量variable*/C=-MAXFLOAT;k=0;/* 为sum分配大小为r的内存空间*/sum=(float *)calloc(r,sizeof(float));/*开始迭代计算*/do{k++;//每进行一次迭代，迭代次数k加1/* 计算phi_ij(k)*/for(j=0;j<s;j++){p_j=0.0;for(i=0;i<r;i++)p_j+=p_i[i]*p_ji[i][j];if(fabs(p_j)>=DELTA)for(i=0;i<r;i++)phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;elsefor(i=0;i<r;i++)phi_ij[i][j]=0.0;}/*计算p_i(k+1)*/p_j=0.0;for(i=0;i<r;i++){sum[i]=0.0;for(j=0;j<s;j++){/*相对误差门限为0*/if(fabs(phi_ij[i][j])>=DELTA)sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0)); }sum[i]=(float)(pow(2.0,sum[i]));p_j+=sum[i];}for(i=0;i<r;i++){p_i[i]=sum[i]/p_j;}C_pre=C;C= (float)(log(2.0)/log(p_j) );}while(fabs(C-C_pre)/C>DELTA);free(sum);sum=NULL;/*显示结果*/fprintf(stdout,"The iteration number is %d.\n\n",k);//迭代次数fprintf(stdout,"The capacity of the channel is %.6f bit/symbol:\n\n",C);//信道容量fprintf(stdout,"The best input probability distribution is :\n");//最佳信源分布 for(i=0;i<r;i++)fprintf(stdout,"%.6f\n",p_i[i]);fprintf(stdout,"\n");/* 释放指针空间*/for(i=s-1;i>=0;i--){free(phi_ij[i]);phi_ij[i]=NULL;}free(phi_ij);phi_ij=NULL;for(i=r-1;i>=0;i--){free(p_ji[i]);p_ji[i]=NULL;}free(p_ji);p_ji=NULL;free(p_i);p_i=NULL;exit(0);return 0;}7.实验结果八、实验结论信道容量是指信道能无错误传送的最大信息率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验报告
课程名称：信息论与编码姓名：
系：
专业：
年级：
学号：
指导教师：
职称：
年月日
实验四 信道容量的迭代算法
一、 实验目的
1、进一步熟悉信道容量的迭代算法；
2、学习如何将复杂的公式转化为程序；
3、熟悉程序设计语言的数值计算程序和调试技术。
二、实验原理
(1)初始化信源分布()r 21)0(,,,P P P P =(一般初始化为均匀分布),置迭代计数器k=0，设信道容量相对误差门限为δ，δ>0，可设; (2) s i P P P P i k i
ij
k i ij k ji ,,2,1)()()
( ==∑ϕ (3) r i P P P i j k ji ij j k ji ij k i ,2,1ln exp ln exp )()()1(=⎪⎭
⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡=∑∑∑+ϕϕ (4) ⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡=∑∑+i k ji j ij k P C )()
1(ln exp ln ϕ (5)如果δ≤-++)1()
()1(k k k C C C ，转向(7)；
(6)置迭代序号k k →+1，转向(2)；
(7)输出)1(+k i P 和)1(+k C 的结果；
(8)停止。
三、实验内容
1、已知：信源符号个数r 、新宿符号个数s 、信道转移概率矩阵P ；
2、输入：任意的一个信道转移概率矩阵，信源符号个数、信宿符号个数和每一个具体的转移概率在运行时从键盘输入；
3、 输出：最佳信源分布P*,信道容量C 。
四、实验环境
Microsoft Windows 7、
Matlab 6.5
五、编码程序
aa.m文件：
clear;
r=input('输入信源个数：');
s=input('输入信宿个数：');
deta=input('输入信道容量的精度：');
Q=rand(r,s); %创建m*n随机分布矩阵
A=sum(Q,2);
B=repmat(A,1,s);
disp('信源转移概率矩阵:'),p=Q./B %信源转移概率矩阵
i=1:1:r;
q(i)=1/r;
disp('原始信源分布：'),q
c=-10e-8;
C=repmat(q',1,s);
for k=1:1:100000
m=p.*C; %后验概率的分子部分
a=sum(m); %后验概率的分母部分
su1=repmat(a,r,1);
t=m./su1; %后验概率矩阵
D=exp(sum(p.*log(t),2)); %信源分布的分子部分
su2=sum(D); %信源分布的分母部分
q=D/su2; %信源分布
C=repmat(q,1,s);
c(k+1)=log(sum(exp(sum(p.*log(t),2))))/log(2);
kk=abs(c(k+1)-c(k))/c(k+1);
if(kk<=0.000001)
break;
end
end
disp('最大信道容量时的信源分布：q='),disp(q')
disp('最大信道容量：c='),disp(c(k+1))
六、实验结果结果
1）检验：运行aa.m
输入信源的个数：2
输入信宿的个数：3
输入信道容量的精度：0.000001
信宿转移概率矩阵:p =0.5000 0.3000 0.2000
0.3000 0.5000 0.2000
原始信源分布：q = 0.5000 0.5000
最佳信源分布：q= 0.5000 0.5000
最大信道容量：c= 0.0365
2）计算信源个数为3，信宿个数为5的信道容量：
运行aa.m
输入信源的个数：3
输入信宿的个数：5
输入信道容量的精度：0.000001
信宿转移概率矩阵:p =0.0484 0.1385 0.3058 0.2845 0.2227
0.2104 0.2471 0.1077 0.3762 0.0585
0.3430 0.0800 0.1808 0.3428 0.0534
原始信源分布：q = 0.3333 0.3333 0.3333
最佳信源分布：q =0.4691 0.1794 0.3515
最大信道容量：c =0.1559
七、实验总结
通过实验，我们对信道容量的理解更加深刻了。
信道容量是指信道能无错误传送的最大信息率。
信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。
由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率来描述。
为了评价实际信道的利用率，应具体计算已给信道的容量。
这是一个求最大值的问题。
由于互信息对输入符号概率而言是凸函数，其极值将为最大值，因此这也就是求极值的问题。
对于离散信道，P(x)是一组数，满足非负性和归一性等条件，可用拉格朗日乘子法求得条件极值。
对于连续信道，P(x)是一函数，须用变分法求条件极值。
实验过程中，我们虽然也遇到了很多困难，但也正是因为如此，我们才能发现自己基础的薄弱点，学的更有方向。
对于编程方面，我们也有了很大的提升。