实验二 离散信道容量
实验二 离散信道及其容量
实验二 离散信道及其容量一、[实验目的]1、理解离散信道容量的内涵；2、掌握求二元对称信道（BSC ）互信息量和容量的设计方法；3、掌握二元扩展信道的设计方法并会求其平均互信息量。
二、[实验环境]windows XP,MATLAB 7三、[实验原理]若某信道输入的是N 维序列x ，其概率分布为q(x ),输出是N 维序列y ,则平均互信息量记为I(X ;Y )，该信道的信道容量C 定义为()max (X;Y)q x C I =。
四、[实验内容]1、给定BSC 信道，信源概率空间为信道矩阵 0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦求该信道的I(X;Y)和容量，画出I(X;Y)和ω、C 和p 的关系曲线。
2 、编写一M 脚本文件t03.m ，实现如下功能：在任意输入一信道矩阵P 后，能够判断是否离散对称信道，若是，求出信道容量C 。
3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为求： 平均互信息量；4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。
五、[实验过程] XP ０ １0.6 0.4= XPx ０ １ ２ 0.3 0.5 0.2= 0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.1P=每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；1)设计思路1、信道容量( )max (X; Y)q xC = I，因此要求给定信道的信道容量，只要知道该信道的最大互信息量，即求信道容量就是求信道互信息量的过程。
程序代码：clear all,clc;w=0.6;w1=1-w;p=0.01;XP０１= 0.6 0.4p1=1-p;save data1 p p1;I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))- ...(p*log2(1/p)+p1*log2(1/p1));C=1-(p*log2(1/p)+p1*log2(1/p1));fprintf('互信息量:%6.3f\n信道容量:%6.3f',I_XY,C);p=eps:0.001:1-eps;p1=1-p;C=1-(p.*log2(1./p)+p1.*log2(1./p1));subplot(1,2,1),plot(p,C),xlabel('p'),ylabel('C');load data1;w=eps:0.001:1-eps;w1=1-w;I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p))+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1))- . ..(p.*log2(1./p)+p1.*log2(1./p1));subplot(1,2,2),plot(w,I_XY)xlabel('w'),ylabel('I_XY');实验结果：互信息量:0.891信道容量:0.919I(X;Y)和ω、C和p的关系曲线图：0 0.5 10.10.20.30.40.50.60.70.80.91pC0 0.5 10.10.20.30.40.50.60.70.80.91wI X Y2、离散对称信道：当离散准对称信道划分的子集只有一个时，信道关于输入和输出对称。
实验二 计算信道容量
PXi[i] = ((PXi[i] * a[i]) / sum);
}
n ++;
}
}while(cap_max-cap_result>= e);
printf("\n\n迭代次数为：%d\n" ,n);
for(i=0;i<X_num;i++)
{
printf("最佳信源概率：%f\n" ,PXi[i]);
}
/**************************************************************************
函数名：double Calculate_cap_result(double PXi[],double a[])
功能：计算并输出迭代法所需的参数cap_result
double Calculate_cap_max(double a[])
{
int i;
double max_a = a[0];
for(i=0;i<X_num;i++)
{
if(a[i] > max_a)
{
max_a = a[i];
}
}
printf("较大值=%f",log(max_a));
return log(max_a);
for(i=0;i<X_num;i++)
{
for(j=0;j<Y_num;j++)
{
printf("P[%d][%d]=",i,j);
scanf("%lf",&P[i][j]);
离散信源熵信道容量实验报告
离散信源熵信道容量实验报告实验目的：通过模拟离散信源熵和信道容量的实验，掌握熵和信道容量的概念及计算方法。
实验原理：离散信源：离散信源是指其输出符号集合为有限的离散符号集合，通常用概率分布来描述其输出符号的概率分布，称为离散概率分布。
离散信源的熵是度量这一离散概率分布的不确定度的量度，其单位是比特。
离散信源的熵公式为：H(S)=-Σpi×log2pi其中，H(S)为离散信源的熵，pi为消息符号i出现的概率，log2为以2为底的对数。
信道容量：信道容量是指在某一固定的信噪比下，能够传送的最大信息速率。
信道容量的大小决定了数字通信系统的最高可靠传输速率。
离散无记忆信道的信道容量公式为：C=max{I(X;Y)}其中，X为输入符号，Y为输出符号，I为信息熵。
实验步骤：1. 生成随机概率分布对于3种不同的符号数量，生成随机的符号及其概率分布。
在生成时，要求概率之和为1。
2. 计算离散信源的熵根据所生成的随机概率分布计算离散信源的熵。
3. 构建离散无记忆信道构建一个离散的2进制对称信道，并存储在一个概率矩阵中，利用生成的概率分布对该矩阵进行初始化。
4. 计算信道容量根据所构建的离散无记忆信道计算其信道容量。
实验结果分析：以下是实验结果分析，其中H(S)表示离散信源的熵，C表示离散无记忆信道的信道容量。
符号数量为3时：符号概率a 0.2b 0.3c 0.5H(S) = 1.485构建的离散无记忆信道的概率矩阵为：| 0 | 1 |--------------------------a | 0.20 | 0.80 |--------------------------b | 0.60 | 0.40 |--------------------------c | 0.80 | 0.20 |--------------------------C = 0.823从实验结果可以看出，当符号数量增加时，熵的值也会随之增加，这是由于符号集合增加，随机性增强所导致的。
离散无记忆信道的信道容量计算实验报告PPT课件
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
• 运行结 果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入 概率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越 高，结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
(*)
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
（2）从达到DMC的信道容量的充要条件出发:
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
• 程序设计思路
• （1）参数输入模块
• （2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
• （3）迭代模块1
• （4）迭代模块2
• （5）输出模块Байду номын сангаас
• P116 4.3 (b)
• 一般的DMC
• 一般的DMC
概率矩阵：
参考文献
[1]王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
离散无记忆信道的信道容量计算实验报告
感谢聆听！
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
运行结果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入概 率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越高， 结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
程序设计思路
（1）参数输入模块
（2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
（3）迭代模块1
（4）迭代模块2
（5）输出模块
P116 4.3 (b)
一般的王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
离散信源熵信道容量实验报告
计算离散信源熵、离散信道容量1 实验任务和目的实验任务：（1）简要总结信源的熵、信道容量的物理意义，概念；（2）写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图；（3）讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。
实验目的：掌握信源的熵、信道容量的物理意义，概念；熟练掌握离散信源熵、离散信道容量的计算方法步骤；利用Matlab 编写离散信源熵、离散信道容量的计算程序；验证程序的正确性。
2 实验过程和结果 2.1 实验过程1、简要总结信源的熵、信道容量的物理意义，概念。
信源熵的物理意义是指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。
信道容量 概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。
意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。
从而指导人们改造信源，使之最大可能地利用信道的传输能力。
2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图；离散信源熵的计算步骤：()()()11log log ()qr r r i i i i H X E p a a p a =⎛⎫==- ⎪⎝⎭∑信道容量的计算步骤：()(){}()符号/;max bit Y X I C XP =3、（1）讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。
信源的相关性是信源符号间的依赖程度的度量。
由于信源输出符号间的依赖关系也就是 信源的相关性使信源的实际熵减小。
信源输出符号间统计约束关系越长，信源的实际熵越小。
当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。
（2）信道容量与信源先验概率及信道转移概率的关系。
实验二 离散信道容量
实验二 离散信道容量一、实验目的1. 掌握离散信道容量的计算。
2. 理解离散信道容量的物理意义。
3. 练习应用matlab 软件进行二元对称离散信道容量的函数曲线的绘制，并从曲线上理解其物理意义。
二、实验原理信道是传送信息的载体—信号所通过的通道。
信息是抽象的，而信道则是具体的。
比如二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。
研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。
二元对称信道BSC （Binary Symmetric Channel ）二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。
如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即(0/1)(1/0)(1/1)(0/0)1p Y X p Y X p p Y X p Y X p ======⎧⎨======-⎩这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC 信道），如下图所示：信道容量公式：{()}max p x C I(X,Y)=三、实验内容BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p 的曲线。
根据曲线说明其物理意义。
四、实验要求1.提前预习实验，认真阅读实验原理以及相应的参考书。
2.认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。
3.认真填写实验报告。
正式实验报告二—信道容量计算
一、实验目的1．掌握离散信道的信道容量的计算方法；2．理解不同类型信道的不同特点与不同的计算方法；二、实验内容1．进一步熟悉一般离散信道的信道容量计算方法；2．进一步复习巩信道性质与实际应用；3．学习如何将复杂的公式转化为程序。
三、实验仪器、设备1、计算机－系统最低配置256M内存、P4 CPU；2、MATLAB编程软件。
四、实现原理信道容量是信息传输率的极限，当信息传输率小于信道容量时，通过信道编码，能够实现几乎无失真的数据传输；当数据分布满足最佳分布时，实现信源与信道的匹配，使得信息传输率能够达到信道容量。
本实验利用信道容量的算法，使用计算机完成信道容量的计算。
实验采用迭代算法计算信道容量，即：设DMC的转移概率pyx(i,j)，p(i)是任意给定的一组初始给定输入分布，开始为等概率分布，以后逐次迭代更新p(i)的取值。
其所有分量P (i)均不为0。
按照如下方法进行操作：具体方法：1、计算q(j)=ijipyxip),(*)(，pyx(i,j)为信道转移概率2、计算a(i)先算中间变量d(i)=∑jjqjipyxjipyx)(/),(log(*),(然后，a(i)=exp(d(i))3、计算中间变量U=∑iip ia)(*)(4、计算IL=log2(u)5、计算IU=log2(max(a(i))6、当IU-IL>ε（ε为设定的迭代精度）时，进入以下循环，否则输出迭代次数n，信道容量C=IU计算结果，最佳分布p(i)。
①重新计算p(i)=p(i)*a(i)/U②计算q(j),方法同1③计算a(i)，方法同2④计算中间变量U=∑iip ia)(*)(⑤计算IL=log2(u)⑥计算IU=log2(max(a(i))⑦计次变量n=n+1返回6判断循环条件是否满足。
五、实验步骤1、计算非对称信道的信道容量运行程序待程序运行完毕，记录迭代次数n和信道容量计算结果C。
2、计算对称信道的信道容量运行程序待程序运行完毕，记录迭代次数n和信道容量计算结果C。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验二 离散信道容量
一、实验目的
1. 掌握离散信道容量的计算。
2. 理解离散信道容量的物理意义。
3. 练习应用matlab 软件进行二元对称离散信道容量的函数曲线的绘制，并
从曲线上理解其物理意义。
二、实验原理
信道是传送信息的载体—信号所通过的通道。
信息是抽象的，而信道则是具体的。
比如二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。
研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。
二元对称信道BSC （Binary Symmetric Channel ）
二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。
如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即
(0/1)(1/0)(1/1)(0/0)1p Y X p Y X p p Y X p Y X p ======⎧⎨======-⎩
这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC 信道），如下图所示：
信道容量公式：
{()}
max p x C I(X,Y)=
三、实验内容
BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p 的曲线。
根据曲线说明其物理意义。
四、实验要求
1.提前预习实验，认真阅读实验原理以及相应的参考书。
2.认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的
管理。
3.认真填写实验报告。