中北大学信息论实验报告(离散信道容量计算)
信息论与编码实习报告
信息论与编码实习报告一、引言信息论与编码是通信工程、计算机科学和电子工程等领域的重要基础课程。
本次实习旨在通过实际操作，深入理解和掌握信息论与编码的基本原理和技术，提高我们的实际操作能力和问题解决能力。
二、实习内容1、信息论基础：实习的第一部分，我们通过自学和讨论的方式，深入学习了信息论的基本概念和原理，包括信息的度量、熵、信道容量等。
2、编码理论：在这一阶段，我们重点学习了线性编码、循环编码、哈夫曼编码等编码方法，并了解了编码的效率及其可靠性。
3、模拟与数字通信系统：我们通过模拟软件，设计和实现了简单的模拟通信系统，同时，也通过实验箱，了解了数字通信系统的基本原理和技术。
4、无线通信和网络：在这一部分，我们重点学习了无线通信和网络的基础知识，包括无线信道模型、无线调制解调技术、无线网络协议等。
5、实习项目：最后，我们根据所学的知识，完成了一个实习项目——设计并实现一个具有高可靠性和高效率的通信系统。
三、实习收获通过这次实习，我们收获颇丰。
首先，我们对信息论与编码的基本概念和原理有了更深入的理解和掌握，能够更好地将理论知识应用到实际中。
其次，我们提高了自己的实际操作能力和问题解决能力，能够在实践中发现和解决问题。
最后，我们了解了通信系统的基本原理和技术，对未来的学习和工作有了更好的准备。
四、结论本次实习是我们学习信息论与编码的重要环节，我们通过实际操作，深入理解和掌握了信息论与编码的基本原理和技术，提高了自己的实际操作能力和问题解决能力。
我们也发现了自己的不足之处，将在未来的学习和工作中更加努力，不断提高自己的能力和水平。
信息论与编码曹雪虹课后习题答案随着科技的发展，信息已经成为现代社会中不可或缺的一部分。
在大学中，信息论与编码作为一门重要的学科，已经成为了计算机科学、通信工程、电子工程等专业的必修课程。
而在这门课程中，曹雪虹教授的教材《信息论与编码》被广泛使用。
本文将介绍一些该教材的课后习题答案，以帮助读者更好地掌握信息论与编码的相关知识。
信息论与编码实验报告
实验一 绘制二进熵函数曲线（2个学时）一、实验目的：1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质二、实验要求：1. 提前预习实验，认真阅读实验原理以及相应的参考书。
2. 在实验报告中给出二进制熵函数曲线图三、实验原理：1. Excel 的图表功能2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑单位为 比特/符号 或 比特/符号序列。
当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。
当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。
四、实验内容：用Excel 和Matlab 软件制作二进熵函数曲线。
根据曲线说明信源熵的物理意义。
（一） Excel具体步骤如下：1、启动Excel 应用程序。
2、准备一组数据p 。
在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。
3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。
Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。
选用c=2,则应用函数LOG(x,2)。
在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)双击B2的填充柄，即可完成H(p)的计算。
离散信道信道容量的计算
输能力或者说能否达到信 道 容 量,取 决 于 两 点:信 源 离
散无记忆;信 源 的 输 入 概 率 分 布 是 使I(x;y)最 大 的 分 布.下面给出离散无记忆信道容量的定义:
C ＝ maxI(X;Y); p(ai)
∑∑ 其 中I(X;Y)＝
n i＝１
j＝m１p(ai)p(bj/ai)logpp(b(jb/ja)i)
工程管理与技术
离散信道信道容量的计算
余秀玲
(西南石油大学,四川 成都 ６１０５００)
摘 要:信道容量的计算是信道研究的核心,据 此 对 信 道 容 量 定 义 和 特 性 进 行 了 探 讨,并 研 究 了 三 种 特 殊 离 散信道的信道容量计算方法,有对称离散信道、强对 称 离 散 信 道 和 准 对 称 离 散 信 道,并 对 三 种 信 道 容 量 计 算 方 法 进行了区分与比较.最后介绍了一般离散信道的信道容量计算方法.
[５]严 新 乔 ．高 职 院 校 实 施 混 合 所 有 制 办 学 的 实 践 与 探 索 ——— 以 浙 江 高 职 院 校 为 例 [J]．职 业 技 术 教 育 ,２０１７,(１１):１３Ｇ１６．
１ 信 道 容 量 最简单的 通 信 系 统 由 信 源、信 道 和 信 宿 组 成. 对
于信道来说,在信道固定的 前 提 下,传 输 的 信 息 量 当 然 是越多越 好,因 此 信 道 容 量 问 题 是 信 道 研 究 的 重 点. 信道容量是信 道 传 输 信 息 的 最 大 能 力,由 信 道 特 性 决 定.对于特 定 的 信 道,信 道 容 量 是 个 定 值. 根 据 平 均 互信息的凸 函 数 性,平 均 互 信 息 量I(x;y)是 输 入 信 源 概率分布 {p(ai),i＝１,２,������,n}的上凸函数,在固定信 道的的前提下,平均互信息 量 有 最 大 值,即 信 道 容 量 一 定存在.但是,在传输信息时,信 道 能 否 提 供 其 最 大 传
信息论—离散信道及其信道容量
I ( X ; Y | Z ) H ( X | Z ) H ( X | YZ )
I ( X ; YZ ) I ( X ; Y ) I ( X ; Z | Y ) I ( X ; Z ) I ( X ;Y | Z )
例题
四个等概率分布的消息 M1 , M 2 , M 3 , M 4 被送入一个二 元无记忆对称信道进行传送。通过编码使
已知y,z的条件下，总共获得关于x的互信息
P( x | yz) P( x | y ) P( x | yz) I ( x; yz) log log log P( x) P( x) P( x | y ) I ( x; y ) I ( x; z | y)
同样
I ( x; yz) I ( x; z ) I ( x; y | z )
信道的分类
用户数 输入与输出的 关系
与时间的关系 输入、输出信 号的特点
两端（单用户）信道 多端（多用户）信道 无反馈信道 有反馈信道 固定参数信道 时变参数信道
离散信道、连续信道、半离散 或半连续信道、波形信道
离散信道的数学模型
X
X ( X1 ,, X i , X N )
信道
P( y | x )
r s
s
s
r
平均互信息
I ( X ;Y ) H ( X ) H ( X | Y )
1 1 I ( X ; Y ) P( x) log P( xy) log P( x) X ,Y P( x | y ) X P( y | x) P( xy) log P( y ) X ,Y
用矩阵来表示
0 1 0 1 p p 1 p 1 p
离散无记忆信道的信道容量计算实验报告PPT课件
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
• 运行结 果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入 概率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越 高，结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
(*)
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
（2）从达到DMC的信道容量的充要条件出发:
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
• 程序设计思路
• （1）参数输入模块
• （2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
• （3）迭代模块1
• （4）迭代模块2
• （5）输出模块Байду номын сангаас
• P116 4.3 (b)
• 一般的DMC
• 一般的DMC
概率矩阵：
参考文献
[1]王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
离散无记忆信道的信道容量计算实验报告
感谢聆听！
2.信道容量算法
信道容量是互信息的最大值，首先要将信道容量求极值得问题表示 为二重交替优化问题。
（1）
运行结果
(2)
实验结果(1)：输入概率转移矩阵是之前例题中的概率转移矩阵，迭代 次数为11和70次，经验证，迭代程序结果比例题中的一般信道容量算 法更为精确。
实验结果(2)：迭代次数为4，迭代结果为1.3219，经验算发现此输入概 率转移矩阵的实际结果为1.329，误差不大，符合要求，另外精度越高， 结果越接近。
离散无记忆信道的迭代运算
一、为什么要迭代？
（1）解方程组求出的输入分布 {P(x)}可能不唯一，因为可能有多个 极值点；
（2）需要验证求出的输入分布序列 是否符合要求。
二、Blahut-Arimoto算法
1.交替优化
（2）、通过轮流固定f的其中一个自变量，对另一个没固定的 自变量求极值，由此来确定受此自变量影响下的最值。下一 次对另一个自变量也如此操作，循环往复形成迭代。
程序部分
程序设计思路
（1）参数输入模块
（2）判断模块
判断矩阵中的元素是否 >=0且<=1
判断矩阵的行相加是否 都为1
（3）迭代模块1
（4）迭代模块2
（5）输出模块
P116 4.3 (b)
一般的王育民、李晖 .《信息论与编码理论第二版》[M]北京：高等教育出版社，2013.4 96-101 [2]辛英.《离散信道容量的迭代算法及其实现》[D]山东：山东工商学院，1994 [3]徐伟业 耿苏燕 马湘蓉 冯月芹.《任意DMC信道容量的计算与仿真》[D]南京：南京工程学院 2017
信息论离散信道及其容量
p(x 1, y 0) p(x 1) p( y 0 | x 1) p p(x 1, y 1) p(x 1) p( y 1| x 1) p
p(Y 0) p(0, 0) p(1, 0) p (1 ) p p p
p(Y 1) p(0,1) p(1,1) p (1 ) p p p
pXY (0?) pY (?) pXY (1?) pY (?)
pXY pY
(01) (1)
1
pXY pY
(11) (1)
0
1 3 2 3
0 P( X ,Y )PY
1
由此可得
H ( X ) 1 log 1 3 log 3 0.811 4 44 4
H (Y ) 1 log 1 3 log 3 1 log 1 1.406 8 88 82 2
第4章 离散信道及其 容量
通信系统模型
信息论的研究基础是通信系统模型。
信源
编码器
信道
消息
信号
干扰
干扰器
译码器
信宿
消息
4.1 信道的数学模型及其分类
信道是信息传输的通道。
干扰
X
信道
Y
由于干扰的存在，信道的输出Y与信道的输入X不
完全相同，用条件概率p(y|x)描述。
而输入和输出又有各自的统计特性，分别用 表示。
离散信道中常用的几种概率
先验概率：p(ai)，PX=[p(a1) p(a2) … p(ar)]
联合概率：p(aibj)=p(ai)p(bj|ai)=p(bj)p(bj|ai)
p11 p12 L p1s
信道传递概率：p(bj|ai)=pij，P
p21 M
p22 M
L M
p2s
信息论与编码实验报告
实验一：计算离散信源的熵一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
3、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、求解：1、习题：A 地天气预报构成的信源空间为：()⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6/14/14/13/1x p X 大雨小雨多云晴 B 地信源空间为：17(),88Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨晴 求各种天气的自信息量和此两个信源的熵。
2、程序代码：p1=[1/3,1/4,1/4,1/6];p2=[7/8,1/8];H1=0.0;H2=0.0;I=[];J=[];for i=1:4H1=H1+p1(i)*log2(1/p1(i));I(i)=log2(1/p1(i));enddisp('自信息I分别为：');Idisp('信息熵H1为：');H1for j=1:2H2=H2+p2(j)*log2(1/p2(j));J(j)=log2(1/p2(j));enddisp('自信息J分别为');Jdisp('信息熵H2为：');H23、运行结果：自信息量I分别为：I = 1.5850 2.0000 2.0000 2.5850信源熵H1为：H1 = 1.9591自信息量J分别为：J =0.1926 3.0000信源熵H2为：H2 =0.54364、分析：答案是：I =1.5850 2.0000 2.0000 2.5850 J =0.1926 3.0000H1 =1.9591； H2 =0.5436实验2：信道容量一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息与通信工程学院实验报告
（软件仿真性实验）
课程名称：信息论基础
实验题目：离散信道容量计算 指导教师：
班级： 学号： 学生姓名：
一、实验目的和任务
1.掌握离散信道的信道容量的计算方法。
2.学会利用MATLAB 计算离散信道的信道容量。
3.学会依据所绘制的信道容量曲线，分析其物理意义。
二、实验内容及原理
1）实验内容：
离散信道容量的计算与分析
2）实验原理：
1.信道容量定义为平均互信息量的最大值：
)},({max )
(Y X I C x p = 2.对称DMC 信道，其信道容量计算公式为：
ij m
j ij i p p m a Y H m C log log )(log 1∑=+=-=丨
3.准对称DMC 信道，其信道容量计算公式为：
k k k M N n C log log k
1∑=-=
成绩
三、实验步骤或程序流程
以matlab软件为基础，通过编程：计算对称信道的信道容量。
四、实验数据及程序代码
1.离散信道的信道容量的计算
假设信道转移概率矩阵为
则该信道容量为：
2.绘制信道容量曲线
程序代码：
五、实验数据分析及处理
该函数曲线的物理意义为：
由信道容量曲线可知，当概率为0或1时，信道容量达到最大即由干扰造成的信息损失为0.
六、实验结论与感悟（或讨论）
通过本次试验，掌握了离散信道容量的计算与分析，学会了依据所绘制的信道容量曲线，分析其物理意义。