信息论北理工第9章
北理研究生数值分析---第九章课件
§1 Euler方法
1.Euler方法 以差分方程初值问题
y n 1 y n hf ( x n , y n ) y 0 y (a ) n 0 ,1, , N 1
的解作为微分方程初值问题的数值解，即
y(xn ) yn
称为Euler方法。
1.用Euler方法求初值问题
( k 0 ,1, 2 , )
y n 1 y n 1
(k )
( k 1)
h 2
f ( x n 1 , y n 1 ) f ( x n 1 , y n 1 )
(k )
( k 1 )
hL 2 hL 2
y n 1 )
k
( k 1)
y n 1
(k ) (0)
k
hL 2
( )
k p 1
hL 2
)
k
] y n 1 y n 1
(1 ) (0)
1
hL 2
y n 1 y n 1 0
(1 ) (0)
2.2 改进Euler法
y n 1 y n hf ( x n , y n ) h y n 1 y n f ( x n , y n ) f ( x n 1 , y n 1 ) 2 预测 校正
约定：不加特别说明，必有 （1） f ( x , y ) 连续，且关于 y 满足 Lipschitz 条件，由此保证初始问题的解存在唯一。 （2）步长 h n x n 1 x n ( n 0 ,1, , N 1 ) 为常量 h 。
微分方程离散化的方法
(1) 用差商近似导数
y ( x n ) y ( x n 1 ) y ( x n ) h
信息论基础 ppt课件
ppt课件
(2)信息与消息和信号的区别
在通信中对信息的表达分为三个层次：信号、消息、信 息。
信号：是信息的物理表达层，是三个层次中最具体的层 次。它是一个物理量，是一个载荷信息的实体，可测量、
可描述、可显示。如电信号、光信号等。
消息：(或称为符号)是信息的数学表达层，它虽不是一 个物理量，但是可以定量地加以描述，它是具体物理信 号的进一步数学抽象，可将具体物理信号抽象为两大类 型： 1) 离散(数字)消息，是一组未知量，可用随机序列来 描述：U=(U1…Ui…UL) 2) 连续(模拟)消息，也是未知量，它可用随机过程来 描述：U(t,ω)
ppt课件
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不要 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
信息论--基础理论与应用
北京理工大学 信息与电子学院 2014年3月
ppt课件
课程类型：专业选修课 学 时：32学时 授课时间：第一周----第八周 考试时间：第九周 教 材：《信息论—基础理论与应用》,傅祖芸,电子工业出版社 参考教材：
①《信息论与编码》,陈运,电子工业出版社 ②《应用信息论基础》,朱雪龙，清华大学出版社 ③《信息论与编码学习辅导及习题详解》傅祖芸,电子工业出版社
ppt课件
信息论
信息论已经成为现代信息科学的一个重要组成部分，它 是现代通信和信息技术的理论基础。现代信息论又是数 学概率论下的一个分支，与遍历性理论、大偏差理论以 及统计力学等都有密切关系，因此信息论已成为大学诸 多专业的必修课和选修课，并不再局限于已有的通信工 程、电子工程、信息工程等专业。
北理工计算机体系结构习题解答
*1
32000 *
2
15000
*
2
8000
*
2)
*
(
40
1 *106
)
3.875*103秒
21
1-11 假设在一台40MHz处理机上运营200,000条指令旳目旳代码，程序主要
由四种指令构成。根据程序跟踪试验成果，已知指令混合比和每种指令所 需旳指令数如下：
指令类型
CPI
指令混合比
算术和逻辑
1
6
第1章 基础知识
仿真
用一种机器(A)旳微程序直接解 释 实 现 另 一 种 机 器 ( B) 旳 指 令 系 统，从而实现软件移植旳措施
被仿真旳机器称为目旳机，进行 仿真旳机器称为宿主机，解释微 程序机器称为仿真微程序
7
第1章 基础知识
并行性
指能够同步进行运算或操作旳特 征，它有两重含义：
40
第2章
（1）最优Huffman H=- ∑Pi×log2Pi
=0.25×2+0.20×2.322+0.15×2.737+ ……
=2.96
41
I10
I9
I8
I7
I6
I5
I4
I3
I2
0.02
0.03
0.04
0.05
0.08
0.08
0.10
0.15
0.20
1
1 0
0
0.05
0.09
1
0
1
0
0.17
原来存在旳事物或属性，从某个角 度看却好象不存在
软件兼容
程序能够不加修改地运营在各档机 器上，区别仅在于运营时间不同
信息论课后习题答案
第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。
答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。
信道容量C 是保证无差错传输时，信息传输率R 的权限值。
6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。
表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。
6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。
6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。
()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。
但并非概念定义一致。
6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。
1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。
（2）若信源等概分布，求最佳判决译码及错误概率。
信息论北理工复习2013
信息论复习1．消息、信号、信息的含义、定义及区别。
信息是指各个事物运动的状态及状态变化的方式。
消息是指包含信息的语言，文字和图像等。
信号是消息的物理体现。
消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。
同样，同一类型信号或消息也可以代表不同内容的信息信息是可以量度的，信息量有多少的差别。
4．信息论的起源、历史与发展。
1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。
6．通信的目的？要解决的最基本问题？通信有效性的概念。
提高通信有效性的最根本途径？通信可靠性的概念。
提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通信系统的性能指标主要是有效性，可靠性，安全性和经济性。
通信系统优化就是使这些指标达到最佳。
从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。
提高通信有效性的最根本途径是信源编码。
减少冗余。
提高可靠性：信道编码。
增加冗余。
7．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。
符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：•不确定度是信源符号固有的，不管符号是否发出；•自信息量是信源符号发出后给予收信者的；•为了消除该符号的不确定度，接受者需要获得信息量。
自信息量条件自信息量：联合自信息量：8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。
自信息量指的是该符号出现后，提供给收信者的信息量。
9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。
北京理工大学信息与通信工程考研参考书、重点有哪些.
北京理工大学信息与通信工程考研参考书、重点有哪些826信号处理导论一、考试内容1、信号与系统部分信号与系统以确定性信号经过线性时不变(LTI系统的传输与处理为主线,构建起一套基本概念和基本分析与处理方法,从时域到变换域,从连续到离散,从输入输出描述到状态空间描述。
考生应掌握如下基本概念、理论和方法:(1信号、系统的基本概念:信号描述及波形运算,基本典型信号。
系统模型、互联及主要特性;(2LTI系统的时域分析:卷积积分、卷积和、卷积性质与计算。
用微分/差分方程描述的因果系统的经典解法。
零输入/零状态响应;(3确定信号的频谱分析:周期信号的傅立叶级数及傅立叶变换。
非周期信号的傅立叶变换及其性质,典型信号的傅立叶变换及其频谱表示。
抽样定理; (4LTI 系统的频域分析:系统频率响应,系统的傅立叶分析法。
系统模与相位表示、波特图。
无失真传输条件,理想滤波器;(5LTI系统的复频域分析:拉氏变换,Z变换。
典型信号的变换对。
用单边拉氏变换和Z变换求解微分/差分方程。
系统函数。
系统方框图;(6系统状态空间分析:状态方程与输出方程的建立。
掌握状态方程的一种解法。
多输入-多输出系统稳定性判别。
2、数字信号处理部分数字信号处理在全面掌握信号与系统知识的基础上,针对确定性离散信号构建起一套从连续到离散,从时域到变换域的基本概念和基本分析与处理方法。
考生应掌握如下基本概念、理论和方法:(1全面掌握信号与系统的基础知识;(2离散傅立叶变换(DFT:DFT定义、性质;频率取样;用DFT对连续时间信号逼近;加权技术与窗函数;(3快速傅立叶变换(FFT:基-2按时间/按频率抽取的FFT算法;N为复合数的FFT算法;分裂基FFT算法;实序列的FFT算法;快速FFT的应用;(4数字滤波器(DF:IIR/FIR DF的基本结构;IIR DF的设计(原理、常用模拟低通滤波器的特性、从模拟滤波器设计数字滤波器的方法;FIR DF的设计(原理、线性相位FIR DF的特点、窗函数设计法和频率取样设计法;IIR 和FIR DF的比较。
信息论与编码习题参考答案(全)
111
(1)在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2)在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；
(3)在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；
(4)从码字W4＝011中获取关于a4的信息量I(a4;011)。
其中N=2FT,б2X是信号的方差(均值为零),б2N是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct.
解:
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).
(2)求信源的极限熵H∞；
(3)求当p=0,p=1时的信息熵，并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
证明:
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)>0，则对每个j＝1，2，…，r都存在状态极限概率：
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：
北京理工大学826信号处理导论09--14真题
（4）若输入为 x n
2sin (0.5t )4,n0
0,n0
，求系统稳态输出的最大幅值。
（5）当输入 x（n）的 Z 变换为 X（Z）=Z2+3Z-1 时，求输出 y（n）
六、一因果线性时不变系统如图 3 所示，其中包含两个子系统 h1(t)和 h2（t）。当子系统 h1 （t）的输入为单位阶跃信号 u（t）时，子系统 h（t）输出为 e-2tu(t)。子系统 h2（t）的输入 x2（t）和输出 y2（t）的关系满足如下微分方程：
6、（1）利用 DFT 对一对模拟信号进行频谱分析，当抽样点数为 N 时，频率分辨率为 f ，
若抽样间隔不变，怎样才能将频率分辨率提高一倍？ （2）对某一连续时间信号 x（t）进行抽样得到 x(nT)，抽样时满足抽样定理，问如何用抽 样信号 x(nT)恢复出原连续时间信号 x（t），请写出表达式。 二、（20 分） （1）画出 N=4 点 d 按时间抽取法 FFT 运算流图； （2）已知两个离散序列 x1（n）={1，1，0，1}，x2（n）={1，2，-4，2}，根据 FFT 运算流 图求出 x1（k）=DFT[x1(n)]，x2（k）=DFT[x2(n)] （3）给出用一个 N 点 FFT 同时运算两个 N 点实序列的快速算法步骤 （4）利用（3）中一个快速算法，验证 x1（k）和 x2（k）的正确性
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8
(2) 通信系统的主要技术指标
传输速率 码元：携带数据信息的信号单元。 码元传输速率/波特率/调制速率：每秒钟通过信道传输 的码元数。单位是波特(Bd)。 比特率/比特传输速率：每秒钟通过信道传输的信息量。 单位是比特/秒(bit/s)。 这两种传输速率的定义不同，它们都是衡量系统传输能 力的主要指标。 二进制：每个码元的信息含量为1比特，二进制的波特 率与比特率在数值上是相等的。 M进制：每一个码元的信息含量为 log2M。如果码元传 输速率为 rs 波特，相应的比特率 rb 为 rb = rs log2M (bit/s)
7
传输信道/存储媒介
有线：实际的传输信道可能是光缆、电缆等有线信道；
无线：高频无线线路、卫星中继等无线信道； 存储媒介：媒介可以是磁带、磁盘、光盘等；
无论何种传输媒介，都受到不同性质的干扰：
有线信道中的的脉冲干扰； 无线信道中的噪声和衰落；
存储媒介的缺损也被看做是脉冲干扰。
3
9.2 纠错编码的分类及基本概念
按纠正差错的类型可分为纠正随机错误的码和纠正突发 错误的码； 按码的数学结构中校验元和信息元的关系
线性码：编码规则可以用线性方程表示；
非线性码：编码规则不能用线性方程表示； 按码字的结构分 系统码：前 k 个码元与信息码组一致； 非系统码：没有系统码的特性。 按码字中每个码元的取值可分为二进制码和多进制码。 按码是否具有循环性分类,纠错码可分为循环码和非循环 码；
4
按码的结构中对信息序列的处理方式分为分组码和卷积 码 分组码：编码的规则仅局限于本码组之内，本 码组的校验元仅和本码组的信息元相关。 信息码组由 k 个二进制码元组成，共有 2k 个不同的信息码 组； 附加n－k个码元，每个校验元取值与该信息码组的k个码元 有关； 编码器输出长度 n； 码字的数目共有 2k ； 这2k 个码字的集合称为 (n,k) 分组码； 分组码的每个码字只取决于相应的信息码组，编码器是无 记忆的，可用组合逻辑实现。 卷积码：本码组的校验元不仅和本码组的信息元相关， 而且还与本码组相邻的前 n－1 个码组的信息元相关。 5
9
差错率：差错率是衡量传输质量的重要指标之一， 它有以下几种不同的定义。 码元差错率：指在传输的码元总数中发生差错的码元数 所占的比例（平均值），简称误码率。 比特差错率 /比特误码率：指在传输的比特总数中发生 差错的比特数所占的比例（平均值）。在二进制传输系 统中，码元差错率就是比特差错率。 码组差错率：指在传输的码组总数中发生差错的码组数 所占的比例（平均值）。
6
ห้องสมุดไป่ตู้.2.2 纠错码的基本概念及其纠错能力
(1) 数字通信系统工作原理
数字通信系统模型
信 源
信 源 编 码
调 制 器
传 输 媒 介
解 调 器
信 源 译 码
信 宿
图6.1.1 数字通信系统框图
信源：可以是人或机器（例如计算机、传感器）； 信源编码器：将信源输出变换成信息序列； 调制器：把输入的消息序列变换为适合于在实际信道中传输/存储 的信号波形；
第九章 信道的纠错编码
信道编码定理指出：在信息传输率小于信道容量 的条件下，通过编码可以使译码错误概率任意小， 从而达到可靠通信。给出的结果只说明存在一种编 码方式。其误码率随着码长n的增长趋于任意小。 证明是非构造性的，它没有告诉我们如何构造实际 上可实现的、具有上述性能的这类码的方法。 信道编码/纠错编码/差错控制：就是为解决这一 问题而产生的学科，它的目的是寻找在实际上易于 实现且能达到有效而可靠通信的编译码方法。
11
(3) 采用信道编码的数字通信系统
在某些情况下，信道的改善可能较困难或者不 经济，这就要求采用信道编码，以便满足系统 差错率的技术指标要求。 信道编码为系统设计者提供了一个降低系统差 错率的措施。采用信道编码后的数字通信系统 可用下图所示。
信 源
信 源 编 码
m
信 道 编 码
C
调 制 器
10
降低信道引起误码率的主要方法
选择合适的传输线路：如有线线路中，
电缆线路优于明线线路，光缆优于电缆； 改进传输线路的传输特性或增加发送信号功率： 如进行相位均衡和幅度均衡以改进线路的群延 时特性和幅频特性，增加中继放大器。在无线 信道中，可以增加发射机功率、利用高增益天 线、低噪声放大器等方法改善信道； 选用潜在抗干扰性较强的调制解调方案。
传 输 媒 介
解 调 器
R
信 道 译 码
m'
信 源 译 码
信 宿
图6.1.2 有信道编码的数字通信系统框图
1
9.1 差错控制的基本方式
前向纠错(FEC)：发送端的信道编码器将信息码组编成具 有一定纠错能力的码。接收端信道译码器对接收码字进行 译码，若传输中产生的差错数目在码的纠错能力之内时， 译码器对差错进行定位并加以纠正。 反馈重发(ARQ)：用于检测的纠错码在译码器输出端只给 出当前码字传输是否可能出错的指示，当有错时按某种协 议通过一个反向信道请求发送端重传已发送的码字全部或 部分。
消息m
纠错编码
码字C
信道
接收向量R
纠错译码
消息m’
FEC
消息m
检错编码
码字C
信道
接收向量R
检错译码
消息m’
ARQ
2
混合纠错(HEC)：是FEC与ARQ方式的结合。发端发送 同时具有自动纠错和检测能力的码组，收端收到码组后， 检查差错情况，如果差错在码的纠错能力以内，则自动 进行纠正。如果信道干扰很严重，错误很多，超过了码 的纠错能力，但能检测出来，则经反馈信道请求发端重 发这组数据。 信息反馈(IRQ)：也称回程校验方式。收端把收到 的数据，原封不动地通过反馈信道送回到发端，发端比 较发的数据与反馈来的数据，从而发现错误，并且把错 误的消息再次传送，直到发端没有发现错误为止。