信息论基础复习题目125页PPT
合集下载
信息论基础复习题目PPT课件
p(x2 y2) p(x2) p(y2 | x2) 0.50.8 0.40
22
则：H(XY)
p(xi y j ) log p(xi y j )
i1 j1
1.43比特/ 信源符号
.
15
N
由p( y j ) p(xi y j )得到Y集中各消息概率 i 1 2 p( y1) p(xi y1) p(x1 y1) p(x2 y1) 0.59 i 1
则该事件携带的信息量为：
I (xi | yj ) log p(xi | yj ) log(1/ 8) 3bit
由结果可知:
事件yj的出现降低了事件xi发生所携带的信息量
原因:
事件yj的出现带来了事件xi的部分的信息，导致对事件xi的
不确定性减小
.
6
例2-4
设一系统的输入符号集X=(x1,x2,x3,x4,x5)，输出符号集 Y=(y1,y2,y3,y4) 输入符号与输出符号间的联合分布为
x 0.98 1 0.02
y1
x 0.2
2
0.8
y2
.
13
解：由题意可知
p(x1 ) 0.5 p(x2 ) 0.5 p( y1 | x1 ) 0.98 p( y2 | x1 ) 0.02 p( y1 | x2 ) 0.2 p( y2 | x2 ) 0.8
2
则：H ( X ) p(xi ) log p(xi ) i 1
.
3
（2）此消息中平均每个符号携带的信息量为：
I2 87.81/ 45 1.95bit / symbol
信源的信息熵:
4
H ( X ) p(ai ) log p(ai ) i 1
3 log 3 1 log 1 1 log 1 1 log 1 8 84 44 48 8
22
则：H(XY)
p(xi y j ) log p(xi y j )
i1 j1
1.43比特/ 信源符号
.
15
N
由p( y j ) p(xi y j )得到Y集中各消息概率 i 1 2 p( y1) p(xi y1) p(x1 y1) p(x2 y1) 0.59 i 1
则该事件携带的信息量为：
I (xi | yj ) log p(xi | yj ) log(1/ 8) 3bit
由结果可知:
事件yj的出现降低了事件xi发生所携带的信息量
原因:
事件yj的出现带来了事件xi的部分的信息，导致对事件xi的
不确定性减小
.
6
例2-4
设一系统的输入符号集X=(x1,x2,x3,x4,x5)，输出符号集 Y=(y1,y2,y3,y4) 输入符号与输出符号间的联合分布为
x 0.98 1 0.02
y1
x 0.2
2
0.8
y2
.
13
解：由题意可知
p(x1 ) 0.5 p(x2 ) 0.5 p( y1 | x1 ) 0.98 p( y2 | x1 ) 0.02 p( y1 | x2 ) 0.2 p( y2 | x2 ) 0.8
2
则：H ( X ) p(xi ) log p(xi ) i 1
.
3
（2）此消息中平均每个符号携带的信息量为：
I2 87.81/ 45 1.95bit / symbol
信源的信息熵:
4
H ( X ) p(ai ) log p(ai ) i 1
3 log 3 1 log 1 1 log 1 1 log 1 8 84 44 48 8
信息论基础第二章PPT
8
则用转移概率矩阵表示为 0.25 0.75 p 0.6 0.4
也可用状态转移图表示为
0.75
0.25
0
1
0.4
0.6
9
其n长序列的联合分布为：
Pr { X n x n } Pr {( X 1 X 2 X n ( x1 x2 xn )} ( x1 )i 1 Pr ( X i 1 xi 1 | X i xi )
Pr {( X1 , X 2 , X n ) ( x1 , x2 xn )}
( x1, x2 xn ) n , n 1, 2
p( x1 , x2 xn )
唯一决定
4
无记忆信源
当 X1, X 2 X n 为相互独立的随机变量， 且服从相同的分布：
Pr ( X i x) p( x)
P(0 | 00) 0.8, P (1|11) 0.8, P (1| 00) P (0 |11) 0.2 P(0 | 01) P(0 |10) P (1| 01) P (1|10) 0.5
用转移概率矩阵表示为
11
0 0.8 0.2 0 0 0 0.5 0.5 P 0.5 0.5 0 0 0 0.2 0.8 0
1 k
1 k
Pr {( X t1 , X t2 , , X tm ) ( x1 , x2 ,, xm )} Pr {( X t1 k , X t2 k , , X tm k ) ( x1 , x2 xm )}
14
如果一个马氏过程是平稳的，则
Pr {X m xm | X m1 xm1 , X m2 xm2 ,, X1 x1} Pr {X m xm | X m1 xm1} Pr {X 2 xm | X1 xm1}
高中信息技术会考题库知识点总结PPT课件
B.登录家电产品论坛询问网友
C.在“海尔”官方网站查询
D、向同学咨询
9、搜索引擎其实是因特网上的一类（）搜索引擎一般提供
（）检索和（）检索。（ ）
A.网站、目录、关键词
B.网页、目录、关键词
C.网站、自动、手动
D.网页、自动、手动
精选CPPT,课C件,C,B
21
10、下列信息中可信度最高的是（ ）
信息技术应用在（ ）。
A、政务信息化方面 B、家庭智能化方面
C、电子商务方面
D、教育信息化方面
8.关于信息，下列说法正确的是（ ）。
B,B,A,A
A、两个人聊天，也是在互相传递信息
B、信息是一种资源，使用后会产生损耗
C、传递信息的途径只有一种，获取信息的途径有多种
D、信息被一个人使用时其他人就不能使用
A、10种
B、20种
C、32种
D、5种
• 24、下列不实信息技术发展趋势的是（ ）。
A、越来越友好的人机界面
B、越来越复杂的操作步骤
C、越来越高的性能价格比
D、越来越个性化的功能设计
• 25、随着我国知识产权法制环境的建立和改善，下列说法正确的是：（ ）。
A、销售盗版软件属于违法行为，购买和使用盗版软件不属于违法行为 B、在网站上提供下载他人解密的软件，不会构成对著作权人的侵权 C、受法律保护的软件，一经购买就可以复制给他人使用 D、未经著作人同意而复制共享他人软件的行为，是侵权行为
5.操作系统是计算机最基本的系统软件（ ）
A、正确
B、错误
精选PPT课件
B,C,A9,B,A
6.某政府网站设置了网上申报服务系统，为企业项目的申报带来了极大的 方便，这是将信息技术应用在（ ）。
信息论基础 ppt课件
他认为“信息是事物运动状态或存在 方式的不确定性的描述”。
ppt课件
(2)信息与消息和信号的区别
在通信中对信息的表达分为三个层次：信号、消息、信 息。
信号：是信息的物理表达层，是三个层次中最具体的层 次。它是一个物理量，是一个载荷信息的实体，可测量、
可描述、可显示。如电信号、光信号等。
消息：(或称为符号)是信息的数学表达层，它虽不是一 个物理量，但是可以定量地加以描述，它是具体物理信 号的进一步数学抽象，可将具体物理信号抽象为两大类 型： 1) 离散(数字)消息，是一组未知量，可用随机序列来 描述：U=(U1…Ui…UL) 2) 连续(模拟)消息，也是未知量，它可用随机过程来 描述：U(t,ω)
ppt课件
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不要 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
信息论--基础理论与应用
北京理工大学 信息与电子学院 2014年3月
ppt课件
课程类型：专业选修课 学 时：32学时 授课时间：第一周----第八周 考试时间：第九周 教 材：《信息论—基础理论与应用》,傅祖芸,电子工业出版社 参考教材：
①《信息论与编码》,陈运,电子工业出版社 ②《应用信息论基础》,朱雪龙，清华大学出版社 ③《信息论与编码学习辅导及习题详解》傅祖芸,电子工业出版社
ppt课件
信息论
信息论已经成为现代信息科学的一个重要组成部分，它 是现代通信和信息技术的理论基础。现代信息论又是数 学概率论下的一个分支，与遍历性理论、大偏差理论以 及统计力学等都有密切关系，因此信息论已成为大学诸 多专业的必修课和选修课，并不再局限于已有的通信工 程、电子工程、信息工程等专业。
ppt课件
(2)信息与消息和信号的区别
在通信中对信息的表达分为三个层次：信号、消息、信 息。
信号：是信息的物理表达层，是三个层次中最具体的层 次。它是一个物理量，是一个载荷信息的实体，可测量、
可描述、可显示。如电信号、光信号等。
消息：(或称为符号)是信息的数学表达层，它虽不是一 个物理量，但是可以定量地加以描述，它是具体物理信 号的进一步数学抽象，可将具体物理信号抽象为两大类 型： 1) 离散(数字)消息，是一组未知量，可用随机序列来 描述：U=(U1…Ui…UL) 2) 连续(模拟)消息，也是未知量，它可用随机过程来 描述：U(t,ω)
ppt课件
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不要 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
信息论--基础理论与应用
北京理工大学 信息与电子学院 2014年3月
ppt课件
课程类型：专业选修课 学 时：32学时 授课时间：第一周----第八周 考试时间：第九周 教 材：《信息论—基础理论与应用》,傅祖芸,电子工业出版社 参考教材：
①《信息论与编码》,陈运,电子工业出版社 ②《应用信息论基础》,朱雪龙，清华大学出版社 ③《信息论与编码学习辅导及习题详解》傅祖芸,电子工业出版社
ppt课件
信息论
信息论已经成为现代信息科学的一个重要组成部分，它 是现代通信和信息技术的理论基础。现代信息论又是数 学概率论下的一个分支，与遍历性理论、大偏差理论以 及统计力学等都有密切关系，因此信息论已成为大学诸 多专业的必修课和选修课，并不再局限于已有的通信工 程、电子工程、信息工程等专业。
信息论基础教学课件ppt信息论基础概述信息论基础概论
33
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息
信息论 总复习_new学习版.ppt
最新.课件
14
Wuhan University
最大离散熵定理 (极值性) ：离散无记忆信源输出 n 个不同的信息符号，当且仅当各个符号出现概 率相等时 (即p(xi)=1/n)，熵最大。 H[p(x1),p(x2),…,p(xn)]≤logn
最新.课件
15
Wuhan University
二进制信源的熵函数 H(p) 为
23
离散无记忆信源的等长编码
无扰编码定理的含义 R>H(U)
Wuhan University
译码错误概率 pe
I(ak)的方差
信源序列中每个符号含 有信息量的算术平均值
I(ak)的数学期望
契比雪夫不等式的右边是理论上的误码率的上限， 必须小于给定的误码率才能保证到达编码性能要求
最新.课件
24
定长编码定理
游程编码和算术编码是非分组编码；游程编码是限 失真信源编码。本章介绍的都是离散信源变长编码。
优点：提高编码效率；
缺点：需要大量缓冲设备来存储这些变长码，然后 再以恒定的码率进行传送；如果出现了误码，容易引 起错误扩散，所以要求有优质的信道。
可靠: 要使信源发出的消息经过传输后，尽可能准确地、
不失真或限定失真地再现在接收端
有效: 用尽可能短的时间和尽可能少的设备来传输最大的
消息
最新.课件
4
第2章 信源熵
Wuhan University
单符号离散信源
自信息量
–用概率测度定义信息量，设离散信源 X，其
概率空间为
–如果知道事件 xi 已发生，则该事件所含有的
5 0.11011
8
a 729/65536
3367/4096=…
信息论基础课件
利用性质（1）可以得到线性分组码的第四条性质： (4) 线性分组码的最小距离等于最小非零码字的汉明 重量
7
证明：要证明： min min (c ) d
对二元向量 和c有：d(c, c) (c c) c
所以： d (c , c ) min (c c ) min (c ) min
1
它不但能发现差错，而且能将差错自动纠正过 来，避免频繁重发所消耗的时间，从而大大提
高了通讯的可靠性。本节和下一节介绍两种纠
错码：线性分组码和循环码。
线性分组码是分组码的一个子类，由于线性码
的编码和译码容易实现，至今仍是应用最广泛
的一类码。
2
6.2线性分组码
6.2.1 线性分组码的描述
定义1：一（n,k）线性分组码C是n维n长向量构成的 线性空间中的一个k维线性子空间。 因此我们研究线性分组码就是研究n维向量空 间中的k维子空间。 定义2：一个(n,k)线性分组码C是如下集合
17
所以， C 1 m 3
C 2 m2 C 3 m1 m 2 m 3 C 1 C 2 C 4 C 6 C 4 m1 C 5 m1 m 3 C 1 C 4
即：C 1 C 2 C 3 C 4 0 C1 C 4 C 5 0 C3 1 0 0 0 1 G s 0 1 0 1 1 0 0 1 1 1 于是：一致校验矩阵 H 0 1 1 1 0 Hs 1 1 1 0 1
12
(5,3)线性分组码码例
1 0 1 1 0 G 0 1 0 1 1 1 1 0 1 0
0 0 1 1 1 1 G 0 1 1 0 0 1 1 0 1 0 1 1
7
证明：要证明： min min (c ) d
对二元向量 和c有：d(c, c) (c c) c
所以： d (c , c ) min (c c ) min (c ) min
1
它不但能发现差错，而且能将差错自动纠正过 来，避免频繁重发所消耗的时间，从而大大提
高了通讯的可靠性。本节和下一节介绍两种纠
错码：线性分组码和循环码。
线性分组码是分组码的一个子类，由于线性码
的编码和译码容易实现，至今仍是应用最广泛
的一类码。
2
6.2线性分组码
6.2.1 线性分组码的描述
定义1：一（n,k）线性分组码C是n维n长向量构成的 线性空间中的一个k维线性子空间。 因此我们研究线性分组码就是研究n维向量空 间中的k维子空间。 定义2：一个(n,k)线性分组码C是如下集合
17
所以， C 1 m 3
C 2 m2 C 3 m1 m 2 m 3 C 1 C 2 C 4 C 6 C 4 m1 C 5 m1 m 3 C 1 C 4
即：C 1 C 2 C 3 C 4 0 C1 C 4 C 5 0 C3 1 0 0 0 1 G s 0 1 0 1 1 0 0 1 1 1 于是：一致校验矩阵 H 0 1 1 1 0 Hs 1 1 1 0 1
12
(5,3)线性分组码码例
1 0 1 1 0 G 0 1 0 1 1 1 1 0 1 0
0 0 1 1 1 1 G 0 1 1 0 0 1 1 0 1 0 1 1
信息技术基础理论复习
从本质上讲，计算机的基本功能是 （A）计算 （B）图像处理 （C）音频处理 （D）视频处理
A
4．多媒体信息处理 （1）图像处理 ①图像处理的有关知识。像素、分辨率、位图、矢量图、 颜色、图像文件格式、图形与图像等概念。 ②分辨率就是单位长度或面积的像素数。 ③位图与矢量图的区别。前者放大以后会失真，后者放 大以后不会失真 用计算机处理彩色图像时，一般用RGB来表示图像的 A （A）颜色 （B）分辨率 （C）大小 （D）存储容量 计算机中的彩色图像往往采用 RGB 三原色模式来表示， 这三种颜色指的是 C （A）黄青蓝 （B）红黄蓝 （C）红绿蓝 （D）红紫青
概述 信息技术理论在会考中有10个题目，每题3分， 占30%。 虽然只占30%，但往往其决定性作用
因为操作题，我们在经过一段时间的练习后，提 高比较快
另一方面，我们往往忽视了理论知识点的复习 因为如果你错3个，基本就很难拿A了。
信息技术基础理论复习
分为三大块内容：
第一部分 信息技术基础（课本第1、7 章） 第二部分 信息的获取、加工与管理（课 本第2、3、4章）
在地震救援中，用生命探测仪探测废墟下生命 体征信息的主要方法属于 B （A）现场观察 （B）遥感遥测 （C）电 视直播 （D）网络通讯 2．因特网上信息的浏览与获取 （1）网站的访问与浏览 通过“超链接”在不同页面间跳转。
在IE浏览器中，将一张网页保存到本地计算机， 主要操作过程如下： ①在“保存网页”对话框中，选择要保存的文 件夹 ②在“保存网页”对话框中，单击“保存”按 钮 ③浏览需要保存的网页 ④单击“文件”菜单下的“另存为”项 C 正确的操作顺序是 （A）①②③④ （B）②③④① （C）③④①② （D）④①②③
（D）
③计算机内部采用二进制表示数据信息，但是不便于书写，在实际表示中，常常采 用十六进制的形式。 十进制D 二进制B 十六进制H 0 0000 0