第4章 应用密码学-Shannon信息论
应用密码学(1-10章全) 精品
• 密码学是信息安全学科建设和信息系统安全工程实践 的基础理论之一。
• 对密码学或密码技术一无所知的人不可能从技术层面 上完全理解信息安全。
4/31
第1章 密码学概述
1.2 密码技术发展简介
根据不同时期密码技术采用的加密和解密实现手段的不同特点 ，密码技术的发展历史大致可以划分为三个时期，即古典密码、 近代密码和现代密码时期。
9/31
第1章 密码学概述
1.3.1密码学的主要任务（续） ③ 鉴别
这是一种与数据来源和身份鉴别有关的安全服务。鉴别服务包括对身 份的鉴别和对数据源的鉴别。对于一次通信，必须确信通信的对端是预期的 实体，这就涉及到身份的鉴别。 对于数据，仍然希望每一个数据单元发送到或来源于预期的实体， 这就是数据源鉴别。数据源鉴别隐含地提供数据完整性服务。密码学可通过 数据加密、数字签名或鉴别协议等技术来提供这种真实性服务。
第1章 密码学概述
本章主要内容
• 信息安全与密码技术 • 密码技术发展简介 • 密码学基本概念 密码学的主要任务 密码系统的概念
对密码系统的攻击
密码系统的安全性 密码体制的分类
对称与非对称密码体制的主要特点
3/31
第1章 密码学概述
1.1
信息安全与密码技术
• 密码技术是一门古老的技术； • 信息安全服务要依赖各种安全机制来实现，而许多安 全机制则需要依赖于密码技术 ； • 密码学贯穿于网络信息安全的整个过程，在解决信息 的机密性保护、可鉴别性、完整性保护和信息抗抵赖 性等方面发挥着极其重要的作用。
应用密码学
清华大学出版社 2008年9月
课程主要内容
第四章 密码学基础1
混乱：
指明文、密钥和密文之间的统计关系尽可能
复杂，使得攻击者无法理出三者的相互依赖 关系。
s-p网络的轮函数包括3个变换：代换、 置换、密钥混合。
4.3.2 DES数据加密标准
1 算法简介
数据加密标准(Data Encryption Standard,DES) 是使用 最广泛的密码系统。1973年美国国家标准局征求国家 密码标准文字，IBM公司于1974年提交，于1977年被 采纳为DES。 DES出现后20年间，在数据加密方面发挥了不可替代的 作用。20世纪90年代后，随着技术的发展，密钥长度 偏短，DES不断传出被破译的进展情况。1998年12月 美国国家标准局不再用DES作为官方机密，推荐为一般 商业应用，于2001年11月发布了高级加密标准 （AES）。
字母表是循环的，Z后面的是A，能定义替换
表，即密钥。 明文：a b c d e f g h I j k l m n o p q r s t uvwxyz 密文: D E F G H I J K L M N O P Q R S T U VWXYZABC
Caesar算法能用如下公式表示： C=E(3,m)=(m+3) mod 26 如果对字母表中的每个字母用它之后的第k个 字母来代换，而不是固定其后面第3个字母， 则得到了一般的Caesar算法： C=E(k,m)=(m+k) mod 26
如果加密、解密用不同的密钥，是非对 称加密。图解
Ek1(P)=C
Dk2(C)=P Dk2(Ek1(P))=P
4.1.3密码的分类 1按应用技术分：
手工密码 机械密码 电子机内乱密码
通过电子电线，程序进行逻辑运算，以少量制乱
香农信息论
香农是20世纪最杰出的人物之一。如果没有他，很多 我们现在使用的物品根本就不可能存在。数字革命是由 香农最初发起的。
——内尔·斯罗恩（香农理论选集的编辑）
Shannon理论的问世，象是引爆了一枚重磅的原子弹， 震撼了整个科学界。
——J.Pierce(香农的合作者和朋友）
信息论
2
信息论的研究
3
1
信息论的概念香农信息论的来自响1948年以后，香农的信息论在物理学、生物学和社会科 学等学术团体中得到迅速而又广泛的传播。信息论被普遍引 用，这种影响历时多年经久不衰。香农的（以熵的公式所测 度的）信息概念对于传播学学者来说有着直接的用处。或许 这就是为什么他的理论通常被称为“信息”理论、而不是 “传播”理论的原因，后者是香农用来表示其理论的术语。
• 1948年，Shannon发表《通信的数学理论》，成为了信 息论建立的里程碑，Shannon被尊崇为信息论及数字通 信时代的奠基之父
香农信息论的内容可用一句话概括为：
“一个概念，三个定理”
就是信息熵的概念和三个编码定理。
主要内容
把信息定义为“用来消除不确定性的东 西”，并给出了其度量公式--熵和互信息；
信息论的影响
信息论的局限性
1.香农的电子通信过程是一个直线单项的过程，缺乏反馈 环节 2.香农把他的模式限于工程或技术传播，显而易见，人类 主观解释的过程也被包含在过程信道之中，但是具有数学 倾向的香农将人类传播的意义限定在他的范围之外。 3.香农的信息论仅限于通信等很局限的领域 4在密码分析方面，缺乏对信息的不确定性和信息融合的研 究 5.重视传播过程，不重视传播效果 6.香农的理论涉及很多数学命题，就很少为传播学学者所 研究，大部分的传播学者缺少必要的数学能力去从事这一 工作。
信息论与编码实验报告-Shannon编码
实验报告课程名称：信息论与编码姓名：系：专业：年级：学号：指导教师：职称：年月日实验三 Shannon 编码一、实验目的1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程二、实验原理给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1、信源符号按概率从大到小排列；12.......n p p p ≥≥≥2、确定满足下列不等式的整数码长i K 为()()1i i i lb p K lb p -≤<-+3、为了编成唯一可译码，计算第i 个消息的累加概率：4、将累加概率i P 变换成二进制数；5、取i P 二进制数的小数点后i K 位即为该消息符号的二进制码字。
三、实验内容1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
3、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、实验环境Microsoft Windows 7 Matlab 6.5五、编码程序计算如下信源进行香农编码，并计算编码效率：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.06543210a a a a a a a P X MATLAB 程序：(1) a=[0.2 0.18 0.19 0.15 0.17 0.1 0.01]; k=length(a);y=0; for i=1:k-111()i i k k P p a -==∑for n=i+1:kif (a(i)<a(n))t=a(i);a(i)=a(n);a(n)=t;endendends=zeros(k,1);b=zeros(k,1);for m=1:ks(m)=y;y=y+a(m);b(m)=ceil(-log2(a(m)));z=zeros(b(m),1);x=s(m);p=b2d10(x);for r=1:b(m)z(r)=p(r);enddisp('Êä³ö½á¹ûΪ£º')disp('³öʸÅÂÊ'),disp(a(m))disp('ÇóºÍ½á¹û'),disp(s(m))disp('±àÂëλÊý'),disp(b(m))disp('×îÖÕ±àÂë'),disp(z')end(2) function y=b2d10(x)for i=1:8temp=x.*2;if(temp<1)y(i)=0;x=temp;elsex=temp-1;y(i)=1;endend(3) p=[0.2 0.19 0.18 0.17 0.15 0.1 0.01]; sum=0;sum1=0;for i=1:7a(i)=-log2(p(i));K(i)=ceil(a(i));R(i)=p(i)*K(i);sum=sum+R(i);c(i)=a(i)*p(i);sum1=sum1+c(i);endK1=sum;H=sum1;Y=H/K1;disp('ƽ¾ùÐÅÏ¢Á¿'),disp(H)disp('ƽ¾ùÂ볤'),disp(K1)disp('±àÂëЧÂÊ'),disp(Y)六、实验结果输出结果为：出事概率0.2000，求和结果0，编码位数3，最终编码000出事概率0.1900，求和结果0.2000，编码位数3，最终编码001出事概率0.1800，求和结果0.3900，编码位数3，最终编码011出事概率0.1700，求和结果0.5700，编码位数3，最终编码100出事概率0.1500，求和结果0.7400，编码位数3，最终编码101出事概率0.1000，求和结果0.8900，编码位数4，最终编码1110出事概率0.0100，求和结果0.9900，编码位数7，最终编码1111110编码效率：平均信息量2.6087平均码长3.1400编码效率0.8308七、实验总结通过本次的实验，掌握了Shannon编码的实验原理以及编码过程。
密码学Shannon理论
Pr( b 2 )
6 7 3
Pr( a 3 )
1
Pr( b 3 )
4 Pr( a 4 ) 0
4 Pr( b 4 ) 1
于是
H ( M C ) Pr( 1) H ( M 1) Pr( 2 ) H ( M 2 ) Pr( 3) H ( M 3) Pr( 4 ) H ( M 4 )
i i0
p 1
长为s的密钥：Κ k k 1 , k 2 , , k s k i B ,1 i s
加密变换：将明文在密钥的控制下变为密文，即
c 1 , c 2 , , c t E k m 1 , m 2 , , m r
t和r为何不等呢？
密文空间的统计特性由明文空间和密钥空间的统计特性决定：
编码器 信道 干扰源 解码器 m 接收者
保密系统：设计目的是使窃听者即使完全准确地接收到了信道上的传 输信号也无法恢复原始信息。
密码分析者 信源 加密器 信道 解密器 接收者
m
k
密钥源
c
c
m
k
秘密信道 密钥源
信源字母表： X a i i 0 ,1, 2 , , q 1
且 a i 的概率为
第三章 Shannon理论
3.1 密码体制的数学模型
3.2 熵及其性质
3.3 伪密钥和惟一解距离
3.4 密码体制的完善保密性
3.5 乘积密码体制
3.1 密码体制的数学模型
密码注定与通信密不可分,不需通信也就不需要密码了。通信系统：设计 目的是在信道有干扰的情况下,使接收的信息无差错或差错尽可能地小。 信源 m
称为随机变量X和Y的联合熵。 n def 定义3.3 H ( X y j ) Pr( x i y j ) log 2 Pr( x i y j )
学习密码学的基本原理与应用
学习密码学的基本原理与应用第一章：密码学的概述密码学是研究如何保护信息安全的学科。
它涉及到加密、解密、认证和数据隐私等多个方面。
密码学的基本原理是通过使用特定算法将信息转换为密文，只有拥有正确密钥的人才能解密并获得原始信息。
密码学在现代社会中广泛应用于电子商务、网络安全、金融交易等领域。
第二章：对称加密与非对称加密对称加密和非对称加密是密码学中常用的两种加密方式。
对称加密使用相同的秘钥进行加密和解密，加密和解密速度较快，但需要确保秘钥的安全性。
非对称加密使用公钥和私钥配对进行加密和解密，加密速度较慢，但更加安全。
这两种加密方式在实际应用中往往结合使用，提供更高的安全性。
第三章：哈希算法与数字签名哈希算法是密码学中常用的一种算法，它将任意长度的输入转换为固定长度的输出。
哈希算法具有不可逆性和唯一性，即无法从哈希值还原出原始数据，并且不同的输入对应不同的哈希值。
哈希算法在数字签名中扮演重要角色，通过对原始数据进行哈希运算，并使用私钥对哈希值进行加密，生成数字签名。
其他人可以使用公钥验证数字签名的合法性，确保数据的完整性和真实性。
第四章：密码学的应用密码学在现代社会中具有广泛的应用。
在电子商务中，密码学可以确保用户的支付信息和个人信息不被泄露。
在金融交易中，密码学可以保护交易的机密性和完整性，防止欺诈行为。
在网络安全领域，密码学可以加密通信数据，防止被黑客窃取或篡改。
此外，密码学还应用于身份验证、数字证书、数字货币等领域，保障信息的安全性和可信度。
第五章：密码学的发展趋势随着技术的不断演进，密码学也在不断发展。
传统的密码学算法逐渐暴露出一些弱点，比如计算机的高运算能力可能破解某些加密算法。
因此，人们正在研究和设计更加安全和可靠的密码学算法。
量子密码学作为一种新兴的密码学技术，利用量子力学的原理来保护信息的安全性，具有抗量子计算攻击的特点。
未来，密码学将继续发展，为信息安全提供更好的保护。
第六章：结语密码学是保障信息安全的重要工具，它的基本原理和应用涵盖了对称加密、非对称加密、哈希算法和数字签名等多个方面。
密码学 第4章 Shannon理论
➢ 评价密码体制安全性的不同准则： 计算安全性（computational security） 可证明安全性（provable security） 无条件安全性（unconditional security）
计算安全性
➢ 核心思想：考虑攻破密码体制所需付出的计算代价。
➢ 如果使用最好的算法攻破一个密码体制需要至少 N 次 操作，这里的 N 是一个特定的非常大的数字，则这个
密码体制是计算安全的。
➢ 缺点：没有一个已知的实际的密码体制在这个定义下可 以被证明是安全的。
实际中，人们经常通过几种特定的攻击类型来研究计算上 的安全性，例如穷尽密钥搜索攻击。
➢ 通俗地讲，完善保密性就是说 Oscar 不能通过观察密 文得到明文的任何信息。
➢ 在例 4.1 中，对于密文 y 3 满足完善保密性的定义， 但是对于其它的密文不满足。
➢ 单字母移位密码的完善保密性：从直觉上看这是很显 然的。因为对于任意给定的密文 y 26 ，任何 x 26 都可能是对应的明文。下面给出严格证明。
➢ 在密码学的发展历史中，人们试图设计出密钥可以加密 相对长的明文（也就是一个密钥可以加密许多消息）， 并且仍然可以保持一定的计算安全性。一个这样的例子 就是数据加密标准（Data Encryption Standard），我 们将在后面学习。
3. 伪密钥和唯一解距离
➢ 条件熵 H (K | C) 称为密钥含糊度，度量了给定密文下密 钥的不确定性。
➢ 不幸的是，“一次一密”存在一个较大的不利因素。 意味着秘密使用的密钥数量必须至少和明文的
数量一样多。例如，在“一次一密”的密码体制中，我 们要求用 n 比特的密钥加密 n 比特的明文。若相同的密 钥可以用于加密不同的消息，这将不是一个重要的问题， 但是密码体制的无条件安全性是基于每个密钥仅用一次 的事实。
第二章 Shannon信息论述评
第二章 Shannon信息论述评Shannon信息论建立在随机事件统计理论的基础上［1］。
为此，我们先简述基于频率论解释的概率理论，下一章再阐述更广意义的概率理论［2］。
这里Shannon信息论只是取其要义，我们尽可能使用浅显易懂的方式叙述，以照顾不熟悉Shannon 理论的读者。
本章还含有对经典信息理论的评论，熟悉Shannon 理论的读者也不妨选看。
2.1 基于频率解释的概率论概率论诞生于赌博问题，这里我们也且用掷骰子为例来说明什么是概率。
一个骰子可能呈现的数字是1,2,3,4,5,6中的一个。
一般情况下，每个数字出现的几率大致相等；比如你掷N＝600下，1出现的次数N1大约为100下。
设为110下，则110/600叫做1 出现的几率（或数学几率）。
当掷的次数无穷多时，这个几率就无穷地接近1/6，1/6就是1出现的概率，即P(X＝1)＝1/6其中X表示随机变量，对于本例它的取值范围是集合A＝{1,2,3,4,5,6}，即X∈A。
设一般情况下，A＝{x1, x2,..., x m}，按频率论解释，概率P(X＝x i)被定义为：实验次数N为无穷大时，X＝x i的次数N i和N之比的极限; 即(2.1.1)按照现代概率论，只要某种测度符合概率的公理化定义，它就构成概率测度。
这一公理化定义是：设Ω是一集合，它的一些子集构成Borel域β，存在一个映射P：β→［0,1］，它满足条件(1) P(Ω)＝1;(2) 对于任一A i∈β，有0 ≤P(A i)≤1;(3) 若A i和A j互不相交，则称P为β上的概率测度。
其中(3)被称为概率的可加性要求。
按照这一定义，除了基于频率论解释的概率，还存在其他类型的概率(见第三章)。
下面我们简单地用P(x i)表示P(X=x i)。
对于掷骰子，因为下式P(1)＝P(2)＝...＝P(6)＝1/6成立，所以我们称X是等概率事件。
如果骰子中放了铅，重心不在骰子中心，则上式将不再成立，各数字将不再是等概率事件。
信息论与密码学介绍
熵
有限值
确定值 与信源是否输出无关 信源的平均不确定度
信息量
可为无穷大
一般为随机量 接收后才得到信息 消除不定度所需信息
信源熵与信息量的比较
总括起来，信源熵有三种物理含义： 1 信源熵H(X)表示信源输出后，离散消息
所提供的平均信息量。
2 3
信源熵H(X)表示信源输出前，信源的平 均不确定度。 信源熵H(X)反映了变量X的随机性
2
条件熵
p(ai b j ) I (ai b j )
j 1 i 1
m
H ( X Y ) E[ I (ai b j )]
m n
p(ai b j ) log p(ai b j )
j 1 i 1
n
H (Y X ) E[ I (b j ai )]
p(ai b j ) log p(b j ai )
对消息ai 确定一个非负的实数 i , 作为消 息的 重量 ，即权重系数。
构造重量空间
X a1 , a2 , , ai , , an W ( X ) , ,, ,, 1 1 i n
定义信息的 加权熵
n
加权熵从某种 程度上反映了 人的主观因素。
提醒:不确定度表示含有多少信息，信息量表示随机事件
发生后可以得到多少信息。
2
联合自信息量
I (aib j ) log p(aib j )
当X与Y相互独立时 ,有 p(ai b j ) p(ai ) p(b j )，
有
I (ai b j ) log p(ai ) log p(b j ) I (ai ) I (b j )
信息论与密码学
之后，信息理论安全模型又引入到模糊提 取中，即从生物特征等模糊保密数据中直接提 取出密码体制中所需要的密钥。无条件安全密 钥协商和模糊提取有共同之处，都需要纠错和 从部分保密的数据中提取密钥，因此信息论、 纠错码、无条件认证码等理论与技术的成熟为 无条件安全密钥协商和模糊提取的研究奠定了 坚实的基础。
密码学第4讲--Shannon信息论
m
显然,当 m n 时等号不成立; 1 当m n 时,只有当诸 全相等时,等号才成立.
25
pi
现代密码学
定理3.1 设b>1,则有 (1) 0 H ( X )
p( x ) log
i 1 i
n
b
p( xi ) logb n ;
(2) H ( X ) logb n 当且仅当i ,都有 p( xi ) 1 ; n (3) H ( X ) 0 当且仅当存在i : 1 i n 使得 p( xi ) 1 且 j i ,都有p( xi ) 0; 证明 (1) 由logb p( xi ) 0 可知 H ( X ) 0 ,再由Jensen 不等式的推论1
17
现代密码学
例3 设电脑彩票由8个10进制数组成，在开奖之前， 108个可能号码成为特等奖的概率相同,都是10-8.一旦 开奖,我们就知道了特等奖的8个具体号码,因而就获 得了8个十进制数的信息。 我们获得的信息量与开奖前每个可能号码成为 特等奖的概率10-8有何关系? 显然,有 8 = - log10 10-8 信息量的定量刻划: 定义2 设 p( Ai )是一个实验中事件 Ai 发生的概率, 则称 I ( Ai ) log p( Ai ) 为事件 Ai 包含的自信息量.
18
现代密码学
熵的数学定义
定义3.1(随机事件的熵):设一个实验X有 x1, x2 ,, xn 共n个可能的结果,则称 I ( xi ) log p( xi ) 的数学期 望
H ( X ) p( xi ) I ( xi ) p( xi ) log p( xi )
i 1 i 1 n n
i 1 i 1 m m
pi logb pi
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解放军信息工程大学电子技术学院
香农简介
香农在信息论的领域 中钻研了8年之久，终于 在1949年在《贝尔系统 技术杂志》发表了244页 的长篇论著---《保密系统 的通信理论》。次年，他 又在同一杂志上发表了另 一篇名著---《噪声下的通 信》。
2013-9-11 3
现代密码学
解放军信息工程大学电子技术学院
2013-9-11 21
解毕
现代密码学
Байду номын сангаас
解放军信息工程大学电子技术学院
下面介绍熵的性质. 定义3.4 一个实值函数 f 称为在区间I上是凸 的, 如果对任意的 x, y I ,都有
f ( x) f ( y ) x y f( ) 2 2 如果对任意的 x, y I且x y,都有 f ( x) f ( y ) x y f( ) 2 2
i 1 i i i 1 i i
n
n
且上述等号成立的充要条件是
x1 x2 xn
23
2013-9-11
现代密码学
解放军信息工程大学电子技术学院
推论1 f (x)=logb x (b>1)在区间x >0时是严格 凸的,因而当实数 p1 , p2 ,, pn满足pi 0 且
p1 p2 pn 1
密码体制的数学模型
明文(离散信源)空间的统计特性：无记忆和有记 忆 密钥源通常是无记忆的，并且满足均匀分布 密文空间的统计特性由明文空间和密钥空间的统 计特性决定 假定信道无干扰，假定分析者能够截获密文，且 知道所用的密码体制以及明文空间和密钥空间的 统计特性
11
2013-9-11
现代密码学
i 1 i 1 n n
为实验X的熵(Entropy). 其中约定 0log0 = 0.
2013-9-11
19
现代密码学
解放军信息工程大学电子技术学院
因此,一个实验的熵就是该实验的每个可能结 果包含的自信息量的平均值! 熵的单位与对数的底有关! 约定对数的底大于1! 当以2为底时,其单位称为比特(bit); 当以10为底时,其单位称为迪特(Det);
（MP3音乐压缩格式）
2013-9-11 6
现代密码学
解放军信息工程大学电子技术学院 第三章 Shannon保密理论
密码体制的数学模型 随机事件的熵及其性质
2013-9-11
7
现代密码学
解放军信息工程大学电子技术学院 通信系统
信道 信源 编码器 解码器 接收者
干扰源
设计目的：在信道有干扰的情况下，使得接收者接
2013-9-11 4
现代密码学
解放军信息工程大学电子技术学院
香农理论简介 在熵的基础上定义的信道容量也是通讯中一 个至关重要的概念。由此，香农推出了一个公式， 明确表达了在不同噪声情况下传输速率与失真的 定量关系。从这一个公式导出的为达到无失真通 讯的传输速 率的极限，现已称为香农极限。打个 比方来说，在周围干扰严重的情 况下，要想使对 方听清楚，你就只有慢慢地讲，甚至还要不断重 复。
2013-9-11 13
现代密码学
解放军信息工程大学电子技术学院
信息量 •我向你提供的信息量的大小就是你事先不知道结 果的程度!也即是信息的不确定度。 •如果你事先全知道了,说明我提供的信息量等于0; •如果你事先一无所知,说明我提供的信息量最多. •不知道意味着在我告诉你之前你只能猜测! •猜测就是按照每个可能结果的出现概率进行猜测! •因此,你只知道这个事情的每个结果的发生概率! •所以,我提供的信息量就是由你事先知道的每个 可能结果的发生概率(即随机事件的概率分布)决 定.
解放军信息工程大学电子技术学院
§3.2 随机事件的熵及其性质
主要内容: • 如何定量刻划一个随机事件包含的信息量 用熵的概念! • 熵(entropy)这个数学工具自身的理论.
2013-9-11
12
现代密码学
解放军信息工程大学电子技术学院
何为信息? 什么能提供信息? • 我将你原来不知道的结果告诉你,就是提供了信息! 例1 当我给你一封信时，你就从我这里获得了 信息，因为你事先并不知道其中的内容。 例2 设电脑彩票由8个10进制数组成.在开奖之 前，我们不知道特等奖号码的信息，因为特等奖的 号码是不确定。特等奖号码的信息只有在开奖时才 获得。一旦开奖，就获得了8个十进制数的信息。 这就是说，将未知的变成已知的时就获得了信 息！ 信息寓于不确定之中！
2013-9-11
5
现代密码学
解放军信息工程大学电子技术学院
香农理论应用
如今，这两个原理已广泛应用于信息处理 和实际通信中。只要涉及信息的压缩与传 递，就要用到香农的理论。 PC机上常用的WinZip (无损压缩算法) 手机通讯 (有损压缩无损压缩,纠 错) 在因特网上传递多媒体数据
2013-9-11
20
现代密码学
解放军信息工程大学电子技术学院 例5设一个实验有a和b两个可能的结果,且实验结 果是a和b的概率分别为1/4和3/4,试计算该实验的熵.
解: 根据熵的定义,有
H [ p(a) log2 p(a) p(b) log2 p(b)] 1 1 3 3 [ log 2 log 2 ] 4 4 4 4 1 3 [ (2) (log 2 3 2)] 4 4 1 3 log10 3 3 2 4 log10 2 2 3 0.477 2 4 0.301 0.811
p( x ) 1
i 1 i
2013-9-11 16
n
现代密码学
解放军信息工程大学电子技术学院
一、随机事件的熵 一个事件可能发生，也可能不发生！但我们总 Ai p( 在每个事件 发生的概率 Ai ) 都已知的条件下分析！
这个实验提供的信息就是： (1) 实验前该实验所包含的未知信息； (2) 实验后这个实验所提供的信息. 如何对信息量的大小进行定量刻划?
2013-9-11 15
现代密码学
解放军信息工程大学电子技术学院
随机事件和随机变量
定义1：设一个实验有A1 , A2 ,, An 共n个可能的结果， 则每个可能结果都称为一个事件。这个实验也称 为一个随机事件。 性质1：设X是一个离散随机变量，它有n个可能的 取值 x1, x2 ,, xn ，设每种取值出现的概率为p(xi), 则
第三章 Shannon 理论
王 滨 2004年3月7日
解放军信息工程大学电子技术学院
香农简介
香农(1916-2001),生于 美国密执 安州的加 洛德 。 1940年获得麻省理工学 院数学博士学位和电子 工程硕士学位。1941年 他加入了贝尔实验室数 学部，在此工作了15年。
2013-9-11
2
现代密码学
有：
pi logb pi logb n
i 1 n
且等号成立的充要条件是诸pi全相等.
证明：注意此推论中条件 pi 0 与Jensen不等式中 条件 ai 0 不同，故证明如下。
2013-9-11 24
现代密码学
解放军信息工程大学电子技术学院
证明 不妨设 p1, p2 ,, pm 都>0,且 pm1 pm2 pn 0 则由Jensen不等式 ai f ( xi ) f ( ai xi ) 知
香农理论简介
第一篇文章奠定了香农信息基本理论的基础。 他在文中用非常简洁的数学公式定义了信息时代 的基本概念：熵。 “熵”的概念起源于热力学，是度量分子不 规则热运动的单位。香农的伟大贡献在于，利用 概率分布的理论给出“熵”的严格定义。 根据香农的定义，确定发生的事件如“太阳 从东边升起”与确定不发生的事件如“太阳从西 边升起”，其熵都是零。只有当发生与不发生 的 概率相同时，事件的熵才达到极大。
m
显然,当 m n 时等号不成立; 1 当m n 时,只有当诸 全相等时,等号才成立.
2013-9-11 25
pi
现代密码学
解放军信息工程大学电子技术学院
定理3.1 设b>1,则有 (1) 0 H ( X )
p( x ) log
i 1 i
n
b
p( xi ) logb n ;
2013-9-11 14
现代密码学
解放军信息工程大学电子技术学院 简单地说,信息就是: (1) 当未知的变成已知的之后获取的信息; (2) 当未知的还没变成已知之前包含的未知信息. 信息寓于不确定之中！ 谁的信息! 通常的信息是指: (1) 一个实验提供的信息; (2) 一个随机事件包含的信息; (3) 一个随机变量包含的信息. 其中(1)和(2)的含义相同,它们比(3)的意义更 加广泛.
2013-9-11 27
现代密码学
解放军信息工程大学电子技术学院
(2) H ( X ) logb n 当且仅当i ,都有 p( xi ) 1 ; n (3) H ( X ) 0 当且仅当存在i : 1 i n 使得 p( xi ) 1 且 j i ,都有p( xi ) 0; 证明 (1) 由logb p( xi ) 0 可知 H ( X ) 0 ,再由Jensen 不等式的推论1
则称 f 称为在区间I上是严格凸的.
2013-9-11 22
现代密码学
解放军信息工程大学电子技术学院
引理3.1(Jensen不等式)
设 f 是区间I上的一个连续的严格凸函数, 且 ai 0 a1 a2 an 1 , xi I ,1 i n 则有
并
a f ( x ) f ( a x )
再看一下彩票的例子.
2013-9-11 17
现代密码学
解放军信息工程大学电子技术学院
例3 设电脑彩票由8个10进制数组成，在开奖之前， 108个可能号码成为特等奖的概率相同,都是10-8.一旦 开奖,我们就知道了特等奖的8个具体号码,因而就获 得了8个十进制数的信息。 我们获得的信息量与开奖前每个可能号码成为 特等奖的概率10-8有何关系? 显然,有 8 = - log10 10-8 信息量的定量刻划: 定义2 设 p( Ai )是一个实验中事件 Ai 发生的概率, 则称 I ( Ai ) log p( Ai ) 为事件 Ai 包含的自信息量.