信息处理与编码第1章通信系统优化模型
信息论与编码第共32页
第1章 绪论
2．编码器 编码器可分为信源编码器、信道编码器和保密编码器三 种。信源编码对信源输出的消息进行适当的变换和处理，把 信息变换成信号，目的是为了提高信息传输的效率，使传输 更为经济、有效，还要去掉一些与被传信息无关的多余度； 信道编码是为了提高信息传输的可靠性而对消息进行的变换 和处理；保密编码保证了信息的安全性。由于传输信息的媒 质如电波、电缆等总是存在有各种人为或天然的干扰和噪声， 因此，为了提高整个通信系统传输信息的可靠性，就需要对 加密器输出的信息进行一次纠错编码，人为地增加一些多余 信息，使信息传输系统具有自动检错或纠错功能。当然对于 各种实际的通信系统，编码器还应包括换能、调制、发射等 各种变换处理功能。
图1－1所示的模型也适用于其他的信息流通系统，如生 物有机体的遗传系统，人体、动物的神经网络系统和视觉系 统等，甚至人类社会的管理系统都可概括成这个模型。人们 通过系统中消息的传输和处理来研究信息传输和处理的共同 规律。信息传输或通信的目的，是要把收方不知道的信息及 时、可靠、完整、安全而又经济地传送给指定的收方。该模 型按功能可分为信源、编码器、信道、译码器、信宿五部分。
第1章 绪论
1.2 信息编码的发展
1.2.1 信源压缩编码的发展 1948年,香农在《通信的数学理论》一文中，用概率测
度和数理统计的方法系统地讨论了通信的基本问题，得出了 几个重要而带有普遍意义的结论。香农理论的核心是：在通 信系统中采用适当的编码后能够实现高效率和高可靠性的信 息传输，并得出了信源编码定理和信道编码定理。从数学观 点看，这些定理是最优编码的存在定理。但从工程观点看， 这些定理不是结构性的，不能从定理的结果直接得出实现最 优编码的具体途径。然而，它们给出了编码的性能极限，在 理论上阐明了通信系统中各种因素的相互关系，为人们寻找 最佳通信系统提供了重要的理论依据。
信源编码编译和信道编码编译的通信系统基本模型框架
信源编码编译和信道编码编译的通信系统基本模型框架
信源编码编译和信道编码编译是数字通信中常用的技术，其基本模型框架如下：
1. 信源编码编译模块：将源数据进行编码并进行编译，以减少数据的冗余度，提高传输效率。
2. 信道编码编译模块：根据通信信道的特性，采用适当的编码算法将经过信源编码编译的数据进行进一步编码，以提高数据传输的可靠性和抗干扰性。
3. 调制与解调模块：将编码后的数字信号转换为模拟信号进行传输，并在接收端将模拟信号转化为数字信号。
4. 信道模型：用来表示传输信号的传播路径和信道干扰的情况，以便进行传输性能的分析与评估。
5. 解码模块：在接收端对接收到的信号进行处理，进行解调、信道解码、信源解码等操作，以还原出原始的数据信息。
6. 应用模块：在解码模块得到原始数据后，进行下一步的应用处理，如声音恢复、图像显示等。
这是数字通信中常用的通信系统模型框架，其中信源编码编译和信道编码编译是提高通信系统效率和可靠性的核心技术，也是广泛应用于移动通信、卫星通信等各种数字通信系统中的重要技术手段。
《通信原理》各章节重点知识考点
第一章1、通信系统的模型（了解 图1-1 1-4 1-5）2、数字通信的特点（掌握）①抗干扰能力强，且噪声不积累②传输差错可控③便于用现代数字信号处理技术对数字信息进行处理、变换、存储④易于集成，使通信设备微型化，重量轻⑤易于加密处理，且保密性好⑥需要较大的传输带宽 3、平均信息量的简单计算（选、填）221log log ()()()I P x bit P x ==- 21()()log ()(/ni i i H x P x P x bit ==-∑符号）当信息源的每个符号等概率出现时，信息源具有最大熵：2()log n(/H x bit =符号）4、码长、码元速率、信息速率、频带利用率定义、单位、计算码元速率RB ：每秒传输码元的数目，单位B 二进制与N 进制码元速率转换关系：RB2=RBNlog2N(B) 信息速率：每秒钟传递的信息量，单位bit/s 在N 进制下Rb=RBNlog2N(bit/s)第二章1、随机过程的概念、分布函数、概率密度函数的定义（理解 P36-37） 均值：1[()](,)()E t xf x t dx a t ∞-∞ξ==⎰方差：2222[()]{()()}[()][()]()D t E t a t E t a t t σξ=ξ-=ξ-=自相关函数：1212(,)[()()]R t t E t t =ξξ 协方差函数：121122(,){[()()][{()()]}B t t E t a t E t a t =ξ-ξ- 2、高斯过程的一维概率密度函数（掌握 P46-47）22()f ())2x a x -=-σ 误差函数：2()2)1xz erf x e dz ϕ-==- 互补误差函数：2()1()22)z xerfc x erf x e dz ϕ∞-=-==-3、高斯白噪声及带限噪声的定义、平均功率的计算（掌握 P57-60） 白噪声：0()()(/z)2n n P f f W H =-∞<<∞ 自相关函数：0()()2nR ξτ=δτ 低通白噪声：020()H n f f n P f ||≤={其他自相关函数：0sin 2()=n 2H HH f R f f ππτττ带通白噪声：0f f 2220()c c n B Bf n P f -≤ ||≤ +={其他自相关函数：0sin ()=n cos 2c B R Bf B πππττττ平均功率：N= 0n B4、噪声的功率谱密度与相关函数的关系 线性系统输出/输入功率谱密度的关系计算（掌握 P42-44 P48-49） 平稳过程的功率谱密度()P f ξ与其自身相关函数()R τ是一对傅里叶变换关系，即()()j P f R e d ∞-ωτξ-∞=ττ⎰()=()j R P f e df ∞ωτξ-∞τ⎰或()()j P R e d ∞-ωτξ-∞ω=ττ⎰ 1()=()2j R P e d π∞ωτξ-∞τωω⎰平稳过程的总功率：(0)=()R P f df ∞ξ-∞⎰输出过程0()t ξ的均值：0()]()(0)t a h d H ∞-∞E[ξ=⋅ττ=α⋅⎰输出过程0()t ξ的自相关函数：0120()()R t t R ,+τ=τ输出过程0()t ξ的功率谱密度：2()()o i P f f P f =⎪H()⎪ 输出过程0()t ξ的概率分布：0()()()i t h t d ∞-∞ξ=τξ-ττ⎰第四章1、恒参、随参信道的定义及特点（填选 P72）2、频率选择性衰落的原因（简答 P75-76）第五章1、调制解调的概念（了解 P86），调制的目的（掌握 P86）①提高天线通信时的天线辐射效率②实现信道的多路复用，提高信道利用率③扩展信号带宽，提高系统抗干扰、抗衰落能力，还可实现传输带宽与信噪比之间的互换2、双/单边带调制系统的带宽、抗噪性能的分析、计算（掌握 P98-101）双边带：()()cos DSB c s t m t t =ω 带宽：2DSB H B f = H f 为调制信号的带宽 o n 为单边功率谱密度经低通后输出信号为：1()()2o m t m t =所以解调器输出的有用信号功率为：221()()4o o S m t m t == 经低通后，解调器最终的输出噪声为：1()()2o c n t n t =所以输出噪声功率为：22111()()444o o i i o N n t n t N n B ====解调器输入信号平均功率：221()()2i m S s t m t == ⇒解调器输入信噪比：21()2i i o m t S N n B = 输出信噪比：221()()414o o o i m t S m t N n B N ==⇒制度增益：/2/o o DSB i i S N G S N ==单边带：11()()cos ()sin 22SSB c c s t m t t m t t ∧=ω+ω 带宽：SSB H B f = H f 为调制信号的带宽经低通后输出信号为：1()()4o m t m t =所以解调器输出的有用信号功率为：221()()16o o S m t m t ==1144o i o N N n B == ⇒输出信噪比： 221()()16144o o o o m t S m t N n B n B ==输入信号平均功率：221()()4i m S s t m t == ⇒ 221()()44i i o o m t S m t N n B n B == ⇒ 制度增益：/1/oo SSB i i S N G S N == 3、卡森公式（P110）、门限的概念（P104）（了解 选填）用相干解调解调各种线性调制信号时不存在门限 AM 包络检波小信噪比时会出现门限效应 FM 小信噪比时也会出现门限效应调频波的有效带宽为：2(1)2()FM f m m B m f f f =+=∆+ m f 时调制信号的最高频率，f m 是最大频偏f ∆与m f 的比值4、FM 优于AM 的原因（P118-119）在大信噪比情况下，AM 包络检波的输出信噪比为：2()o o o S m t N n B=设AM 信号100%调制，且m(t)为单频余弦波，则22()2A m t =因而2/22o o o m S A N n f = FM ：2232o f o o mS A m N n f =所以2(/)3(/)o o FM f i i AM S N m S N = 宽带调频（WBFM ）信号的传输带宽FM B 与AM 信号的传输带宽AM B 之间关系为：2(1)(1)FM f m f AM B m f m B =+=+ ⇒2(/)3()(/)o o FM FM i i AM AMS N BS N B =在大信噪比情况下，调频系统的抗噪声性能将比调幅系统优越，且其优越程度将随传输带宽的增加而提高5、频分复用的目的（了解 P123）为了充分利用信道的频带或时间资源，提高信道的利用率 6、AM 包络检波的性能222()()22o i mA m t S s t ==+ 2()i i o N n t n B == ⇒ 22()2i o i o S A m t N n B+=大信噪比时：2()o S m t = 2()o i o N n t n B == ⇒2()o o o S m t N n B = ⇒ 222/2()/()o o AM i i o S N m t G S N A m t ==+ 7、FM 非相干解调性能()cos[()]FM c f s t A t K m d =ω+ττ⎰22i A S =i o FMN n B =22i i o FMS A N n B =大信噪比：222()()()o od f S m t K K m t == 223283d o mo K n f N Aπ= ⇒ 23(1)FM f f G m m =+ 第六章1、基带信号的波形及其功率谱（了解 P133-138） s(t)=u(t)+v(t)22u 1212()()()(1))))(1))]()s v s s s s s m P f P f P f f P P f f f mf P mf f mf ∞=-∞=+=-⎪(-(⎪+⎪(+-(⎪δ-∑G G [PG G平均功率：1()()2s s S P d P f df π∞∞-∞-∞=ωω=⎰⎰单极性基带信号功率谱密度为22()(1))(1))]()s s sssm P f f P P f f P mf f mf ∞=-∞=-⎪(⎪+⎪-(⎪δ-∑G G双极性基带信号功率谱密度为22()4(1))(21))]()s s sssm P f f P P f f P mf f mf ∞=-∞=-⎪(⎪+⎪-(⎪δ-∑G G2、码间串扰的概念、传码率与系统带宽（掌握 P146）由于系统传输总特性不理想，导致前后码元的波形畸变、展宽，并使前面波形出现很长的拖尾，蔓延到当前码元的抽样时刻上，从而对当前码元的判决造成干扰。
信息论与编码知识梳理及课后答案
信息存在于自然界，也存在于人 类社会，其本质是运动和变化。可以说 哪里有事物的运动和变化，哪里就会产 生信息。 信息必须依附于一定的物质形式存 在，这种运载信息的物质，称为信息载
体。
人类交换信息的形式丰富多彩，使 用的信息载体非常广泛。概括起来， 有语言、文字和电磁波。
信息至今无确切定义，但信息有以下 主要特征： 1 信息来源于物质，又不是物质本 身；它从物质的运动中产生出来，又可 以脱离源物质而相对独立地存在。 2 信息来源于精神世界，但又不局 限于精神领域。
电子商务系统中不可缺少的重要环节。
密码编码学是信息安全技术的核心，密码编码学的 主要任务是寻求产生安全性高的有效密码算法和协 议，以满足对消息进行加密或认证的要求。 密码分析学的主要任务是破译密码或伪造认证信息， 实现窃取机密信息或进行诈骗破坏活动。 这两个分支既相互对立又相互依存，正是由于这种 对立统一关系，才推动了密码学自身的发展。 香农在 1949 年发表的《保密通信的信息理论》论 文中，首先用信息论的观点对信息保密问题作了全 面的论述。
香农信息论主要讨论的是语法信 息中的概率信息，本书也以概率信息为 主要研究对象。
§1.3 信息论的起源、发展及研究内容
起源
信息论自诞生到现在不过50多年， 在人类科学史上是相当短暂的。但它的
发展和对学术界及人类社会的影响是相
当广泛和深刻的。信息作为一种资源， 如何开发、利用、共享，是人们普遍关 心的问题。
信息论与编码
贵州大学 彭长根
有关说明:
1、计划学时54，全部为讲课学时，适当组织讨论形式。 2、总成绩由两部分组成，平时成绩占30％，考试成绩 占70％，由作业和考勤组成。
课程概述
周炯盘《通信原理》(第3版)笔记和课后习题(通信系统的优化)【圣才出品】
第12章通信系统的优化12.1 复习笔记一、通信系统优化的物理与数学模型1．模型的建立与描述通信系统是由信源、信道、信宿、编/译码以及加性噪声共同组成的。
图12-1 简化的通信系统物理模型（1）信源信源是指传送信息的来源。
①描述无失真信源：[U，P（u i）]限失真信源：{[U，P（u i）]，[U×V，d（u i，υi）]}式中，U—信源输出的随机变量；V—信宿收到的随机变量；d（u i，υj）—信源发送u i，信宿取值υj时所产生的失真。
②输出信息度量无失真信源用信息熵H（U）表示，即限失真信源用信息率失真R（D）表示，即式中D为最大允许失真。
（2）信道信道是指传送信息的通道。
①信道的数学模型[X，P（y|x），Y]式中，P（y|x）—条件转移概率。
②信道容量（3）编/译码发送端编码是正映射（正变换），用T E表示；接收端译码是逆映射（逆变换），用T D表示。
组合在一起称为码（T E，T D）。
编码T E：U→X译码T D：Y→V（4）通信系统①通信系统的表示通信系统由信源/信宿、信道与编/译码共同构成，它可以表示为S＝{U，V，C，（T E，T D）}②联合概率的描述P（S）＝P（u）·P（x|u）·P（y|x）·P（υ|y）当编/译码方式给定且互逆（即）时，有P（S）＝P（u）·P（y|x）此时，通信系统完全由信源与信道的统计特性共同决定。
2．通信系统优化的度量指标与准则（1）度量指标基本指标包括有效性、可靠性和安全性。
（2）误码率（3）误码准则无失真准则：e（T E，T D）＝P e＝0误差准则：e（T E，T D）＝P e＜ε平均误差准则：（4）信噪比式中，P—信号功率；σ2—噪声功率；E b—单位比特的信号能量；N0—噪声的单边功率谱密度；B—信号带宽；R b—传输速率。
二、通信系统单技术指标下的优化通信系统的优化目标：（1）系统传输最有效：；（2）系统传输最可靠：对有失真（噪声与干扰）信道；（3）系统传输最安全：主要针对人为破坏。
《信息论与编码》课件第1章 绪论
1.2 通信系统的模型
信源符号
信 源 编码 信 源
（序列）
编码器 信 道 译码器
x y yˆ
重建符号 （序列）
x
❖ 无失真编码： x xˆ
重建符号与信源发送符号一致， 即编码器输出码字序列与信源 发送序列一一映射；
限失真编码： x xˆ
总是成立的
y yˆ
分别是编码输出码字和接收到的码字
重建符号与信源发送符号不 完全一致；编码器输出码字 序列与信源输出符号序列之 间不是一一映射关系，出现 符号合并，使得重建符号的 熵减少了。
限失真、无失真是由于编译 码器形成的
信道编码
增加冗余
提高
对信道干 扰的抵抗 力
信息传输 的可靠性
❖ 由于信道中存在干扰， 数据传递过程中会出现 错误，信道编码可以检 测或者纠正数据传输的 错误，从而提高数据传 输的可靠性。
1.2 通信系统的模型
调制器
作用：
➢ 将信道编码的输出变换为适合信道传输的 要求的信号 ；
消息
信息的表现形 式；
文字，图像， 声音等；
信号
信号的变化描 述消息；
信息的基本特点
1.不确定性
受信者在接收到信息之前，不知道信源发送 的内容是什么，是未知的、不确定性事件；
2.受信者接收到信息后，可以减少或者消除不确定性；
3. 可以产生、消失、存储，还可以进行加工、处理；
4. 可以度量
1.2 通信系统的模型
冗 信源符号 余 变 相关性强 化 统计冗余强
信源编码器
码序列 相关性减弱 统计冗余弱
相关冗余 统计冗余 生理冗余
模型简化
信源输出前后符号之间存在一定相关性
信源输出符号不服从等概率分布
信息论与编码-曹雪虹-课件第1章
信息论
一门应用概率论、随机过程、数理统计 和近代代数的方法，来研究信息传输、 提取和处理系统中一般规律的学科。
信息论是在信息可以量度的基础上,研究有 效地和可靠地传递信息的科学,它涉及信息 量度、信息特性、信息传输速率、信道容 量、干扰对信息传输的影响等方面的知识
30
信息
是事物运动状态或存在方式的不确定性的描
香农定义的信息也有其局限性，存在一些缺陷 定义的出发点是假定事物状态可以用一个以 经典集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也 撇开了信息的具体含意、具体用途、重要程 度和引起后果等因素。
36
37
狭义信息论：
主要研究信息的测度、信道容量以及信源和信 道编码理论等问题。
接收者在收到信息之前，对它的内容是不知道的， 所以，信息是新知识、新内容；
信息是能使认识主体对某一事物的未知性或不确 定性减少的有用知识；
信息可以产生，也可以消失，同时信息可以被携 带、贮存及处理；
信息是可以量度的，信息量有多少的差别
32
例：气象预报 甲
乙
• “甲地晴”比“乙地晴”的不确定性来的 小
第一层：通信符号如何精确传输？（技术问题）
第二层：传输的符号如何精确携带所需要的含义？ （语义问题）
第三层：所接收的含义如何以所需要的方式有效 地影响行为？（效用问题）
Weaver认为仙农的工作属于第一层，但他又证明 仙农的工作是交叉的，对第二、三层也有意义。
信息是认识主体（人、生物、机器） 所感受的和所表达的事物运动的状态和运 动状态变化的方式。
把广义信息分成三个基本层次，即语法 信息，语义信息，语用信息，分别反映事 物运动状态及其变化方式的外在形式、内 在含义和效用价值。
第一章信息论基础介绍
信号滤波 预测理论
调制 理论
香农 信息论
噪声 理论
统计检测 估计理论
虽然维纳和香农等人都是运用概 率和统计数学的方法研究准确或近似 再现消息的问题，都是通信系统的最 优化问题。但他们之间有一个重要的
区别。
发送
接收
维纳研究的重点是在接收端。研究 消息在传输过程中受到干扰时，在接收 端如何把消息从干扰中提取出来，并建 立了最佳过滤理论（维纳滤波器）、统 计检测与估计理论、噪声理论等。
• 编码目的——提高系统对某一方面的要求 优化系统某一方面的性能指标
课程介绍(续)
• 通信系统主要性能指标——有效性
可靠性
安全性 • 编码分类——
信源编码——提高通信系统的有效性 信道编码——提高通信系统的可靠性
保密编码——保证通信系统的安全性
• 研究——信息的度量(信源熵)、信道容量、信息 率失真函数（香农三定理）、密码学
虚假
不定
6 按照信息的传递方向 前馈 反馈
7 按照信息的生成领域 宇宙
自然 社会 思维
8 按照信息的应用部门
工 农 军 政 科 文 经 市 管 业 业 事 治 技 化 济 场 理
9 按照信息的来源
语 声 图 象 文 字 数 据 计 算
10 按照信息载体的性质
电 磁 语 声 图 象 文 字 光 学 生 物
1
香农信息论
无失真信源 编码定理
信 源 熵
香农信息论
信 道 编 码 密 码 信 源 编 码
1.4 编码理论的发展
1.4.1 无失真信源编码
• 1948年，香农发表“通信的数学理论”，标志着信息论的正 式诞生 • C.E.Shannon, A Mathematical Theory of communication, • Bell System Tech.J, vol.27, PP 379-423, July 1948 • 在前人工作基础上，用概率统计方法研究通信系统 • 揭示：通信系统传递的对象——信息 • 提出：信息熵、信息量 • 指出：通信系统的中心问题—— 噪声背景下如何有效、可靠地传递信息 实现的主要方法——编码 • 提出了无失真信源编码定理、信道编码定理
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P D { P ji:D d P iP jd i(u iuj)}
ij
最后定义: R(D )miIn (U;V) pj i pD R(D) min I( U,V ) PjiPD
---------单个消息信源
---------序列(L个)信源
其中I(U;V) 为U,V间的互信息 , I(U;V) 为U,V间的互信息
另外，根据需要也还可划分更多的子变换。
P.13
BUPT Information Theory & Technology Center
二 给出各部分描述与度量 （续）
（五） 通信系统S
当已知信源U,信宿V,信道C以及编译码(f ,g)时，可给出一个确 知的通信系统S.
S={U, V, C, (fi , gi)}i=1,2,3… 可以分别表示有效（i=1）、安全（i=2）、可靠（i=3）的单 指标优化系统。
其中 uLU={1,2,…,n} 对应概率:p UL (uL) = p(u1…ul …uL)
i 1,… , n
l 1,… , L
P.4
BUPT Information Theory & Technology Center
（一) 信源 U （续）
1. 无失真信源描述与度量:
描述 定义:U = [ UL , p(uL) ]，对于单个离散消息 即L =1时 可简化为:U=[ U , p(u) ]
P.7
BUPT Information Theory & Technology Center
二 给出各部分描述与度量 （续）
（二） 信道 C
描述信道的三要素: 信道输入集合:X n XX … … X （n维）
且 X n （有限），X 为单消息取值数。 信道输出集合: Y n YY … … Y（n维）
且 Y n （有限），Y 为单消息取值数。
信道转移概率: P ( y n x n )
其中 xn(x1...x.i...x.n.). yn(y1...y.i.....y.n.).
P.8
BUPT Information Theory & Technology Center
（二） 信道 C （续）
信道描述如下:
（四） 编、译码 ( f , g ) （续）
f
:UL
Xnff12::USmL
Sm Cm
f3 :Cm Xn
g:Yn
VLgg32
:Yn Cm :Cm Sm
g1 : Sm VL
( f ,g ) ( f 1 ,g 1 )( f 2 ,g 2 )( f 3 ,g 3 )
其中 ( f1, g1)为有效性的信源编译码； ( f2, g2)为安全性的加解密码； ( f3, g3)为可靠性的信道编译码。
描述:先定义失真函数: d(uL, vL)：UL × VL -----> [0, ) d(u , v)：U × V -----> [0, ) 则有:U={ [UL , p(uL)] , [ UL × VL, d(uL,vL) ] }
U={ [U , p(u)] , [U × V, d(u,v) ] }
码，在数学上可看作是一种映射；（消息空间） 在物理上可看作是一种变换。（消息空间）
即 f :UL Xn ——编码
g:Yn VL ——译码
若选 U V X Y G ( 2 ) F { 0 ,1 } 即为二元有限域，则称上述码为二元码
P.11
BUPT Information Theory & Technology Center
二 给出各部分描述与度量 （续）
（三） 信宿 V
它的描述完全类似于信源。其度量，无失真用互信息 I(U;V) 表示，限失真时用R(D) 函数表示。
P.10
BUPT Information Theory & Technology Center
二 给出各部分描述与度量 （续）
（四） 编、译码 ( f , g )
P.6
BUPT Information Theory & Technology Center
2. 限失真信源描述与度量（续）:
度量:定义一个限失真的信息率失真函数R(D)来代替无失真 时的信源熵H(U) . 为了简化，仅讨论单个消息情况:
首先给出信源（宿）的最大允许失真率D,在定义失真为D时， 条件转移概率的变化范围为PD。
[X n p (x n )] 信 道 [Y n q (y n )]
输入
P( yn xn )
输出
定义： e[Xn,P(yn/xn)Y ,n]
e[X,P (y/x)Y ,]
信道度量：定义信道容量值如下：（这里为了简化，仅定义单消 息（n＝1）的信道）
CmaxI(X;Y) pi P.9
BUPT Information Theory & Technology Center
信息理论与技术 教研中心ITTC
第一章 通信系统优化模型 贺志强 P.1
BUPT Information Theory & Technology Center
P.2
BUPT Information Theory & Technology Center
P.3
BUPT Information Theory & Technology Center
无失真信源度量:
定义:
H (U L ) p (u L ) log p (u L ) uU L
H (U ) p (u ) log p (u )
uU
n
pi log pi
i 1
P.5
BUPT Information Theory & Technology Center
（一) 信源 U （续） 2. 限失真信源描述与度量
（四）ቤተ መጻሕፍቲ ባይዱ编、译码 ( f , g ) （续）
下面，我们根据通信系统主要技术指标 数量指标——通信有效性
质量指标抗 抗自 人然 为干 干扰 扰的 的可 安靠 全性 性
由这三个指标可进一步将编译码 ( f , g ) 分解为三个子变换：
P.12
BUPT Information Theory & Technology Center
BUPT Information Theory & Technology Center
二 给出各部分描述与度量
（一) 信源 U
基本参量
取值空间（集合）:UL=U×U×…×U （L维）
其中每一个:U={1,2,…n},n种取值
信源输出:UL=(U1…Ul …UL) 输出样值: uL=(u1…ul …uL)