信息与通信系统的优化

四、 密码
它是研究信息与通信系统在传输 最安全的指标下，系统中的信源和信宿， 最安全的指标下，系统中的信源和信宿， 在什么样条件下能实现统计匹配，即最 在什么样条件下能实现统计匹配， 优的加、解密密码存在；反之， 优的加、解密密码存在；反之，又在什 么样条件下不能实现统计匹配， 么样条件下不能实现统计匹配，即最优 的加、解密密码不存在。 的加、解密密码不存在。
三、 限失真信源编码
它是研究通信系统在传输最有效的指标下， 它是研究通信系统在传输最有效的指标下，无 干扰的信息与通信系统和限定失真的信源在什么 条件下能实现统计匹配，即最优的限失真信源编、 条件下能实现统计匹配，即最优的限失真信源编、 译码不存在。这时， 译码不存在。这时，通信系统仍采用我们希望达 到的实际传输速率R，而限失真信源可用R(D)函 到的实际传输速率 ， 而限失真信源可用 函 数描述。于是， 数描述。于是，问题可归结为这两个参量之间的 关系若R＞ 关系若 ＞R(D)， 限失真信源最有效的编 、 译码 ， 限失真信源最有效的编、 (f’1，g’1)存在 ； 反之 ， 当 R＜R(D)时 ， 限失真信 存在； 存在 反之， ＜ 时 不存在。 源的最有效编、译码(f’ 不存在 源的最有效编、 译码 1，g’1)不存在。 这就是著 名的仙农第三编码定理。 名的仙农第三编码定理。
前面，我们对通信系统中3种 前面，我们对通信系统中 种4 大类型的优化， 大类型的优化 ， 即通信系统中的最 主要的信息处理， 进行了一般性、 主要的信息处理 ， 进行了一般性 、 原理性的介绍。实际上，上述3种优 原理性的介绍。实际上，上述 种优 化系统还可以进一步细致划分。 化系统还可以进一步细致划分。
4.2 信息与通信系统的单指标优化
一、 无失真信源编码定理
它是研究在通信系统传输最有效的指 标下， 标下 ， 讨论无干扰信道的通信系统与无失 真信源在什么情况下能实现统计匹配， 真信源在什么情况下能实现统计匹配 ， 即 最优化的信源编、译码存在；反之， 最优化的信源编 、 译码存在 ； 反之 ， 又在 什么情况下不能实现统计匹配， 什么情况下不能实现统计匹配 ， 即最优化 的信源编、译码不存在。 的信源编、译码不存在。
第4章 信息与通信系统的优化
4.1 信息与通信系统的物理和数学模型 4.2 信息与通信系统的单指标优化
4.1 信息与通信系统的物理和数学模型
在信息与通信中， 在信息与通信中，仙农将其概括为下 列一般化的物理模型如图4-1-1所示。 所示。 列一般化的物理模型如图 所示
图4-1-1通信系统原理图
在上述原理图中，信源、信道、 在上述原理图中，信源、信道、信 宿是3个最基本的组成部分 ， 宿是 个最基本的组成部分， 为了实现 个最基本的组成部分 以上3者之间的统计匹配 ， 以上 者之间的统计匹配， 还必须引入 者之间的统计匹配 编码和译码两个部分， 这样这5个部分 编码和译码两个部分 ， 这样这 个部分 就构成了一个完整的通信系统。通常， 就构成了一个完整的通信系统 。 通常 ， 可将信息与通信中的基本问题归纳为3 可将信息与通信中的基本问题归纳为 性：有效性、安全性和可靠性。 有效性、安全性和可靠性。
一、 信源(U)
信源是信息的来源，实际信源有语音、 信源是信息的来源，实际信源有语音、 文字、图像和数据等 ， 不论哪一类都可以 文字 、 图像和数据等， 看作一个有限维的随机矢量。 看作一个有限维的随机矢量。
即用L个相同消息的乘积空间表示 ， 即用 个相同消息的乘积空间表示， 个相同消息的乘积空间表示 且｜U｜L＜∞，其中｜U｜为单个消息的取 ｜ ，其中｜ ｜ 值个数。其输出为一个L维随机矢量 维随机矢量： 值个数。其输出为一个 维随机矢量：
UL＝(U1…Ul…UL)
对应的样值为： 对应的样值为：
uL＝(u1…ul…uL)
根据信源是否允许失真，可划分为： 根据信源是否允许失真，可划分为： 无失真信源和限失真信源两类。 无失真信源和限失真信源两类。
二、 信道(C)
信道是指载荷信息的信号所通过的通 在实际通信中， 道 。 在实际通信中 ， 信道是指传输的物理 媒介。比如由明线、 媒介 。 比如由明线 、 电缆等固体介质所组 成的有线信道， 成的有线信道 ， 另外还有空气介质所组成 的无线信道， 的无线信道 ， 由混合介质所组成的光纤信 道等。类似于对信源的描述， 道等 。 类似于对信源的描述 ， 信道则可以 引用信道输入、信道输出和信道转移概率3 引用信道输入、信道输出和信道转移概率 者构成的三元序对描述。 者构成的三元序对描述。
五、 信息与通信系统(S)
当给定信源U、信道C、信宿V和编译 当给定信源 、信道 、信宿 和编译 码(f，g)时，则由它们的组合构成一个确知 ， 时 的信息与通信系统。 的信息与通信系统。 如果仅给定某一局部性指标， 如果仅给定某一局部性指标，比如通 信的有效性(或安全性 或可靠性)以及在 或安全性， 信的有效性 或安全性 ， 或可靠性 以及在 这一指标下通过相应的编、 译码(f 这一指标下通过相应的编、 译码 i，gi)来 来 寻求实现局部优化的通信系统。 寻求实现局部优化的通信系统。
三、 信宿(V)
信宿是信息的归宿，即接收者， 信宿是信息的归宿，即接收者，它可 以认为是信源在某种准则下的复制和再现。 以认为是信源在某种准则下的复制和再现 。
四、 编、译码(f，g)
通信是为了传递信息， 通信是为了传递信息，为了能在通信 系统中更有效、 系统中更有效 、 更安全和更可靠地传递信 为了实现通信系统中的信源、 信道、 息 ， 为了实现通信系统中的信源 、 信道 、 信宿3者之间以及它们与系统之间的统计匹 信宿 者之间以及它们与系统之间的统计匹 我们引入了编、译码。 配，我们引入了编、译码。
二、 信道编码定理ຫໍສະໝຸດ 它是研究通信系统在传输最可靠的指 标下， 标下 ， 通信系统和信道在什么条件下能实 现统计匹配，即最优化的信道编、 现统计匹配 ， 即最优化的信道编 、 译码存 反之， 在 ； 反之 ， 又在什么条件下不能实现统计 匹配，即最优化的信道编、译码不存在。 匹配，即最优化的信道编、译码不存在。