20090422_网络信息论_郭迪

24
容量域的可达性证明
25
对多接入信道容量区域的评述
将其他信号考虑为噪声 的一部分，译码单个信 号并将其从接收到的信 号中“”减去“的思想
26
m个用户的多接入信道
M个用户的多接入信道的容量区域为满足如下条件的 所有码率向量所成集合的凸闭包，即对乘积分布
容量区域为一个 斜多面体！
27
高斯多接入信道与信道复用技术
37
一般多用户网络
上述定理有一个简单的最大流最小割解释。 考虑网络中任何一个分界线的一侧与另一侧， 穿过该分界线的码率不超过在给定另一侧的 输入条件下，一侧的输入与另一侧的输出之 间的条件互信息。 如果定理中不等式的等号能够成立，那么网 络中的信息流问题就能得到解决。但遗憾的 是，即使对一些简单的信道，这些不等式中 的等号都不会成立。
• 高斯广播信道可以被看作是退化的广播信道 • 其容量域为 最优译码方法：
Y2先译码，Y1先译出Y2 对应的码字，减去后再 译出Y1对应的码字
• 其中
14
高斯中继信道
•容量域为：
若 最优译码方法： 分组传输。取得所有可能是第一组传输发送的码字清 单后，检查清单与划分的特定单元（从第二组传输协 助的中继传输中知道该单元编号）相交的情况
信道容量域是一个m维空间中的多边形 对于高斯多址接入信道，当m→∞时，信道容量→∞。
12
退化广播信道
• 一般情况下广播信道的容量依然没有得到解决， 但是已知它仅与p(y1|x),p(y2|x)有关 • 退化的广播信道下容量域已经得到解决。 • 称广播信道是退化的，当 • 高斯广播信道是退化的
13
高斯广播信道
随机码生成。 编码。 译码。 误差概率：盒子中超过一个典型序列或信源 序列是非典型的时候出错。
32
可达性证明
33
多信源的Selpian-Wolf定理
34
Slepian-Wolf编码与多接入信道的对偶性
• 多接入信道编码定理，误差概率满足
• Slepian-Wolf编码定理，误差概率满足
46
Network coding app.
• • • • • • P2P File Distribution Wireless Networks Wireless Networks Ad-hoc Sensor Networks Network Tomography Network security
y b 1
b1
z
45
Network coding
• Need to use algebraic nature of data
s b1 t b1 b1 w b1 + b 2 x
b2
b2 u b2
y b +b 1 2
b1 + b 2 z
• No longer distinct flows, but information
6
无线网络容量域计算障碍
• 【Jo˜ao Barros,06】
• 未界定延时和可靠性 • 时域空域多尺度分解未能对无线网络时空变化进 行最优化建模 • 未能发挥系统开销和反馈的作用
7
研究热点
• multiuser systems • multiple-input multiple-output channels • data dissemination algorithms • queuing and delay issues • throughput limits in noisy networks network coding Joint source-channel coding scaling laws in networks (e.g., sensor network)
39
信源信道分离定理（多用户）
信源信道分离定理说明，我们可以独立地设计信 源码和信道码，然后结合两者的结果以达到最优 的效果。它表明了可以无噪声地在信道中传输当 且仅当熵率小于信道容量。 成立的条件：信源的Selpian-Wolf码率区域与多 接入信道的容量区域有非空的交。 但此条件是否必要？NO. 不成立的原因：多接入信道的容量随着信道输入 间的相关性增加而增加。因此要使容量最大化， 需要保留信道输入间的相关性。然而SelpianWolf编码却剔除这个相关性。
35
主要内容
• • • • • • • 概述 高斯多用户信道 联合典型序列 多接入信道 相关信源编码 一般多终端网络 最新发展
36
一般多用户网络
基本假设 • 多个发送器，多个接收器 • 所有消息相互独立 • 所有消息服从各自取值空间的均匀分布 • 信道是无记忆的
将所有节点集分成集合S和其补集Sc. 现在估计从S中节点到Sc中节点的信息流码率
10
一个特殊的例子
• 例1：假定输入为X1=X2={0,1}，输出为Y=X1+X2。 当输出Y=0或Y=2时，没有歧义，但是当Y=1时， 存在(0,1)和(1,0)两种可能性。
等效的二元擦除信道
信道容量域
11
高斯多接入信道
设所有信源独立，功率为P，
令
其容量域为
最优译码方法： 在m个码簿中各自找出一 个码字使得这些向量之 和在欧几里得距离下与Y 最近。
第15章 网络信息论
Network Information Theory
主讲人：郭迪 指导老师：王琳 2009-04-15
1
主要内容
• • • • • • • 概述 高斯多用户信道 联合典型序列 多接入信道 相关信源编码 一般多终端网络 最新发展
2
研究对象
• 在给定若干发送器、若干接收器以及描述网络中 的相互干涉与噪声干扰效应的信道转移矩阵的条 件下，确定该信道是否能够传输这些信源信号。 • 新要素：干扰、协作与反馈 • 分布式信源（数据压缩）和分布式通信（找出网 络的容量区域），至今还未彻底解决 • 长远目标：分布式信源编码与网络信道编码结合 在一起。
5
网络与信息论的联姻
• 经典信息论不适用于网络的原因：
• 未考虑信源的突发特性（Bursty） • 未考虑延时在“容量－误码率”渐近分析中的影 响 • 其他因素
• Anthony Ephremides, Bruce Hajek, “Information Theory and Communication Networks: an Unconsummated Union,” 1998.
z
44
Network coding
• Picking a single bit does not work
s b1
b2
b1 w b1 x b2 u b2
• Time sharing does not work
b1
t
• No longer distinct flows, but information
该点意味着分配 给每个信道的带 宽与该信道的功 率成比例
• 实际使用的复用方式 CDMA FDMA
TDMA
28
主要内容
• • • • • • • 概述 高斯多用户信道 联合典型序列 多接入信道 相关信源编码 一般多终端网络 最新发展
29
相关信源编码
• 分布式数据压缩与多接入信道问题是对偶的 • 对单个信源X编码，码率 是充分的 • 对相关信源进行分开编码，总码率 也是充分的。【Selpian and Wolf,1973】
40
带反馈的容量区域（多用户）
• 即使信道无记忆，反馈也确能增加用户信道的容 量区域。 • 二元多擦除信道：接收器到两个发送器的反馈充 当了两个发送器间的分离信道的角色。发送器先 于接收器将相互间传输的信息译码。然后相互协 作解决接收端的不确定性，比非协作具有更高的 容量（协作容量）。
41
主要内容
38
单用户经典理论
数据压缩定理来源于AEP，表明全部信源序列存 在一个拥有了绝大部分概率的“小型”的子集 （大小为2nH），根据这个子集使用H比特/字符并 以很小的误差概率来表示这个信源。 数据传输定理基于联合的AEP；它依据的事实是： 对于大的分组长度，信道的输出序列非常有可能 与输入码字是联合典型的，而任何其他码字是联 合典型的概率约为2-nI。因而，我们可以使用大约 2nI个码字而保持可忽略的误差概率。 反馈不能增加无记忆信道的容量，能增加有记忆 信道的容量
8
主要内容
• • • • • • • 概述 高斯多用户信道 联合典型序列 多接入信道 相关信源编码 一般多终端网络 最新发展
9
高斯多接入信道
首先回顾一下香农公式
离散时间的AWGN信道可以描述为 其中Zi是独立同分布的高斯随机变量，信号总功率为P，即
信道的容量C为跑遍所有满足上述约束的X的分布求得的 I(X;Y)的最大值，为
21
多接入信道的容量区域
22
两个用户的多接入信道
多接入信道 消息集 码
编码函数 译码函数
平均误差概率
当 码率对 是可达的
23
对于信道
容量域的可达性证明
证明：固定 • 码簿的生成 • 编码 • 译码： • 误差概率分析：并不依赖于具体发送的下标对。 假设 出错：正确码字与接收到的序列是非典型的，或 者有一对不正确的码字与接收到的序列是典型的。 定义
15
高斯干扰信道
没有一般解 若干扰a满足 结论：无论在高干扰还是在无干扰下，信道的 容量域都是相同的（信道净化了） 最优译码方法： Y2先译码，Y1先译出Y2 对应的码字，减去后再 译出Y1对应的码字
16
高斯双程信道
反馈：发送器1可由接收器2以前接收到的信号决 定下一步该发送什么 香农获得了一般双程信道的容量域上下界 对高斯信道，这两个界重合 容量域为：R1<C(P1/N1),R2<C(P2/N2) 高斯双程信户推广