3-3_第3章_3.5_连续信道

HUST Furong WANG--- Information and Coding Theory
时间连续的信道容量
时间连续信道可用随机过程描述， 加性噪声信道模型一般表示为： Y (t ) = X (t ) + N (t ), 式中 X (t )、 Y (t )和 N (t )均为随机过程。 由于信道的带宽有限，可以把一个时间连续 的信道变换成时间离散的随机序 列进 行处理。 设输入随机序列为： X i ,i = 1, 2,..., n ; 噪声随机序列为： N i ,i = 1, 2,..., n ; 输出随机序列为： Yi ,i = 1, 2,..., n ; 则有 Yi = X i + N i i = 1, 2, ..., n 。
2 2 z12 + z2 + ⋯ + zn exp − 2 2σ N
( 2πσ )
2 N n i =1
n/2
对于加性噪声信道，由概率论可知 p( y | x) = p( z ) = ∏ p( zi ) = ∏ p( yi | xi )
i =1
10
n
HUST Furong WANG--- Information and Coding Theory
时间连续的（高斯） 时间连续的（高斯）信道容量
由于信道是无记忆信道，那么n 维随机序列的平均 交互信息量满足 I ( X ; Y ) ≤ ∑ I ( X i ; Yi )
i =1 n
因此时间连续的信道容量为 C = max I ( X ; Y ) = max ∑ I ( X i ; Yi )
p( x) p ( xi ) i =1 n
由于实际中信号和噪声的能量是有限的，所以研究时间 离散连续信道的容量是在功率受限条件下进行的。 若输入信源X 和噪声源N 分别为均值0、方差
2 2 为σ X 和σ N的高斯分布，则随机变量Y 为均值为0、 2 2 方差为σ X + σ N的高斯分布，因此
I ( X ; Y ) = H (Y ) − H ( N ) 1 1 2 2 2 = log[2π e(σ X + σ N )] − log(2π eσ N ) 2 2 2 1 σX I ( X ; Y ) = log(1 + 2 ) 2 σN
2
HUST Furong WANG--- Information and Coding Theory
时间离散信道的容量
连续信道的输入和输出为随机过程 X (t )和 Y (t ), 设 N (t )为随机噪声，那么简单的 加性噪声信道模型 可以表示为 Y ( t ) = X (t ) + N (t ) 根据采样定理将随机信号离散化，对于时间离散 信道的输入和输出序列可以分别表示为 X = [ X 1 , X 2 ,..., X N ] Y = [Y1 , Y2 ,..., YN ] 若信道转移概率密 度 满足 p ( y | x ) = p ( y1 | x1 ) = p ( y 2 | x2 ) = ⋯ = p ( y n | xn ) 则 称信道为 无记忆 连 续信道 ，同离散 信道情况相同， 存在 I ( X; Y ) ≤ ∑ I ( X i , Yi ) ≤ nC
香农公式
当噪声功率谱密度为 N 0 / 2的高斯白噪声时， 上式可以表示为 C = B log(1 +
2 σX
N0 B
)
称为香农（ Shannon）公式。
香农公式适用于加性高斯白噪声信道。 香农公式适用于加性高斯白噪声信道。只有输入信号 为功率受限的高斯白信号时， 为功率受限的高斯白信号时，其信道容量才能达到该 极限值。 极限值。 实际信道往往是非高斯信道， 实际信道往往是非高斯信道，但由于高斯白噪声信道 是平均功率受限情况下最差信道，所以香农公式可用 是平均功率受限情况下最差信道，所以香农公式可用 于确定非高斯信道容量的下限值。 于确定非高斯信道容量的下限值。 香农公式对实际通信系统有非常重要的意义 因为香 对实际通信系统有非常重要的意义， 香农公式对实际通信系统有非常重要的意义，因为香 农公式给出了理想通信系统的极限信息传输率。 农公式给出了理想通信系统的极限信息传输率。
6
HUST Furong WANG--- Information and Coding Theory
高斯噪声信道的信道容量
平均功率受限的时间离散平稳可加高斯噪声 信道的交互信息量为： 信道的交互信息量为：I(X,Y) = H(Y) - H(N)
当输入信源均值为0、方差一定的情况下，信源Y 满足 高斯分布时，其信源Y的熵H (Y )最大；由概率论，只有
连续信道的信道容量
信道容量：指信道对信源一切可能的概率分 信道容量： 布而言能够传送的最大熵速率。 布而言能够传送的最大熵速率。 连续信道，分为时间离散和时间连续两大类型 时间离散和 连续信道，分为时间离散 时间连续两大类型 离散时间信道：即时间为离散值， 离散时间信道：即时间为离散值，信道的输 入和输出只能在特定的时刻变化； 入和输出只能在特定的时刻变化； 连续信道或波形信道：即时间为连续值， 连续信道或波形信道：即时间为连续值，信 道的输入和输出取值是随时间变化的。 道的输入和输出取值是随时间变化的。
∫ pX (x)p(y | x)logp(y | x)dxdy ∞ ∞ =- ∫ ∫ pX (x)pN (y - x)logpN (y - x)dxdy -∞ -∞ ∞ ∞ =- ∫ pX (x) ∫ pN (z)logpN (z)dzdx -∞ -∞ ∞ = ∫ pX (x)H(N)dx = H(N) -∞
i =1 n
3
HUST Furong WANG--- Information and Coding Theory
信道容量定义
信道容量C定义为 信道容量 定义为 C = max I ( X ; Y ) p( x) 式中p(x)为输入信源的概率密度。 为输入信源的概率密度。 式中 为输入信源的概率密度 由于输入和干扰是相互独立的， 由于输入和干扰是相互独立的，对于一维随 机变量， 机变量，其信道模型可以表示为 Y=X+N， ， 为输入随机变量， 为输出随机变量， 式中 X 为输入随机变量，Y 为输出随机变量， N 为随机噪声，且 X 和 N 统计独立。 为随机噪声， 统计独立。 设随机变量 X 和 N 的概率密度分别为pX ( x)和pN ( z), 设 根据概率论及坐标变换理论，可以求得随机变量Y 在X 条件下的概率密度为 p( y / x) = pN ( y − x) = pN ( z)
当B → ∞时，取2为底的对数，则 C = lim B log(1 +
B →∞ 2 σX 2 σX 2 σX
N0 B
)=
N0
log e = 1.44
N0
14
HUST Furong WANG--- Information and Coding Theory
香农公式的物理意义
香农公式把信道的统计参量（信道容量）和实际物 理量（带宽B、时间T和信噪功率比PX/Pn）联系了 起来。它表明一个信道可靠传输的最大信息量完全 由B、T和PX/Pn所决定。一旦这三个物理量给定， 理想通信系统的极限信息传输率就确定了。 由此可见，对一定的信息传输率来说，带宽B、时 间T和信噪功率比PX/Pn三者之间可以互相转换。 例：若要保持信道的信息传输率C=12x103bit/s，当 信道的带宽B从4x103Hz减小到3x103Hz，则就要求 增加信噪比。
HUST Furong WANG--- Information and Coding Theory
第3章 信道容量 章
3.1 3.2 3.3 3.4 3.5 3.6 信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道 信道编码定理
1
HUST Furong WANG--- Information and Coding Theory
2 噪声平均功率为σ N，可加噪声信道容量C满足 2 2 2 σ X +σN σX 1 1 log(1 + 2 ) ≤ C ≤ log( ) 2 σ σ 2 2 式中σ 2为噪声的熵功率。 证明从略。
结论：当噪声功率给定后，高斯型干扰是最坏的干扰， 此时其信道容量C最小。因此，在实际应用中，往往把
8 干扰视为高斯分布，这样分析最坏的情况是比较安全的。
4
HUST Furong WANG--- Information and Coding Theory
时间离散加性噪声信道中互信息量最大值
p(y | x) = pN (y - x) = pN (z) H(Y |X) =- ∫ =- ∫
∞ ∞ -∞ -∞ ∞
则有
∫dxdy
i = 1, 2,⋯ , n
若信道为高斯信道，则时间连续的高斯信道容量为
2 σX n C = log 1 + 2 2 σN 达到该信道容量则要求n维输入随机序列中的每一分量 2 都必须是零均值、方差为σ X 且相互独立的高斯变量。
11
HUST Furong WANG--- Information and Coding Theory
HUST Furong WANG--- Information and Coding Theory
非高斯型加性噪声信道容量
非高斯型加性噪声信道容量的计算相当复杂， 非高斯型加性噪声信道容量的计算相当复杂， 下面定理给出了其上、下限。 下面定理给出了其上、下限。 2 假设输入信源的平均功率小于σ X ，信道加性
2 当X 满足均值为0、方差为σ X 的高斯分布时，才能使得 2 2 Y = X + N 满足高斯分布，且均值为0、方差为σ X + σ N .
由于高斯噪声的熵为 1 1 2 2 2 H ( N ) = log ( 2π eσ N ) 且 H (Y ) = log 2π e(σ X + σ N ) 2 2 2 σX 1 故信道容量为 C = H (Y ) − H ( N ) = log 1 + 2 7 σN 2