概率论与随机过程题集
第二章 概率论与随机过程
2-16 图P2-16中的电路输入为随机过程X(t),且E[X(t)]=0,xx φ(τ) =2
σδ(τ),即X(t)
为白噪过程。
(a )试求谱密度yy Φ(f )。 (b )试求yy φ(τ)和E[Y 2(t)]。
图P2-16
解:(a )xx φ=
2222)()(σττδσττφτπτπ==??
+∞
∞
--+∞
∞
--d e d e f j f j xx
又系统函数)(f H =
)
()
(f X f Y =fc j fc
j R fc j πππ2112121
+=+
∴2
2222
22
2
41)2(11)()()(c f R fcR f H f f xx yy πσπσφφ+=
+== (b) E [)(2
t y ]=)0(yy φ
τπττ
πσπσφτφRc
f
j f j yy yy e
Rc
df e
c
f R df e
f 12
22
2
2
2
2
2241)()(-
∞
+∞
-∞
+∞
-=
+==?
?
∴E [)(2
t y ]=Rc
yy 2)0(2
σφ=
2-20 一离散时间随机过程的自相关序列函数是k
k )2/1()(=φ,试求其功率密度谱。 解:由功率密度谱的定义知 )(f Φ=
∑+∞
-∞=-k fk
j e k πφ2)( =
∑+∞
-∞=-k fk j k e π2)2
1(
=fk j k k e π21
21(----∞=∑+fk j k k e π20
)21
(-+∞
=∑
=k f j k e
)21(21π∑+∞
=+k
f j k e )21(20π-+∞=∑ =f j f
j e e
ππ2221121-+f
j e π22111
--
∴ )(f Φ =f j f
j e e
ππ2221121-+f
j e
π22
111-- 即为所求。
2-23 试证明函数
)(t f k =
)
2(2)]
2(2sin[W
k
t W W k t W --
ππ,k = 0,1±,2±,… 在区间[+∞∞-,]上为正交的,即
所以,抽样定理的重建公式可以看作带限信号)(t s 的级数展开式,其中权值为)(t s 的样值,且{)(t f k }是级数展开式中的正交函数集。 证明: 由题得
?
+∞
∞
-dt t f t f j k )()(=?
+∞
∞
-)2(2)]2(2sin[W k t W W k t W --
ππ )
2(2)]2(2sin[W
j
t W W j t W --ππdt =
?
+∞
∞
-2
1)2)(2(]
)(4cos[)cos[(j wt k wt j k wt k j πππππππ--+---dt
∴命题得证。
2-24 系统的噪声等效带宽定义为 ?∞=
02
)(1df f H G
B eq 式中,2
)(max f H G =。利用该定义,试确定图P2-12中的理想带通滤波器和图P2-16中
图P2-16
解:(1) 对于图P2-12
有1)(max 2
==f H G
B B
f B f df df f H B c c B f B f eq c c =--+
=?==
?
?
∞
+
-
)2
(21)(0
222
∴图P2-12的系统的等效带宽为B (2) 对于图P2-16有1)(max 2
==f H G
=
eq B ?
∞
df f H 2
)(=?
?∞
∞+=+0
022
222)2(1)2(21411Rcf Rcf d Rc df f c R ππππ
=Rc
Rcf arctg Rc 41
|)2(210
=∞ππ
第三章 信源编码
3-4 X 、Y 是两个离散随机变量,其概率为P(X=x, Y=y)=P(x, y)
证明:I(X,Y)≥0,当且仅当X 和Y 统计独立时等号成立。 证明:),(),(),(11
j i n i m
j j i
Y X I Y X
P Y X I ∑∑==-
=-
)
()(),(log
),(11j i j i n i m
j j i Y P X P Y X P Y X P ∑∑==-
=
)
,()()(log
),(11j i j i n
i m
j j
i
Y X P Y P X P Y X P ∑∑===
???
?
????-≤
∑∑==1),()()(),(11j i j i n
i m
j j i Y X P Y P X P Y X P []
0),()()(11
=-=
∑∑==n i m
j j i j i
Y X P Y P X
P
∴),(Y X I ≥0, 当且仅当X 和Y 统计独立时 )()(),(j i j i Y P X P Y X P =
0)
()(),(log =j i j i Y P X P Y X P 此时, 0),(=j i Y X I
3-5 某DMS 信源输出由可能的字符1x ,2x ,…,n x 组成,其发生概率分别是1p ,2p ,…,
n p 。证明信源熵)(X H 至多是n log 。
证明: 由熵定义可知 )(X H =∑=-
n
i i i
p p
1
log ; 又∵ ∑=n
i i p 1
=1
∴ )(X H -n log =∑=-
n
i i i
p p
1
log -∑=n
i i n p 1
log
=∑=n
i i i p p 11
log -∑=n
i i n p 1
log
=
∑=n
i i i n
p p 1
1
log
又∵ n p i 1log = 2ln 1ln
n p i
≤ 2
ln 1
1
-n p i
∴ )(X H -n log ≤∑=-n i i
i n p p 1)11
(2ln 1
=∑=-n i i p n
1)1
(2ln 1 =
)11(2
ln 1
- =0
∴ )(X H ≤ n log 当且仅当 i p =n
1
时等号成立。
3-11 设X 和Y 是两个联合分布的离散随机变量 (a )证明:
)(X H =-∑y x x P y x p ,)(log ),(
)(Y H =-∑y
x y P y x p ,)(log ),(
(b) 利用上述结果证明:
),(Y X H ≤)(X H +)(Y H
在什么情况下上式的等号成立? (c ) 证明:
)|(Y X H ≤)(X H
当且仅当X 和Y 独立时上式等号成立。 证明:(a) 由离散随机变量的边缘概率可知
)(i x P =∑=m
j j i y x P 1
),(
∴ )(X H =-
)(log )(1
i
n
i i
x p x p ∑=
=-∑=n i 1∑=m
j i j
i
x p y
x p 1
)(log ),(
∴ ∑-=y
x x P y x P X H ,)(log ),()(
同理可知:∑-
=y x y P y x P X H ,)(log ),()(
(b )-
=
∑∑==),(log ),(),(11
j i n
i m
j j i
Y X P Y X
P Y X H ∑y
x x P y x P ,)(log ),(
∑-
y
x y P y x P ,)(log ),(
=
),(log ),(11
j i n
i m
j j i
Y X P Y X
P ∑∑==)()(Y H X H --
∵0),(log ≤j i Y X P ∴)()(),(Y H X H Y X H +≤ 当),(j i Y X P =1时,等号成立。 (c) ∵),()|()(Y X I Y X H X H =-
由3-4的结论可知:0),(≥Y X I ∴),()(Y X H X H ≥
若存在'
',Y X 不独立,使得)()|('
'
'
X H Y X H =
即∑=
y
x y x
P y x P Y X H ,''
'
'
'
')
|(1
log ),()|( ∑=
y
x y x P y x P X H ,'
''''
)
|(1
log
),()(
)()
(),()|('
'
'''
'
x P y P y x P y x P == ∵ '
',Y X 不独立,所以与以上推论相互矛盾; ∴ 当且仅当Y X ,相互独立时上式等号成立。
3-23 一个无记忆信符源的字集为{-5,-3,-1,0,1,3,5},相应的概率分别是{,,,,,,},
(a) 计算信源熵。
(b) 假设信源输出按如下量化规则量化 ,4)3()5(=-=-q q ,0)1()0()1(===-q q q 4)3()5(==q q ,计算量化后的信息熵。
解: (a) 由熵的定义可得
)(X H =∑=-7
1
)(log )(i i i x P x P -15.0log 15.0-05.0log 05.0-25.0log 25.0-
3.0log 3.0
取2作底可得 )(X H =53.2
(b) 量化后的字符集为{0,4}
且 )0(=x P =1.0+15.0+05.0=3.0
)4(=x P =1-)0(=x P =7.0
此时的熵为 )(X H =∑=-
2
1
)(log )(i i
i
x P x P =-3.0log 3.0-7.0log 7.0
取2作底可得 )(X H =
3-25
对下列二进制序列做L-Z 信源编码 : 000000000
再从编成的L-Z 信源码中恢复原序列。
解:将该二进制序列做如下分解,可得到下列码段:
0,00,1,001,000,0001,10,00010,0000,0010,00000,101,00001,000000,
11,01,0000000,110
3-30 某加性高斯白噪声信道的输出是G X Y +=,此处X 是信道输入,G 是噪声,概率
密度函数为 2221)(n
n
n
e
n p σσπ-
==,如X 是0)(=X E 及2
2)(x X E σ=的白高
斯输入,计算:
(a) 条件差熵)|(G X H 。 (b) 平均互信息);(Y X I 。 解:(a) ??
∞∞-∞
∞
--
=dxdg g x P g x P G X H )|(log ),()|(
∵ 已知信源X 的概率刻度函数为22
221)(x
x x
e X P σσπ-
=
,G 为加性噪声,
∴ )
22(222
21)()();(N
x
N
x n
x e g P x P g x P σσσπσ+=
=,)()|(x P g x p =
∴ 条件熵为 x dxdg g x P g x P G X H σπ2log 2
1
)|(log ),()|(+=
-=??
∞
∞-∞
∞
- (b) 平均互信息为
0)2log 2
1
()(log )()|()();(=+--=-=?∞
∞
-x dx x P x P g x H x H g x I σπ
3-38 考虑一个平稳随机信号序列)}({n X ,其均值为0,自相关序列
1 (n=0)
=)(n φ (n=1±)
0 (其它)
(a ))}({n X 的一阶最小MSE 预测器为)(~n x =)1(1-n x a ,计算预测系数以及相应
的最小均方误差1ε。
(b )对于二阶预测器)(~n x =)1(1-n x a +)2(2-n x a 重复(a )的问题。 解:(a )由
∑=-p
i i j i a 1
)(φ=)(j φ 且 1=p ,1==
j i 可得
)11(1-φa =)1(φ )0(1φa =)1(φ 1a = ∴ )(~n x =)1(5.0-n x 此时最小均方误差为 1ε=2
1)]1()([--n x a n x E =2)]1(5.0)([--n x n x E
=)]1(25.0)1()()([2
2
-+--n x n x n x n x E =)]([2n x E -)]1()([-n x n x E +)]1([25.02-n x E =)0(25.0)1()0(φφφ+- =75.0
(b )二阶最小MSE 预测器 此时,1,2==j p ,2 ∴ )1()12()11(21φφφ=-+-a a
)2()22()21(21φφφ=-+-a a ∴ 5.05.021=+a a 05.021=+a a ∴ 321=
a ,3
1
2-=a 此时的最小均方误差为2ε=)]2(3
1
)1(32)([-+--
n x n x n x E
=)]2([3
1
)]1([32)]([-+--n x E n x E n x E =∑∑∑===-+-2
1
2
12
1
)()(2
)0(i i j j
i
i
j i a a i a φφφ
=3
2
第四章 通信信号与系统的表征
4-9 已知一组M 个正交信号波形)(t s m ,M m ≤≤1,T t ≤≤0,他们具有相同的能量ε。
现定义一组新的M 个波形
)('t s m
=∑=-
M
k k
m t s
M
t s 1
)(1
)(, M m ≤≤1,T t ≤≤0
试证明这M 个信号波形{)('
t s m } 有相同的能量,即
M M εε)1('-=
并且是等相关的,相关系数为
?
--
==
T
n m mn M dt t s t s 0
'',
1
1
)()(1
ερ 证明: 由能量定义可得
'ε=?T
m
dt m s 0
2'
)( =?∑=-
T m
k k
m dt t s
M
t s 01
2)](1
)([
=?∑∑==+-T
m
k k m
k k m m
dt t s M t s M
t s t s 02121
2
}])([1)(1
)
(2)({ =
?
T
m
dt t s 0
2)(-
?
∑=T
m k k m dt t s t s M
1
)()(2+∑?
=m
k T
k dt t s M 1
2
2
)(1
∵ )(t s m ,M m ≤≤1为正交向量 ∴ '
ε=εεεM
M 12+-
=M M ε)1(- 即M 个信号波形{)('
t s m
} 有相同的能量。 又∵ mn ρ=?T n m dt t s t s 0
'
',)()(1ε
=?∑∑==---T m
i n
n m
k k m
dt t s
M t s t s M
t s M M 01
1
)](1
)(][)(1
)([11ε
=
dt t s
M t s M t s t s M t s M t s t s t s M M T m
i m
k k
n n m
i m
k k n m
n m ?∑∑∑∑====+---01
1
1
1
])(1
)(1
)()(1
)(1
)()()([11ε
=
?
?
∑?
=+-
--T
T
m
k T
k n
m
dt t s M
dt n s M
dt t s M
M 0
1
22
22])(1
)(1
)(1
0[111ε
=
[111M
M M M ε
εεε+---
=1
1--M 即证。
4-10 考察图P4-10所示的3个波形。
图 P4-10
(a )试证明这些波形是标准正交的。 (b )如果
-1 10≤≤t )(t x = 1 31≤≤t -1 43≤≤t
试将)(t x 表示为)(t f n 1(=n ,2,3)的加权线性组合,并求加权系数。 证明:(a )由图可知
)(1t f = 2
121- 422
0≤≤≤≤t t , )(2t f =21
,40≤≤t
)(3t f = 2
121- 43,213
2,10≤≤≤≤≤≤≤≤t t t t
∴ ??)(),(21t f t f =
?
4
021)()(dt t f t f =0 ??)(),(32t f t f =?
4
032)()(dt t f t f =0 ??)(),(31t f t f =
?
4
31)()(dt t f t f =0
1ε=?4
21
)(dt t f =1,2ε=?4
22
)(dt t f =1,3ε=?40
23)(dt t f =1,
∴ )(1t f ,)(2t f ,)(3t f 是标准正交的。
(b ) ∴ ??)(),(1t f t x =??)(),(2t f t x =??)(),(3t f t x =0
∴ )(t x ,)(1t f ,)(2t f ,)(3t f 是两两正交的 ∴ 它们是线形独立的
∴ )(t x 不能由)(1t f ,)(2t f ,)(3t f 线形表示。
4-13 低通高斯随机过程)(t x 的功率密度谱为
)(f φ=
N
)
()
(B f B f ><
试求)(t y =)(2
t x 的功率密度谱和自相关函数。 解: 根据题意可知
)(τφxx =πτ
πτ
B N 2sin 0
∴ )0(xx φ=02BN =2
x σ
又∵ )]([t x E =0,)]([2
t x E =)]([t x D +)]([2
t x E =2
x σ=02BN
)]([4
t x E =
dx e
x
x x
?
∞
+∞
--
2
224
2?σπ=43x σ
∴)0(yy φ=2
0)2(2BN
)(τφyy =πτ
πτ
220
4sin 2B N
)(f y Φ=
?
∞
+∞
--τπτ
πτ
τπd e B N
f j 2220
4sin 2
=2
02N
4-17 试对图4-2-1(a )中的信号按)(4t s ,)(3t s ,)(1t s 的次序进行格拉姆-施密特
(GramSchmidt )正交化,得到标准正交函数集{})(t f m 。试利用标准正交函数集
{})(t f m 将信号{})(t s m 表示为向量形式,并求各向量的能量。
图4-2-1(a )
解: )(4t s 的能量为 1ε=
?
+∞
∞
-dt t s )(24=?-3
2)1(dt =3
)(1t f =
1
4)
(εt s =3
3
-
,30≤≤t
)(1t f 在)(3t s 投影为12c =?+∞∞
-dt t f t s )()(13=dt 1)33(2
??-
+?-?-32)1()33(dt =3
3
-
∴ )('
2t f =)(3t s -12c )(1t f = 3
432- 32,2
0,≤≤≤≤t t
)('2t f 的能量为 '
2ε=?+∞∞-dt t f )(24'=3
8
∴)(2t f ='2
'2
)
(εt f = 3
666- 32,2
0,≤≤≤≤t t
)(1t f 在)(1t s 投影为13c =?+∞
∞
-dt t f t s )()(11=3
3
2-
)(2t f 在)(1t s 投影为23c ==
3
6 ∴ )('
3t f =)(1t s -13c )(1t f -23c )(2t f =0
∴ )(1t s 是)(1t f ,)(2t f 的线性组合
∴ )(3t f =0 ∴ 信号空间为2 且
4s =]0,3[,4ε=3 3s =]362,33[-
,3ε=3 4s =]3
6
,332[-
,3ε=2
4-18 如图P4-18所示,由)(1t f ,)(2t f 标准正交基函数,试求4个信号)(t s k )
4,3,2,1(=k 的信号空间表示形式。画出信号空间图,并证明这种信号集等价于四相PSK 信号集。
图 P4-18
(1)解:)(t s k )4,3,2,1(=k 的信号空间表示式为
1r =[
?2
11)()(dt t f t s ?2
21)()(dt t f t s ]=[ε 0]
2r =[
?
2
12)()(dt t f t s ?2
022)()(dt t f t s ]=[ε- 0]
3r =[
?
2
13)()(dt t f t s ?20
23)()(dt t f t s ]=[0 ε] 4r =[
?
2
14)()(dt t f t s ?2
024)()(dt t f t s ]=[0 ε-]
信号空间为
(2)证明:由题可得)(t s k )4,3,2,1(=k 的能量分别为
1ε=?1
21)(dt t s =ε,2ε=?1
2
2
)(dt t s =ε 3ε=?1
23
)(dt t s =ε,4ε=?1
2
4)(dt t s =ε ∴ 1ε=2ε=3ε=4ε
∵
g ε2
1
=ε 即 g ε=ε2
又∵ )(t s m =)(11t f s m +)(22t f s m
)(1t f =
)(2
t g
σεt f c π2cos ,)(2t f =
)(2
t g
σεt f c π2sin
∴ m s 1(m s ,)2m s =)1(42cos 2[
-m g
πε )]1(4
2sin 2-m g π
ε m (=)4,3,2,1 可知 当
n
m -= 时 =n m s s -=)4
2cos
1(π
ε-g =g ε ∴ 此信号集与四PSK 信号集等价。
第五章 加性高斯白噪声信道的最佳接收机
5-2 有一个信号为:
)(t s =
2cos )(t f t T
A
c π
)
(其他)
0(T t ≤≤
(a )试求该信号的匹配滤波器的冲激响应。 (b )试求在t =T 时刻匹配滤波器的输出。
(c )设信号)(t s 通过一个相关器,它将输入)(t s 和)(t s 进行相关运算。试求t =T 时刻相关器的输出值。试与(b )中的结果相比较。 解:(a ) 由匹配滤波器的定义可知,其冲激响应即为
)(t h ==
)(2cos ))((t T f t T T
A
c --π
)
(其他)
0(T t ≤≤
(b ) 匹配滤波器的输出为 )(t y =
?
+-T
d t T s s 0
)()(τττ
在t =T 时刻的输出为 )(T y =
?
T
d s 0
2
)(ττ=?T
c d f T
A 0
22
2
2
2cos ττπτ
=
T f f A c c ππ4sin 82+T f T f A c c ππ4cos 16222-T f T
f A c c ππ4sin 642
332
+T A 62 (c ) 由题可知,信号通过相关器,即,信号进行自相关。
∴ )(t y =
?t
d s
2
)(ττ
)(T y =?T
d s 0
2)(ττ 显然与(b )相同。
5-6 有一个等效低通(复值)信号)(t s l ,T t ≤≤0,其能量为
ε=
?T l
dt t s 0
2
)(21 假设该信号受到AWGN 的恶化,其等效低通形式为)(t z ,则观察到的信号为:
)(t r l =)(t s l +)(t z ,T t ≤≤0
该接收信号通过一个(等效低通)冲激响应为)(t h l 的滤波器。试求)(t h l ,要求(在t =T 时刻)使输出SNR 最大。
解: ∵ 当信号受到AWGN 影响时,具有匹配于)(t s l 的冲激响应的滤波器使输出SNR 最大。
∴ )(t h l =)(t T s l -
且 在在t =T 时刻输出SNR 最大
max SNR =
4N ε
5-10
三元通信系统在每个T 秒内传输下列三个信号之一:)(t s ,0,)(t s -,则接
收信号为)(t r l =)(t s +)(t z ,)(t r l =)(t z ,或)(t r l =)(t s l -+)(t z ,其中)(t z 为高斯白噪声,)]([t z E =0,)(τφzz =)]()([2
1
ττ*z z E =)(0τδ-t N 。最佳接收机计算以下相关度量
U =])()(Re[0
?*T
dt t s t r