概率论与随机过程题集
随机过程习题集
随机过程习题集引言随机过程是概率论和统计学中的重要内容之一，它研究的是随机事件按照时间的推移发展的规律。
随机过程的基本概念和性质对于深入理解随机现象具有重要的作用。
本文档是一套随机过程的习题集，旨在帮助读者深入理解随机过程的基本理论和应用。
习题1. 离散时间随机过程1.1 设X是一个随机变量，其概率质量函数（probability mass function）为：P(X=k)=C(10, k)/2^10, k=0,1,...,10求该随机变量的数学期望和方差。
解答：数学期望定义为：E(X) = Σ(k * P(X=k))= Σ(k * C(10, k)/2^10)= 10 * 1/2 = 5方差定义为：Var(X) = E((X - E(X))^2)= E(X^2) - (E(X))^2= Σ(k^2 * P(X=k)) - (E(X))^2= Σ(k^2 * C(10, k)/2^10) - 5^2= 1/2 - 25/4 = 1/4因此，该随机变量的数学期望为5，方差为1/4。
1.2 设X和Y是两个独立的随机变量，其概率质量函数分别为：P(X=k)=1/2^k, k=0,1,...P(Y=k)=1/2^k, k=0,1,...定义随机变量Z=X+Y，求Z的概率质量函数。
解答：随机变量Z的概率质量函数可以通过卷积运算得到：P(Z=z) = Σ(P(X=k) * P(Y=z-k), k=-∞ to +∞)= Σ(1/2^k * 1/2^(z-k), k=-∞ to +∞)= Σ(2^(-z), k=-∞ to +∞)= 2^(-z) * Σ(1, k=-∞ to +∞)= 2^(-z) * ∑(1/(2^k), k=0 to z)= 2^(-z) * (2 - 2^(-z))因此，随机变量Z的概率质量函数为：P(Z=z) = 2^(-z) * (2 - 2^(-z)), z=0,1,...2. 连续时间随机过程2.1 设随机过程X(t)是一个平稳过程，其自相关函数（autocorrelation function）为：R(t1, t2) = exp(-|t1-t2|)求该随机过程的均值函数（mean function）。
(完整word版)随机过程试题及答案
1．设随机变量X 服从参数为λ的泊松分布，则X 的特征函数为 。
2．设随机过程X(t)=Acos( t+),-<t<ωΦ∞∞ 其中ω为正常数，A 和Φ是相互独立的随机变量，且A 和Φ服从在区间[]0,1上的均匀分布，则X(t)的数学期望为 。
3．强度为λ的泊松过程的点间间距是相互独立的随机变量，且服从均值为 的同一指数分布。
4．设{}n W ,n 1≥是与泊松过程{}X(t),t 0≥对应的一个等待时间序列，则n W 服从 分布。
5．袋中放有一个白球，两个红球，每隔单位时间从袋中任取一球，取后放回，对每一个确定的t 对应随机变量⎪⎩⎪⎨⎧=时取得白球如果时取得红球如果t t t e tt X ,,3)(，则 这个随机过程的状态空间 。
6．设马氏链的一步转移概率矩阵ij P=(p )，n 步转移矩阵(n)(n)ijP (p )=，二者之间的关系为 。
7．设{}n X ,n 0≥为马氏链，状态空间I ，初始概率i 0p P(X =i)=，绝对概率{}j n p (n)P X j ==，n 步转移概率(n)ij p ，三者之间的关系为 。
8．设}),({0≥t t X 是泊松过程，且对于任意012≥>t t 则{(5)6|(3)4}______P X X ===9．更新方程()()()()0tK t H t K t s dF s =+-⎰解的一般形式为 。
10．记()(),0n EX a t M M t μ=≥→∞-→对一切，当时，t +a 。
二、证明题（本大题共4道小题，每题8分，共32分）P(BC A)=P(B A)P(C AB)。
2.设{X (t ),t ≥0}是独立增量过程, 且X (0)=0, 证明{X (t ),t ≥0}是一个马尔科夫过程。
3.设{}n X ,n 0≥为马尔科夫链，状态空间为I ，则对任意整数n 0,1<n l ≥≤和i,j I ∈，n 步转移概率(n)()(n-)ij ik kjk Ip p p l l ∈=∑ ，称此式为切普曼—科尔莫哥洛夫方程，证明并说明其意义。
随机过程试题及答案
随机过程试题及答案随机过程是概率论与数理统计的重要理论基础之一。
通过研究随机过程，可以揭示随机现象的规律性，并应用于实际问题的建模与分析。
以下是一些关于随机过程的试题及答案，帮助读者更好地理解与掌握这一概念。
1. 试题：设随机过程X(t)是一个马尔可夫过程，其状态空间为S={1,2,3}，转移概率矩阵为：P =| 0.5 0.2 0.3 || 0.1 0.6 0.3 || 0.1 0.3 0.6 |(1) 计算X(t)在t=2时的转移概率矩阵。
(2) 求X(t)的平稳分布。
2. 答案：(1) 根据马尔可夫过程的性质，X(t)在t=2时的转移概率矩阵可以通过原始的转移概率矩阵P的2次幂来计算。
令Q = P^2，则X(t=2)的转移概率矩阵为：Q =| 0.37 0.26 0.37 || 0.22 0.42 0.36 || 0.19 0.36 0.45 |(2) 平稳分布是指随机过程的状态概率分布在长时间内保持不变的分布。
设平稳分布为π = (π1,π2, π3)，满足πP = π（即π为右特征向量），且所有状态的概率之和为1。
根据πP = π，可以得到如下方程组：π1 = 0.5π1 + 0.1π2 + 0.1π3π2 = 0.2π1 + 0.6π2 + 0.3π3π3 = 0.3π1 + 0.3π2 + 0.6π3解以上方程组可得到平稳分布：π = (0.25, 0.3125, 0.4375)3. 试题：设随机过程X(t)是一个泊松过程，其到达率为λ=1，即单位时间内到达的事件平均次数为1。
(1) 请计算X(t)在t=2时的累计到达次数的概率P{N(2)≤3}。
(2) 计算X(t)的平均到达速率。
4. 答案：(1) 泊松过程具有独立增量和平稳增量的性质，且在单位时间内到达次数服从参数为λ的泊松分布。
所以，P{N(2)≤3} = P{N(2)=0} + P{N(2)=1} + P{N(2)=2} +P{N(2)=3}，其中P{N(2)=k}表示在时间间隔[0,2]内到达的次数为k的概率。
(完整版)随机过程题库1
随机过程综合练习题一、填空题(每空3 分)第一章1．X1,X2, X n是独立同分布的随机变量，X i 的特征函数为g(t)，则X1 X2 X n 的特征函数是。
2．E E(X Y) 。
3．X 的特征函数为g(t)，Y aX b，则Y的特征函数为。
4．条件期望E(X Y)是的函数，(是or不是)随机变量。
5．X1,X2, X n是独立同分布的随机变量，X i 的特征函数为g i(t)，则X1 X 2 X n 的特征函数是。
6．n 维正态分布中各分量的相互独立性和不相关性。
第二章7．宽平稳过程是指协方差函数只与有关。
8．在独立重复试验中，若每次试验时事件 A 发生的概率为p(0 p 1)，以X(n)记进行到n次试验为止 A 发生的次数，则｛X(n),n 0,1,2, ｝是过程。
9．正交增量过程满足的条件是。
10．正交增量过程的协方差函数C X (s,t) 。
第三章11．｛X(t), t ≥0｝为具有参数0 的齐次泊松过程，其均值函数为；方差函数为。
12．设到达某路口的绿、黑、灰色的汽车的到达率分别为1， 2 ，3且均为泊松过程，它们相互独立，若把这些汽车合并成单个输出过程(假定无长度、无延时)，相邻绿色汽车之间的不同到达时间间隔的概率密度是，汽车之间的不同到达时刻间隔的概率密度是。
13．｛X(t), t ≥0｝为具有参数0的齐次泊松过程，( t)n e n! 14．n15．240000 16．复合；17．71 4eP X(t s) X(s) n14．设{X(t), t ≥0} 是具有参数0的泊松过程，泊松过程第n 次到达时间W n的数学期望15．在保险的索赔模型中，设索赔要求以平均 2 次/月的速率的泊松过程到达保险公司．若每次赔付金额是均值为10000 元的正态分布，求一年中保险公司的平均赔付金额。
16．到达某汽车总站的客车数是一泊松过程，每辆客车内乘客数是一随机变量．设各客车内乘客数独立同分布，且各辆车乘客数与车辆数N(t) 相互独立，则在[0 ，t]内到达汽车总站的乘客总数是(复合or 非齐次)泊松过程．17．设顾客以每分钟 2 人的速率到达，顾客流为泊松流，求在2min 内到达的顾客不超过 3 人的概率是．第四章18．无限制随机游动各状态的周期是。
北邮概率论与随机过程—学学期期末A卷
北京邮电大学2010——2011学年第2 学期3学时《概率论与随机过程》期末考试（A ）一． 填空题.1 设随机事件,A B 满足()( )P AB P A B =, 且()P A p =, 则()P B = 1-p2. 设每次实验中事件A 出现的概率为p ,在三次独立重复试验中, A 至少出现一次的概率为1927, 则p = 1/3 3. 随机变量X 服从参数为1的泊松分布(1)π,则2(())P X E X ==112e - 4. 设随机变量X 服从正态分布2(10,0.02)N ，记22()u xx du -Φ=⎰，且已知(2.5)0.9938Φ=，则((9.95,10.05))P x ∈= ０．９８７６5. 已知随机变量X 服从均匀分布(1,6)U ，则矩阵20001010A X⎛⎫⎪=- ⎪ ⎪-⎝⎭的特征值全为实根的概率为 ４／５6. 已知随机变量X 的密度函数为||1(),2x f x e x -=-∞<<+∞，则(01)P X <<= 11(1)2e -- 7. 设连续型随机变量X 的分布函数为()F x ，则0y >时，2ln(())Y F X =-的概率密度函数()Y f y ＝ 212y e - 8. 已知随机变量X 服从均值为１的指数分布，则min{,2}Y X =的分布函数()F y ＝0,0,1,02,1, 2.xx e x x -≤⎧⎪-<<⎨⎪≥⎩9. 已知随机变量(,)X Y 服从二维正态分布22(1,2,1,2,0.5)，则21Z X Y =++的概率密度函数()f z 2(5)x --10. 设,X Y 的联合概率密度为(2)2,0,0,(,)0,x y e x y f x y -+⎧>>=⎨⎩其它，, 则概率(1,2)P X Y ><=14(1)e e --- 11. 设随机过程2()X t X Yt Zt =++, 其中,,X Y Z 是相互独立的随机变量, 且均值都为零, 方差都为1, 则相关函数(,)X R s t = 221st s t ++12. 设{(),0}W t t ≤<+∞是参数为2σ的维纳过程, 则[((3)(1))((4)(1))]E W W W W --=22σ13. 设平稳高斯过程{().0}X t t ≥的均值为零, 相关函数为2||1()4X R e ττ-=, 则对任意固定的0t , 0()X t 的概率密度函数()f x 22x - 14. 设离散时间离散状态齐次马尔可夫链{}n X 的状态空间是{0,1,2},平稳分布为111,,244π⎧⎫=⎨⎬⎩⎭, 若000111(0),(1),(2)244P X P X P X ======, 则方差100()D X = 11/1615. 设}),({+∞<<-∞t t X 为平稳随机过程，功率谱密度为212)(ωω+=X S , 则其平均功率为 1二. （１5分）设某餐厅每天接待300名顾客, 并设每位顾客的销费额(元)服从均匀分布(40,100)U , 且顾 客的消费相互独立. 求:(1) 该餐厅的日营业额的期望和方差; (2) 平均每天有多少位顾客消费额超过50元;(3) 用中心极限定理估计该餐厅日营业额超过21750的概率. 解. (1) 设,1,2,...,300i X i =是第i 位顾客的消费额, 则由题意,1,40100,()600,ix X f x ⎧<<⎪=⎨⎪⎩其它， 设X表示该餐厅的日消费额, 则3001.ii X X ==∑ 因为 ()70i E X =, 则21300300(60/12)90000.DY DX =⨯==21000EX =(5’) (2 ) 设Y 是消费额超过50元的顾客数. 则1(300,(50))(300,5/6)YB P X B >=, 所以300(5/6)250.EY =⨯= (5’)(3) 由中心极限定理得12300(...21750)1(2.5)0.0062.P X X X P +++>⎛⎫=>=-Φ= (5’) 三．（１5分）设二维随机变量(,)X Y 具有概率密度(1), 0,0,(,)3x y k ex y f x y -+⎧>>⎪=⎨求(1)系数k ; (2)边缘概率密度(),()X Y f x f y ，并问,X Y 是否独立, 为什么? (3)求条件概率密度|(|)Y X f y x ，|(|)X Y f x y . 解.(1) 0,01(,)3x Y f x y dxdy k >>=⇒=⎰⎰(3’)(2) (1)0,0,()(,)0,0,x y x X xedy e x f x f x y dy x +∞-+-+∞-∞⎧=>⎪==⎨⎪≤⎩⎰⎰(1)201,0,(1)()(,)0,0,x y Y xe dx y y f y f x y dx y +∞-++∞-∞⎧=>⎪+==⎨⎪≤⎩⎰⎰(6’)由于(,)()()X Y f x y f x f y ≠,所以不独立.(3) 当0x >时, (1)|(,)(|)()x y xy Y X xX f x y xe f y x xe f x e-+--===, 当0y >时, (1)2(1)|2(,)(|)(1)1()(1)x y x y X Y Y f x y xe f x y y xe f y y -+-+===++ (6’)四．（１5分）设齐次马氏链}0,{≥n X n 的状态空间为}2,1,0{=E ，一步转移概率矩阵为110221102211022P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， 初始分布为0001{0}{1}{2}3P X P X P X ====== (1) 求124 {1,1,2}P X X X ===;(2) 求02,X X 的相关系数02X X ρ;(3) 证明马氏链}0,{≥n X n 具有遍历性，并求其极限分布．解 (1) 2111244111(2)424111442P P ⎡⎤⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦,124 {1,1,2}P X X X ====20111120()(2)0i i P X i p p p ===∑ (5’)(2) 2X 的分布率(2)(0)(2)(1/3,1/3,1/3)p p P ==02,X X 的联合分布率02021,2/3EX EX DX DX ==== 027/6EX X =1/4ρ== (5’)(3) 由P(2)知马氏链遍历,由01210,0,1,2,iP i ππππππ=⎧⎪++=⎨⎪≥=⎩得平稳分布为(1/3,1/3,1/3). (5’) 五．（１0分）设某线性系统的脉冲响应函数为22,0()0,0t e t h t t -⎧≥=⎨<⎩，将平稳过程{})()(∞+-∞∈，，t t X 输入到该系统后, 输出平稳过程{})()(∞+-∞∈，，t t Y 的谱密度为424()1336Y S ωωω=++，求：(1)输入平稳过程的{})()(∞+-∞∈，，t t X 的谱密度)(ωX S ； (2)自相关函数)(τX R ； (3)输入与输出的互谱密度)(ωXY S ．解： 2222,024()(),|()|240,0t e t h t H H i t ωωωω-⎧≥=↔==⎨++<⎩，(1) 22()1(),|()|(9)Y X S S H ωωωω==+ (4分) (2) 3||11()(),26i X X R S e d e ωτττωωπ+∞--∞==⎰ (3分) (3) 22()()()(2)(9)X Y X S H S i ωωωωω==++． (3分)。
《概率论与随机过程》第1章习题答案
《概率论与随机过程》第一章习题答案1. 写出下列随机试验的样本空间。
（1） 记录一个小班一次数学考试的平均分数（设以百分制记分）。
解： ⎭⎬⎫⎩⎨⎧⨯=n n nn S 100,,1,0 ，其中n 为小班人数。
（2） 同时掷三颗骰子，记录三颗骰子点数之和。
解：{}18,,4,3 =S 。
（3） 10只产品中有3只是次品，每次从其中取一只（取出后不放回），直到将3只次品都取出，记录抽取的次数。
解： {}10,,4,3 =S 。
（4） 生产产品直到得到10件正品，记录生产产品的总件数。
解： {} ,11,10=S 。
（5） 一个小组有A ，B ，C ，D ，E5个人，要选正副小组长各一人（一个人不能兼二个职务），观察选举的结果。
解： {}ED EC EB EA DE DC DB DA CE CD CB CA BE BD BC BA AE AD AC AB S ,,,,,,,,,,,,,,,,,,,=其中，AB表示A 为正组长，B 为副组长，余类推。
（6） 甲乙二人下棋一局，观察棋赛的结果。
解： {}210,,e e e S =其中，0e 为和棋，1e 为甲胜，2e 为乙胜。
（7） 一口袋中有许多红色、白色、蓝色乒乓球，在其中任意取4只，观察它们具有哪几种颜色。
解： {}rwb wb rb rw b w r S ,,,,,,=其中，,,,b w r 分别表示红色、白色、蓝色。
（8） 对某工厂出厂的产品进行检查，合格的盖上“正品”，不合格的盖上“次品”，如连续查出二个次品就停止检查，或检查4个产品就停止检查，记录检查的结果。
解： {}1111,1110,1101,0111,1011,1010,1100,0110,0101,0100,100,00=S 其中，0为次品，1为正品。
（9） 有A ，B ，C 三只盒子，a ，b ，c 三只球，将三只球装入三只盒子中，使每只盒子装一只球，观察装球的情况。
概率论习题试题集
第一章随机事件与概率一、填空题1.已知随机事件 A 的概率P( A)0.5 ，事件 B 的概率P( B)0.6 ，条件概率P(B A)0.8 ，则P(A B)__________ ____ 。
2. 设 A，B为随机事件，已知P( A)，，B)，则P(AB)____________。
0.3 P(B)0.4 P( A3.甲、乙两人独立地对同一目标射击一次，其命中率分别为0.6 和，现目标被击中，则它是甲命中的概率为 ___________ 。
4.某射手在 3 次射击中起码命中一次的概率为0.875 ，则该射手在一次射击中命中的概率为___________ 。
5.设随机事件 A在每次试验中出现的概率为1,则在 3次独立试验中 A 起码发生一次的概率为3___________ .6.袋中有黑白两种球 , 已知从袋中任取一个球是黑球的概率为1, 现从袋中不放回地挨次取球, 则第 k 4次获得白球的概率为___________ 。
7.三台机器互相独立运行，设第一，第二，第三台机器不发生故障的概率挨次为，，，则这三台机器中起码有一台发生故障的概率是___________ 。
8.电路由元件 A 与两个并联的元件 B， C 串连而成，若 A， B，C 破坏与否互相独立，且它们破坏的概率挨次为，，0.1 ，则电路断路的概率是___________ 。
9. 甲乙两个投篮，命中率分别为，，每人投 3 次，则甲比乙进球数多的概率是___________ 。
10. 3 人独立破译一密码，他们能独立译出的概率分别是1115，，，则此密码被译出的概率是34________。
二、选择题1. 关于任意两个事件 A， B，有P( A B) 为（）（A）P( A)P( B)（B）P(A)P(B)P(AB)（C）P( A)P(AB)（D）P(A)P(B)P(AB)2. 设 A， B 为两个互斥事件，且P( A)0, P(B)0 ，则以下正确的选项是（）（A）P(A B)P(A)（B）P(B A)0（C ） P( AB) P( A)P( B) （D ） P(B A) 03. 其人独立地投了 3 次篮球， 每次投中的概率为 0.3 ，则其最可能失败 （没投中） 的次数为 （）（A ） 2 （B ）2 或 3 （C ） 3（D ）14. 袋中有 5 个球（ 3 个新， 2 个旧），每次取一个，无放回地抽取两次，则第二次取到新球的概率是（ ）（A ）3（B ）354（C ）2（D ）34105. n 张奖券中含有 m 张有奖的， k 个人购置，每人一张，此中起码有一个人中奖的概率是（ ）（A ）m（B ）1C n k m C n mC n kC m 1C n k m 1k C m r（C ）（ D ）1C n kC n kr 三、计算题( 随机事件、随机事件的关系与运祘 )1.指出下边式子中事件之间的关系：⑴AB A ；⑵ABC A ； ⑶A B A 。
概率统计随机过程-期末试卷-参考答案
7. 1
8. 1 1
4. ，
2
数理统计
57 33 e 30 154 e 15 9. , 8 24
2 2 2
又由
15 S 2
2
4
即
152
2 15 S 2 (15) 知 D 2 2 15
D S 2 2 15
2
得 D S
2 15
4
五、解:
数理统计
1 2 3 (1) 先求二步转移概率矩阵 1 1/ 2 1/ 4 1/ 4 2 P (2) [ P (1)] 2 1/ 4 1/ 2 1/ 4 3 1/ 4 1/ 4 1/ 2 3 P{ X 2 2} P X 0 iP X 2 2 | X 0 i
数理统计
《概率统计与随机过程》期末试卷二 参考答案 一、填空题
1. F (1, n)
2. P X 1 x1 ,..., X n xn p i 1 (1 p) 其中xi 0或1;
1 n 3. X , Xi X n i 1
xi
n
n
xi
i 1
n
,
E ( S 2 ) p(1 - p)
六、解:
a2 (3) 因 RX ( t , t ) cos 0 , 2 i 故 S X R e d X
2 a i cos( ) e d 0 2 2 a cos(0 )e i d 2 a2 0 0 2
p1 (0) P12 (2) p2 (0) P22 (2) p3 (0) P32 (2) 1 1 1 1 1 ( ) 3 4 2 4 3 (2) P{ X 2 2, X 3 2 | X 0 1}
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章概率论与随机过程22-16 图P2-16中的电路输入为随机过程X(t)，且E[X(t)]=O, xx ()= (),即X(t)为白噪过程。
(a )试求谱密度 yy ( f )。
2(b )试求 yy ( )和 E[Y (t)]。
----kW 1RX(t)图 P2-162(b) E [y (t)]= yy (0)解：由功率密度谱的定义知C 二 Y(t)xxxx( )e j2f d()e j2fd又系统函数H(f)=^ X(f)1j2 fc1 j2 fc1 __j2 fcyy(f)xx(f)H(f)2(2 fcR)2yy()yy(f)ej2df2 1R 2f^ej2fdf莎汀2•- E [y (t)]= yy (0)2Rc2-20一离散时间随机过程的自相关序列函数是(k) (1/2)W ，试求其功率密度谱。
(f)=k(k)ej2 fk2-24 系统的噪声等效带宽定义为B eq 认2H(f) df1/知 o XJ)•••命题得证。
2-23 试证明函数在区间［(f)1(2) k 2I kl e 2j fk/ 12 jf 、21e j2f 2 1 !e j2f21e j2f 211ej22sin[2 W(tf k (t)=］上为正交的，即G eo 21 1 le j2f2即为所求。
2W )]k2 W(t ) 2W,k = o ,所以，抽样定理的重建公式可以看作带限信号s(t)的级数展开式，其中权值为 s(t)的样值,且｛ fk (t)｝是级数展开式中的正交函数集。
证明： 由题得ksin[2 W(t -)] f k (t)f j (t)dt =---------- 2 W(t —) 2Wsin[2 W(tj)]込dt2 W(tj)1 cos[( j k)2 cos[4 wt (k j) ] dt (2 wt k)(2 wt j)⑵对于图P2-16有G maxH(f)2第三章信源编码3-4X 、Y 是两个离散随机变量，其概率为P(X=x, Y=y)=P(x, y)证明：l(X,Y)A 0,当且仅当 X 和Y 统计独立时等号成立。
n m证明：I (X,Y) P(X i ,Y j )l(X i ,Y j )i 1 j 1•• I (X,Y) >0,当且仅当X 和Y 统计独立时式中,G maxH(f)「。
利用该定义，试确定图P2-12中的理想带通滤波器和图 P2-16中的X(t)丫⑴解:(1)对于图 P2-12 有 G2maxH (f)图 P2-16B eqH(f)2dff c B21?dffc|(f c |)•••图P2-12的系统的等效带宽为 BBeq 0H(f) df =1 4 2R 2c 2f12 Rc d(2 Rcf)1 (2 Rcf)21 2_R c arctg(2 Rcf)1 4RcP(X i ,Y j )logP(X ,Y ) P(X i )P(Y j ) P(X i ,Y j )logP(X i )P(Y j ) P(X i ,Y j )P(X i ,Y j )i 1 j 1P(XJP(Y j ) P(X i ,Y j ) P(X i )P(Y j )i 1 j 1P(X i ,Y j )图 P2-12P(X 「Y j ) P(XJP(Y j )3-5 某DMS 信源输出由可能的字符 X i , X 2，…，X n 组成，其发生概率分别是 p i , P 2，…,p n 。
证明信源熵 H (X)至多是log n 。
3-11 设X 和Y 是两个联合分布的离散随机变量(a )证明：H(X) =— P(x,y) logP(x)x,yH(Y) = — P(x, y)log P(y)logP(X i ,Y j )P(X i )P(Y j )0 此时，l(X i ,Y j ) 0证明： 由熵定义可知nH(X) = P i log P i ；i 1又•••P ii 1H (X) — log n =P i log P i — P i log ni 1i 1ni 1P i log 1 n l— P i lognn1 = P i logi 1P i n, 1 1ln-1 . 1 P i n P i nlogP i nln 2l ni 21n 1 八H(X)— log nP i (1)ln 2 i 1P i nln 2 i 1 (1n P i )H(X)log n1ln2(1 1) 当且仅当1 P i =n时等号成立。
又n1H(X,Y) H (X) + H(Y)在什么情况下上式的等号成立(c ) 证明：H(X |Y) H(X)当且仅当X 和Y 独立时上式等号成立。
(a)由离散随机变量的边缘概率可知mP(X i ) =P(X i ,y j )j inH (X) =- p(X i )log p(X i )i 1n m=-p(X i ,y j )log p(X i )i 1 j 1H(X) P(X , y)logP(X)X,y同理可知： H(X)P(x,y)logP(y)x,yn m(b ) H(X,Y)P(X i ,Y j )logP(X i ,Y j )P(X , y) log P(X ) i 1 j 1x,yP(x,y)log P(y)x,yn m= P(X i ,Y j )log P(X i ,Y j ) H(X) H (Y)i 1 j 1当P(X i ,Y j )=1时，等号成立。
(c) ••• H(X) H(X |Y) I(X,Y)由 3-4 的结论可知：I(X,Y) 0• H (X) H(X,Y)若存在X ',Y 不独立，使得H(X '|Y ') H(X ')' ' ''1即 H(X|Y) P(x,y )log ; rP(X |y )证明: •-log P(X i ,Y j ) 0••• H (X,Y) H(X) H(Y)' '' 1 H(X)x,y P(X，y)lOg EP(x|y)制Pg•/ X ,Y不独立，所以与以上推论相互矛盾;•••当且仅当X,Y相互独立时上式等号成立。
3-23 —个无记忆信符源的字集为{-5,-3,-1,0,1,3,5},相应的概率分别是(a)计算信源熵。
(b)假设信源输出按如下量化规则量化q( 5) q( 3) 4, q( 1) q(0) q(1) 0, q(5) q(3) 4,计算量化后的信息熵。
解：(a)由熵的定义可得7H(X) = P(x i)log P(x i) —0.15log 0.15 —0.05 log 0.05 —0.25 log 0.25 —i 10.3log 0.3取2作底可得H(X) = 2.53(b) 量化后的字符集为{0,4}且P(x 0) = 0.1 + 0.15 + 0.05 = 0.3P(x 4) = 1—P(x 0) = 0.72此时的熵为H(X) = P(x」log P(x ) = —0.3log 0.3 —0.7log 0.7i 1取2作底可得H (X)=3-25 对下列二进制序列做L-Z信源编码：000000000再从编成的L-Z信源码中恢复原序列。
解：将该二进制序列做如下分解，可得到下列码段：0, 00, 1, 001, 000, 0001, 10, 00010, 0000, 0010, 00000, 101, 00001 , 000000,11, 01, 0000000, 110可得L-Z算法字典如下：解: (a) H(X |G) P(x,g)log P(x | g)dxdg已知信源X 的概率刻度函数为 P(X) P(x;g)1(2 222)P(x)P(g)e x N，p(x|g)2 x nP(x)•••条件熵为 H(X|G)(b)平均互信息为I(x;g) H(x) H(x|g)P(x,g)log P(x | g)dxdgP(x)log P(x)dx (— log - 2 x )23-38考虑一个平稳随机信号序列{X(n)}，其均值为0，自相关序列1 00001 0 0000002 00010 00 0000103 00011 1 0000014 00100 001 0001015 00101 000 0001006 00110 0001 0010117 00111 10 0001108 01000 00010 0011009 01001 0000 001010 10 01010 0010 001000 11 01011 00000 010010 12 01100 101 001111 13 01101 00001 010011 14 01110 000000 010110 15 01111 11 000111 16 10000 01 000011 17 10001 0000000 011100 1810010110011110斯输入，计算:(a)条件差熵H(X |G)。
(b)平均互信息l(X;Y)。
3-30某加性高斯白噪声信道的输出是1密度函数为p(n) --------V 2 nX G ,此处X 是信道输入，G 是噪声，概率n 2 22n ，如 X 是 E(X) 0及 E(X )2的白高G 为加性噪声,(n=0)(n) [ (n= 1)0 (其它)(a) {X(n)}的一阶最小MSE预测器为~(n) = a“x(n 1)，计算预测系数以及相应的最小均方误差1(b)对于二阶预测器~(n) = a1x(n 1) + a2x(n 2)重复(a)的问题。
p解：(a)由a i (i j) = (j)i 1a1 (1 1) = (1)a1 (0) = (1)=(0) (1) 0.25 ⑼=0.75(b )二阶最小MSE预测器此时，p 2, j 1 , 2• 一a1 (1 1) a2 (2 1) (1)a1 (1 2) a2 (2 2) (2)a1 0.5a20.50.5印a202{1可得此时最小均方误差为~(n) = 0.5x (n 1)21 = E[x( n) ax(n 1)]=E[x( n) 0.5x( n 1)]2=E[x2( n) x( n)x(n 1) 0.25x2(n 1)]=E[x2(n)] - E[x(n)x(n 1)] + 0.25E[x2(n 1)]S m (t)，1 m为正交向量 此时的最小均方误差为 2 =E[ x(n) -x( n 1)33x( n 2)]=E[x( n)]字[x(n1 1)] 3E[X (n 32)]22 2=(0) 2 a i (i)a j a j (i j)i 1i 1 j 1第四章通信信号与系统的表征现定义一组新的M 个波形试证明这M 个信号波形｛s m (t)｝有相同的能量，即(M 1) . M并且是等相关的，相关系数为1 M 2k—=(M 1) . M 即M 个信号波形｛S m (t)｝有相同的能量。