重要性抽样法研究 (2002)

3 最优抽样分布的构造
抽样分布的构造方法是决定重要性抽样法的效率和适 用性的最重要的因素，本节简单介绍并综合评价了迄今为止 实施重要性抽样的主要方法。应该说，每种方法都各有所长， 亦各有所短，需要在理论和实践上进一步研究和突破。
3.1 基于随机优化技术的构造方法
可以有几种算法用来求解目标函数的极值点，如随机 逼近算法(Robbins-Monro 算法及其变形)、随机梯度下降法 和随机搜索算法[2-3]。由于目标函数没有解析的表达式，函 数值及其梯度只能通过样本进行估计，所以目标函数的分析 性质的研究以及灵敏度分析是应用随机优化技术的基础。 IPA 是一种高精度和有效的灵敏度分析方法，但对系统的结 构具有相当严格的限制，并且使用起来相当复杂。似然比 (likelihood ratio-LR)法是借助仿真手段进行灵敏度分析的方 法，对系统的限制很小，所以应用似然比方法估计有关指标 对分布参数的灵敏度是目前广泛采用的方法。
1 问题的提出1
在大量的工程问题特别是可靠性安全性问题中，经常需
要估计某个事件发生的概率。设随机变量为 X，待估指标α，
方差为σ2。考虑α的频率估计αˆ 和相对均方差要求(δ, γ)，这
里δ 和γ是(0,1)上的实数。令
P( αˆ − α ≤δ)≥γ
(1)
σ
为使上式成立，样本量 N 应满足[31]
N≥(u(1+γ)/2·
无法准确计算的，所以该最优化问题有其特殊性。
实际中β一般难以估计，它与问题及抽样程序有关，并
且人们可以控制θ使得β变化不大，所以可以用 X·L(θ,θ0)的方 差作为目标函数。进一步的，根据方差的定义，最优抽样分 布可以通过如下最优化问题构造
min Eθ[(X·L(θ,θ0))2]
θ∈Θ
在系统可靠性数字仿真中，人们关心的指标可以分为 两类[17]：暂态指标和稳态指标，前者如系统首次失效时间、 可靠度，后者如系统的平均无故障时间、可用度。重要性抽 样在暂态指标的估计中是比较直接的，一般直接使用矩估计 法；在稳态指标的估计中，如果系统模型具有某种再生行为， பைடு நூலகம்可以考虑再生仿真，此时一般采用比值估计，由此导致的 是对分子分母的处理方式，即采用相同的抽样分布对分子分 母进行抽样，还是区别对待。后者导致了基于指标的重要性 抽样法的研究（Measure Specific Importance Sampling— MSIS），详细的讨论见[6-7]。一般来说，当分子和分母体现 的是系统不同侧面的行为时，对分子分母区别对待可以得到 更高的效率。
由于重要性抽样法主要是用于研究与稀有事件有关的 系统行为，并且一般来说我们需要研究的系统规模比较大， 所以应用随机优化技术需要注意下面的一些问题。
3.1.1 算法的选取
实际中随机优化技术会有各种变形，各种算法的效果和 适用性都需要进一步研究。一般来说，随机搜索算法最容易 实现，并且计算稳定，对复杂的问题推荐使用，不过由于利 用的信息比较少，所以收敛性比较差。当系统比较复杂时， 可以采用随机梯度下降法，它具有比较好的收敛性，但是需 要注意合理选择迭代因子以能够得到结果。对比较简单的问 题，可以首先考虑随机逼近算法，因为它们操作简便，计算
靠性建模与仿真技术, 试验设计与分析的理论与方法。
则又有 N∼exp(R/ε)；也就是说，当δ 和γ 不变时，使(1)式成 立所需样本量随1ε 呈指数增长。(2)式是可能的，比如在网 络可靠性中，取 ε =1 L ，根据大偏差原理，长度为 L 的缓冲 区溢出的概率满足(2)式。所以构造适当的抽样方案使 R 很 小或为 0 是非常重要的，它决定了应用数字仿真方法能否实 用地对依赖于小概率事件的系统指标进行评估。
关于最优或近似最优的抽样分布的信息，即：好的抽样分布
应该在|X|大的样本上赋予更大的概率，在|X|小的样本上赋予
更小的概率；并且如果两个不同的样本ω1 和ω2 满足条件 |X(ω1)|·P(dω1)≥|X(ω2)|·P(dω2)，则在抽样分布 Q 下，还应该 尽量保证|X(ω1)|·Q(dω1)≥|X(ω2)|·Q(dω2)，否则可能导致样本 有偏性[1,3,10]。即利用 Q 进行抽样，我们在比较少的试验中
σ α⋅δ
)2
当α 很小时，比如在可靠性安全性问题中，人们感兴趣的指 标一般由小概率事件决定，此时直接抽样法需要相当大的样
本量。进一步，如果α 依赖于系统的某个参数ε，并且
lim ε·log(α)→R>0
(2)
ε→0
收稿日期：2001-11-26
修回日期：2002-03-06
作 者 简 介: 金 光 (1973-), 男, 河北抚宁县人, 博士, 研究方向为系统可
根据大数定理，如果α是一般随机变量的数学期望，当 α 很小时，同样面临上述困难。为了解决抽样效率问题，已 经提出了多种解决的办法，根本思想在于：在保证系统误差 和随机误差的精度满足要求的前提下，尽可能提高抽样的速 度以便增加单位时间内获得的样本量；或者，构造新的模型 并使基于该模型的抽样可以增加单位样本包含的信息。前者 对应于试验方法包括计算方法的设计和应用，比如使用更快 的计算工具、分布式或并行仿真等。后者主要指在保证单位 时间内抽样次数没有明显减小的前提下，采用方差缩减技 术，减小母体方差。在系统可靠性数字仿真中所采用的方差 缩减技术，除少数方法外，主要是计算定积分的 Monte Carlo 方法的方差缩减技术在可靠性问题中的推广和应用[17]，如重 要性抽样法、限制抽样法、序贯抽样法、控制变量法、分层
(4)
θ ∈Θ
的最优解θ*构造，这里 L(θ,θ0,ω)=d
Pθ 0
/dPθ(ω)。一般来说
P θ
*
便可以大大提高抽样效率。(4)可以采用比如梯度下降法、局
部或全局搜索法进行近似求解，也可以利用某些数学原理分
析求解，还可以使用构造的或启发式方法。本文将介绍有关
的成果和需要研究的问题。由于这里目标函数及其导数都是
第 14 卷第 9 期
金 光, 等：重要性抽样法研究
·１１２３·
速度较快，比较容易得到结果。如 果只需要“满意”的分布， 则推荐使用随机搜索或随机逼近法。
3.1.2 初值的选取
对于高可靠度系统，人们感兴趣的指标是由极小概率事 件定义的，若从θ0 开始迭代，由于在第 1 步迭代中得到的大 多数样本都是“无用”的，如果样本量不够大，得到的估计 值都为 0，迭代事实上无法进行下去。所以应用似然比法， 在确定初始值时必须认真考虑。这里建议采用某些加速失效 法提供的信息作为初始值。另外一种想法是[11]，比如估计系 统在很小的时间水平 T 上的不可靠度，则可以将迭代分为 K 步，在第 m 步对 Tm= T0+m·(T0－T)/K 获得变换，于是在第 K 步迭代后，得到的是对于原问题的抽样分布的参数。这里， T0 是比 T 大的时间水平，并且保证在时间 T0 内系统失效的 可能性不是很小。
在实际问题中，比如系统可靠性安全性，P 一般属于某
个参数分布族{Pθ}(θ∈Θ)，即存在θ0∈Θ使 P= Pθ0 。在这种情 况下，虽然不能保证存在θ∈Θ 使 Pθ 在所有满足（3）式的 抽样分布中是最优的（这里的最优化准则包括方差和抽样速
度），但为了实现方便，抽样分布一般通过最优化问题
min β·VarθX·L(θ,θ0)
可靠度系统可靠性仿真中的抽样效率问题。
关键词：数字仿真; 重要性抽样；稀有事件
中 图 分 类 号 ： TB114
文献标识码：A
A Review of Importance Sampling
JIN Guang
（The Institute of System Engineering, NUDT, Changsha 410073, China）
设 X 是(Ω,F,P)上的随机变量，为估计 X 的数学期望α，
构造(Ω,F)上满足如下条件的概率测度 Q：
P(A)>0 则 Q(A)>0， ∀A∈F
(3)
重要性抽样就是基于测度 Q 抽样，并利用 XLQ 的样本均值
作为α 的估计。其中，LQ 是 P 关于 Q 的 Radon-Nikodym 导
数(统计上也称为 P 关于 Q 的似然比)。适当选择 Q，有可能
得不到对系统行为有重要影响的样本，从而导致了对指标的
估计偏低。本文我们讨论几种抽样分布构造方法，并提出建
议。需要指出的是，这是一个相当困难的问题，有时需要相
当复杂的数学理论指导。对一类特殊的问题，可以给出最优
抽样分布的一种自适应的渐近的构造方案，据此得到自适应
重要性抽样法(Adaptive Importance Sampling—AIS)[16]。
得到对α 的“更好”(一般指 XLQ 具有比 X 更小的方差)的估 计。特别的，在通信网等高可靠度系统仿真中，适当构造的
抽样分布可以使抽样效率提高几个数量级[1]。
由[1]，当不考虑单位时间内获得的样本数(或获得单位
样本所需的平均时间β)时，具有最小方差的抽样分布 Q*存
在。虽然该分布实际操作上并不可行，它仍然为我们提供了
·１１２２·
系统仿真学报
2002 年 9 月
抽样法等，并且大多数方法是具体问题具体分析，缺乏普遍 性，无法满足各种复杂应用的需要。重要性抽样法利用测度 变换增大所研究的行为出现的概率，利用新的分布进行抽样 并对样本进行调整，可以得到指标的无偏的和更有效的估 计，具有比其他方法更广泛的适用性。
2 重要性抽样的基本原理
通信网、航空航天、自动控制等系统的可靠性安全性仿真中得到广泛研究和应用。本文从计算复
杂性的角度提出了极小概率事件发生概率估计的困难，简单介绍了重要性抽样的基本原理，综述
了基于随机优化和大偏差原理的技术、加速失效法、分裂法等几种最优抽样分布构造技术的实现
及其适用范围，在此基础上提出基于知识的重要性抽样思想，有助于解决目前数字仿真特别是高