基于粒子群优化的BP神经网络

合集下载

粒子群优化BP神经网络用于重复记录检测

进化的思想应用到重复记录检测中，避开了传统方法计算属性权重的问题。理论分析和实验表明：该方法不仅具
有好的检测精度，而且具有很好的时间效率，能够有效地解决大数据量的相似重复记录检测问题。关键词：重复记录检测；ＢＰ神经网络；粒子群算法；智能检测
ＩｆｒｔｎＳｉｃｎｎｉｅｒｇＣｌｇ，ｏｔｎｒｌｉｅｓ，ｈｎＳａ４０８，ｉａｎｏｍａｉｃｅｅｄＥｇｎｅｉｏｌｅＳｕｈＣｅｔａｖｒｉＣａｇｈ１０３Ｃｈｎ）ｏｎａｎｅＵｎｙｔ
第２卷第５９期
Ｖ＿．９０２１ＮＯ５．
文章编号：１０－５２２１）５０５－４０８０６（０００－９９０
辽宁工程技术大学学报（自然科学版）
Ｊｕｎｌａｎｎｃｎｉａｉｒｉ（ｔｒｌｃｉｎｃｅ）ｏｒａＬｉｏｉｇＴｅｈｃｌｏｆＵｎｖｅｓｔＳｙＮａｕａｅ
ＭＡｉｎｇ＇Ｘａ
ｒ．ｐｒｍｅｔｏｍｐｔｒＨｕａｎｅｎｔｏａｏｏｉｓ１ＤｅａｔｎｆＣｏｕｅ，ｎｎＩｔｒａｉｎｌＥｃｎｍｃｉｅｓｔ，ａｇｈ１０２Ｃｈｎ；．ＵｎｖｒｉｙＣｈｎｓａ４０１，ｉａ２
摘要：针对数据规模的扩大，重复记录检测效率往往不能进一步提升的问题，提出一种粒子群优化ＢＰ神经网

基于量子粒子群优化的BP神经网络的汽轮机振动故障诊断研究

彭双飞（州交通大学自动化与电气工程学院，肃兰州７０７）兰甘３００
Ｐｎｕａｇｆｉ（ｃｏｌｏｔｍａｉｎ＆ＥｌｔｉｌＥｇｎｅｉｇｏｍｍｈｕＪａｔｎｅｇＳｈｎ —ｅＳｈｏｆＡｕｏｔｏｅｒａｎｉｅｒｆＬｃｃｎｏｉｏｏｇ
Ｋｙｗｏｄ：ａｔｍ— ｅａｅａｔｌＳａｍｐｉｚｔｎ（Ｓ）ＰｎｕａｎｔｒｓｆｕｉｎｓｅｒｓＱｕｎｕｂｈｖＰｒｃｗｒＯｔａｉＱＰＯ；ｅｒｌｗｏｋ；ａｌｄａｏｉｄｉｅｍｉｏＢｅｔｇｓＣＣｎｍｂｒＴ３２７Ｌｕｅ：Ｐ０ＤｃｍｅｔｏｅＡｏｕｎ￣ｄ：Ａｔｌ１０ — １７２１）－０１０ｒｃＩ０３００（００００２ — ３ｉｅＤ：８
从而确定必要对策的技术。其基本宗旨就是运用当代一切科学技术的新成就，现机械设备的隐患，发以期对设备事故防范于未然 ቤተ መጻሕፍቲ ባይዱ设备故障诊断技术是近四十年来发展起来的适应工
断。实例证明．它是一种高效，可靠的诊断方法。
关键词：子粒子群；Ｐ神经网络；障诊断量Ｂ故
中圈分类号：Ｐ０．Ｔ３２７
文献标识码：Ａ
文章编号：０３００（１）８０２－３１０－１７２０－０１０００
ＡｂｓｒｔＴｏｉｐｏｉｇｈａｇｏｓｄｓｐｅａｃｒｃｙｏｈｅｓｅｍｕｂｉｅｄａｇｏｓｙｔ．ｉａｅｒｐｒｐｅｔｏｔａｃ：ｍｒｖｎｔｅｄｉｎｅｅｄｎｄａｃｕａｆｔｔａｔｒｎｉｎｅｓｓｅｍｔｓｐｐｏｏｓｓａｍｅｈｄｈ

基于改进粒子群算法的BP神经网络模型研究

算法上下波动幅度较大，多次出现水平不变．改进
第ｌ期
姚尔果，：于改进粒子群算法的Ｂ等基Ｐ神经网络模型研究
１９０
的ＤＳＰＯ算法不易陷入局部最优，以进行全局寻可
优，找全局最优点．寻
平缓，拟合性较好．真结果证明了经改进的粒子仿
（）根据（）（）５，６５３，４，（）（）式不断的更新
粒子位置和速度．
［］徐晋．２一种前馈神经网络综合快速学习算法［］内蒙古工Ｊ．
业大学学报，０３，２（：３２０２３）２２—２６３．
（）粒子适应度函数值满足预设精度或迭代６
粒子ｉ在搜索位置上进化的程度，表示了粒子的目
其中
…
（）为第粒子在第ｔ迭代时对应的ｆ）个次
函数值ｉｔ）＝厂（）啦（）（）（ｔ，ｔ，（））ｔ，．（）为最优粒子在第）次迭代时对应的函数值（）＝ｍｉ（ｔ）ｔ）ｎｘ（）．ｆ
持值为０时，已经找到了最优值或者算法停滞．粒子改进的惯性权重按照下式变化：
（￡＋１＝Ｃ × （）ａｔ＋１ＣＥ（，）（））ｔ／（），Ｏ１６
由图３和图４可以看出，ＰＯ算法具有更快的收ＤＳ敛性，曲线基本趋于单调下降状态，其而标准ＰＯＳ
和较好的拟合性能．
参考文献：

基于粒子群优化BP神经网络的台风灾损预测模型研究

其结果也具有较大的偶然性和不稳定性。基于现代神经科学的人工神经网络能够反映
人脑的基本特征，并对自然神经网络进行抽象和模拟。人工神经网络可以对关系复杂或具有不确
定性的系统进行充分的逼近，通过训练样本学习获得输入、输出的连接权值，自学习能力对解决大复杂度的问题提供了一种简单、有效的办法。ＢＰ网络是一种多层前馈的神经网络，具备神经
中图分类号：Ｐ４４４；Ｘ４３文献标志码：Ａ文章编号：１０００～８１１Ｘ（２０１３）０４— ００１１— ０６
测，并建立基于ＧＩＳ的台风灾情预测信息系统。此
０引言
台风的发生往往伴随着暴雨、大风等强对流天气，并容易引发山体滑坡、洪涝等其他自然灾害。浙江省东濒东海，南界福建，每年有７～８个
（南京信息工程大学，江苏南京２１００４４）
摘
要：在对浙江省台风灾情实际情况研究的基础上，选择台风路径预报平均误差、预警能力指数等１６个因子
作为输入量，用粒子群算法（ＰＳＯ）对ＢＰ神经网络的参数进行优化，以避免陷入局部极小和初始参数的抉择问题，提高模型的精度和收敛速度，从而建立了ＰＳＯ — ＢＰ模型，并将模型应用于浙江台风灾情的预测。最后，对ＰＳＯ — ＢＰ网络模型与普通ＢＰ模型的台风灾情预测训练效果进行对比，使用三个台风数据测试已训练好的网络，模型的预测结果显示，ＰＳＯ — ＢＰ算法相较于ＢＰ算法有更高的精度，能较好的反应历年台风灾情的基本趋势。关键词：防台减灾；台风灾情；粒子群算法；ＢＰ神经网络；浙江

基于粒子群算法的BP神经网络光伏电池建模

复杂的物理结构，直接面向其外部特性，不需要光伏
电池的详细物理参数，而大大简化了建模过从
程。文献［］用Ｂ３采Ｐ神经网络对光伏电池建模，
从图中可以看出，光伏电池具有很强的非线性
特性，同一种光照和温度条件下，着电压的上在随
第３０卷第２期
２１０１年４月
电工电能新技术
ＡｄａｃｄＴｅｈｏｏｙｏｅｔｉａｇｎｅｉｇａｄＥｎｒｙｖｎｅｃｎｌｇｆＥｌｃｒｃｌＥｎｉｅｒｎｎｅｇ
Ｖｏ．０，Ｎｏ２１３．
播（Ｐ神经网络建模方法。神经网络具有很强的非线性拟合能力，同时也存在收敛速度慢、Ｂ）但容
易陷入局部极值、建模精度不高等缺点。本文采用粒子群算法来优化神经网络的内部连接权值，以
改善神经网络的性能，并基于这种改进的神经网络构建光伏电池动态模型。测试及仿真结果表明，
７Ｏ６０５Ｏ
芝４０
嚣ｏ３
２０１０
０
行状态的瞬态变化，且表达式复杂，算繁琐。而并计实际应用多只针对光伏电池的外部特性，对其内部
机理并无要求，以传统数学模型并不一定能适应所
工程上的需要 ¨ 。
恶化，能源紧缺和环境保护已成为全球面临的重大问题，低碳经济已成为世界各国的重要国策，开发及利用新能源成为了各国关注的焦点。太阳能作为一种取之不尽且清洁无污染的能源，为了新能源领成域开发和研究的重点之一。光伏电池可直接将太阳能转换为电能，是太阳能利用的重要组成部分。目前已有的光伏电池模型多是基于光伏电池物理特性所建立的数学模型。这些模型虽能表征光伏电池的内部原理却不能有效地

pso优化bp算法python代码

pso优化bp算法python代码PSO优化BP算法Python代码是基于粒子群算法（PSO）和BP（反向传播）神经网络算法的优化算法，用于解决分类和回归问题。

以下是一些关键的Python代码段来实现此算法：1. 导入必要的库```pythonimport numpy as npimport random```2. 定义神经网络类```pythonclass NeuralNetwork:def __init__(self, inputs, hidden, outputs):self.input_nodes = inputsself.hidden_nodes = hiddenself.output_nodes = outputsself.weights_ih = np.random.randn(self.hidden_nodes, self.input_nodes)self.weights_ho = np.random.randn(self.output_nodes, self.hidden_nodes)self.bias_h = np.random.randn(self.hidden_nodes, 1)self.bias_o = np.random.randn(self.output_nodes, 1)```3. 定义激活函数sigmoid```pythondef sigmoid(x):return 1 / (1 + np.exp(-x))```4. 定义前向传播函数```pythondef feedforward(self, input_array):inputs = np.array(input_array, ndmin=2).Thidden_inputs = np.dot(self.weights_ih, inputs) +self.bias_hhidden_outputs = sigmoid(hidden_inputs)final_inputs = np.dot(self.weights_ho, hidden_outputs) + self.bias_ofinal_outputs = sigmoid(final_inputs)return final_outputs```5. 定义损失函数```pythondef mse_loss(self, input_array, target):inputs = np.array(input_array, ndmin=2).Ttargets = np.array(target, ndmin=2).Toutputs = self.feedforward(inputs)return np.mean((targets - outputs)**2)```6. 定义粒子类```pythonclass Particle:def __init__(self, dim):self.position = np.random.randn(dim, 1)self.velocity = np.random.randn(dim, 1)self.best_position = self.positionself.best_cost = float('inf')```7. 定义PSO算法类```pythonclass PSO:def __init__(self, cost_function, dimension, swarm_size, max_iter):self.cf = cost_functionself.dim = dimensionself.swarm_size = swarm_sizeself.max_iter = max_iterself.swarm = [Particle(self.dim) for i inrange(self.swarm_size)]self.best_swarm_position = self.swarm[0].positionself.best_swarm_cost = float('inf')```8. 定义更新粒子位置和速度的函数```pythondef update_particle(self, particle):w = 0.729c1 = 1.49445c2 = 1.49445r1 = random.random()r2 = random.random()new_velocity = w * particle.velocity + c1 * r1 * (particle.best_position - particle.position) + c2 * r2 * (self.best_swarm_position - particle.position)new_position = particle.position + new_velocityparticle.velocity = new_velocityparticle.position = new_position```9. 定义运行PSO算法的函数```pythondef run(self):for i in range(self.max_iter):for particle in self.swarm:cost = self.cf(particle.position)if cost < particle.best_cost:particle.best_position = particle.positionparticle.best_cost = costif cost < self.best_swarm_cost:self.best_swarm_position = particle.positionself.best_swarm_cost = costfor particle in self.swarm:self.update_particle(particle)```10. 实例化神经网络和PSO算法，运行PSO优化BP算法```pythonnn = NeuralNetwork(2, 3, 1)pso = PSO(nn.mse_loss, nn.weights_ih.size +nn.weights_ho.size + nn.bias_h.size + nn.bias_o.size, 20, 100) pso.run()```以上是使用Python实现PSO优化BP算法的主要代码段。

改进粒子群算法对BP神经网络的优化

粒子群优化算法（ａｔｌＳｒＯｐｉｚ－ＰｒｉｅｗａｍｔｃｍｉａｔｎＰＯ最初是由Ｅｅｈｒ士和ｋｎｅｙ博士ｉ。Ｓ）ｏｂｒａｔ博ｅｎｄ
于１９５年提出并成功地用于函数优化…，后来又进９
ＢＰ网络是一种有效的自学习神经网络，具有一些独特的性质：信息的分布式存储和并行处理，具有自组织、自学习能力等，已经被广泛应用于模式识别、
ｎｔｏｌｖｒｏｅｌｔｔｏｓｉｏｅｓｏｗｏｖｒｅｃｄｔｅｌｃｌｅｔｅａｕｓｏａｉｉｎａｏｎｙｏｅｃｍｅｔｉａｎｎｂｔｔｌｃｎｅｇｎｅａｏａｘｒｍｅｖｅｆｔｄｔｌｈｍｉｉｈｈｎｈｌｒｏ
因此，Ｂ网络的优化改进成为了研究的热点之Ｐ
行了有效的拓展，是计算智能领域除蚁群优化算法
（ｎｏｏｙＯｐｉｚｔｎＡＣｔ９的另外一种群ＡｔｌｎｔＣｍｉａｉ，Ｏ）１１ｏ２，
知识工程、智能控制等方面。尽管在诸多应用领域取得了巨大的成功，然而仍存在着一些问题：（）习算１学法的收敛速度慢；（）２局部极小问题；（）Ｐ神经网络３Ｂ
ｉｐｏｅａｔｃｅｓｒｐｍｉａｏｉｕｔｎｏｓｙｍｒｖｄｐｒｉｌｗａｍｏｔｚｔｎｓｍｌｅｕｌ．ＴｈｅｕｔｓｏｗｓｔａｅｉｒｖｄａｇｒｔｍａｉｉａｅｒｓｌｈｈｔｔｍｐｏｅｌｏｉｄｕｔｗｉｈｓｏＰｎｔｏｋｉｐｏｏｅ．ｈｅｄｌｓｂｓｄｏｅｗｉｈｂｔｃ：ｅｔｄｔａｊｓｅｔｆＢｅｒｓｒｐｓｄＴｅｎｗｍｏｅｉａｅｎｔｅｔｒｈｏｇｗｈｇａｊｓｎｓｆｒｄｔｎＰａｏｔｍｂｎｎｅｓｕｔｅａｄｃｎｅｔｎｗｉｈｓｆＰｎｔｏｋａｄｄｔｔｏａｉｏａＢｌｒｈｙｔｉｇｔｒｃｕｎｏｎｃｏｅｔｏｅｗｒｎｕｍｅｔｉｌｇｉｕｈｔｒｉｇＢ

基于改进粒子群优化算法的BP预测模型

（ＣｏｍｐｕｔｅＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｏｆＣｈｉｎａ，Ｈｅｆｅｉ２３００２７，Ｃｈｉｎａ）
进以及激励函数的改进等【Байду номын сангаас６ｊ＝第三种：基于ＰＳＯ的改
进ＢＰ算法［１，本文也就基于第三种方法对其进行改
进的．
关系的数学方程．它的学习规则是使用最速下降法，
通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小，但是由于梯度下降算法的固有缺陷，标准的ＢＰ学习算法通常具有收敛速度慢且容易
ｍｏｄｉｆｙｔｈｅｗａｙｔｏｃａｌｃｕｌａｔｅｔｈｅｉｎｅｒｔｉａｗｅｉｇｈｔ，ａｎｄｕｓｅｔｈｅｉｍｐｒｏｖｅｄＰＳＯａｌｇｏｒｉｔｈｍｉｎｓｔｅａｄｏｆｔｈｅｇｒａｄｉｅｎｔｄｅｓｃｅｎｔａｌｇｏｒｉｔｈｍ，Ｍａｋｅｔｈｉｓｃｈａｎｇｅｓｉｔｗｉｌｌｎｏｔｆａｌｌｉｎｔｏｌｏｃａｌｍｉｎｉｍｕｍ．Ａｎｄｕｓｅｔｈｉｓｗａｙｔｏｆｏｒｅｃａｓｔｔｈｅｗｅａｈｅｔｒ，ｔｈｒｏｕｇｈｔｈｅ

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

基于粒子群优化的ＢＰ神经网络
【摘要】人工神经网络的优化学习是其研究中的一个重要课题。

将粒子群优化算法用于BP神经网络的学习，将粒子优化算法的全局搜索和BP神经网的局部搜索相结合，并设计一网络实例加以训练，达到了比较满意的效果。

【关键词】粒子群优化算法BP神经网络BP算法BP网络(Back Propagation Network)是用途最为广泛的一类神经网络，具有很强的信息处理能力。

但是，由于BP算法的基本思想是最小二乘法，采用的是梯度搜索技术，难免存在收敛速度慢、局部极小等问题。

粒子群优化算法(Particle Swarm Optimaziton，简称PSO )是由Kennedy J和Eberhart R C于1995年提出的一种优化算法，源于对鸟群和鱼群群体运动行为的研究。

由于其容易理解，易于实现，不要求目标函数和约束条件是可微的，并能以较大概率求得全局最优解，目前已在许多优化问题中得到成功应用。

由于它具有并行计算的特点，而且可以提高计算速度。

因此，可以用粒子群优化算法来优化BP网络。

一、BP神经网络及其算法
BP网络是一种具有三层或三层以上的单向传播的多层前馈网络，其拓扑结构如图1。

图1 拓扑结构图
BP算法的执行步骤如下：
(1)对各层权系数置一个较小Wij的非零随机数。

(2)输入一个样本X=(X1，X2，…，x n)，以及对应期望输出) Y=(y1，y2，…，yn)。

(3)计算各层的输出。

对于第k 层第i个神经元的输出有：Uki=∑WijXk-1i，Xki=f(Uki)(一般为sigmoid 函数，即f(x)=1/(1-epx(-x))。

(4)求各层的学习误差dki。

对于输出层，有，k=m，dmi=Xmi(1-Xmi)(Xmi-Ymi)。

对于其他各层，有dxi=Xki(1-Xki)∑Wijdk+1i。

(5)修正权系数Wij。

Wij (t+1)=Wij-η•dki•Xk-1j。

(6)当求出各层权系数之后，可判别是否满足要求。

如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。

二、粒子群优化算法
粒子群优化算法与其它进化算法相类似，也采用“群体”与“进化”的概念，所不同的是，粒子群算法不像其它进化算法那样对于个体使用进化算子，而是将每个个体看作是在维搜索空间中的一个没有质量和体积的粒子，并在搜索空间中以一定的速度飞行，每个粒子的飞行速度由其本身的飞行经验和群体的飞行经验调整。

假设在一个n维的目标搜索空间中，有个粒子组成一个群落，其中第i个粒子在n维搜索空间中的位置表示为一个n维向量，每个粒子的位置代表一个潜在
的解。

设xi=(xi1，xi2，…xin)为粒子的当前位置；为粒子i当前飞行的速度；pi=(pi1，pi2，…pin)为粒子所经历的最好位置，也就是粒子所经历过的具有最好适应值的位置，称为个体最优位置；pg=(pg1，pg2，…pgn)为整个粒子群迄
今为止搜索到的最优位置，称为全局最优位置。

将带入目标函数就可以计算出其适应值，根据适应值的大小衡量的优劣。

每个粒子的位置和速度按下述2个公式进行迭代。

(1)vij(t+1)=wvij(t)+c1r1j(t)(pij(t)-xij(t))+c2r2j(t)(pgj(t)-xij(t))
(2)xij(t+1)=xij(t)+vij(t+1)
其中，下标j表示粒子的第j维(j=1，2，…，n)表示第i个粒子(i=1，2，…，n)t表示第t代，c1 、c2 为加速度常数，通常在0～2间取值，c1调节粒子向自身最优位置飞行的步长，c2调节粒子向全局最优位置飞行的步长。

r1j～U(0，1)，r(2j)(0，1)为两个相互独立的随机函数。

为了减小在进化过程中粒子离开搜索空间的可能性，通常限定于一定范围内，即vij∈[-vmax；vmax]。

如果问题的搜索空间限定在[-xmax，xmax]内，则可设定。

迭代中若粒子的位置和速度超出了对其限定的范围，则取边界值。

代表第个粒子目前位置到其迄今为止搜索到的最优位置的距离，pgj(t)-xij(t)代表第个粒子目前位置到整个粒子群迄今为止搜索到的最优位置的距离。

公式(1)用于计算粒子的速度，如当前是t时刻，则粒子在t+1时刻速度是由当前时刻的速度、当前位置与该粒子的局部最优位置的距离、当前位置与全局最优位置的距离共同决定的；公式(2)用于计算粒子速度更新后的位置，它由粒子当前位置和粒子更新后的速度决定。

所有粒子的初始位置和速度随机产生，然后根据上述2个公式进行迭代，不断变化它们的速度和位置，直到找到满意解或达到最大的迭代次数为止(粒子的位置即是要寻找的解)。

三、优化实例
相比BP算法具有较强的信息处理能力，但是它的收敛速度很慢，又难以避免的存在局部极小问题，而且BP网络结构的确定也缺乏有效的方法。

粒子群算法计算简单，它根据目标函数计算适值，对问题依赖性小；多点并行操作，有效的防止搜索过程收敛于局部最优解；概率决定寻优规则，采用高效启发式搜索，而非盲目或随机的搜索；具有并行计算的特点，可通过大规模并行计算提高计算速度，但是，从粒度计算角度来讲，粒子群算法属于粗粒度计算(尽管可细粒度实现)，是一种全局搜索优化，要得到精确解存有困难，有必要采用某种局部搜索方法弥补此不足，因此，我们决定用粒子群算法来优化BP神经网络，使粒子群算法和BP算法互为补偿。

可以采用优化神经网络的结构、算法和权值等，本例采用优化权值的方式来训练一个1-4-1的BP神经网络，使其逼近正弦函数。

利用matlab6.5进行编程。

算法流程见图2。

参数设置如下：这个实例取学习因子c1=1.5，c2=2.5，惯性权重ω=1.4，ω将随着迭代次数的增加而逐渐减小，当ω小于0.4时，将令ω=0.4，即不再减小，以保证迭代后期粒子能够在一定空间探索更好的解。

本分别用标准粒子群优化算法做2次实验，它们的群体规模都是：50和100，其他参数不变，网络训练50个单位时间，训练目标为误差小于0.008，其他参数采用默认值。

训练完毕得到网络的训练情况：(1)Fpoch 200/561，MSE 0.006 978 29/0.009，Gradient 0.046 123 4/1e-006(优化网络)。

(2)Fpoch 561/561，MSE 0.026 228 2/0.008，Gradient 0.146 69 /1e-006(标准网络)。

由图3可看出，粒子群优化的神经网在191个单位时间时由于目标误差达到，停止训练，而BP神经网在500个单位时间时误差为0.02222242，远没有达到目标误差0.008。

粒子群优化的神经网效果明显好于标准BP神经网络。

单纯用粒子群算法或BP算法训练神经网络，都存在某些不足。

本文将二者有机的结合，使其互为补偿，取得了很好的训练效果。

参考文献：
[1] 张颖，刘艳秋.V 软计算方法V[M]. 北京：科学出版社，2002.
[2]罗四维.V 遗传算法神经网络的学习算法[J]. 北方交通大学学报.
[3]徐宗本，张讲社，郑亚林.V 计算智能中的仿生学V 理论与算法[M].北京：科学出版社，2003.
注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。