matlab课程论文要求

matlab课程论文要求

一、时间安排

（一）2015年7月13日之前必须提交纸质版。

（二）电子版统一写清楚学号+姓名发送给学委。打包文件夹发送给我。

二、选题

（一）选题要紧密结合本学科专业的教学科研和MATLAB，符合专业培养目标的要求。

（二）论文一般为一人一题，严格控制与往年的重复率。

三、成绩评定

平时成绩（0.3）＋课程论文（0.7）=最终成绩。

四、论文写作规范要求

（一）封面：封面要使用统一格式。

（二）目录：“目录”两字黑体小二号、居中，“目录”两字间空四格、与正文空一行。各部分名为宋体小四号字，各小部分名间有缩进。

（三）题目：题目要对论文的内容有高度的概括性，简明、易读，字数应在20个字以内，论文题目用黑体三号字。

（四）署名：论文署名的顺序为：专业学号学生姓名指导老师姓名，用宋体小四号字。可用以下表示：

专业：XXXXX 学号：XXXXX 学生姓名：XXXXX 指导老师姓名：XXXX （五）内容摘要：中文内容摘应简要说明所研究的内容、目的、实验方法、主要成果和特色，一般为200－300字，用宋体小四号字，其中“内容摘要”四个字加粗。

（六）关键词：一般为3－6个，用分号隔开，用宋体小四号字，其中“关键词”三个字加粗。

（七）正文：正文要符合一般学术论文的写作规范，统一用宋体小四号字，行距为1.5倍。字数一般要求为不得少于5000字。

内容要理论联系实际，涉及到他人的观点、统计数据或计算公式的要注明出处（引注），涉及计算内容的数据要求准确。标题序号从大到小的顺序为：“1”

“1.1”“1.1.1”……。

（八）注释：论文中所引用文献按学术论文规范注明出处，注序要与文中提及的序号一致。注释方法参见参考文献顺序。

（九）参考文献：论文后要标注参考文献和附录，参考文献按照以下格式排列：

1．专著、论文集、学位论文、报告

[序号]主要责任者．文献题名[文献类型标识]．出版地：出版者，出版年．起止页码。

[1]刘国钧，陈绍业，王凤．图书馆目录[M]．北京：高等教育出版社，1957．10-12.

[2]辛希孟．信息技术与信息服务国际研讨会论文集：A集[C]．北京：中国社会科学出版社，1994．12-13.

[3] 查正军.《基于机器学习方法的视觉信息标注研究》.[D].北京.中国科技大学.2010年.32-35

2．期刊文章

[序号]主要责任者．文献题名[J]．刊名，年卷（期）：起止页码．

[1]何龄修．读顾城《南明史》[J]．中国史研究，1998（3）：12-13.

[2]金显贸，王昌长，王忠东等．一种用于在线检测局部放电的数字滤波技术 [J]．清华大学学报（自然科学版），1993（4）:12-13.

3．电子文献

[序号]主要责任者．电子文献题名[电子文献及载体类型标识] ．电子文献的出处或可获得地址，发表或更新日期／引用日期（任选）．

[1]王明亮.关于中国学术期刊标准化数据库系统工程的进展[EB/OL]. https://www.360docs.net/doc/f83361037.html,/pub/wml.txt/980810-2.html,1998-08-16/1998-10-04.

[2]万锦坤.中国大学学报论文文摘（1983-1993）.英文版[DB/CD].北京:中国大百科全书出版社，1996.

（十）图表、附注、公式：图表、附注、公式一律采用阿拉伯数字连续编号。图序及图名置于图的下方；表序及表名置于表的上方；用宋体五号字。论文中的

公式编号，用圆括弧括起写在右边行末，其间不加虚线。

MATLAB课程论文（设计）

( 届)

论文（设计）题目:

学院：数学与统计学院

专业：

学号：

姓名：

分数：

目录

1 引言 (5)

1.1信赖域算法 (5)

1.2三次自适应算法 (6)

1.3非单调线性搜索 (7)

2 加权平均的非单调三次自适应算法 (8)

3 加权平均的非单调三次自适应算法收敛 (9)

参考文献 (16)

一种加权平均的非单调三次自适应算法

专业：XXXXXX 学号：XXXXXX 学生姓名：XXXX 指导老师：XXXX

摘要 这篇文章提出了一种非单调三次自适应算法. 不同于传统的三次自适应算法

,

本

文

算

法

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 下降量引入了函数加权平均值, 即表达式为()k k k C f x s -+. 在适当条件下，证明算法的全局收敛性.

关键词 无约束优化问题； 三次模型； 非单调自适应； 全局收敛性

1 引言

本文考虑无约束优化问题：

min (),n f x x R ∈, （1.1） 其中()f x ：n R R →是二次连续可微函数.

1.1 信赖域算法

解此问题一般都采用二次模型逼近()f x , 信赖域算法和线性搜索是解决无约束优化问题两种最常用的方法. 信赖域方法是一类较新的方法, 对它的研究开始于 Powell 1970 年的工作, 他提出了一个求解无约束优化问题的算法, 该算法的基本思想是通过求解近似的二次函数在信赖域中的极小点的方法来求最优化问题的解, 即：对于当前的迭代点k x , 给定一个信赖域半径0k ?>, 然后在以k x 为中心k ?为半径的小邻域内, 构造一个逼近目标函数的模型

1min ()2

n T

T k k k s R q s g s s B s ∈=+, ..s t s ≤?.

这个模型称为信赖域子问题, 求解子问题得到试探步k s , 然后利用某一评价函

数即目标函数的实际下降量与预测下降量的比值

()()

(0)()

k k k k k k k f x f x s r q q s -+=

-

来决定是否接受该试探步以及确定下一次迭代的信赖域半径, 如果试探步被接受, 则1k k k x x d +=+, 否则1k k x x +≈; 信赖域半径的大小通过迭代逐步调节, 粗略地说, 如果当前迭代模型较好地逼近原问题, 则信赖域半径可扩大, 否则将缩小. 下面将给出信赖域算法的基本步骤. 信赖域算法： 步1：取初始点(0)

n

x

R ∈, 01

0,(0,),[0,)4

η--

?>?∈?∈,精度0ε>. 令0k =.

步2：若()()k f x ε?≤, 则算法终止.得到问题的解()k x . 否则转步2. 步3：由信赖域子问题()k q s 计算比值k r

若{}

3

,min 24

k+1k 则令=，k r ->???.

若11

,42

k+1k 则令=k r η<

若13

,44

k+1k 则令=k r ≤

步4：若k r η≤, 令(1)()k k x x +=, 1k k =+, 转步2.

否则令(1)()()k k k x x s +=+, 1k k =+.

1.2 三次自适应算法

该算法用三次模型作为目标函数的近似. :n f R R →是无约束优化问题的一个连续可微函数, 找到f 的一个局部极小值, 则k x 是当前最好的估计. 假设目标函数的Hessian 矩阵在n R 是全局Lipschitz 连续的. 得到

101()()()()(1)[()()]2

T

T

T k k k k k k f x s f x s g x s H x s s H x s H x sd τττ+=+++-+-?

3211()()()()26

T T C

k k k k

f x s

g x s H x s L s m s ≤+++=, 其中n s R ∈,

定义()()x g x f x =?, ()()xx H x f x =?. 只要

()(0)()C c

k k k k m s m f x <=. （1.2）, 新的迭代点1k k k x x s +=+使得函数()f x 下降. 通过()C k m s 的极小值找到步长k s .

文献[1]中的作者整合这些知识得到一个渐进的, 有效的数值算法框架. 在较弱的假设条件下, 可以证明这种算法是全局收敛和渐进收敛的. 首先, 降低要求去求一个全局的最小值, 然而一个局部的极小值是满足目标函数的复杂条

件的. 然后, 用一个动态的正参数k σ代替（1.1）中的Lipschitz 常量1

2

L , 不

再要求()H x 是全局的, 甚至是局部的Lipschitz 连续. 最后用一个对称近似矩阵k B 代替在近似函数的每一次迭代中的Hessian 矩阵. 这就得到

3

11()()()23

T T k k k k k m s f x s g x s B s s σ=+++. （1.3）

在算法的每一次迭代中, 用三次模型（近似函数）代替目标函数f .

1.3 非单调线性搜索

在20世纪80年代, Grippo 等人在牛顿算法提中出一种非单调线性搜索[6], 其中步长k s 满足下面的条件

0()max ()()k

T k k k k j k k k j m f x s d f x s f x d β-≤≤+≤+?,

其中(0,1)β∈, {}10min 1,k k m m M -≤≤+, M 是一个非负整数. 然而, Grippo 等人提出非单调技术还是有一定不足的地方. 为了克服这不足, Zhang 和Hager 提出的另外一种非单调线性搜索. 这种新的线性搜索用函数值的加权平均代替函数的最大值, 具体表达即

()()T k k k k k k k f x s d C s f x d β+≤+?.

其中 111(),

0(())/,1

k k k k k k k f x k C Q C f x Q k γ---?

=?=??+≥? （1.4）

11,

01,1

k K k Q Q k γ-?=?=?

+≥?? （1.5）

1min max [,]k γγγ-∈, min [0,1)γ∈和max min [,1]γγ∈, 其中min max ,γγ是两个选择参数.

从（1.4）和（1.5）, 知道k C 是由函数值01(),(),...,()k f x f x f x 组成的凸组合. 所以可知k C 是连续函数值的一个特殊加权平均. 在这个算法中, 函数值序列

{}k f 是非单调的, {}k C 序列是非增的.

本文将给出一类新的非单调自适应算法, 进一步丰富自适应算法的研究. 本文将三次算法和基于函数值加权平均的线性搜索方法结合起来. 这种算法跟三次算法的主要不同点是预测下降量. 在本文中, 实际下降量的表达式为

()k k k C f x s -+. 接下来, 本文将给出具体的算法步骤, 以及算法收敛性的证明.

2 加权平均的非单调三次自适应算法

先介绍一些本文出现的基本的符号. 范数指的是在n R 上的欧氏范数. 用k

f 表示()k f x , 用k

g 表示()k g x , 其中()n k g x R ∈是函数f 在k x 上的一阶梯度,

n n k B R ?∈是函数f 在k x 处的Hessian 矩阵或者其近似. 算法步骤如下：

步0：取初始点0x , 211a a ≥>, 2110b b >≥>和00σ>, 当0,1,...k =. 步1：算出一个步长k s , 使得

()()c k k k k m s m s ≤.

（2.1） 其中Cauchy 点c c

k k k s g α=-, arg c k α= min ()k k R

m g αα∈-.

（2.2） 步2：计算()k k f x s +, 并求实际下降量与预测下降量的比值

()

()()

k k k k k k k C f x s f x m s ρ-+=

-, （2.3）

其中 111(),

0(())/,1

k k k k k k k f x k C Q C f x Q k γ---?

=?=??+≥?,

11,

01,1

k K k Q Q k γ-?=?=?

+≥??. 步3：令 1

1,,如果其他k k k k k x s b x x ρ+?

+>????. （2.4）

步4：校正1k σ+, 2111212[0,],[,],[,],如果(非常成功)

如果(成功)

其他(不成功)k k k k k k k k

b a b b a a σρσσσρσσ+?>??

∈≤≤??

?? . （2.5） 给出函数f 的一个临界估计值k x , 求出一个满足条件（2.1）的步长k s . 求出近似函数（1.3）的一个近似最小值作为步长k s , k B 是目标函数f 的Hessian 矩阵的近似. 其中比值k ρ从某种角度反映了三次函数()k k m s 与目标函数

()k k f x s +的近似程度. 若k ρ接近于1, 则认为三次函数()k k m s 与目标函数()k k f x s +的近似程度很好. 反之, 若k ρ离1较远, 可认为()k k m s 在定义域上与目标函数()k k f x s +的近似程度不好. 所以, 可用k ρ与1的近似程度作为1k σ+是否合适的准则.

常数12,(0,1)b b ∈满足2110b b >≥>. 若2k b ρ>, 我们可认为()k k m s 在定义域中是f 的一个很好的近似, 或者说得到一个非常成功的迭代点1k x +=k k x s +. 此时, k m 有可能在更小的区域内也是f 的一个很好的近似, 因此, 我们可令

1k k σσ+<. 若12k b b ρ≤≤, 即k m 是f 的一个好的近似, 或者说得到一个好的迭

代点1k x +=k k x s +. 此时可以增大k σ, 令1k k σσ+>（为了在下一次迭代中得到一个更成功的点）. 若b ρ≤, 即k m 在定义域中跟f 的近似程度不好, 或者说1k x +是一个不成功的迭代点; 说明k σ太小, 此时需要增大k σ, 即令11k k a σσ+>. 在上面的基础上, 我们给出算法收敛性的证明.

3 加权平均的非单调三次自适应算法收敛

在这部分, 将证明算法的全局收敛, 在证明之前, 先给出下列的一些假设. 假设1 集合{}0|()n A x R f x f =∈≤是有界的.

假设2 ()f x 的一阶梯度函数()g x 在集合A 上是Lipschitz 连续的. 假设3 对称矩阵k B 是一致有界的,即,0,0k B B B k κκ≤≥≥.

为了简单起见, 我们定义两个集合：

{}1:k I k b ρ=≥和{}1:k J k b ρ=<.

引理3.1 假设步长k s 满足式子（2.1）. 当0k ≥时, 则有

()()k k k f x m s -

()()c

k k k f x m s ≥-

2

k

k g B ≥

+

1k k g B +. （3.1）

证明 由（1.2）()()c

k k k k m s m s ≤, 可得到

()()()()c

k k k k k k f x m s f x m s -≥-.

对任意0α≥, 由Cauchy-Schwarz 不等式得到

()()()()c k k k k k k m s f x m g f x α-≤--

2

3231123T

k

k k k k g g B g g ααα=-++ {}2

211123

k k k k g B g ααασ≤-++. （3.2）

要使()()c

k k m s f x ≤成立,

即要求2111023

k k k B g αασ-++≤和0α≥成立,

所以有

_[0,],k αα∈

其中_

3122k

k

k B g ασ?=

-?? .

将分子有理化, 可以把_

α化成下面的形式

1

_

122

k B α-?=??. 令

1

k k B θ-?=+? （3.3）

112max(22k k B B ≤

,k B ≤+, 和

1

,2

k k B B ≤+ 所以得到_

0k k θα<≤. 用k θ代入（3.2）中的不等式, 得到

()()c

k k k m s f x -≤

2111023k k k k k B g θθσ??

?-++≤ ???

. （3.4）

从（3.3）k θ的定义中知道, 1k k B θ≤和21k k k g θσ≤, 所以（3.4）中括

号里的表达式的上界是1

6

-. 可知引理3.1成立.

引理3.2 当{}k x 是由算法产生. 则对所有k , 有下面的不等式成立

11k k k f C C ++≤≤ . （3.5） 证明 首先证明当k I ∈时, （3.5）式成立. 即对任意k I ∈有

11k k k f C C ++≤≤.

（3.6） 对k I ∈, 由1k b ρ≥, （2.3）和（3.1）得到

11k k k k g f C B +≤-

+. （3.7）

又由（1.4）, （1.5）和（3.7）得到

1

11

k k k k k k Q C f C Q γ++++=

1

k+≤

1

k

k

k

g

C

B

=

+

. （3.8）

从（1.4）和（1.5）知, 如果0

k

γ≠则有

11

1

k k

k k

k k

f C

C C

Q

γ

++

+

-

-=. （3.9）

如果0

k

γ=, 则有

11

k k

C f

++

=. （3.10）

由（3.8）—（3.10）, 可知（3.6）成立.

接下来, 我们证明当k J

∈时, （3.5）成立. 由算法步3中的（2.4）对k J

∈,

我们得

1

k k

x x

+

=和

1

k k

f f

+

=. 我们先证明

11

k k

f C

++

≤, 先考虑两种情形：情形1：1

k I

-∈. 由（3.6）得到

k k

f C

≤. 又由（1.4）, （1.5）和

1

k k

f f

+

=

得到1

1

1

k k k k

k

k

Q f f

C

Q

γ

+

+

+

+

≥

11

1

k k k k

k

Q f f

Q

γ

++

+

+

=

1

k

f

+

=. （3.11）情形2：1

k J

-∈. 在这种情况下, 令{}

|1,

K i i k k i I

=<≤-∈. 如果K=?,

由算法的步3可知

01

,0,1,...,1

k j k

f f f j k

-+

===-. 因此, 由（1.4）, （1.5）得

到

11

k k k

C C f

++

==. （3.12）又假设K≠?. 令{}

min:

m i i K

=∈. 则有

1

,0,1,...,1

k j k k

f f f j m

-+

===- . （3.13）

从（1.4）得到

111,1k k k k k k Q C Q C f k γ--+=+≥. （3.14） 再次运用（1.4）得到

1

2111110

00

j

m m k k k k k k m k m k i k j k i j i Q C f Q C f f γγγ--+--+-+--+===+=∏+∑∏+. （3.15）

通过K 和m 的定义, 知k m I -∈, 从（3. 6）得到11k m k m C f -+-+≥. 从（3.13）和（3.15）, 又

12111110

00

j

m m k k k k k k m k m k i k j k i j i Q C f Q f f f γγγ--+--+-+--+===+≥∏+∑∏+

12110

00

(1)j

m m k i k m k i k i j i Q f γγ----+-+====∏+∑∏+

11k k Q f ++=. （3.16） 因此, 由（1.4）和（3.16）得到

1

11

k k k k k k Q C f C Q γ++++=

11

1

k k k Q f Q +++≥

1k f += . （3.17） 由（3.11）,（3.12）和（3.17）, 对任意k J ∈可以得到

11k k f C ++≤. （3.18） 如果0k γ≠, 从（3.9）和（3.18）得到11k k k f C C ++≤≤. 如果0k γ=, 由（1.4）, （1.5）和k J ∈, 11k k k C f f ++==. 结合1k J -∈和（3.18）, 可以得到k k f C ≤. 所以对于任意k J ∈, 11k k k f C C ++≤≤成立.

引理3.3 根据假设1, 可知由算法求出的{}k x 序列包含于集合A 中. 引理3.4 如果假设2和假设3成立, {}k x 序列是由算法产生; 并且假设 k g δ≥ （3.19） 对任意k 成立, 其中(0,1)δ∈的一个常数. 则对所有的k , 存在一个正的整数m 使得1k m x ++是一个成功的迭代点.

证明 假设存在一个整数k , 使得对任意的m , 1k m x ++是一个不成功的迭代点, 即

1k m b ρ+<, 0,1,2,...m = （3.20） 由算法的步3、步4得到

1k m k x x ++=, 0,1,2,...m = （3.21）

0→, 当m 充分大时, 由假设2, （3.21

）和k s ≤,

()()(()())k k k m k k k m f x f x s f x m s ++-+--

()101[()]2

T T

k m k m k m k k m k k m s B s g x ts g x s dt +++++=-+-?

()k

k m

k

g O B o σ+≤+. （3.22）

对充分大的m , 由（3.1）, （3.19）, （3.21）和（3.22

）得到

()()

1()()k k k m k k k m f x f x s f x m s ++-+-≤

-又因为假设3和上面所述得到 ()()

lim

1()()

k k k m m k k k m f x f x s f x m s +→∞

+-+=-. （3.23）

综上所述, 从（2.3）, （3.5）和（3.21）得到

()

()()

k m k k m k m k k k m C f x s f x m s ρ++++-+=

-

()()

()()

k k k m k k k m f x f x s f x m s ++-+≥

-. （3.24）

所以, 当m 充分大时, 1(0,1)b ∈, 由（3.23）和（3.24）得到

1k m b ρ+≥.

这与（3.20）是矛盾, 所以引理是成立的.

定理3.5 如果假设1, 假设2, 假设3成立, {}k x 序列是由算法求得, 则有

lim inf 0k k g →∞

=. （3.25）

证明 假设（3.25）不成立, 设存在一个常数(0,1)α∈, 使得对任意k 有

k g ε≥.

（3.26） 由（3.26）可以知道

k I

∞

∈∑

<∞. （3.27）

又知道由（2.3）, （2.4）, （3.1）假设假设3和（3.26）得到

1()k k C f x +- 1[()()]k k k b f x m s ≥-

1B εκ≥

+. （3.28）

又{}k C 是非增的序列. 通过假设1, 引理3. 3和函数f 的连续知道{}()k f x 是有下界的, 所以{}k C 是收敛的. 所以得到（3.28

）不等式右边的最小值是

并且（3.28）不等式左边收敛到0. 所以当k I ∈,k 充分大时得到

1()k k C f x +-≥

概括所有充分大的迭代点得到

00011,,()[()]j

j

k j k k k k k I k k I

C f x C f x ++=∈=∈-=∑-≥

∑, （3.29）

其中一些迭代下标0k 充分大, 0,j I j k ∈≥. 所以当（3.29）中j →∞时,

{}1

()j f x +是收敛的.

接下来我们证明迭代序列{}k x , 0k ≥是Cauchy 序列. 由（3.27）知, 当

,k k I →∞∈时有

→. (3.30)

又

k

s k S

≤∈, S是一个无穷大的集合, 则算法的解{}k x有下面的关系,当0,0

l r

≥≥, l充分大有

11

1

,

l r l r

l r l k k k

k l k l k I

x x x x s

+-+-

++

==∈

-≤∑-=∑

1

,

3

l r

k l k I

+-

=∈

≤∑

由式（3.27）知, 当l→∞时上面不等式右边趋于. 所以{}k x是一个Cauchy 序列, 且对*n

x R

∈有,

*

k

x x

→, k→∞. （3.31）由（3.26）, （3. 30）, （3.31）知道S I

=. 又集合I的定义, 我们知道

k I

∈是成功的, 即当k充分大的时没有不成功的迭代点, 又因为[1]

1

k k

σσ

+

≤,

{}

k

σ, 0

k≥, 是有上界的. 这与（3.26）和（3.30）的

k

σ→∞是矛盾的, 所以（3.26）不成立. 所以定理3.1是成立的.

参考文献

[1]Coralia Cartis, Nicholas I.M.Gould, Philippe L.Toint. A daptive cubic regularization methods[J]. Math Program, 2011(127):245-258.

[2] Jiangtao Mo, Chunyan Liu, ShicuiYan. A nonmonotone trust region method based

on nonincreasing technique of weighted average of the successive function values[J]. Journal of Computational and Applied Mathematics,2007(209):97-108. [3]陈俊,张纯. 两种非单调信赖域算法的数值比较研究[J]. 南京晓庄学院学报,

2011(6). 18-22.

[4]李董辉,童小娇,万中. 数值最优化算法与理论（第二版）[M]. 北京：科学出版社, 2010. 92-100.

[5] H.C.Zhang, W.Y.Hager. A nonmonotone line search technique and its application to

unconstrained optimization[J]. SIAM,2004(14):1043-1056.

[6]L.Grippo, https://www.360docs.net/doc/f83361037.html,mpariello, S.Lucidi. A nonmonotone line search technique for Newton’s method[J]. SIAM,1986(23):707-716.

[7]Y.H.Dai. A nonmonotone conjugate gradient algorithm for unconstrained optimization[J]. J.Systems https://www.360docs.net/doc/f83361037.html,plex, 2002(15):139-145.

[8]J.L.Zhang, X.S..Zhang. A nonmonotone adaptive trust region method and its convergence[J]. Comput Math Appl, 2003 (45):1469-1477.

[9]Nesterov Yu. Accelerating the cubic regularization of Newton’s method on convex problems[J]. Math Program, 2008(112):159-181.

[10]Weiser M, Deuflhard P Erdmann. Affine conjugate adaptive Newton methods for

nonlinear elastomechanics[J]. Optim Methods Softw, 2007(22):413-417.