作业四参考答案

视听信息系统原理2017年秋季学期

第四次作业(占总成绩5分)

内容

1.x为二维非负向量，证明双曲集合{x∈R+2|x1x2≥1}是凸集合

2.已知R m+n上的两个凸集合S1和S2，证明它们的部分和集合S也是凸集合：

S={(x,y1+y2)|x∈R m,y1,y2∈R n,(x,y1)∈S1,(x,y2)∈S2}

3.连续函数f:R n→R，证明f为凸函数当且仅当对任意x,y∈R n，下式成立：

∫f(x+λ(y?x))dλ≤f(x)+f(y)

2

1 0

提交要求

4.用牛顿法求解无约束优化问题，目标函数f(x)=log?(e x+e?x)，分别以初值

x(0)=1和x(0)=1.1，写出前五步迭代过程，令迭代步长t=1.

x(0)=1

x(0)=1.1

5.证明牛顿递减量λ(x)满足下面的等式：

f(x)?inf{f?(x+v)|A(x+v)=b}=λ(x)2/2

6.总变分(total variation)是信号处理领域一种经典的去除噪声的方法。假设输

入的被噪声污染的信号用列向量表示为x?∈R n，用x?i表示x?的第i个元素。则去噪之后的信号x∈R n通过下面的无约束优化问题求得，其中?>0,μ>0是两个常数。

minimize?f(x)=‖x?x?‖22+μ∑(√?2+(x i+1?x i)2??)

n?1

i=1

(1)若采用梯度下降法求解该问题，写出下降方向?x的数学表达式（明确给

出?x每个元素的表达形式）；

(2)若采用牛顿法求解该问题，写出计算下降方向?x的线性方程组的数学表

达式（明确给出系数矩阵每个元素的表达形式）；

(3)分析求解问题(1)中的线性方程组的时间复杂度。

(1)梯度下降法中?x=??f(x)

ef ex i =2(x i?x?i)+μ

x?x

2(i+1i)2

+μ

x?x

2(i i?1)2

??????1

ef ex1=2(x1?x?1)+μ

x?x

2(21)2

ef ex n =2(x n?x?n)+μ

x?x

√?2+(x n?x n?1)2

(2)牛顿法求解下降方向的线性方程组为?2f(x)?x=??f(x)

海森矩阵?2f(x)首行：

第一个元素：2+μ?2(?2+(x2?x1)2)?3/2

第二个元素：?μ?2(?2+(x2?x1)2)?3/2

其他元素均为0

海森矩阵?2f(x)中间第i(1

第i?1个元素：?μ?2(?2+(x i?x i?1)2)?3/2

第i个元素：2+μ?2(?2+(x i+1?x i)2)?3/2+μ?2(?2+(x i?x i?1)2)?3/2

第i+1个元素：?μ?2(?2+(x i+1?x i)2)?3/2

其他元素均为０

海森矩阵?2f(x)末行：

第n?1个元素：?μ?2(?2+(x n?x n?1)2)?3/2

第n个元素：2+μ?2(?2+(x n?x n?1)2)?3/2

其他元素均为０

(3)该问题中的海森矩阵是带状矩阵，具有下面的结构

[a1,1a1,20

a2,1a2,2a2,3 0a3,2a3,3

000

000

a3,400

(00)

(00)

(00)

00a4,3a4,4a4,50 (00)

]

即便采用直接的高斯消去，其复杂度也仅有O(3n)。