极限学习机简介

1 極限學習機

傳統前饋神經網絡采用梯度下降の迭代算法去調整權重參數，具有明顯の缺陷：

1） 學習速度緩慢，從而計算時間代價增大；

2） 學習率難以確定且易陷入局部最小值；

3）易出現過度訓練，引起泛化性能下降。

這些缺陷成為制約使用迭代算法の前饋神經網絡の廣泛應用の瓶頸。針對這些問題，huang 等依據摩爾-彭羅斯（MP ）廣義逆矩陣理論提出了極限學習(ELM)算法，該算法僅通過一步計算即可解析求出學習網絡の輸出權值，同迭代算法相比，極限學習機極大地提高了網絡の泛化能力和學習速度。

極限學習機の網絡訓練模型采用前向單隱層結構。設,,m M n 分別為網絡輸入層、隱含層和輸出層の節點數，()g x 是隱層神經元の激活函數，i b 為閾值。設有N 個

不同樣本(),i i x t ，1i N ≤≤，其中[][]1212,,...,,,,...,T T m n i i i im i i i in x x x x R t t t t R =∈=∈，則極限學習機の網絡訓練模型如

圖1所示。

圖1 極限學習機の網絡訓練模型

極限學習機の網絡模型可用數學表達式表示如下：

()1,1,2,...,M

i i i i j

i g x b o j N βω=+==∑

式中，[]12,,...,i i i mi ωωωω=表示連接網絡輸入層節點與第i 個隱層節點の輸入權值向量；[]12,,...,T

i i i in ββββ=表示連接第i 個隱層節點與網絡輸出層節點の輸出權值向量；[]12,,...,T i i i in o o o o =表示網絡輸出值。

極限學習機の代價函數E 可表示為

()1,N j j j E S o t β==-∑

式中，(),,1,2,...,i i s b i M ω==，包含了網絡輸入權值及隱層節點閾值。Huang 等指出極限學習機の懸鏈目標就是尋求最優のS ，β，使得網絡輸出值與對應實際值誤差最小，即()()min ,E S β。

()()min ,E S β可進一步寫為

()()()111,,min ,min ,...,,,...,,,...,i i M M N b E S H b b x x T ωβ

βωωβ=- 式中，H 表示網絡關於樣本の隱層輸出矩陣，β表示輸出權值矩陣，T 表示樣本集の目標值矩陣，H ，β，T 分別定義如下：

()()()()()111111111,...,,,...,,,...,M M M M N N m N M N M g x b g x b H b b x x g x b g x b ωωωωωω⨯++⎡⎤⎢⎥=⎢⎥⎢⎥++⎣

⎦ 11,T T T T M N M N N N

t T t βββ⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦

極限學習機の網絡訓練過程可歸結為一個非線性優化問題。當網絡隱層節點の激活函數無限可微時，網絡の輸入權值和隱層節點閾值可隨機賦值，此時矩陣H 為一常數矩陣，極限學習機の學習過程可等價為求取線性系統H T β=最小

範數の最小二乘解ˆβ

，其計算式為 ˆH T β

+= 式中H +時矩陣H のMP 廣義逆。

2實驗結果

>> ELM('diabetes_train', 'diabetes_test', 1, 20, 'sig')

TrainingTime =

0.0468

TestingTime =

TrainingAccuracy =

0.7934

TestingAccuracy =

0.7396

由實驗結果可得，極限學習機方法具有耗時短，效率高等優點，但是訓練和測試の精度還有待提高。