粒子群优化与神经网络的结合

∑w
i =1
nI
hi
* o pi
Feedforward學習過程 學習過程
隱藏層： o ph = f (net ph ), h = 1,2,.., nH ,
net ph = ∑ whi * o pi + θ h
i =1 nI
輸入層 隱藏層
o ph = f (net ph )
輸出值 誤差值
輸出值 誤差值
Particle Swarm Optimization -Neural Networks (PSO-NN)
粒子群尋優法結合類 神經網路
簡介
起源
生物社會學家對鳥群捕食的行為研究。
原理
我們可以設想這樣的一個場景，一群鳥再隨機搜 尋食物。這個區域裡只有一塊食物。所有的鳥都 不知道食物再哪裡，但他們知道目前距離食物還 有多遠，那麼找到食物的最佳策略是什麼？最簡 單的方法就是找尋距離食物最近的鳥 距離食物最近的鳥之周圍區域 距離食物最近的鳥 及根據自己本身飛行的經驗 飛行的經驗判斷食物的所在。 飛行的經驗
輸出值 誤差值 輸出層
其中，oph為第h個隱藏層節點輸出，netph 為第h個隱藏層節點淨輸入值，而θh為第h 個隱藏層節點的偏權值，whi是第h個隱藏 層節點對第i個輸入層節點的鏈結權重值， f(netph) 為網路之激發函數。
o pk = f (net pk )
Feedforward學習過程 * o 學習過程 ∑w
(7) (8) (9) (10)
vx[][] = vx[][] + rand ()* p _ increment *(pbestx[][]- presentx[][]) (11) vx[][] = vx[][] + 2* rand ()*( pbestx[][]- presentx[][]) + 2* rand ()*( pbestx[][ gbest ]- presentx[][]) (12)
Evaluate the fitness value and devised Pbest, Gbest
Terminate condition achieved
No
log-sigmoid layer
log-sigmoid layer 3-layers feed forward Neural Network
演算法流程
1. 2. 3. 4. 5.
6.
Initial：
將群族做初始化，以隨機的方式求出每一Particle 之初始位置與速度。
Evaluation：
依據fitness function 計算出其fitness value 以作為判斷每一 Particle之好壞。
Fine the Pbest：
找出每一Particle 到目前為止的搜尋過程中最佳解，這個最佳解我們 將之稱為Pbest。
Q＆A ＆
Algorithm PSO (m, MAXITER, R1, R2) m : number of sample points(particle) MAXITER: maximum number of iterations C1, C2: learning constant R1, R2: velocity random parameter, R1, R2 ∈ [0,1] 1. Initialize ( ) 2. Iteration ← 1 3. While (iteration< MAXITER) do 4. 5. Evaluate ( ) Updating velocities and positions ( R1, R2, C1, C2)
6. 7.
Move() Iteration ← iteration +1
8. end while
輸入層 用以表現網路的輸入變數，沒有計算能力，其輸 入變數的個數視處理問題的狀況而定 隱藏層 用以處理輸入單元送來的資料，使用線性轉換函 數。 輸出層 當網路在訓練時，此輸出為一訓值，將訓練值和 實際值的誤差回饋互連接權值(Connect Weight)， 以調整權值至最佳狀態，直至網路收斂為止。
∂E ∆wkh = −η = η * δ k * o ph ∂wkh
δk定義為：
δ k = o pk * (1 − o pk ) * ( d pk − o pk )
坡度遞降法(Gradient Decent Method)
相同的，從隱藏層到輸入層，將成本函 數對此層的連結權重值的偏微分為：
∂E ∆whi = −η = η * δ h * o pi ∂whi
簡介
Particle Swarm Optimization (PSO)為 James Kennedy 於19957 所提出。
Eval = ( presentx − 100) + ( presenty − 100)
(1)
if presentx[] > pbestx[] then vx[] = vx[] − rand ()* p _ increment if presentx[] < pbestx[] then vx[] = vx[] + rand ()* p _ increment if presenty[] > pbesty[] then vy[] = vy[] − rand ()* p _ increment if presenty[] < pbesty[] then vy[] = vy[] + rand ()* p _ increment
Feedforward學習過程 學習過程
輸入層：
o pi = x pi ,
i = 1,2,..., nI
其中， xpi為訓練範例p(pth pattern)第i個 輸入層節點。 opi為第i個輸入層神經元的 輸出。 o pi = x pi
輸出值
誤差值
輸出值 誤差值
輸出值 誤差值 輸入層 隱藏層 輸出層
(2) (3) (4) (5)
if presentx[] > pbestx[ gbest ] then vx[] = vx[] − rand ()* p _ increment if presentx[] < pbestx[ gbest ] then vx[] = vx[] + rand ()* p _ increment if presenty[] > pbesty[ gbest ] then vy[] = vy[] − rand ()* p _ increment if presenty[] < pbesty[ gbest ] then vy[] = vy[] + rand ()* p _ increment
而
δ h = o ph * (1 − o ph ) * ∑ wkhδ k
k
坡度遞降法(Gradient Decent Method)
在得到節點與節點之間的權重值的修正 量後，便可帶入修正公式
− ∂E (t ) w(t ) = −η ( ) + βw(t − 1) ∂w
其中，i、h和k為輸入層、隱藏層、輸出層節 點數，η為學習速率（Learning rate）表示控 制每次以坡度遞降法最小化誤差函數的調幅， β為動量係數（Momentum coefficient），而t 為網路訓練過程的訓練次數（epoch、 iteration）。
坡度遞降法(Gradient Decent Method)
為了要降低成本函數E可經由節點與節 點之間的連結權重值調整來達成，即：
E (W + ∆W ) < E (W )
其中， ∆ W為節點與節點之間的連結權 重值修正量。
坡度遞降法(Gradient Decent Method)
故對成本函數作二個結點之間的連結權 重值的偏為分為：
Start
END
Yes Initialize particle velocities and positions, each coordinate elements for the particle represent the NN weights Updating velocity and position for each particle
no i =1 kh
ph
輸出值
輸出層：
o pk = f ( net pk ), k = 1,2,..., nO net pk = ∑ wkh * o ph + θ k
k =1 nO
輸入層 隱藏層 輸出層
誤差值
輸出值 誤差值
輸出值 誤差值
其中，為opk第k個輸出層節點輸出， netpk 為第k個輸出層節點的淨輸入值，而θk為第 k個輸出層節點的偏權值，是wkh第k個輸出 層節點對第h個隱藏層節點的鏈結權重值， f(netpk)為網路之激發函數。
坡度遞降法(Gradient Decent Method)
定義成本函數E（Cost function）
1 EP = 2 E =
P
( d pk − o pk ) 2 ∑
k
∑E
其中，Ep 為各訓練範例輸出的誤差，E 為所有訓練範例的總輸出誤差，dpk為第 k個輸出層節點目標值，k為輸出節點數， 而p為訓練範例的個數。
Fine the Gbest：
找出所有Particle 到目前為止所搜尋到的整體最佳解，此最佳解我們 稱之為Gbest。
Update the Velocity：
依據式(1) 與式(2) 更新每一Particle之速度與位置。
回到步驟2. 繼續執行，直到獲得一個令人滿意的結果或符合終止 條件為止。
速度更新
Vid = w × Vid + c1 × Rand () × ( pid − xid ) + c2 × Rand () × ( p gd − xid ) xid = xid + Vid