BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚.doc

《BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚.doc》由會員分享，可在線閱讀，更多相關(guān)《BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚.doc（15頁珍藏版）》請在裝配圖網(wǎng)上搜索。

______________________________________________________________________________________________________________ 5.4 BP神經(jīng)網(wǎng)絡(luò)的基本原理 BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rinehart和McClelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)（如圖5.2所示）。 5.4.1 BP神經(jīng)元 圖5.3給出了第j個基本BP神經(jīng)元（節(jié)點），它只模仿了生物神經(jīng)元所具有的三個最基本也是最重要的功能：加權(quán)、求和與轉(zhuǎn)移。其中x1、x2…xi…xn分別代表來自神經(jīng)元1、2…i…n的輸入；wj1、wj2…wji…wjn則分別表示神經(jīng)元1、2…i…n與第j個神經(jīng)元的連接強(qiáng)度，即權(quán)值；bj為閾值；f(·)為傳遞函數(shù)；yj為第j個神經(jīng)元的輸出。 第j個神經(jīng)元的凈輸入值為： ???????????????? （5.12） 其中： ???? 若視，，即令及包括及，則 ?? 于是節(jié)點j的凈輸入可表示為： ???????????????????? （5.13） ??? 凈輸入通過傳遞函數(shù)（Transfer Function）f (·)后，便得到第j個神經(jīng)元的輸出: ?????????? （5.14） 式中f(·)是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因為細(xì)胞傳遞的信號不可能無限增加，必有一最大值。 5.4.2 BP網(wǎng)絡(luò) BP算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構(gòu)成。正向傳播時，傳播方向為輸入層→隱層→輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號的反向傳播流程。通過這兩個過程的交替進(jìn)行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過程。 5.4.2.1 正向傳播 設(shè) BP網(wǎng)絡(luò)的輸入層有n個節(jié)點，隱層有q個節(jié)點，輸出層有m個節(jié)點，輸入層與隱層之間的權(quán)值為，隱層與輸出層之間的權(quán)值為，如圖5.4所示。隱層的傳遞函數(shù)為f1(·)，輸出層的傳遞函數(shù)為f2(·)，則隱層節(jié)點的輸出為（將閾值寫入求和項中）： ???????? k=1,2,……q????????????? （5.15） 輸出層節(jié)點的輸出為： ?????? j=1,2,……m????????????? （5.16） 至此B-P網(wǎng)絡(luò)就完成了n維空間向量對m維空間的近似映射。 5.4.2.2 反向傳播 1)???? 定義誤差函數(shù) 輸入個學(xué)習(xí)樣本，用來表示。第個樣本輸入到網(wǎng)絡(luò)后得到輸出（j=1,2,…m）。采用平方型誤差函數(shù)，于是得到第p個樣本的誤差Ep： ???????????????????? （5.17） 式中：為期望輸出。 對于個樣本，全局誤差為： ??????????????? （5.18） 2）輸出層權(quán)值的變化 采用累計誤差BP算法調(diào)整，使全局誤差變小，即 ?????????? （5.19） 式中：—學(xué)習(xí)率 定義誤差信號為： ????????????????? （5.20） 其中第一項： ????????? （5.21） ??? 第二項： ???????????????????????? （5.22） 是輸出層傳遞函數(shù)的偏微分。 于是： ??????????????????? （5.23） 由鏈定理得： ????? （5.24） 于是輸出層各神經(jīng)元的權(quán)值調(diào)整公式為： ?????????????? （5.25） 3）隱層權(quán)值的變化 ????????? （5.26） 定義誤差信號為： ?????????????????? （5.27） 其中第一項： ????????? （5.28） 依鏈定理有： ????????????????? （5.29） ??? 第二項： ???????????????????????? （5.30） 是隱層傳遞函數(shù)的偏微分。 于是： ??????????????? （5.31） 由鏈定理得： ?? （5.32） 從而得到隱層各神經(jīng)元的權(quán)值調(diào)整公式為： ??????????? （5.33） 5.4.3 BP算法的改進(jìn) BP算法理論具有依據(jù)可靠、推導(dǎo)過程嚴(yán)謹(jǐn)、精度較高、通用性較好等優(yōu)點，但標(biāo)準(zhǔn)BP算法存在以下缺點：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點個數(shù)。在實際應(yīng)用中，BP算法很難勝任，因此出現(xiàn)了很多改進(jìn)算法。 1）??? 利用動量法改進(jìn)BP算法 標(biāo)準(zhǔn)BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法，在修正W(K)時，只按照第K步的負(fù)梯度方向進(jìn)行修正，而沒有考慮到以前積累的經(jīng)驗，即以前時刻的梯度方向，從而常常使學(xué)習(xí)過程發(fā)生振蕩，收斂緩慢。動量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計算所得的權(quán)值調(diào)整量上，作為本次的實際權(quán)值調(diào)整量，即： ??????????????? （5.34） 其中：α為動量系數(shù)，通常0＜α＜0.9；η—學(xué)習(xí)率，范圍在0.001～10之間。這種方法所加的動量因子實際上相當(dāng)于阻尼項，它減小了學(xué)習(xí)過程中的振蕩趨勢，從而改善了收斂性。動量法降低了網(wǎng)絡(luò)對于誤差曲面局部細(xì)節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小。 2）??? 自適應(yīng)調(diào)整學(xué)習(xí)速率 標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個重要原因是學(xué)習(xí)率選擇不當(dāng)，學(xué)習(xí)率選得太小，收斂太慢；學(xué)習(xí)率選得太大，則有可能修正過頭，導(dǎo)致振蕩甚至發(fā)散。可采用圖5.5所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。 調(diào)整的基本指導(dǎo)思想是：在學(xué)習(xí)收斂的情況下，增大η，以縮短學(xué)習(xí)時間；當(dāng)η偏大致使不能收斂時，要及時減小η，直到收斂為止。 3）??? 動量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法 采用動量法時，BP算法可以找到更優(yōu)的解；采用自適應(yīng)學(xué)習(xí)速率法時，BP算法可以縮短訓(xùn)練時間。將以上兩種方法結(jié)合起來，就得到動量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法。 4）??? L-M學(xué)習(xí)規(guī)則 L-M（Levenberg-Marquardt）算法比前述幾種使用梯度下降法的BP算法要快得多，但對于復(fù)雜問題，這種方法需要相當(dāng)大的存儲空間。L-M(Levenberg-Marquardt)優(yōu)化方法的權(quán)值調(diào)整率選為: ????????????????? （5.35） 其中：e—誤差向量；J—網(wǎng)絡(luò)誤差對權(quán)值導(dǎo)數(shù)的雅可比（Jacobian）矩陣；μ—標(biāo)量，當(dāng)μ很大時上式接近于梯度法，當(dāng)μ很小時上式變成了Gauss-Newton法，在這種方法中，μ也是自適應(yīng)調(diào)整的。 綜合考慮，擬采用L-M學(xué)習(xí)規(guī)則和動量法分別作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)和學(xué)習(xí)函數(shù)。 5.5 BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略及結(jié)果 本文借助于MATLAB神經(jīng)網(wǎng)絡(luò)工具箱來實現(xiàn)多層前饋BP網(wǎng)絡(luò)（Multi-layer feed-forward backpropagation network）的顏色空間轉(zhuǎn)換，免去了許多編寫計算機(jī)程序的煩惱。神經(jīng)網(wǎng)絡(luò)的實際輸出值與輸入值以及各權(quán)值和閾值有關(guān)，為了使實際輸出值與網(wǎng)絡(luò)期望輸出值相吻合，可用含有一定數(shù)量學(xué)習(xí)樣本的樣本集和相應(yīng)期望輸出值的集合來訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練時仍然使用本章5.2節(jié)中所述的實測樣本數(shù)據(jù)。 另外，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法。確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)系數(shù)來描述給定的映射或逼近一個未知的映射，只能通過學(xué)習(xí)方式得到滿足要求的網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可以理解為：對確定的網(wǎng)絡(luò)結(jié)構(gòu)，尋找一組滿足要求的權(quán)系數(shù)，使給定的誤差函數(shù)最小。設(shè)計多層前饋網(wǎng)絡(luò)時，主要側(cè)重試驗、探討多種模型方案，在實驗中改進(jìn)，直到選取一個滿意方案為止，可按下列步驟進(jìn)行：對任何實際問題先都只選用一個隱層；使用很少的隱層節(jié)點數(shù)；不斷增加隱層節(jié)點數(shù)，直到獲得滿意性能為止；否則再采用兩個隱層重復(fù)上述過程。 訓(xùn)練過程實際上是根據(jù)目標(biāo)值與網(wǎng)絡(luò)輸出值之間誤差的大小反復(fù)調(diào)整權(quán)值和閾值，直到此誤差達(dá)到預(yù)定值為止。 5.5.1 確定BP網(wǎng)絡(luò)的結(jié)構(gòu) 確定了網(wǎng)絡(luò)層數(shù)、每層節(jié)點數(shù)、傳遞函數(shù)、初始權(quán)系數(shù)、學(xué)習(xí)算法等也就確定了BP網(wǎng)絡(luò)。確定這些選項時有一定的指導(dǎo)原則，但更多的是靠經(jīng)驗和試湊。 1）隱層數(shù)的確定： 1998年Robert Hecht-Nielson證明了對任何在閉區(qū)間內(nèi)的連續(xù)函數(shù)，都可以用一個隱層的BP網(wǎng)絡(luò)來逼近，因而一個三層的BP網(wǎng)絡(luò)可以完成任意的n維到m維的映照。因此我們從含有一個隱層的網(wǎng)絡(luò)開始進(jìn)行訓(xùn)練。 2） BP網(wǎng)絡(luò)常用傳遞函數(shù): BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。BP網(wǎng)絡(luò)通常有一個或多個隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元則采用線性傳遞函數(shù)，整個網(wǎng)絡(luò)的輸出可以取任意值。各種傳遞函數(shù)如圖5.6所示。 只改變傳遞函數(shù)而其余參數(shù)均固定，用本章5.2節(jié)所述的樣本集訓(xùn)練BP網(wǎng)絡(luò)時發(fā)現(xiàn)，傳遞函數(shù)使用tansig函數(shù)時要比logsig函數(shù)的誤差小。于是在以后的訓(xùn)練中隱層傳遞函數(shù)改用tansig函數(shù)，輸出層傳遞函數(shù)仍選用purelin函數(shù)。 3） 每層節(jié)點數(shù)的確定： 使用神經(jīng)網(wǎng)絡(luò)的目的是實現(xiàn)攝像機(jī)輸出RGB顏色空間與CIE-XYZ色空間轉(zhuǎn)換，因此BP網(wǎng)絡(luò)的輸入層和輸出層的節(jié)點個數(shù)分別為3。下面主要介紹隱層節(jié)點數(shù)量的確定。 對于多層前饋網(wǎng)絡(luò)來說，隱層節(jié)點數(shù)的確定是成敗的關(guān)鍵。若數(shù)量太少，則網(wǎng)絡(luò)所能獲取的用以解決問題的信息太少；若數(shù)量太多，不僅增加訓(xùn)練時間，更重要的是隱層節(jié)點過多還可能出現(xiàn)所謂“過渡吻合”（Overfitting）問題，即測試誤差增大導(dǎo)致泛化能力下降，因此合理選擇隱層節(jié)點數(shù)非常重要。關(guān)于隱層數(shù)及其節(jié)點數(shù)的選擇比較復(fù)雜，一般原則是：在能正確反映輸入輸出關(guān)系的基礎(chǔ)上，應(yīng)選用較少的隱層節(jié)點數(shù)，以使網(wǎng)絡(luò)結(jié)構(gòu)盡量簡單。本論文中采用網(wǎng)絡(luò)結(jié)構(gòu)增長型方法，即先設(shè)置較少的節(jié)點數(shù)，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試學(xué)習(xí)誤差，然后逐漸增加節(jié)點數(shù)，直到學(xué)習(xí)誤差不再有明顯減少為止。 5.5.2 誤差的選取 在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中選擇均方誤差MSE較為合理，原因如下： ①? 標(biāo)準(zhǔn)BP算法中，誤差定義為： ????????????????? ????（5.36） 每個樣本作用時，都對權(quán)矩陣進(jìn)行了一次修改。由于每次權(quán)矩陣的修改都沒有考慮權(quán)值修改后其它樣本作用的輸出誤差是否也減小，因此將導(dǎo)致迭代次數(shù)增加。 ②? 累計誤差BP算法的全局誤差定義為： ??????????????? （5.37） 這種算法是為了減小整個訓(xùn)練集的全局誤差，而不針對某一特定樣本，因此如果作某種修改能使全局誤差減小，并不等于說每一個特定樣本的誤差也都能同時減小。它不能用來比較P和m不同的網(wǎng)絡(luò)性能。因為對于同一網(wǎng)絡(luò)來說，P越大，E也越大； P值相同，m越大E也越大。 ③? 均方誤差MSE： ????????????????? （5.38） 其中:—輸出節(jié)點的個數(shù)，—訓(xùn)練樣本數(shù)目，—網(wǎng)絡(luò)期望輸出值，—網(wǎng)絡(luò)實際輸出值。均方誤差克服了上述兩種算法的缺點，所以選用均方誤差算法較合理。 5.5.3 訓(xùn)練結(jié)果 訓(xùn)練一個單隱層的三層BP網(wǎng)絡(luò)，根據(jù)如下經(jīng)驗公式選擇隱層節(jié)點數(shù)[125]： ???????????????????????? （5.39） 式中：n為輸入節(jié)點個數(shù)，m為輸出節(jié)點個數(shù)，a為1到10之間的常數(shù)。針對本論文n1取值范圍為3～13。訓(xùn)練結(jié)果如表5.1所示。 表5.1?? 隱層節(jié)點數(shù)與誤差的關(guān)系 隱層神經(jīng)元個數(shù) 訓(xùn)練誤差 測試誤差 3 1.25661 1.1275 4 0.797746 0.8232 5 0.631849 0.7278 6 0.570214 0.6707 7 0.552873 0.6895 8 0.445118 0.6575 9 0.385578 0.6497 10 0.259624 0.4555 11 0.185749 0.6644 12 0.183878 0.48 13 0.168587 0.6671 由上表可以看出： ①????????????? 增加隱層節(jié)點數(shù)可以減少訓(xùn)練誤差，但超過10以后測試誤差產(chǎn)生波動，即泛化能力發(fā)生變化。綜合比較隱層節(jié)點數(shù)為10與12的訓(xùn)練誤差和測試誤差，決定隱層節(jié)點數(shù)選用12。 ②????????????? 訓(xùn)練誤差和測試誤差都很大,而且收斂速度極慢（訓(xùn)練過程如圖5.7所示），這個問題可以通過對輸出量進(jìn)行歸一化來解決。 根據(jù)Sigmoid型傳遞函數(shù)輸入和輸出的范圍，對輸入變量不進(jìn)行歸一化處理，只對輸出變量進(jìn)行歸一化，這是因為在輸出數(shù)據(jù)要求歸一化的同時，對輸入數(shù)據(jù)也進(jìn)行歸一化的話，權(quán)值的可解釋性就更差了。目標(biāo)值按下式進(jìn)行變化： ?????????????????? （5.40） 使目標(biāo)值落在0.05～0.95之間，這樣靠近數(shù)據(jù)變化區(qū)間端點的網(wǎng)絡(luò)輸出值就有一波動范圍，網(wǎng)絡(luò)的性能較好。用新生成的訓(xùn)練樣本與測試樣本對隱層節(jié)點數(shù)為12的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到的訓(xùn)練誤差為9.89028×10-5，測試誤差為1.9899×10-4，達(dá)到了預(yù)定的目標(biāo)（訓(xùn)練過程如圖5.8所示）。 5.6 最終訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 采用三層BP網(wǎng)絡(luò)實現(xiàn)攝像機(jī)輸出RGB顏色空間與CIEXYZ色空間轉(zhuǎn)換，其中隱層含有12個節(jié)點，傳遞函數(shù)采用tansig函數(shù)；輸出層傳遞函數(shù)選用purelin函數(shù)。經(jīng)過測試后結(jié)果滿意，可以認(rèn)為該神經(jīng)網(wǎng)絡(luò)可以用來實現(xiàn)這個關(guān)系映射。網(wǎng)絡(luò)的結(jié)構(gòu)如圖5.9所示： 得到的BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值為： ???????? ??? ????? 5.7 本章小結(jié) 1)?????? 定量地分析了用線性關(guān)系轉(zhuǎn)換攝像機(jī)RGB空間到CIE-XYZ空間數(shù)據(jù)后產(chǎn)生的均方誤差，表明CCD攝像機(jī)與標(biāo)準(zhǔn)觀察者之間有比較明顯的差別，也就是說RGB與CIE-XYZ間的轉(zhuǎn)換是非線性的。 2)?????? 采用MATLAB 中神經(jīng)網(wǎng)絡(luò)工具箱實現(xiàn)多層前饋BP網(wǎng)絡(luò)的RGB到CIEXYZ顏色空間轉(zhuǎn)換，用經(jīng)過歸一化的訓(xùn)練樣本與測試樣本對隱層節(jié)點數(shù)為12的三層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到的訓(xùn)練誤差為9.89028×10-5，測試誤差為1.9899×10-4，結(jié)果表明經(jīng)過訓(xùn)練的多層前饋BP網(wǎng)絡(luò)可以滿足RGB空間向CIEXYZ顏色空間轉(zhuǎn)換要求，達(dá)到了預(yù)定目標(biāo)。 3)?????? 確定了用于RGB和XYZ顏色空間轉(zhuǎn)換的BP網(wǎng)絡(luò)結(jié)構(gòu)，并求出了該神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。使用該網(wǎng)絡(luò)可以定量表達(dá)食品顏色，定量比較高壓加工食品顏色的變化，可以使食品顏色測定和控制實現(xiàn)定量化，而不再是主觀性很強(qiáng)的模糊描述。 -可編輯修改-