《人工智能導(dǎo)論》調(diào)研報告(共15頁)

《《人工智能導(dǎo)論》調(diào)研報告(共15頁)》由會員分享，可在線閱讀，更多相關(guān)《《人工智能導(dǎo)論》調(diào)研報告(共15頁)（15頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-----傾情為你奉上 《人工智能導(dǎo)論》調(diào)研報告 BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合 1人工智能相關(guān)介紹 1.1人工神經(jīng)網(wǎng)絡(luò)與matlab 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，NN）是由大量的、簡單的處理單元（稱為神經(jīng)元）廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個高度復(fù)雜的非線性動力學(xué)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲和處理、自組織、自適應(yīng)和自學(xué)習(xí)能力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認知科學(xué)、計算機科學(xué)、人工智能、信息

2、科學(xué)、控制論、機器人學(xué)、微電子學(xué)、心理學(xué)、微電子學(xué)、心理學(xué)、光計算、分子生物學(xué)等有關(guān)，是一門新興的邊緣交叉學(xué)科。 神經(jīng)網(wǎng)絡(luò)具有非線性自適應(yīng)的信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺的缺陷，因而在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用。神經(jīng)網(wǎng)絡(luò)與其他傳統(tǒng)方法相組合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，神經(jīng)網(wǎng)絡(luò)在模擬人類認知的道路上更加深入發(fā)展，并與模糊系統(tǒng)、遺傳算法、進化機制等組合，形成計算智能，成為人工智能的一個重要方向。 MATLAB是一種科學(xué)與工程計算的高級語言，廣泛地運用于包括信號與圖像處理，控制系統(tǒng)設(shè)計，系統(tǒng)仿真等諸多領(lǐng)域。為了解決神經(jīng)網(wǎng)絡(luò)

3、問題中的研究工作量和編程計算工作量問題，目前工程領(lǐng)域中較為流行的軟件MATLAB，提供了現(xiàn)成的神經(jīng)網(wǎng)絡(luò)工具箱（Neural Network Toolbox，簡稱NNbox），為解決這個矛盾提供了便利條件。神經(jīng)網(wǎng)絡(luò)工具箱提供了很多經(jīng)典的學(xué)習(xí)算法，使用它能夠快速實現(xiàn)對實際問題的建模求解。在解決實際問題中，應(yīng)用MATLAB 語言構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活傳遞函數(shù)，編寫各種網(wǎng)絡(luò)設(shè)計與訓(xùn)練的子程序，網(wǎng)絡(luò)的設(shè)計者可以根據(jù)需要調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計訓(xùn)練程序，使自己能夠從煩瑣的編程中解脫出來，減輕工程人員的負擔(dān)，從而提高工作效率。 1.2 人工神經(jīng)網(wǎng)絡(luò)的研究背景和意義 人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性

4、的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。 人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的一種方式，是一個非線性動力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實現(xiàn)的行為卻是極其豐富多彩的。 近年來通過對人工神經(jīng)網(wǎng)絡(luò)的研究，可以看出神經(jīng)網(wǎng)絡(luò)的研究目的和意義有以下三點：（1）通過揭示物理平面與認知平面之間的映射，了解它們相互聯(lián)系和相互作用的機理，從而揭示思維的本質(zhì)，探索智能的本源。（2）爭取構(gòu)造出盡可能與人腦具有相似功能的計算機，即神經(jīng)網(wǎng)絡(luò)計算機。（3）研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)

5、網(wǎng)絡(luò)，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所難以達到的效果。 人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應(yīng)用中得到發(fā)展。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。神經(jīng)計算機的研

6、究發(fā)展很快，已有產(chǎn)品進入市場。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。 1.3 神經(jīng)網(wǎng)絡(luò)的發(fā)展與研究現(xiàn)狀 1.3.1神經(jīng)網(wǎng)絡(luò)的發(fā)展 神經(jīng)網(wǎng)絡(luò)起源于20世紀40年代，至今發(fā)展已半個多世紀，大致分為三個階段。 1）20世紀50年代-20世紀60年代：第一次研究高潮 自1943年M-P模型開始，至20世紀60年代為止，這一段時間可以稱為神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論發(fā)展的初期階段。這個時期的主要特點是多種網(wǎng)絡(luò)的模型的產(chǎn)生與學(xué)習(xí)算法的確定。 2）20世紀60年代-20世紀70年代：低潮時期 到了20世紀60年代，人們發(fā)現(xiàn)感知器存在一些缺陷，例如，它不能解決異或問題，因而研究工作

7、趨向低潮。不過仍有不少學(xué)者繼續(xù)對神經(jīng)網(wǎng)絡(luò)進行研究。 Grossberg 提出了自適應(yīng)共振理論；Kohenen 提出了自組織映射；Fukushima 提出了神經(jīng)認知網(wǎng)絡(luò)理論；Anderson提出了BSB模型；Webos 提出了BP理論等。這些都是在20世紀70年代和20世紀80年代初進行的工作。 3）20世紀80年代-90年代：第二次研究高潮 進入20世紀80年代，神經(jīng)網(wǎng)絡(luò)研究進入高潮。這個時期最具有標(biāo)志性的人物是美國加州工學(xué)院的物理學(xué)家John Hopfield。他于1982年和1984年在美國科學(xué)院院刊上發(fā)表了兩篇文章，提出了模擬人腦的神經(jīng)網(wǎng)絡(luò)模型，即最著名的Hopfield模型。Ho

8、pfield網(wǎng)絡(luò)是一個互連的非線性動力學(xué)網(wǎng)絡(luò)，它解決問題的方法是一種反復(fù)運算的動態(tài)過程，這是符號邏輯處理方式做不具備的性質(zhì)。20世紀80年代后期到90年代初，神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論形成了發(fā)展的熱點，多種模型、算法和應(yīng)用被提出，研究經(jīng)費重新變得充足，使得研究者們完成了很多有意義的工作。 1.3.2神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀 進入20世紀90年代以來，神經(jīng)網(wǎng)絡(luò)由于應(yīng)用面還不夠?qū)?，結(jié)果不夠精確，存在可信度問題，從而進入了認識與應(yīng)用研究期。 1）開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實際運行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準確度。 2）充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法。 3）希望

9、在理論上尋找新的突破，建立新的專用/通用模型和算法。 4）進一步對生物神經(jīng)系統(tǒng)進行研究，不斷地豐富對人腦的認識。 1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用取得了令人矚目的發(fā)展，特別是在人工智能、自動控制、計算機科學(xué)、信息處理、機器人、模式識別、CAD/CAM等方面都有重大的應(yīng)用實例。下面列出一些主要應(yīng)用領(lǐng)域： （1）模式識別和圖像處理。印刷體和手寫字符識別、語音識別、簽字識別、指紋識別、人體病理分析、目標(biāo)檢測與識別、圖像壓縮和圖像復(fù)制等。 （2）控制和優(yōu)化?；み^程控制、機器人運動控制、家電控制、半導(dǎo)體生產(chǎn)中摻雜控制、石油精煉優(yōu)化控制和超大規(guī)模集成電路布線設(shè)計等。 （3）預(yù)

10、報和智能信息管理。股票市場預(yù)測、地震預(yù)報、有價證券管理、借貸風(fēng)險分析、IC卡管理和交通管理。 （4）通信。自適應(yīng)均衡、回波抵消、路由選擇和ATM網(wǎng)絡(luò)中的呼叫接納識別和控制。 （5）空間科學(xué)。空間交匯對接控制、導(dǎo)航信息智能管理、飛行器制導(dǎo)和飛行程序優(yōu)化管理等。 2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及BP神經(jīng)網(wǎng)絡(luò) 2.1 神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）是模仿生物神經(jīng)網(wǎng)絡(luò)功能的一種經(jīng)驗?zāi)Ｐ?。生物神?jīng)元受到傳入的刺激，其反應(yīng)又從輸出端傳到相聯(lián)的其它神經(jīng)元，輸入和輸出之間的變換關(guān)系一般是非線性的。神經(jīng)網(wǎng)絡(luò)是由若干簡單（通常是自適應(yīng)的）元

11、件及其層次組織，以大規(guī)模并行連接方式構(gòu)造而成的網(wǎng)絡(luò)，按照生物神經(jīng)網(wǎng)絡(luò)類似的方式處理輸入的信息。模仿生物神經(jīng)網(wǎng)絡(luò)而建立的人工神經(jīng)網(wǎng)絡(luò)，對輸入信號有功能強大的反應(yīng)和處理能力。 神經(jīng)網(wǎng)絡(luò)是由大量的處理單元（神經(jīng)元）互相連接而成的網(wǎng)絡(luò)。為了模擬大腦的基本特性，在神經(jīng)科學(xué)研究的基礎(chǔ)上，提出了神經(jīng)網(wǎng)絡(luò)的模型。但是，實際上神經(jīng)網(wǎng)絡(luò)并沒有完全反映大腦的功能，只是對生物神經(jīng)網(wǎng)絡(luò)進行了某種抽象、簡化和模擬。神經(jīng)網(wǎng)絡(luò)的信息處理通過神經(jīng)元的互相作用來實現(xiàn)，知識與信息的存儲表現(xiàn)為網(wǎng)絡(luò)元件互相分布式的物理聯(lián)系。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和識別取決于各種神經(jīng)元連接權(quán)系數(shù)的動態(tài)演化過程。 若干神經(jīng)元連接成網(wǎng)絡(luò)，其中的一個神經(jīng)元可以接

12、受多個輸入信號，按照一定的規(guī)則轉(zhuǎn)換為輸出信號。由于神經(jīng)網(wǎng)絡(luò)中神經(jīng)元間復(fù)雜的連接關(guān)系和各神經(jīng)元傳遞信號的非線性方式，輸入和輸出信號間可以構(gòu)建出各種各樣的關(guān)系，因此可以用來作為黑箱模型，表達那些用機理模型還無法精確描述、但輸入和輸出之間確實有客觀的、確定性的或模糊性的規(guī)律。因此，人工神經(jīng)網(wǎng)絡(luò)作為經(jīng)驗?zāi)Ｐ偷囊环N，在化工生產(chǎn)、研究和開發(fā)中得到了越來越多的用途。 2.1.1 生物神經(jīng)元 人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)。神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突

13、觸(Synapse，又稱神經(jīng)鍵)組成。 如圖1所示。 圖1生物神經(jīng)元 從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當(dāng)神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)。 2.1.2 人工神經(jīng)元 歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖2模擬。 圖2 人工神經(jīng)元（感知器）示意圖 當(dāng)神經(jīng)元j有多個輸入xi(i=1，2,…,m)和單個輸出yj時，輸入和輸出的關(guān)系可表示為:

14、 其中j為閾值，wij為從神經(jīng)元i到神經(jīng)元j的連接權(quán)重因子，f( )為傳遞函數(shù)，或稱激勵函數(shù)。 2.1.3人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及學(xué)習(xí)方法。 神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式： 1）前向網(wǎng)絡(luò) 前向網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱為隱含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只接受來自前一層神經(jīng)元的輸入，后面的層對前面的層沒有信號反饋。輸入模式經(jīng)過各層次的順序傳播，最后在輸出層上得到輸出。感知器網(wǎng)絡(luò)和BP網(wǎng)絡(luò)均屬

15、于前向網(wǎng)絡(luò)。 圖3 前向網(wǎng)絡(luò)結(jié)構(gòu) 2）從輸出到輸入有反饋的前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖4所示，輸出層對輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲某種模式序列，如神經(jīng)認知機和回歸BP網(wǎng)絡(luò)都屬于這種類型。 圖4有反饋的前向網(wǎng)絡(luò)結(jié)構(gòu) 3) 層內(nèi)互連前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖5所示，通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實現(xiàn)同一層神經(jīng)元之間的橫向抑制或興奮機制。這樣可以限制每層內(nèi)可以同時動作的神經(jīng)元素，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個整體進行運作。例如，可利用橫向抑制機理把某層內(nèi)的具有最大輸出的神經(jīng)元挑選出來，從而抑制其他神經(jīng)元，使之處于無輸出狀態(tài)。 圖5有相互結(jié)合

16、的前向網(wǎng)絡(luò)結(jié)構(gòu) 4) 相互結(jié)合型網(wǎng)絡(luò) 相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，這種網(wǎng)絡(luò)在任意兩個神經(jīng)元之間都可能有連接。Hopfield 網(wǎng)絡(luò)和Boltzmann 機均屬于這種類型。在無反饋的前向網(wǎng)絡(luò)中，信號一旦通過某神經(jīng)元，該神經(jīng)元的處理就結(jié)束了。而在相互結(jié)合網(wǎng)絡(luò)中，信號要在神經(jīng)元之間反復(fù)傳遞，網(wǎng)絡(luò)處于一種不斷變化狀態(tài)的動態(tài)之中。信號從某初始狀態(tài)開始，經(jīng)過若干次變化，才會達到某種平衡狀態(tài)。根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，網(wǎng)絡(luò)的運行還有可能進入周期振蕩或其他如混沌平衡狀態(tài)。 圖6結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu) 綜上，可知神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)、層內(nèi)連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng)絡(luò)、互連網(wǎng)絡(luò)等四種結(jié)構(gòu)

17、，其神經(jīng)網(wǎng)絡(luò)模型有感知器網(wǎng)絡(luò)，線性神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)，反饋神經(jīng)網(wǎng)絡(luò)等，本文主要學(xué)習(xí)研究了BP神經(jīng)網(wǎng)絡(luò)，以及BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近和樣本含量估計兩個實例中的應(yīng)用分析。 2.2 BP神經(jīng)網(wǎng)絡(luò)及其原理 2.2.1 BP神經(jīng)網(wǎng)絡(luò)定義 BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。其由輸入層、中間層、輸出層組成的階層型神經(jīng)網(wǎng)絡(luò)，中間層可擴展為多層。相鄰層之間各神經(jīng)元進行全連接，而每層各神經(jīng)元之間無連接，網(wǎng)絡(luò)按有教師示教的方式進行學(xué)習(xí)，當(dāng)一對學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)產(chǎn)生連接權(quán)值（Weight）。然后按減小希望輸出與實際輸

18、出誤差的方向，從輸出層經(jīng)各中間層逐層修正各連接權(quán)，回到輸入層。此過程反復(fù)交替進行，直至網(wǎng)絡(luò)的全局誤差趨向給定的極小值，即完成學(xué)習(xí)的過程。 2.2.2 BP神經(jīng)網(wǎng)絡(luò)模型及其基本原理 BP網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱層和輸出層組成。圖7為一個典型的三層BP網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，層與層之間采用全互連方式，同一層之間不存在相互連接,隱層可以有一層或多層。層與層之間有兩種信號在流通：一種是工作信號(用實線表示)，它是施加輸入信號后向前傳播直到在輸出端產(chǎn)生實際輸出的信號，是輸入和權(quán)值的函數(shù)。另一種是誤差信號(用虛線表示),網(wǎng)絡(luò)實際輸出與期望輸出間的差值即為誤差，它由輸出端開始逐層向后傳播。B

19、P網(wǎng)絡(luò)的學(xué)習(xí)過程程由前向計算過程和誤差反向傳播過程組成。在前向計算過程中，輸入量從輸入層經(jīng)隱層逐層計算，并傳向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差反向傳播過程，誤差信號沿原來的連接通路返回，逐次調(diào)整網(wǎng)絡(luò)各層的權(quán)值和閾值，直至到達輸入層，再重復(fù)向計算。這兩個過程一次反復(fù)進行，不斷調(diào)整各層的權(quán)值和閾值，使得網(wǎng)絡(luò)誤差最小或達到人們所期望的要求時，學(xué)習(xí)過程結(jié)束。 圖7　典型Bp網(wǎng)絡(luò)模型 生物神經(jīng)元信號的傳遞是通過突觸進行的一個復(fù)雜的電化學(xué)等過程, 在人工神經(jīng)網(wǎng)絡(luò)中是將其簡化模擬成一組數(shù)字信號通過一定的學(xué)習(xí)規(guī)則而不斷變動更新的過

20、程，這組數(shù)字儲存在神經(jīng)元之間的連接權(quán)重。網(wǎng)絡(luò)的輸入層模擬的是神經(jīng)系統(tǒng)中的感覺神經(jīng)元，它接收輸入樣本信號。輸入信號經(jīng)輸入層輸入， 通過隱含層的復(fù)雜計算由輸出層輸出，輸出信號與期望輸出相比較，若有誤差，再將誤差信號反向由輸出層通過隱含層處理后向輸入層傳播。在這個過程中，誤差通過梯度下降算法，分攤給各層的所有單元，從而獲得各單元的誤差信號，以此誤差信號為依據(jù)修正各單元權(quán)值，網(wǎng)絡(luò)權(quán)值因此被重新分布。此過程完成后， 輸入信號再次由輸入層輸入網(wǎng)絡(luò)，重復(fù)上述過程。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程周而復(fù)始地進行著，直到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。權(quán)值不斷

21、調(diào)整的過程就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。 BP 神經(jīng)網(wǎng)絡(luò)的信息處理方式具有如下特點: 1）信息分布存儲。人腦存儲信息的特點是利用突觸效能的變化來調(diào)整存儲內(nèi)容， 即信息存儲在神經(jīng)元之間的連接強度的分布上， BP神經(jīng)網(wǎng)絡(luò)模擬人腦的這一特點，使信息以連接權(quán)值的形式分布于整個網(wǎng)絡(luò)。 2) 信息并行處理。人腦神經(jīng)元之間傳遞脈沖信號的速度遠低于馮·諾依曼計算機的工作速度，但是在很多問題上卻可以做出快速的判斷、決策和處理，這是由于人腦是一個大規(guī)模并行與串行組合的處理系統(tǒng)。BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理的特征，大大提高了網(wǎng)絡(luò)功能。 3）具有容錯性。生物神經(jīng)系統(tǒng)部分不嚴重損傷并不影響整體功能，

22、BP神經(jīng)網(wǎng)絡(luò)也具有這種特性，網(wǎng)絡(luò)的高度連接意味著少量的誤差可能不會產(chǎn)生嚴重的后果，部分神經(jīng)元的損傷不破壞整體，它可以自動修正誤差。這與現(xiàn)代計算機的脆弱性形成鮮明對比。 4）具有自學(xué)習(xí)、自組織、自適應(yīng)的能力。BP神經(jīng)網(wǎng)絡(luò)具有初步的自適應(yīng)與自組織能力，在學(xué)習(xí)或訓(xùn)練中改變突觸權(quán)值以適應(yīng)環(huán)境，可以在使用過程中不斷學(xué)習(xí)完善自己的功能，并且同一網(wǎng)絡(luò)因?qū)W習(xí)方式的不同可以具有不同的功能，它甚至具有創(chuàng)新能力，可以發(fā)展知識，以至超過設(shè)計者原有的知識水平。 2.3 BP神經(jīng)網(wǎng)絡(luò)的主要功能 目前，在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中。絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用BP神經(jīng)網(wǎng)絡(luò)及其變化形式。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)

23、了人工神經(jīng)網(wǎng)絡(luò)的精華。 BP網(wǎng)絡(luò)主要用于以下四方面。 （1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個網(wǎng)絡(luò)以逼近一個函數(shù)。 （2）模式識別：用一個待定的輸出向量將它與輸入向量聯(lián)系起來。 （3）分類：把輸入向量所定義的合適方式進行分類。 （4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲。 3.基于matlab的BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合 3.1運用背景 系統(tǒng)狀態(tài)方程復(fù)雜的非線性系統(tǒng)，難以用數(shù)學(xué)方法精確建模。在這種情況下，可以建立BP神經(jīng)網(wǎng)絡(luò)表達這些非線性系統(tǒng)。該方法把未知系統(tǒng)看成是一個黑箱，首先用系統(tǒng)輸入輸出數(shù)據(jù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)能夠表達該未知函數(shù)，然后就

24、可以用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)預(yù)測系統(tǒng)輸出。 先取出若干組系統(tǒng)的輸入輸出數(shù)據(jù)對BP網(wǎng)絡(luò)進行有效學(xué)習(xí)，然后就可以用BP網(wǎng)絡(luò)來表達這個系統(tǒng)，在知道系統(tǒng)輸入?yún)?shù)的情況下，可以網(wǎng)絡(luò)來預(yù)測系統(tǒng)的輸出值。本案例就是用BP網(wǎng)絡(luò)來擬合一個標(biāo)準測試函數(shù)，來說明BP網(wǎng)絡(luò)的擬合能力，并探討了BP網(wǎng)絡(luò)在使用中注意的幾個問題。 本案例擬合的非線性函數(shù)為y=x1^2+x2^2 3.2模型建立 基于BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合算法流程可以分為BP神經(jīng)網(wǎng)絡(luò)構(gòu)建、BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練和BP神經(jīng)網(wǎng)絡(luò)預(yù)測三步。 BP神經(jīng)網(wǎng)絡(luò)模塊構(gòu)建中確定神經(jīng)網(wǎng)路的結(jié)構(gòu)以及學(xué)習(xí)方式，根據(jù)擬合函數(shù)的形式，采用神經(jīng)網(wǎng)絡(luò)的格式為：輸入層有兩

25、個節(jié)點，輸出層有一個節(jié)點，隱含層有五個節(jié)點，隱含層傳遞函數(shù)是‘tansig’函數(shù)，輸出層傳遞函數(shù)是‘purlin’函數(shù)。 BP神經(jīng)網(wǎng)絡(luò)構(gòu)建根據(jù)擬合非線性函數(shù)特點確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由于該非線性函數(shù)有兩個輸入?yún)?shù)，一個輸出參數(shù)，所以BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)即輸入層有2個結(jié)點，中間層有5個結(jié)點，輸出層有1個結(jié)點。 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練用非線性函數(shù)輸入輸出數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使訓(xùn)練后的網(wǎng)絡(luò)能夠預(yù)測非線性函數(shù)輸出。從非線性函數(shù)中隨機得到2000組輸入輸出數(shù)據(jù)，從中隨機選擇1900組作為訓(xùn)練數(shù)據(jù)，用于網(wǎng)絡(luò)訓(xùn)練，100組作為測試數(shù)據(jù)，用于測試網(wǎng)絡(luò)的擬合性能。神經(jīng)網(wǎng)絡(luò)預(yù)測用訓(xùn)練好的網(wǎng)絡(luò)預(yù)測函數(shù)輸出，并對預(yù)測結(jié)果進行

26、分析。 BP網(wǎng)絡(luò)來擬合一個函數(shù)，說明BP網(wǎng)絡(luò)在函數(shù)擬合中的作用。 訓(xùn)練好的數(shù)據(jù)對網(wǎng)絡(luò)性能進行預(yù)測，從而判斷網(wǎng)絡(luò)擬合函數(shù)效果。 3.3 MatLab實現(xiàn) 3.3.1BP神經(jīng)網(wǎng)絡(luò)工具箱函數(shù) Matlab軟件中包含Matlab神經(jīng)網(wǎng)絡(luò)工具箱。它是以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，用Matlab語言構(gòu)造出了該理論所涉及的公式運算、矩陣操作和方程求解等大部分子程序以用于神經(jīng)網(wǎng)絡(luò)的設(shè)計和訓(xùn)練。用戶只需根據(jù)自己的需要調(diào)用相關(guān)的子程序，即可以完成包括網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計、權(quán)值初始化、網(wǎng)絡(luò)訓(xùn)練及結(jié)果輸出等在內(nèi)的一系列工作，免除編寫復(fù)雜龐大程序的困擾。目前，Matlab神經(jīng)網(wǎng)絡(luò)工具包包括的網(wǎng)絡(luò)有感知器、線性網(wǎng)絡(luò)

27、、BP神經(jīng)網(wǎng)絡(luò)、徑向基網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)等。BP神經(jīng)網(wǎng)絡(luò)主要用到newff、sim和train3個神經(jīng)網(wǎng)絡(luò)函數(shù)，各函數(shù)解釋如下。 (1)newff：BP神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置函數(shù) 函數(shù)功能：構(gòu)建一個BP神經(jīng)網(wǎng)絡(luò)。 函數(shù)形式：net = newff（P，T，S，TF，BTF，BLF，PF，IPF，OPF，DDF） P：輸入數(shù)據(jù)矩陣。 T：輸出數(shù)據(jù)矩陣。 S：隱含層結(jié)點數(shù)。 TF：結(jié)點傳遞函數(shù)，包括硬限幅傳遞函數(shù)hardlim，對稱硬限幅傳遞函數(shù)hardlims，線性傳遞函數(shù)pureline，正切S型傳遞函數(shù)tansig，對數(shù)S型傳遞函數(shù)logsig。 BTF：訓(xùn)練函數(shù)，包括

28、梯度下降BP算法訓(xùn)練函數(shù)traingd，動量反傳的梯度下降BP算法訓(xùn)練函數(shù)traingdm，動態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降BP算法訓(xùn)練函數(shù)traingda，動量反傳和動態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降BP算法訓(xùn)練函數(shù)traingdx，Levenberg_Marquardt的BP算法訓(xùn)練函數(shù)trainlm。 BLF：網(wǎng)絡(luò)學(xué)習(xí)函數(shù)，包括BP學(xué)習(xí)規(guī)格learngd，帶動量項的BP學(xué)習(xí)規(guī)則learngdm。 PF：性能分析函數(shù)，包括均值絕對誤差性能分析函數(shù)mae，均方差性能分析函數(shù)mse。 IPF：輸入處理函數(shù)。 OPF：輸出處理函數(shù)。 DDF：驗證數(shù)據(jù)劃分函數(shù)。 一般在使用過程中設(shè)置前面6個參數(shù)，后

29、面4個參數(shù)采用系統(tǒng)默認參數(shù)。 (2)train：BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù) 函數(shù)功能：用訓(xùn)練數(shù)據(jù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)。 函數(shù)形式：[net，tr] = train（NET，X，T，Pi，Ai） NET：待訓(xùn)練網(wǎng)絡(luò)。 X：輸入數(shù)據(jù)。 T：輸出數(shù)據(jù)。 Pi：初始化輸入層條件。 Ai：初始化輸出層條件。 net：訓(xùn)練好的網(wǎng)絡(luò)。 tr：訓(xùn)練過程記錄。 一般在使用過程中設(shè)置前面3個參數(shù)，后面2個參數(shù)采用系統(tǒng)默認參數(shù)。 (3)sim：BP神經(jīng)網(wǎng)絡(luò)預(yù)測函數(shù)、 函數(shù)功能：用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)預(yù)測函數(shù)輸出。 函數(shù)形式：y = sim（net，x） net：訓(xùn)練好的網(wǎng)絡(luò)。 x：輸入

30、數(shù)據(jù)。 y：網(wǎng)絡(luò)預(yù)測數(shù)據(jù)。 3.3.2實驗結(jié)果 實際輸出數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出之間的結(jié)果對比圖 優(yōu)勢分析： 神經(jīng)網(wǎng)絡(luò)預(yù)測模塊既用訓(xùn)練好的數(shù)據(jù)對網(wǎng)絡(luò)性能進行預(yù)測，從而判斷網(wǎng)絡(luò)擬合函數(shù)效果。 參考文獻： [1] 李曉慧.《基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用》[J]. 科技信息, 2010,(26) [2] 郝中華.《B P神經(jīng)網(wǎng)絡(luò)的非線性思想》. 洛陽師范學(xué)院學(xué)報2008.3(4) [3] 張玲，張鈸.《人工神經(jīng)網(wǎng)絡(luò)理及應(yīng)用》. 浙江：浙江科技大學(xué)出版社，1997.5:20-62 [4] 蔣宗禮.《人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論》. 高等教育出版社，200

31、1.5:15-90 [5] 聞新、周露、王丹力、熊曉英.《MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計.科學(xué)出版社》，2001.5:10-50 [6] 葛哲學(xué)、孫志強編著 .《神經(jīng)網(wǎng)絡(luò)與matlab2007實現(xiàn)》. 北京：電子工業(yè)出版社，2007.9:1-5 附錄： 程序代碼： %% 清空環(huán)境變量 clc clear %% 訓(xùn)練數(shù)據(jù)預(yù)測數(shù)據(jù)提取及歸一化 %導(dǎo)入輸入輸出數(shù)據(jù) load data input output %從1到2000間隨機排序 k=rand(1,2000); [m,n]=sort(k); %隨機選擇1900組訓(xùn)

32、練數(shù)據(jù)和100組預(yù)測數(shù)據(jù) input_train=input(n(1:1900),:)'; output_train=output(n(1:1900)); input_test=input(n(1901:2000),:)'; output_test=output(n(1901:2000)); %訓(xùn)練數(shù)據(jù)歸一化 [inputn,inputps]=mapminmax(input_train); [outputn,outputps]=mapminmax(output_train); %% BP網(wǎng)絡(luò)訓(xùn)練 %初始化BP網(wǎng)絡(luò)結(jié)構(gòu) net=newff(inputn,ou

33、tputn,5); %網(wǎng)絡(luò)參數(shù)配置（迭代次數(shù)、學(xué)習(xí)率、目標(biāo)） net.trainParam.epochs=100; net.trainParam.lr=0.1; net.trainParam.goal=0.00004; %網(wǎng)絡(luò)訓(xùn)練 net=train(net,inputn,outputn); %% BP網(wǎng)絡(luò)預(yù)測 %預(yù)測數(shù)據(jù)歸一化 inputn_test=mapminmax('apply',input_test,inputps); %網(wǎng)絡(luò)預(yù)測輸出 an=sim(net,inputn_test); %網(wǎng)絡(luò)輸出反歸一化 BPoutput=mapminma

34、x('reverse',an,outputps); %% 結(jié)果分析 figure(1) plot(BPoutput,':og') hold on plot(output_test,'-*'); legend('預(yù)測輸出','期望輸出') title('BP網(wǎng)絡(luò)預(yù)測輸出','fontsize',12) ylabel('函數(shù)輸出','fontsize',12) xlabel('樣本','fontsize',12) %預(yù)測誤差 error=BPoutput-output_test; figure(2) plot(error,'-*') title('BP網(wǎng)絡(luò)預(yù)測誤差','fontsize',12) ylabel('誤差','fontsize',12) xlabel('樣本','fontsize',12) figure(3) plot((output_test-BPoutput)./BPoutput,'-*'); title('神經(jīng)網(wǎng)絡(luò)預(yù)測誤差百分比') errorsum=sum(abs(error)) 專心---專注---專業(yè)