《人工智能導(dǎo)論》課程研究報(bào)告總結(jié)

《《人工智能導(dǎo)論》課程研究報(bào)告總結(jié)》由會(huì)員分享，可在線閱讀，更多相關(guān)《《人工智能導(dǎo)論》課程研究報(bào)告總結(jié)（18頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、WORD格式 《人工智能導(dǎo)論》課程研究報(bào)告 題目：BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合 班級(jí)：自動(dòng)化1303班 XX：汪洋、房亮、彭正昌、蔡博、X航、X金祥 學(xué)號(hào)： 2016年1月1日 1 / 18 目錄 第一章人工智能相關(guān)介紹 1.1人工神經(jīng)網(wǎng)絡(luò)與matlab..........................................3 1.2人工神經(jīng)網(wǎng)絡(luò)的研究背景和意義...................................3 1.3神經(jīng)網(wǎng)絡(luò)的發(fā)展與研究現(xiàn)狀.......................................4 1.4神經(jīng)網(wǎng)

2、絡(luò)的應(yīng)用.................................................5 第二章神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及BP神經(jīng)網(wǎng)絡(luò)............................5 2.1神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)...............................................5 2.2BP神經(jīng)網(wǎng)絡(luò)及其原理............................................9 2.3BP神經(jīng)網(wǎng)絡(luò)的主要功能.........................................11 第三章基于matlab的BP神經(jīng)網(wǎng)

3、絡(luò)的非線性函數(shù)擬合 3.1運(yùn)用背景.......................................................5 3.2模型建立.......................................................9 3.3MatLab實(shí)現(xiàn)...................................................11 參考文獻(xiàn)???????????????????????.-15- 附錄????????????????????????..-17- 人工智能相關(guān)介紹 1.1人工神經(jīng)網(wǎng)絡(luò)與matla

4、b 人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，NN）是由大量的、簡(jiǎn)單的處理單元（稱(chēng)為神經(jīng) 元）廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個(gè)高 度復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲(chǔ)和處理、自組織、自適 應(yīng)和自學(xué)習(xí)能力，特別適合處理需要同時(shí)考慮許多因素和條件的、不精確和模糊的信息處理 問(wèn)題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)、人工智能、信息科 學(xué)、控制論、機(jī)器人學(xué)、微電子學(xué)、心理學(xué)、微電子學(xué)、心理學(xué)、光計(jì)算、分子生物學(xué)等有 關(guān)，是一門(mén)新興的邊緣交叉學(xué)科。 神經(jīng)網(wǎng)絡(luò)具有非線性自適應(yīng)的信息

5、處理能力，克服了傳統(tǒng)人工智能方法對(duì)于 直覺(jué)的缺陷，因而在神經(jīng)專(zhuān)家系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等領(lǐng) 域得到成功應(yīng)用。神經(jīng)網(wǎng)絡(luò)與其他傳統(tǒng)方法相組合，將推動(dòng)人工智能和信息處理 技術(shù)不斷發(fā)展。近年來(lái)，神經(jīng)網(wǎng)絡(luò)在模擬人類(lèi)認(rèn)知的道路上更加深入發(fā)展，并與 模糊系統(tǒng)、遺傳算法、進(jìn)化機(jī)制等組合，形成計(jì)算智能，成為人工智能的一個(gè)重 要方向。 MATLAB是一種科學(xué)與工程計(jì)算的高級(jí)語(yǔ)言，廣泛地運(yùn)用于包括信號(hào)與圖 像處理，控制系統(tǒng)設(shè)計(jì)，系統(tǒng)仿真等諸多領(lǐng)域。為了解決神經(jīng)網(wǎng)絡(luò)問(wèn)題中的研究 工作量和編程計(jì)算工作量問(wèn)題，目前工程領(lǐng)域中較為流行的軟件MATLAB，提 供了現(xiàn)成的神經(jīng)網(wǎng)絡(luò)工具箱（Ne

6、uralNetworkToolbox，簡(jiǎn)稱(chēng)NNbox），為解決 這個(gè)矛盾提供了便利條件。神經(jīng)網(wǎng)絡(luò)工具箱提供了很多經(jīng)典的學(xué)習(xí)算法，使用它 能夠快速實(shí)現(xiàn)對(duì)實(shí)際問(wèn)題的建模求解。在解決實(shí)際問(wèn)題中，應(yīng)用MATLAB語(yǔ)言 構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活傳遞函數(shù)，編寫(xiě)各種網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練的子程序，網(wǎng)絡(luò)的 設(shè)計(jì)者可以根據(jù)需要調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)訓(xùn)練程序，使自己能夠從 煩瑣的編程中解脫出來(lái)，減輕工程人員的負(fù)擔(dān)，從而提高工作效率。 1.2人工神經(jīng)網(wǎng)絡(luò)的研究背景和意義 人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的 組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。 人工

7、神經(jīng)網(wǎng)絡(luò)就是模擬人思維的一種方式，是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特 色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功 能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。 近年來(lái)通過(guò)對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究，可以看出神經(jīng)網(wǎng)絡(luò)的研究目的和意義有 以下三點(diǎn)：（1）通過(guò)揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系 和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能的本源。（2）爭(zhēng)取構(gòu)造出 盡可能與人腦具有相似功能的計(jì)算機(jī)，即神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)。（3）研究仿照腦神 經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識(shí)別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì) 算機(jī)所難以達(dá)到的效果。

8、 人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法 對(duì)于直覺(jué)，如模式、語(yǔ)音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專(zhuān)家 系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng) 絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動(dòng)人工智能和信息處理技術(shù)不斷發(fā)展。近年來(lái)， 人工神經(jīng)網(wǎng)絡(luò)正向模擬人類(lèi)認(rèn)知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、 進(jìn)化機(jī)制等結(jié)合，形成計(jì)算智能，成為人工智能的一個(gè)重要方向，將在實(shí)際應(yīng)用 中得到發(fā)展。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研 究開(kāi)辟了新的途徑。神經(jīng)計(jì)算機(jī)的研究發(fā)展很快，已有產(chǎn)品進(jìn)入市場(chǎng)。光電結(jié)合 的神經(jīng)

9、計(jì)算機(jī)為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。 1.3神經(jīng)網(wǎng)絡(luò)的發(fā)展與研究現(xiàn)狀 神經(jīng)網(wǎng)絡(luò)的發(fā)展 神經(jīng)網(wǎng)絡(luò)起源于20世紀(jì)40年代，至今發(fā)展已半個(gè)多世紀(jì)，大致分為三個(gè)階 段。 1）20世紀(jì)50年代-20世紀(jì)60年代：第一次研究高潮 自1943年M-P模型開(kāi)始，至20世紀(jì)60年代為止，這一段時(shí)間可以稱(chēng)為神 經(jīng)網(wǎng)絡(luò)系統(tǒng)理論發(fā)展的初期階段。這個(gè)時(shí)期的主要特點(diǎn)是多種網(wǎng)絡(luò)的模型的產(chǎn)生 與學(xué)習(xí)算法的確定。 2）20世紀(jì)60年代-20世紀(jì)70年代：低潮時(shí)期 到了20世紀(jì)60年代，人們發(fā)現(xiàn)感知器存在一些缺陷，例如，它不能解決異 或問(wèn)題，因而研究工作趨向低潮。不過(guò)仍有不少學(xué)者繼續(xù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行研究

10、。 Grossberg提出了自適應(yīng)共振理論；Kohenen提出了自組織映射；Fukushima 提出了神經(jīng)認(rèn)知網(wǎng)絡(luò)理論；Anderson提出了BSB模型；Webos提出了BP理論 等。這些都是在20世紀(jì)70年代和20世紀(jì)80年代初進(jìn)行的工作。 3）20世紀(jì)80年代-90年代：第二次研究高潮 進(jìn)入20世紀(jì)80年代，神經(jīng)網(wǎng)絡(luò)研究進(jìn)入高潮。這個(gè)時(shí)期最具有標(biāo)志性的人 物是美國(guó)加州工學(xué)院的物理學(xué)家JohnHopfield。他于1982年和1984年在美國(guó)科 學(xué)院院刊上發(fā)表了兩篇文章，提出了模擬人腦的神經(jīng)網(wǎng)絡(luò)模型，即最著名的 Hopfield模型。Hopfield網(wǎng)絡(luò)是一個(gè)互連的非線性動(dòng)力

11、學(xué)網(wǎng)絡(luò)，它解決問(wèn)題的方 法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程，這是符號(hào)邏輯處理方式做不具備的性質(zhì)。20世 紀(jì)80年代后期到90年代初，神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論形成了發(fā)展的熱點(diǎn)，多種模型、 算法和應(yīng)用被提出，研究經(jīng)費(fèi)重新變得充足，使得研究者們完成了很多有意義的 工作。 神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀 進(jìn)入20世紀(jì)90年代以來(lái)，神經(jīng)網(wǎng)絡(luò)由于應(yīng)用面還不夠?qū)?，結(jié)果不夠精確， 存在可信度問(wèn)題，從而進(jìn)入了認(rèn)識(shí)與應(yīng)用研究期。 1）開(kāi)發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以 改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。 2）充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法。 3）希望在理論上尋找新的突破，建立新

12、的專(zhuān)用/通用模型和算法。 4）進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。 1.4神經(jīng)網(wǎng)絡(luò)的應(yīng)用 神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用取得了令人矚目的發(fā)展，特別是在人工智能、自動(dòng)控制、 計(jì)算機(jī)科學(xué)、信息處理、機(jī)器人、模式識(shí)別、CAD/CAM等方面都有重大的應(yīng)用 實(shí)例。下面列出一些主要應(yīng)用領(lǐng)域： （1）模式識(shí)別和圖像處理。印刷體和手寫(xiě)字符識(shí)別、語(yǔ)音識(shí)別、簽字識(shí)別、 指紋識(shí)別、人體病理分析、目標(biāo)檢測(cè)與識(shí)別、圖像壓縮和圖像復(fù)制等。 （2）控制和優(yōu)化?；み^(guò)程控制、機(jī)器人運(yùn)動(dòng)控制、家電控制、半導(dǎo)體生 產(chǎn)中摻雜控制、石油精煉優(yōu)化控制和超大規(guī)模集成電路布線設(shè)計(jì)等。 （3）預(yù)報(bào)和智能信息管理。股

13、票市場(chǎng)預(yù)測(cè)、地震預(yù)報(bào)、有價(jià)證券管理、借 貸風(fēng)險(xiǎn)分析、IC卡管理和交通管理。 （4）通信。自適應(yīng)均衡、回波抵消、路由選擇和ATM網(wǎng)絡(luò)中的呼叫接納 識(shí)別和控制。 （5）空間科學(xué)?？臻g交匯對(duì)接控制、導(dǎo)航信息智能管理、飛行器制導(dǎo)和飛 行程序優(yōu)化管理等。 2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及BP神經(jīng)網(wǎng)絡(luò) 2.1神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)（artificialneuralnetwork，ANN）是模仿生物神經(jīng)網(wǎng)絡(luò)功能的 一種經(jīng)驗(yàn)?zāi)Ｐ汀Ｉ锷窠?jīng)元受到傳入的刺激，其反應(yīng)又從輸出端傳到相聯(lián)的其它 神經(jīng)元，輸入和輸出之間的變換關(guān)系一般是非線性的。神經(jīng)網(wǎng)絡(luò)是由若干簡(jiǎn)單（通 常是自適應(yīng)的）元件及其層次組織，以大

14、規(guī)模并行連接方式構(gòu)造而成的網(wǎng)絡(luò)，按 照生物神經(jīng)網(wǎng)絡(luò)類(lèi)似的方式處理輸入的信息。模仿生物神經(jīng)網(wǎng)絡(luò)而建立的人工神 經(jīng)網(wǎng)絡(luò)，對(duì)輸入信號(hào)有功能強(qiáng)大的反應(yīng)和處理能力。 神經(jīng)網(wǎng)絡(luò)是由大量的處理單元（神經(jīng)元）互相連接而成的網(wǎng)絡(luò)。為了模擬大 腦的基本特性，在神經(jīng)科學(xué)研究的基礎(chǔ)上，提出了神經(jīng)網(wǎng)絡(luò)的模型。但是，實(shí)際 上神經(jīng)網(wǎng)絡(luò)并沒(méi)有完全反映大腦的功能，只是對(duì)生物神經(jīng)網(wǎng)絡(luò)進(jìn)行了某種抽象、 簡(jiǎn)化和模擬。神經(jīng)網(wǎng)絡(luò)的信息處理通過(guò)神經(jīng)元的互相作用來(lái)實(shí)現(xiàn)，知識(shí)與信息的 存儲(chǔ)表現(xiàn)為網(wǎng)絡(luò)元件互相分布式的物理聯(lián)系。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和識(shí)別取決于各種 神經(jīng)元連接權(quán)系數(shù)的動(dòng)態(tài)演化過(guò)程。 若干神經(jīng)元連接成網(wǎng)絡(luò)，其中的一個(gè)神經(jīng)

15、元可以接受多個(gè)輸入信號(hào)，按照一 定的規(guī)則轉(zhuǎn)換為輸出信號(hào)。由于神經(jīng)網(wǎng)絡(luò)中神經(jīng)元間復(fù)雜的連接關(guān)系和各神經(jīng)元 傳遞信號(hào)的非線性方式，輸入和輸出信號(hào)間可以構(gòu)建出各種各樣的關(guān)系，因此可 以用來(lái)作為黑箱模型，表達(dá)那些用機(jī)理模型還無(wú)法精確描述、但輸入和輸出之間 確實(shí)有客觀的、確定性的或模糊性的規(guī)律。因此，人工神經(jīng)網(wǎng)絡(luò)作為經(jīng)驗(yàn)?zāi)Ｐ偷? 一種，在化工生產(chǎn)、研究和開(kāi)發(fā)中得到了越來(lái)越多的用途。 2.1.1生物神經(jīng)元 人腦大約由1012個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)。神經(jīng)元是大 腦處理信息的基本單元，以細(xì)胞體為主體，由許多向周?chē)由斓牟灰?guī)則樹(shù)枝狀纖 維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹(shù)的枝干。

16、它主要由細(xì)胞體、樹(shù)突、軸突 和突觸(Synapse，又稱(chēng)神經(jīng)鍵)組成。如圖1所示。 圖1生物神經(jīng)元 從神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主要發(fā)生在突觸附近。 當(dāng)神經(jīng)元細(xì)胞體通過(guò)軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值 電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)。 2.1.2人工神經(jīng)元 歸納一下生物神經(jīng)元傳遞信息的過(guò)程：生物神經(jīng)元是一個(gè)多輸入、單輸出單 元。常用的人工神經(jīng)元模型可用圖2模擬。 圖2人工神經(jīng)元（感知器）示意圖 當(dāng)神經(jīng)元j有多個(gè)輸入xi(i=1，2,?,m)和單個(gè)輸出yj時(shí)，輸入和輸出的關(guān)系 可表示為: m sw j i

17、1 ij x i j yf(s) jj 其中j為閾值，wij為從神經(jīng)元i到神經(jīng)元j的連接權(quán)重因子，f()為傳遞函 數(shù)，或稱(chēng)激勵(lì)函數(shù)。 2.1.3人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)? 結(jié)構(gòu)及學(xué)習(xí)方法。 神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式： 1）前向網(wǎng)絡(luò) 前向網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與 前一層的神經(jīng)元相連接。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱(chēng)為隱 含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只接受來(lái)自前一層神經(jīng)元 的輸入，后面的層對(duì)前面的層沒(méi)有信號(hào)反饋。輸入模式

18、經(jīng)過(guò)各層次的順序傳播， 最后在輸出層上得到輸出。感知器網(wǎng)絡(luò)和BP網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò)。 圖3前向網(wǎng)絡(luò)結(jié)構(gòu) 2）從輸出到輸入有反饋的前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖4所示，輸出層對(duì)輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲(chǔ)某種 模式序列，如神經(jīng)認(rèn)知機(jī)和回歸BP網(wǎng)絡(luò)都屬于這種類(lèi)型。 圖4有反饋的前向網(wǎng)絡(luò)結(jié)構(gòu) 3)層內(nèi)互連前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖5所示，通過(guò)層內(nèi)神經(jīng)元的相互結(jié)合，可以實(shí)現(xiàn)同一層神經(jīng)元之 間的橫向抑制或興奮機(jī)制。這樣可以限制每層內(nèi)可以同時(shí)動(dòng)作的神經(jīng)元素，或者 把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個(gè)整體進(jìn)行運(yùn)作。例如，可利用 橫向抑制機(jī)理把某層內(nèi)的具有最大輸出的神經(jīng)元挑選出來(lái)，從而抑

19、制其他神經(jīng) 元，使之處于無(wú)輸出狀態(tài)。 圖5有相互結(jié)合的前向網(wǎng)絡(luò)結(jié)構(gòu) 4)相互結(jié)合型網(wǎng)絡(luò) 相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，這種網(wǎng)絡(luò)在任意兩個(gè)神經(jīng)元之間都可能有 連接。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)均屬于這種類(lèi)型。在無(wú)反饋的前向網(wǎng)絡(luò)中， 信號(hào)一旦通過(guò)某神經(jīng)元，該神經(jīng)元的處理就結(jié)束了。而在相互結(jié)合網(wǎng)絡(luò)中，信號(hào) 要在神經(jīng)元之間反復(fù)傳遞，網(wǎng)絡(luò)處于一種不斷變化狀態(tài)的動(dòng)態(tài)之中。信號(hào)從某初 始狀態(tài)開(kāi)始，經(jīng)過(guò)若干次變化，才會(huì)達(dá)到某種平衡狀態(tài)。根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng) 元的特性，網(wǎng)絡(luò)的運(yùn)行還有可能進(jìn)入周期振蕩或其他如混沌平衡狀態(tài)。 圖6結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu) 綜上，可知神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)、層內(nèi)

20、連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng) 絡(luò)、互連網(wǎng)絡(luò)等四種結(jié)構(gòu)，其神經(jīng)網(wǎng)絡(luò)模型有感知器網(wǎng)絡(luò)，線性神經(jīng)網(wǎng)絡(luò)，BP 神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)，反饋神經(jīng)網(wǎng)絡(luò)等，本文主要學(xué)習(xí)研究了BP神經(jīng)網(wǎng) 絡(luò)，以及BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近和樣本含量估計(jì)兩個(gè)實(shí)例中的應(yīng)用分析。 2.2BP神經(jīng)網(wǎng)絡(luò)及其原理 2.2.1BP神經(jīng)網(wǎng)絡(luò)定義 BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。其由輸入層、中 間層、輸出層組成的階層型神經(jīng)網(wǎng)絡(luò)，中間層可擴(kuò)展為多層。相鄰層之間各神經(jīng) 元進(jìn)行全連接，而每層各神經(jīng)元之間無(wú)連接，網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)， 當(dāng)一對(duì)學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，各神經(jīng)元獲得網(wǎng)絡(luò)的輸

21、入響應(yīng)產(chǎn)生連接權(quán)值 （Weight）。然后按減小希望輸出與實(shí)際輸出誤差的方向，從輸出層經(jīng)各中間層 逐層修正各連接權(quán)，回到輸入層。此過(guò)程反復(fù)交替進(jìn)行，直至網(wǎng)絡(luò)的全局誤差趨 向給定的極小值，即完成學(xué)習(xí)的過(guò)程。 2.2.2BP神經(jīng)網(wǎng)絡(luò)模型及其基本原理 BP網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱層和輸出層組成。圖7為 一個(gè)典型的三層BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，層與層之間采用全互連方式，同一層之間 不存在相互連接,隱層可以有一層或多層。層與層之間有兩種信號(hào)在流通：一種 是工作信號(hào)(用實(shí)線表示)，它是施加輸入信號(hào)后向前傳播直到在輸出端產(chǎn)生實(shí)際 輸出的信號(hào)，是輸入和權(quán)值的函數(shù)。另一種是誤差信號(hào)(

22、用虛線表示),網(wǎng)絡(luò)實(shí)際輸 出與期望輸出間的差值即為誤差，它由輸出端開(kāi)始逐層向后傳播。BP網(wǎng)絡(luò)的學(xué) 習(xí)過(guò)程程由前向計(jì)算過(guò)程和誤差反向傳播過(guò)程組成。在前向計(jì)算過(guò)程中，輸入量 從輸入層經(jīng)隱層逐層計(jì)算，并傳向輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng) 元的狀態(tài)。如輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差反向傳播過(guò)程，誤差信號(hào) 沿原來(lái)的連接通路返回，逐次調(diào)整網(wǎng)絡(luò)各層的權(quán)值和閾值，直至到達(dá)輸入層，再 重復(fù)向計(jì)算。這兩個(gè)過(guò)程一次反復(fù)進(jìn)行，不斷調(diào)整各層的權(quán)值和閾值，使得網(wǎng)絡(luò) 誤差最小或達(dá)到人們所期望的要求時(shí)，學(xué)習(xí)過(guò)程結(jié)束。 圖7典型Bp網(wǎng)絡(luò)模型 生物神經(jīng)元信號(hào)的傳遞是通過(guò)突觸進(jìn)行的一個(gè)復(fù)雜的電化學(xué)

23、等過(guò)程,在人 工神經(jīng)網(wǎng)絡(luò)中是將其簡(jiǎn)化模擬成一組數(shù)字信號(hào)通過(guò)一定的學(xué)習(xí)規(guī)則而不斷變動(dòng) 更新的過(guò)程，這組數(shù)字儲(chǔ)存在神經(jīng)元之間的連接權(quán)重。網(wǎng)絡(luò)的輸入層模擬的是神 經(jīng)系統(tǒng)中的感覺(jué)神經(jīng)元，它接收輸入樣本信號(hào)。輸入信號(hào)經(jīng)輸入層輸入，通過(guò) 隱含層的復(fù)雜計(jì)算由輸出層輸出，輸出信號(hào)與期望輸出相比較，若有誤差，再將 誤差信號(hào)反向由輸出層通過(guò)隱含層處理后向輸入層傳播。在這個(gè)過(guò)程中，誤差通 過(guò)梯度下降算法，分?jǐn)偨o各層的所有單元，從而獲得各單元的誤差信號(hào)，以此誤 差信號(hào)為依據(jù)修正各單元權(quán)值，網(wǎng)絡(luò)權(quán)值因此被重新分布。此過(guò)程完成后，輸 入信號(hào)再次由輸入層輸入網(wǎng)絡(luò)，重復(fù)上述過(guò)程。這種信號(hào)正向傳播與誤差反向傳

24、 播的各層權(quán)值調(diào)整過(guò)程周而復(fù)始地進(jìn)行著，直到網(wǎng)絡(luò)輸出的誤差減少到可以接受 的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。權(quán)值不斷調(diào)整的過(guò)程就是網(wǎng)絡(luò)的學(xué) 習(xí)訓(xùn)練過(guò)程。 BP神經(jīng)網(wǎng)絡(luò)的信息處理方式具有如下特點(diǎn): 1）信息分布存儲(chǔ)。人腦存儲(chǔ)信息的特點(diǎn)是利用突觸效能的變化來(lái)調(diào)整存儲(chǔ) 內(nèi)容，即信息存儲(chǔ)在神經(jīng)元之間的連接強(qiáng)度的分布上，BP神經(jīng)網(wǎng)絡(luò)模擬人腦 的這一特點(diǎn)，使信息以連接權(quán)值的形式分布于整個(gè)網(wǎng)絡(luò)。 2)信息并行處理。人腦神經(jīng)元之間傳遞脈沖信號(hào)的速度遠(yuǎn)低于馮·諾依曼 計(jì)算機(jī)的工作速度，但是在很多問(wèn)題上卻可以做出快速的判斷、決策和處理，這 是由于人腦是一個(gè)大規(guī)模并行與串行組合的處理系統(tǒng)。B

25、P神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 模仿人腦，具有并行處理的特征，大大提高了網(wǎng)絡(luò)功能。 3）具有容錯(cuò)性。生物神經(jīng)系統(tǒng)部分不嚴(yán)重?fù)p傷并不影響整體功能，BP神經(jīng) 網(wǎng)絡(luò)也具有這種特性，網(wǎng)絡(luò)的高度連接意味著少量的誤差可能不會(huì)產(chǎn)生嚴(yán)重的后 果，部分神經(jīng)元的損傷不破壞整體，它可以自動(dòng)修正誤差。這與現(xiàn)代計(jì)算機(jī)的脆 弱性形成鮮明對(duì)比。 4）具有自學(xué)習(xí)、自組織、自適應(yīng)的能力。BP神經(jīng)網(wǎng)絡(luò)具有初步的自適應(yīng)與 自組織能力，在學(xué)習(xí)或訓(xùn)練中改變突觸權(quán)值以適應(yīng)環(huán)境，可以在使用過(guò)程中不斷 學(xué)習(xí)完善自己的功能，并且同一網(wǎng)絡(luò)因?qū)W習(xí)方式的不同可以具有不同的功能，它 甚至具有創(chuàng)新能力，可以發(fā)展知識(shí)，以至超過(guò)設(shè)計(jì)者原有的知識(shí)水平

26、。 2.3BP神經(jīng)網(wǎng)絡(luò)的主要功能 目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中。絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用BP 神經(jīng)網(wǎng)絡(luò)及其變化形式。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精 華。 BP網(wǎng)絡(luò)主要用于以下四方面。 （1）函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)以逼近一個(gè)函 數(shù)。 （2）模式識(shí)別：用一個(gè)待定的輸出向量將它與輸入向量聯(lián)系起來(lái)。 （3）分類(lèi)：把輸入向量所定義的合適方式進(jìn)行分類(lèi)。 （4）數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲(chǔ)。 3.基于matlab的BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合 3.1運(yùn)用背景 系統(tǒng)狀態(tài)方程復(fù)雜的非線性系統(tǒng)，難以用數(shù)學(xué)方法精確建模。在這種

27、情況下，可 以建立BP神經(jīng)網(wǎng)絡(luò)表達(dá)這些非線性系統(tǒng)。該方法把未知系統(tǒng)看成是一個(gè)黑箱， 首先用系統(tǒng)輸入輸出數(shù)據(jù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)能夠表達(dá)該未知函數(shù)，然后 就可以用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)系統(tǒng)輸出。 先取出若干組系統(tǒng)的輸入輸出數(shù)據(jù)對(duì)BP網(wǎng)絡(luò)進(jìn)行有效學(xué)習(xí)，然后就可以用BP 網(wǎng)絡(luò)來(lái)表達(dá)這個(gè)系統(tǒng)，在知道系統(tǒng)輸入?yún)?shù)的情況下，可以網(wǎng)絡(luò)來(lái)預(yù)測(cè)系統(tǒng)的輸出值。本案例就是用BP網(wǎng)絡(luò)來(lái)擬合一個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)，來(lái)說(shuō)明BP網(wǎng)絡(luò)的擬合能力，并探討了BP網(wǎng)絡(luò)在使用中注意的幾個(gè)問(wèn)題。 本案例擬合的非線性函數(shù)為 y=x1^2+x2^2 3.2模型建立 基于BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合算法流程可以分為BP神經(jīng)

28、網(wǎng)絡(luò)構(gòu)建、BP神 經(jīng)網(wǎng)絡(luò)訓(xùn)練和BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)三步。 BP神經(jīng)網(wǎng)絡(luò)模塊構(gòu)建中確定神經(jīng)網(wǎng)路的結(jié)構(gòu)以及學(xué)習(xí)方式，根據(jù)擬合函數(shù)的 形式，采用神經(jīng)網(wǎng)絡(luò)的格式為：輸入層有兩個(gè)節(jié)點(diǎn)，輸出層有一個(gè)節(jié)點(diǎn)，隱含層 有五個(gè)節(jié)點(diǎn)，隱含層傳遞函數(shù)是‘tansig’函數(shù)，輸出層傳遞函數(shù)是‘purlin’ 函數(shù)。 BP神經(jīng)網(wǎng)絡(luò)構(gòu)建根據(jù)擬合非線性函數(shù)特點(diǎn)確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由于該非線性函數(shù)有兩個(gè)輸入?yún)?shù)，一個(gè)輸出參數(shù)，所以BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)即輸入層有2個(gè)結(jié)點(diǎn)，中間層有5個(gè)結(jié)點(diǎn)，輸出層有1個(gè)結(jié)點(diǎn)。 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練用非線性函數(shù)輸入輸出數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使訓(xùn)練后的網(wǎng)絡(luò) 能夠預(yù)測(cè)非線性函數(shù)輸出。從非線性函數(shù)中隨機(jī)

29、得到2000組輸入輸出數(shù)據(jù)，從 中隨機(jī)選擇1900組作為訓(xùn)練數(shù)據(jù)，用于網(wǎng)絡(luò)訓(xùn)練，100組作為測(cè)試數(shù)據(jù)，用于 測(cè)試網(wǎng)絡(luò)的擬合性能。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)用訓(xùn)練好的網(wǎng)絡(luò)預(yù)測(cè)函數(shù)輸出，并對(duì)預(yù)測(cè)結(jié) 果進(jìn)行分析。 BP網(wǎng)絡(luò)來(lái)擬合一個(gè)函數(shù)，說(shuō)明BP網(wǎng)絡(luò)在函數(shù)擬合中的作用。 訓(xùn)練好的數(shù)據(jù)對(duì)網(wǎng)絡(luò)性能進(jìn)行預(yù)測(cè)，從而判斷網(wǎng)絡(luò)擬合函數(shù)效果。 3.3MatLab實(shí)現(xiàn) 1.BP神經(jīng)網(wǎng)絡(luò)工具箱函數(shù) Matlab軟件中包含Matlab神經(jīng)網(wǎng)絡(luò)工具箱。它是以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)， 用Matlab語(yǔ)言構(gòu)造出了該理論所涉及的公式運(yùn)算、矩陣操作和方程求解等大部 分子程序以用于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練。用戶(hù)只需根據(jù)自己的需要

30、調(diào)用相關(guān)的子 程序，即可以完成包括網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、權(quán)值初始化、網(wǎng)絡(luò)訓(xùn)練及結(jié)果輸出等在內(nèi) 的一系列工作，免除編寫(xiě)復(fù)雜龐大程序的困擾。目前，Matlab神經(jīng)網(wǎng)絡(luò)工具包 包括的網(wǎng)絡(luò)有感知器、線性網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、徑向基網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)和回 歸網(wǎng)絡(luò)等。BP神經(jīng)網(wǎng)絡(luò)主要用到newff、sim和train3個(gè)神經(jīng)網(wǎng)絡(luò)函數(shù)，各函 數(shù)解釋如下。 1、newff：BP神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置函數(shù) 函數(shù)功能：構(gòu)建一個(gè)BP神經(jīng)網(wǎng)絡(luò)。 函數(shù)形式：net=newff（P，T，S，TF，BTF，BLF，PF，IPF，OPF，DDF） P：輸入數(shù)據(jù)矩陣。 T：輸出數(shù)據(jù)矩陣。 S：隱含層結(jié)點(diǎn)數(shù)。 TF：結(jié)點(diǎn)傳

31、遞函數(shù)，包括硬限幅傳遞函數(shù)hardlim，對(duì)稱(chēng)硬限幅傳遞函數(shù) hardlims，線性傳遞函數(shù)pureline，正切S型傳遞函數(shù)tansig，對(duì)數(shù)S型傳遞 函數(shù)logsig。 BTF：訓(xùn)練函數(shù)，包括梯度下降BP算法訓(xùn)練函數(shù)traingd，動(dòng)量反傳的梯度下降BP算法訓(xùn)練函數(shù)traingdm，動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降BP算法訓(xùn)練函數(shù) traingda，動(dòng)量反傳和動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降BP算法訓(xùn)練函數(shù)traingdx， Levenberg_Marquardt的BP算法訓(xùn)練函數(shù)trainlm。 BLF：網(wǎng)絡(luò)學(xué)習(xí)函數(shù)，包括BP學(xué)習(xí)規(guī)格learngd，帶動(dòng)量項(xiàng)的BP學(xué)習(xí)規(guī)則 learng

32、dm。 PF：性能分析函數(shù)，包括均值絕對(duì)誤差性能分析函數(shù)mae，均方差性能分析函數(shù) mse。 IPF：輸入處理函數(shù)。 OPF：輸出處理函數(shù)。DDF：驗(yàn)證數(shù)據(jù)劃分函數(shù)。 一般在使用過(guò)程中設(shè)置前面6個(gè)參數(shù)，后面4個(gè)參數(shù)采用系統(tǒng)默認(rèn)參數(shù)。 2、train：BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù) 函數(shù)功能：用訓(xùn)練數(shù)據(jù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)。 函數(shù)形式：[net，tr]=train（NET，X，T，Pi，Ai） NET：待訓(xùn)練網(wǎng)絡(luò)。 X：輸入數(shù)據(jù)。 T：輸出數(shù)據(jù)。 Pi：初始化輸入層條件。 Ai：初始化輸出層條件。 net：訓(xùn)練好的網(wǎng)絡(luò)。 tr：訓(xùn)練過(guò)程記錄。 一般在使用過(guò)程中設(shè)置前面3個(gè)參數(shù)，

33、后面2個(gè)參數(shù)采用系統(tǒng)默認(rèn)參數(shù)。 3、sim：BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)函數(shù)、 函數(shù)功能：用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)函數(shù)輸出。 函數(shù)形式：y=sim（net，x） net：訓(xùn)練好的網(wǎng)絡(luò)。x：輸入數(shù)據(jù)。 y：網(wǎng)絡(luò)預(yù)測(cè)數(shù)據(jù)。 2.實(shí)驗(yàn)結(jié)果：實(shí)際輸出數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)輸出之間的結(jié)果對(duì)比圖 優(yōu)勢(shì)分析： 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模塊既用訓(xùn)練好的數(shù)據(jù)對(duì)網(wǎng)絡(luò)性能進(jìn)行預(yù)測(cè)，從而判斷網(wǎng)絡(luò)擬合函 數(shù)效果。 參考文獻(xiàn)： [1]李曉慧.《基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用》[J].科技信息,2010,(26) [2]郝中華.《BP神經(jīng)網(wǎng)絡(luò)的非線性思想》.XX師X學(xué)院學(xué)報(bào)2008.3(4) [3]X玲，X鈸.《人

34、工神經(jīng)網(wǎng)絡(luò)理及應(yīng)用》.XX：XX科技大學(xué)， 1997.5:20-62 [4]蔣宗禮.《人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論》.高等教育，2001.5:15-90 [5]聞新、周露、王丹力、熊曉英.《MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì).科學(xué)》， 2001.5:10-50 [6]葛哲學(xué)、孫志強(qiáng)編著.《神經(jīng)網(wǎng)絡(luò)與matlab2007實(shí)現(xiàn)》.：電子工業(yè) ，2007.9:1-5 附錄： 程序代碼： %%清空環(huán)境變量 clc clear %%訓(xùn)練數(shù)據(jù)預(yù)測(cè)數(shù)據(jù)提取及歸一化 %導(dǎo)入輸入輸出數(shù)據(jù)loaddatainputoutput %從1到2000間隨機(jī)排序 k=rand(1,2000); [m,n]=

35、sort(k); %隨機(jī)選擇1900組訓(xùn)練數(shù)據(jù)和100組預(yù)測(cè)數(shù)據(jù) input_train=input(n(1:1900),:)'; output_train=output(n(1:1900)); input_test=input(n(1901:2000),:)'; output_test=output(n(1901:2000)); %訓(xùn)練數(shù)據(jù)歸一化 [inputn,inputps]=mapminmax(input_train); [outputn,outputps]=mapminmax(output_train); %%BP網(wǎng)絡(luò)訓(xùn)練 %初始化BP網(wǎng)絡(luò)結(jié)構(gòu) net=newf

36、f(inputn,outputn,5); %網(wǎng)絡(luò)參數(shù)配置（迭代次數(shù)、學(xué)習(xí)率、目標(biāo)） net.trainParam.epochs=100; net.trainParam.lr=0.1; net.trainParam.goal=0.00004; %網(wǎng)絡(luò)訓(xùn)練 net=train(net,inputn,outputn); %%BP網(wǎng)絡(luò)預(yù)測(cè) %預(yù)測(cè)數(shù)據(jù)歸一化 inputn_test=mapminmax('apply',input_test,inputps); %網(wǎng)絡(luò)預(yù)測(cè)輸出 an=sim(net,inputn_test); %網(wǎng)絡(luò)輸出反歸一化 BPoutput=mapminma

37、x('reverse',an,outputps); %%結(jié)果分析 figure(1)plot(BPoutput,':og')holdonplot(output_test,'-*'); legend('預(yù)測(cè)輸出','期望輸出') title('BP網(wǎng)絡(luò)預(yù)測(cè)輸出','fontsize',12) ylabel('函數(shù)輸出','fontsize',12) xlabel('樣本','fontsize',12)%預(yù)測(cè)誤差 error=BPoutput-output_test; figure(2) plot(error,'-*') title('BP網(wǎng)絡(luò)預(yù)測(cè)誤差','fontsize',12) ylabel('誤差','fontsize',12) xlabel('樣本','fontsize',12) figure(3) plot((output_test-BPoutput)./BPoutput,'-*');title('神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差百分比') errorsum=sum(abs(error))