《人工智能導(dǎo)論》調(diào)研報(bào)告資料

《《人工智能導(dǎo)論》調(diào)研報(bào)告資料》由會(huì)員分享，可在線閱讀，更多相關(guān)《《人工智能導(dǎo)論》調(diào)研報(bào)告資料（15頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、人工智能導(dǎo)論》調(diào)研報(bào)告 BP 神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合 1 人工智能相關(guān)介紹 1.1 人工神經(jīng)網(wǎng)絡(luò)與 matlab 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Networks，NN ）是由大量的、簡(jiǎn)單的處理 單元（稱為神經(jīng)元） 廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)， 它反映了人腦功能 的許多基本特征， 是一個(gè)高度復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)。 神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并 行、分布式存儲(chǔ)和處理、自組織、自適應(yīng)和自學(xué)習(xí)能力，特別適合處理需要同時(shí) 考慮許多因素和條件的、 不精確和模糊的信息處理問題。 神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng) 科學(xué)、數(shù)理科學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)科學(xué)、人工智能、信息科學(xué)、控制論、機(jī)器 人

2、學(xué)、微電子學(xué)、心理學(xué)、微電子學(xué)、心理學(xué)、光計(jì)算、分子生物學(xué)等有關(guān)，是 一門新興的邊緣交叉學(xué)科。 神經(jīng)網(wǎng)絡(luò)具有非線性自適應(yīng)的信息處理能力， 克服了傳統(tǒng)人工智能方法對(duì)于 直覺的缺陷，因而在神經(jīng)專家系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等領(lǐng) 域得到成功應(yīng)用。 神經(jīng)網(wǎng)絡(luò)與其他傳統(tǒng)方法相組合， 將推動(dòng)人工智能和信息處理 技術(shù)不斷發(fā)展。 近年來， 神經(jīng)網(wǎng)絡(luò)在模擬人類認(rèn)知的道路上更加深入發(fā)展， 并與 模糊系統(tǒng)、遺傳算法、進(jìn)化機(jī)制等組合，形成計(jì)算智能，成為人工智能的一個(gè)重 要方向。 MATLAB 是一種科學(xué)與工程計(jì)算的高級(jí)語言，廣泛地運(yùn)用于包括信號(hào)與圖 像處理，控制系統(tǒng)設(shè)計(jì)， 系統(tǒng)仿真等諸多領(lǐng)域。 為了

3、解決神經(jīng)網(wǎng)絡(luò)問題中的研究 工作量和編程計(jì)算工作量問題，目前工程領(lǐng)域中較為流行的軟件 MATLAB ，提 供了現(xiàn)成的神經(jīng)網(wǎng)絡(luò)工具箱（Neural Network Toolbox，簡(jiǎn)稱NNbox），為解決 這個(gè)矛盾提供了便利條件。 神經(jīng)網(wǎng)絡(luò)工具箱提供了很多經(jīng)典的學(xué)習(xí)算法， 使用它 能夠快速實(shí)現(xiàn)對(duì)實(shí)際問題的建模求解。 在解決實(shí)際問題中， 應(yīng)用 MATLAB 語言 構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活傳遞函數(shù)， 編寫各種網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練的子程序， 網(wǎng)絡(luò)的 設(shè)計(jì)者可以根據(jù)需要調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)訓(xùn)練程序， 使自己能夠從 煩瑣的編程中解脫出來，減輕工程人員的負(fù)擔(dān)，從而提高工作效率。 1.2 人工神經(jīng)網(wǎng)絡(luò)的研究

4、背景和意義 人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)， 它的 組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。 人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的一種方式， 是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)， 其特 色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。 雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單， 功 能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。 近年來通過對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究， 可以看出神經(jīng)網(wǎng)絡(luò)的研究目的和意義有 以下三點(diǎn)：（ 1）通過揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系 和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能的本源。（ 2）爭(zhēng)取構(gòu)造出 盡可能與人腦具有相

5、似功能的計(jì)算機(jī)，即神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)。（ 3）研究仿照腦神 經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)， 將在模式識(shí)別、 組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì) 算機(jī)所難以達(dá)到的效果。 人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力， 克服了傳統(tǒng)人工智能方法 對(duì)于直覺，如模式、語音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家 系統(tǒng)、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng) 絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動(dòng)人工智能和信息處理技術(shù)不斷發(fā)展。近年來， 人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認(rèn)知的道路上更加深入發(fā)展， 與模糊系統(tǒng)、遺傳算法、 進(jìn)化機(jī)制等結(jié)合， 形成計(jì)算智能， 成為人工智能的一個(gè)重要方向， 將在實(shí)際應(yīng)用 中

6、得到發(fā)展。 將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究， 為人工神經(jīng)網(wǎng)絡(luò)的理論研 究開辟了新的途徑。 神經(jīng)計(jì)算機(jī)的研究發(fā)展很快， 已有產(chǎn)品進(jìn)入市場(chǎng)。 光電結(jié)合 的神經(jīng)計(jì)算機(jī)為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。 1.3 神經(jīng)網(wǎng)絡(luò)的發(fā)展與研究現(xiàn)狀 1.3.1 神經(jīng)網(wǎng)絡(luò)的發(fā)展 神經(jīng)網(wǎng)絡(luò)起源于 20 世紀(jì) 40 年代，至今發(fā)展已半個(gè)多世紀(jì)， 大致分為三個(gè)階 段。 1）20世紀(jì) 50年代-20世紀(jì) 60年代：第一次研究高潮 自 1943 年 M-P 模型開始，至 20 世紀(jì) 60 年代為止，這一段時(shí)間可以稱為神 經(jīng)網(wǎng)絡(luò)系統(tǒng)理論發(fā)展的初期階段。 這個(gè)時(shí)期的主要特點(diǎn)是多種網(wǎng)絡(luò)的模型的產(chǎn)生 與學(xué)習(xí)算法的確定

7、。 2）20世紀(jì) 60年代-20世紀(jì) 70年代：低潮時(shí)期 到了 20世紀(jì) 60年代，人們發(fā)現(xiàn)感知器存在一些缺陷， 例如，它不能解決異 或問題，因而研究工作趨向低潮。不過仍有不少學(xué)者繼續(xù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行研究。 Grossberg 提出了自適應(yīng)共振理論； Kohenen 提出了自組織映射； Fukushima 提出了神經(jīng)認(rèn)知網(wǎng)絡(luò)理論；Anderson提出了 BSB模型；Webos提出了 BP理論 等。這些都是在 20世紀(jì) 70 年代和 20 世紀(jì) 80 年代初進(jìn)行的工作。 3）20世紀(jì) 80年代-90 年代：第二次研究高潮 進(jìn)入 20 世紀(jì) 80 年代，神經(jīng)網(wǎng)絡(luò)研究進(jìn)入高潮。 這個(gè)時(shí)期最具

8、有標(biāo)志性的人 物是美國加州工學(xué)院的物理學(xué)家 John Hopfield。他于1982年和1984年在美國科 學(xué)院院刊上發(fā)表了兩篇文章，提出了模擬人腦的神經(jīng)網(wǎng)絡(luò)模型，即最著名的 Hopfield 模型。 Hopfield 網(wǎng)絡(luò)是一個(gè)互連的非線性動(dòng)力學(xué)網(wǎng)絡(luò)，它解決問題的方 法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程，這是符號(hào)邏輯處理方式做不具備的性質(zhì)。 20 世 紀(jì) 80 年代后期到 90 年代初，神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論形成了發(fā)展的熱點(diǎn)，多種模型、 算法和應(yīng)用被提出， 研究經(jīng)費(fèi)重新變得充足， 使得研究者們完成了很多有意義的 工作。 1.3.2 神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀 進(jìn)入 20 世紀(jì) 90 年代以來，神經(jīng)網(wǎng)絡(luò)由于應(yīng)用面還不

9、夠?qū)?，結(jié)果不夠精確， 存在可信度問題，從而進(jìn)入了認(rèn)識(shí)與應(yīng)用研究期。 1） 開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以 改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。 2） 充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法。 3） 希望在理論上尋找新的突破，建立新的專用 /通用模型和算法。 4） 進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。 1.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用取得了令人矚目的發(fā)展， 特別是在人工智能、自動(dòng)控制、 計(jì)算機(jī)科學(xué)、信息處理、機(jī)器人、模式識(shí)別、 CAD/CAM 等方面都有重大的應(yīng)用 實(shí)例。下面列出一些主要應(yīng)用領(lǐng)域： （1） 模式識(shí)別

10、和圖像處理。印刷體和手寫字符識(shí)別、語音識(shí)別、簽字識(shí)別、 指紋識(shí)別、人體病理分析、目標(biāo)檢測(cè)與識(shí)別、圖像壓縮和圖像復(fù)制等。 （2） 控制和優(yōu)化?；み^程控制、機(jī)器人運(yùn)動(dòng)控制、家電控制、半導(dǎo)體生 產(chǎn)中摻雜控制、石油精煉優(yōu)化控制和超大規(guī)模集成電路布線設(shè)計(jì)等。 （3） 預(yù)報(bào)和智能信息管理。股票市場(chǎng)預(yù)測(cè)、地震預(yù)報(bào)、有價(jià)證券管理、借 貸風(fēng)險(xiǎn)分析、 IC 卡管理和交通管理。 （4） 通信。自適應(yīng)均衡、回波抵消、路由選擇和 ATM 網(wǎng)絡(luò)中的呼叫接納 識(shí)別和控制。 （5） 空間科學(xué)?？臻g交匯對(duì)接控制、導(dǎo)航信息智能管理、飛行器制導(dǎo)和飛 行程序優(yōu)化管理等。 2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及 BP 神經(jīng)網(wǎng)絡(luò) 2.1 神經(jīng)

11、元與網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)（ artificial neural network ，ANN ）是模仿生物神經(jīng)網(wǎng)絡(luò)功能的 一種經(jīng)驗(yàn)?zāi)Ｐ汀?生物神經(jīng)元受到傳入的刺激， 其反應(yīng)又從輸出端傳到相聯(lián)的其它 神經(jīng)元，輸入和輸出之間的變換關(guān)系一般是非線性的。 神經(jīng)網(wǎng)絡(luò)是由若干簡(jiǎn)單 （通 常是自適應(yīng)的） 元件及其層次組織， 以大規(guī)模并行連接方式構(gòu)造而成的網(wǎng)絡(luò)， 按 照生物神經(jīng)網(wǎng)絡(luò)類似的方式處理輸入的信息。 模仿生物神經(jīng)網(wǎng)絡(luò)而建立的人工神 經(jīng)網(wǎng)絡(luò)，對(duì)輸入信號(hào)有功能強(qiáng)大的反應(yīng)和處理能力。 神經(jīng)網(wǎng)絡(luò)是由大量的處理單元 （神經(jīng)元） 互相連接而成的網(wǎng)絡(luò)。 為了模擬大 腦的基本特性，在神經(jīng)科學(xué)研究的基礎(chǔ)上，提出了神經(jīng)

12、網(wǎng)絡(luò)的模型。但是，實(shí)際 上神經(jīng)網(wǎng)絡(luò)并沒有完全反映大腦的功能，只是對(duì)生物神經(jīng)網(wǎng)絡(luò)進(jìn)行了某種抽象、 簡(jiǎn)化和模擬。 神經(jīng)網(wǎng)絡(luò)的信息處理通過神經(jīng)元的互相作用來實(shí)現(xiàn)， 知識(shí)與信息的 存儲(chǔ)表現(xiàn)為網(wǎng)絡(luò)元件互相分布式的物理聯(lián)系。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和識(shí)別取決于各種 神經(jīng)元連接權(quán)系數(shù)的動(dòng)態(tài)演化過程。 若干神經(jīng)元連接成網(wǎng)絡(luò)， 其中的一個(gè)神經(jīng)元可以接受多個(gè)輸入信號(hào)， 按照一 定的規(guī)則轉(zhuǎn)換為輸出信號(hào)。 由于神經(jīng)網(wǎng)絡(luò)中神經(jīng)元間復(fù)雜的連接關(guān)系和各神經(jīng)元 傳遞信號(hào)的非線性方式， 輸入和輸出信號(hào)間可以構(gòu)建出各種各樣的關(guān)系， 因此可 以用來作為黑箱模型， 表達(dá)那些用機(jī)理模型還無法精確描述、 但輸入和輸出之間 確實(shí)有客觀的、 確定

13、性的或模糊性的規(guī)律。 因此， 人工神經(jīng)網(wǎng)絡(luò)作為經(jīng)驗(yàn)?zāi)Ｐ偷?一種，在化工生產(chǎn)、研究和開發(fā)中得到了越來越多的用途。 2.1.1 生物神經(jīng)元 人腦大約由 1012 個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)。神經(jīng)元是大 腦處理信息的基本單元， 以細(xì)胞體為主體， 由許多向周圍延伸的不規(guī)則樹枝狀纖 維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干。它主要由細(xì)胞體、樹突、軸突 和突觸（Synapse又稱神經(jīng)鍵）組成。如圖1所示。 自英他萍經(jīng)無軸奧料純未粕 從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。 當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度， 即超過其閾值

14、 電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)。 2.1.2 人工神經(jīng)元 歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個(gè)多輸入、單輸出單 元。常用的人工神經(jīng)元模型可用圖 2模擬。 0 圖2人工神經(jīng)元(感知器)示意圖 當(dāng)神經(jīng)元j有多個(gè)輸入xi(i=1 , 2,…,m)和單個(gè)輸出yj時(shí)，輸入和輸出的關(guān)系 可表示為： r j Sj 二、WijXi - V j i=1 yj = f&) 其中j為閾值，wij為從神經(jīng)元i到神經(jīng)元j的連接權(quán)重因子，f()為傳遞函 數(shù)，或稱激勵(lì)函數(shù)。 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)

15、的拓?fù)?結(jié)構(gòu)及學(xué)習(xí)方法。 神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式： 1）前向網(wǎng)絡(luò) 前向網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與 前一層的神經(jīng)元相連接。神經(jīng)元分層排列，分別組成輸入層、中間層（也稱為隱 含層，可以由若干層組成）和輸出層。每一層的神經(jīng)元只接受來自前一層神經(jīng)元 的輸入，后面的層對(duì)前面的層沒有信號(hào)反饋。輸入模式經(jīng)過各層次的順序傳播， 最后在輸出層上得到輸出。感知器網(wǎng)絡(luò)和 BP網(wǎng)絡(luò)均屬于前向網(wǎng)絡(luò)。 圖3前向網(wǎng)絡(luò)結(jié)構(gòu) 2）從輸出到輸入有反饋的前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖4所示，輸出層對(duì)輸入層有信息反饋，這種網(wǎng)絡(luò)可用于存儲(chǔ)某種 模式序列，如神經(jīng)認(rèn)知機(jī)和回歸 BP網(wǎng)絡(luò)都屬

16、于這種類型。 圖4有反饋的前向網(wǎng)絡(luò)結(jié)構(gòu) 3）層內(nèi)互連前向網(wǎng)絡(luò) 其結(jié)構(gòu)如圖5所示，通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實(shí)現(xiàn)同一層神經(jīng)元之間的橫向抑制或興奮機(jī)制。這樣可以限制每層內(nèi)可以同時(shí)動(dòng)作的神經(jīng)元素， 或者 把每層內(nèi)的神經(jīng)元分為若干組，讓每一組作為一個(gè)整體進(jìn)行運(yùn)作。 例如，可利用 橫向抑制機(jī)理把某層內(nèi)的具有最大輸出的神經(jīng)元挑選出來，從而抑制其他神經(jīng) 元，使之處于無輸出狀態(tài)。 圖5有相互結(jié)合的前向網(wǎng)絡(luò)結(jié)構(gòu) 4）相互結(jié)合型網(wǎng)絡(luò) 相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，這種網(wǎng)絡(luò)在任意兩個(gè)神經(jīng)元之間都可能有 連接。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)均屬于這種類型。在無反饋的前向網(wǎng)

17、絡(luò)中， 信號(hào)一旦通過某神經(jīng)元，該神經(jīng)元的處理就結(jié)束了。而在相互結(jié)合網(wǎng)絡(luò)中，信號(hào) 要在神經(jīng)元之間反復(fù)傳遞，網(wǎng)絡(luò)處于一種不斷變化狀態(tài)的動(dòng)態(tài)之中。信號(hào)從某初 始狀態(tài)開始，經(jīng)過若干次變化，才會(huì)達(dá)到某種平衡狀態(tài)。根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng) 元的特性，網(wǎng)絡(luò)的運(yùn)行還有可能進(jìn)入周期振蕩或其他如混沌平衡狀態(tài)。 圖6結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu) 綜上，可知神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)、層內(nèi)連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng) 絡(luò)、互連網(wǎng)絡(luò)等四種結(jié)構(gòu)，其神經(jīng)網(wǎng)絡(luò)模型有感知器網(wǎng)絡(luò)，線性神經(jīng)網(wǎng)絡(luò)， BP 神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)，反饋神經(jīng)網(wǎng)絡(luò)等，本文主要學(xué)習(xí)研究了 BP神經(jīng)網(wǎng) 絡(luò)，以及BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近和樣本含量估計(jì)兩個(gè)實(shí)例中的應(yīng)

18、用分析。 2.2 BP 神經(jīng)網(wǎng)絡(luò)及其原理 2.2.1 BP 神經(jīng)網(wǎng)絡(luò)定義 BP (Back Propagatio n)神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。其由輸入層、中 間層、輸出層組成的階層型神經(jīng)網(wǎng)絡(luò)， 中間層可擴(kuò)展為多層。 相鄰層之間各神經(jīng) 元進(jìn)行全連接，而每層各神經(jīng)元之間無連接， 網(wǎng)絡(luò)按有教師示教的方式進(jìn)行學(xué)習(xí)， 當(dāng)一對(duì)學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)產(chǎn)生連接權(quán)值 (Weight)。然后按減小希望輸出與實(shí)際輸出誤差的方向，從輸出層經(jīng)各中間層 逐層修正各連接權(quán)， 回到輸入層。 此過程反復(fù)交替進(jìn)行， 直至網(wǎng)絡(luò)的全局誤差趨 向給定的極小值，即完成學(xué)習(xí)的過程。 2.2.2

19、BP 神經(jīng)網(wǎng)絡(luò)模型及其基本原理 BP 網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱層和輸出層組成。圖 7 為 一個(gè)典型的三層 BP 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，層與層之間采用全互連方式，同一層之間 不存在相互連接 ,隱層可以有一層或多層。層與層之間有兩種信號(hào)在流通：一種 是工作信號(hào) (用實(shí)線表示 )，它是施加輸入信號(hào)后向前傳播直到在輸出端產(chǎn)生實(shí)際 輸出的信號(hào)， 是輸入和權(quán)值的函數(shù)。 另一種是誤差信號(hào) (用虛線表示 ),網(wǎng)絡(luò)實(shí)際輸 出與期望輸出間的差值即為誤差，它由輸出端開始逐層向后傳播。 BP 網(wǎng)絡(luò)的學(xué) 習(xí)過程程由前向計(jì)算過程和誤差反向傳播過程組成。 在前向計(jì)算過程中， 輸入量 從輸入層經(jīng)隱層逐層計(jì)算， 并

20、傳向輸出層， 每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng) 元的狀態(tài)。 如輸出層不能得到期望的輸出， 則轉(zhuǎn)入誤差反向傳播過程， 誤差信號(hào) 沿原來的連接通路返回， 逐次調(diào)整網(wǎng)絡(luò)各層的權(quán)值和閾值， 直至到達(dá)輸入層， 再 重復(fù)向計(jì)算。 這兩個(gè)過程一次反復(fù)進(jìn)行， 不斷調(diào)整各層的權(quán)值和閾值， 使得網(wǎng)絡(luò) 誤差最小或達(dá)到人們所期望的要求時(shí)，學(xué)習(xí)過程結(jié)束。 圖7典型Bp網(wǎng)絡(luò)模型 生物神經(jīng)元信號(hào)的傳遞是通過突觸進(jìn)行的一個(gè)復(fù)雜的電化學(xué)等過程 ，在人 工神經(jīng)網(wǎng)絡(luò)中是將其簡(jiǎn)化模擬成一組數(shù)字信號(hào)通過一定的學(xué)習(xí)規(guī)則而不斷變動(dòng) 更新的過程，這組數(shù)字儲(chǔ)存在神經(jīng)元之間的連接權(quán)重。網(wǎng)絡(luò)的輸入層模擬的是神 經(jīng)系統(tǒng)中的感覺神經(jīng)

21、元，它接收輸入樣本信號(hào)。輸入信號(hào)經(jīng)輸入層輸入， 通過 隱含層的復(fù)雜計(jì)算由輸出層輸出，輸出信號(hào)與期望輸出相比較，若有誤差，再將 誤差信號(hào)反向由輸出層通過隱含層處理后向輸入層傳播。 在這個(gè)過程中，誤差通 過梯度下降算法，分?jǐn)偨o各層的所有單元，從而獲得各單元的誤差信號(hào)，以此誤 差信號(hào)為依據(jù)修正各單元權(quán)值，網(wǎng)絡(luò)權(quán)值因此被重新分布。此過程完成后， 輸 入信號(hào)再次由輸入層輸入網(wǎng)絡(luò)，重復(fù)上述過程。這種信號(hào)正向傳播與誤差反向傳 播的各層權(quán)值調(diào)整過程周而復(fù)始地進(jìn)行著， 直到網(wǎng)絡(luò)輸出的誤差減少到可以接受 的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。 權(quán)值不斷調(diào)整的過程就是網(wǎng)絡(luò)的學(xué) 習(xí)訓(xùn)練過程。 BP神經(jīng)網(wǎng)絡(luò)的

22、信息處理方式具有如下特點(diǎn)： 1） 信息分布存儲(chǔ)。人腦存儲(chǔ)信息的特點(diǎn)是利用突觸效能的變化來調(diào)整存儲(chǔ) 內(nèi)容，即信息存儲(chǔ)在神經(jīng)元之間的連接強(qiáng)度的分布上， BP神經(jīng)網(wǎng)絡(luò)模擬人腦 的這一特點(diǎn)，使信息以連接權(quán)值的形式分布于整個(gè)網(wǎng)絡(luò)。 2） 信息并行處理。人腦神經(jīng)元之間傳遞脈沖信號(hào)的速度遠(yuǎn)低于馮?諾依曼 計(jì)算機(jī)的工作速度，但是在很多問題上卻可以做出快速的判斷、 決策和處理，這 是由于人腦是一個(gè)大規(guī)模并行與串行組合的處理系統(tǒng)。 BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 模仿人腦，具有并行處理的特征，大大提高了網(wǎng)絡(luò)功能。 3） 具有容錯(cuò)性。生物神經(jīng)系統(tǒng)部分不嚴(yán)重?fù)p傷并不影響整體功能， BP神經(jīng) 網(wǎng)絡(luò)也具有這種特性，

23、網(wǎng)絡(luò)的高度連接意味著少量的誤差可能不會(huì)產(chǎn)生嚴(yán)重的后 果，部分神經(jīng)元的損傷不破壞整體，它可以自動(dòng)修正誤差。這與現(xiàn)代計(jì)算機(jī)的脆 弱性形成鮮明對(duì)比。 4）具有自學(xué)習(xí)、自組織、自適應(yīng)的能力。 BP 神經(jīng)網(wǎng)絡(luò)具有初步的自適應(yīng)與 自組織能力， 在學(xué)習(xí)或訓(xùn)練中改變突觸權(quán)值以適應(yīng)環(huán)境， 可以在使用過程中不斷 學(xué)習(xí)完善自己的功能， 并且同一網(wǎng)絡(luò)因?qū)W習(xí)方式的不同可以具有不同的功能， 它 甚至具有創(chuàng)新能力，可以發(fā)展知識(shí)，以至超過設(shè)計(jì)者原有的知識(shí)水平。 2.3 BP 神經(jīng)網(wǎng)絡(luò)的主要功能 目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中。絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用 BP 神經(jīng)網(wǎng)絡(luò)及其變化形式。 它也是前向網(wǎng)絡(luò)的核心部分， 體現(xiàn)

24、了人工神經(jīng)網(wǎng)絡(luò)的精 華。 BP網(wǎng)絡(luò)主要用于以下四方面。 （1） 函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)以逼近一個(gè)函 數(shù)。 （2） 模式識(shí)別：用一個(gè)待定的輸出向量將它與輸入向量聯(lián)系起來。 （3） 分類：把輸入向量所定義的合適方式進(jìn)行分類。 （4） 數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲(chǔ)。 3.基于matlab的BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合 3.1 運(yùn)用背景 系統(tǒng)狀態(tài)方程復(fù)雜的非線性系統(tǒng)， 難以用數(shù)學(xué)方法精確建模。 在這種情況下， 可以建立BP神經(jīng)網(wǎng)絡(luò)表達(dá)這些非線性系統(tǒng)。該方法把未知系統(tǒng)看成是一個(gè)黑箱， 首先用系統(tǒng)輸入輸出數(shù)據(jù)訓(xùn)練 BP 神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)能夠表達(dá)該未知函

25、數(shù)，然后 就可以用訓(xùn)練好的 BP 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)系統(tǒng)輸出。 先取出若干組系統(tǒng)的輸入輸出數(shù)據(jù)對(duì) BP 網(wǎng)絡(luò)進(jìn)行有效學(xué)習(xí)，然后就可以用 BP 網(wǎng)絡(luò)來表達(dá)這個(gè)系統(tǒng)，在知道系統(tǒng)輸入?yún)?shù)的情況下，可以網(wǎng)絡(luò)來預(yù)測(cè)系統(tǒng) 的輸出值。本案例就是用 BP 網(wǎng)絡(luò)來擬合一個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)，來說明 BP 網(wǎng)絡(luò)的 擬合能力，并探討了 BP 網(wǎng)絡(luò)在使用中注意的幾個(gè)問題。 本案例擬合的非線性函數(shù)為y=xM2+x2A2 3.2 模型建立 基于 BP 神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合算法流程可以分為 BP 神經(jīng)網(wǎng)絡(luò)構(gòu)建、 BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練和 BP 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)三步。 BP 神經(jīng)網(wǎng)絡(luò)模塊構(gòu)建中確定神經(jīng)網(wǎng)路的結(jié)構(gòu)以及學(xué)習(xí)方式，根據(jù)

26、擬合函數(shù) 的形式，采用神經(jīng)網(wǎng)絡(luò)的格式為：輸入層有兩個(gè)節(jié)點(diǎn)，輸出層有一個(gè)節(jié)點(diǎn)，隱含 層有五個(gè)節(jié)點(diǎn)，隱含層傳遞函數(shù)是‘ tan sig'函數(shù)，輸出層傳遞函數(shù)是‘ purlin ' 函數(shù)。 BP 神經(jīng)網(wǎng)絡(luò)構(gòu)建根據(jù)擬合非線性函數(shù)特點(diǎn)確定 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由于該 非線性函數(shù)有兩個(gè)輸入?yún)?shù)，一個(gè)輸出參數(shù)，所以 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)即輸入層有 2個(gè)結(jié)點(diǎn)，中間層有 5個(gè)結(jié)點(diǎn)，輸出層有 1個(gè)結(jié)點(diǎn)。 BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練用非線性函數(shù)輸入輸出數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使訓(xùn)練后的網(wǎng) 絡(luò)能夠預(yù)測(cè)非線性函數(shù)輸出。從非線性函數(shù)中隨機(jī)得到 2000 組輸入輸出數(shù)據(jù)， 從中隨機(jī)選擇 1900 組作為訓(xùn)練數(shù)據(jù)，用于網(wǎng)絡(luò)訓(xùn)練， 10

27、0 組作為測(cè)試數(shù)據(jù)，用 于測(cè)試網(wǎng)絡(luò)的擬合性能。 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)用訓(xùn)練好的網(wǎng)絡(luò)預(yù)測(cè)函數(shù)輸出， 并對(duì)預(yù)測(cè) 結(jié)果進(jìn)行分析。 BP 網(wǎng)絡(luò)來擬合一個(gè)函數(shù)，說明 BP 網(wǎng)絡(luò)在函數(shù)擬合中的作用。 訓(xùn)練好的數(shù)據(jù)對(duì)網(wǎng)絡(luò)性能進(jìn)行預(yù)測(cè)，從而判斷網(wǎng)絡(luò)擬合函數(shù)效果。 3.3 MatLab 實(shí)現(xiàn) 神經(jīng)網(wǎng)絡(luò)工具箱函數(shù) Matlab 軟件中包含 Matlab 神經(jīng)網(wǎng)絡(luò)工具箱。它是以人工神經(jīng)網(wǎng)絡(luò)理論為基 礎(chǔ)，用 Matlab 語言構(gòu)造出了該理論所涉及的公式運(yùn)算、矩陣操作和方程求解等 大部分子程序以用于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練。 用戶只需根據(jù)自己的需要調(diào)用相關(guān) 的子程序， 即可以完成包括網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、 權(quán)值初始化、 網(wǎng)絡(luò)訓(xùn)練及

28、結(jié)果輸出等 在內(nèi)的一系列工作， 免除編寫復(fù)雜龐大程序的困擾。 目前， Matlab 神經(jīng)網(wǎng)絡(luò)工具 包包括的網(wǎng)絡(luò)有感知器、線性網(wǎng)絡(luò)、 BP 神經(jīng)網(wǎng)絡(luò)、徑向基網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)和 回歸網(wǎng)絡(luò)等。BP神經(jīng)網(wǎng)絡(luò)主要用到newff、sim和train3個(gè)神經(jīng)網(wǎng)絡(luò)函數(shù)，各函 數(shù)解釋如下。 (1) newff： BP 神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置函數(shù) 函數(shù)功能：構(gòu)建一個(gè) BP 神經(jīng)網(wǎng)絡(luò)。 函數(shù)形式：net = newff( P，T，S，TF, BTF，BLF，PF, IPF, OPF, DDF) P：輸入數(shù)據(jù)矩陣。 T:輸出數(shù)據(jù)矩陣。 S:隱含層結(jié)點(diǎn)數(shù)。 TF：結(jié)點(diǎn)傳遞函數(shù)，包括硬限幅傳遞函數(shù) hardlim，

29、對(duì)稱硬限幅傳遞函數(shù) hardlims，線性傳遞函數(shù)pureli ne，正切S型傳遞函數(shù)tan sig,對(duì)數(shù)S型傳遞函數(shù) logsig。 BTF：訓(xùn)練函數(shù)，包括梯度下降 BP算法訓(xùn)練函數(shù)traingd，動(dòng)量反傳的梯度 下降BP算法訓(xùn)練函數(shù)traingdm,動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降 BP算法訓(xùn)練函 數(shù)traingda,動(dòng)量反傳和動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降 BP算法訓(xùn)練函數(shù)traingdx， Levenberg_Marquardt的 BP 算法訓(xùn)練函數(shù) trainlm。 BLF:網(wǎng)絡(luò)學(xué)習(xí)函數(shù)，包括 BP學(xué)習(xí)規(guī)格learngd,帶動(dòng)量項(xiàng)的BP學(xué)習(xí)規(guī)則 learngdm。 PF：性能分析函數(shù)，

30、包括均值絕對(duì)誤差性能分析函數(shù) mae,均方差性能分析 函數(shù) mse。 IPF：輸入處理函數(shù)。 OPF：輸出處理函數(shù)。 DDF:驗(yàn)證數(shù)據(jù)劃分函數(shù)。 一般在使用過程中設(shè)置前面 6個(gè)參數(shù)，后面 4 個(gè)參數(shù)采用系統(tǒng)默認(rèn)參數(shù)。 (2) train： BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù) 函數(shù)功能：用訓(xùn)練數(shù)據(jù)訓(xùn)練 BP 神經(jīng)網(wǎng)絡(luò)。 函數(shù)形式： [net， tr] = train(NET， X， T， Pi， Ai) NET:待訓(xùn)練網(wǎng)絡(luò)。 X :輸入數(shù)據(jù)。 T:輸出數(shù)據(jù)。 Pi：初始化輸入層條件。 Ai :初始化輸出層條件。 net：訓(xùn)練好的網(wǎng)絡(luò)。 tr :訓(xùn)練過程記錄。 一般在使用過程中設(shè)置

31、前面 3個(gè)參數(shù)，后面 2 個(gè)參數(shù)采用系統(tǒng)默認(rèn)參數(shù)。 (3) sim: BP 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)函數(shù)、 函數(shù)功能:用訓(xùn)練好的 BP 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)函數(shù)輸出。 函數(shù)形式: y = sim(net， x) net:訓(xùn)練好的網(wǎng)絡(luò)。 x :輸入數(shù)據(jù)。 y：網(wǎng)絡(luò)預(yù)測(cè)數(shù)據(jù)。 實(shí)驗(yàn)結(jié)果 實(shí)際輸出數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)輸出之間的結(jié)果對(duì)比圖 網(wǎng)絡(luò)輸出和實(shí)際輸出對(duì)比 40 35 30 25 20 15 10 5 0 預(yù)測(cè)輸出 0 W 20 30 40 50 60 70 80 90 100 優(yōu)勢(shì)分析： 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模塊既用訓(xùn)練好的數(shù)據(jù)對(duì)網(wǎng)絡(luò)性能進(jìn)行預(yù)測(cè)， 從而判斷網(wǎng)絡(luò)擬 合

32、函數(shù)效果。 參考文獻(xiàn): [1] 李曉慧?《基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用》[J].科技信息，2010,(26) [2] 郝中華.《B P神經(jīng)網(wǎng)絡(luò)的非線性思想》.洛陽師范學(xué)院學(xué)報(bào)2008.3⑷ [3] 張玲，張鈸?《人工神經(jīng)網(wǎng)絡(luò)理及應(yīng)用》?浙江：浙江科技大學(xué)出版社， 1997.5:20-62 [4] 蔣宗禮.《人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論》.高等教育出版社，2001.5:15-90 ⑸ 聞新、周露、王丹力、熊曉英?《MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì).科學(xué)出版社》， 2001.5:10-50 [6] 葛哲學(xué)、孫志強(qiáng)編著 . 《神經(jīng)網(wǎng)絡(luò)與 matlab2007 實(shí)現(xiàn)》 . 北京：電子工業(yè) 出版社

33、， 2007.9:1-5 附錄： 程序代碼： %%清空環(huán)境變量 clc clear %%訓(xùn)練數(shù)據(jù)預(yù)測(cè)數(shù)據(jù)提取及歸一化 %導(dǎo)入輸入輸出數(shù)據(jù) load data input output %從 1 到 2000 間隨機(jī)排序 k=rand(1,2000); [m,n]=sort(k); %隨機(jī)選擇 1900 組訓(xùn)練數(shù)據(jù)和 100 組預(yù)測(cè)數(shù)據(jù) input_train=input(n(1:1900),:)'; output_train=output(n(1:1900)); input_test=input(n(1901:2000),:)'; output_test=output(n(

34、1901:2000)); %訓(xùn)練數(shù)據(jù)歸一化 [inputn,inputps]=mapminmax(input_train); [outputn,outputps]=mapminmax(output_train); %% B網(wǎng)絡(luò)訓(xùn)練 %初始化BP網(wǎng)絡(luò)結(jié)構(gòu) net=newff(inputn,outputn,5); %網(wǎng)絡(luò)參數(shù)配置(迭代次數(shù)、學(xué)習(xí)率、目標(biāo)) %網(wǎng)絡(luò)訓(xùn)練 net=train(net,inputn,outputn); %% B網(wǎng)絡(luò)預(yù)測(cè) %預(yù)測(cè)數(shù)據(jù)歸一化 inputn_test=mapminmax('apply',input_test,inputps); %

35、網(wǎng)絡(luò)預(yù)測(cè)輸出 an=sim(net,inputn_test); %網(wǎng)絡(luò)輸出反歸一化 BPoutput=mapminmax('reverse',an,outputps); %%結(jié)果分析 figure(1) plot(BPoutput,':og') hold on plot(output_test,'-*'); legend(' 預(yù)測(cè)輸出 ',' 期望輸出 ') title('BP 網(wǎng)絡(luò)預(yù)測(cè)輸出 ','fontsize',12) ylabel(' 函數(shù)輸出 ','fontsize',12) xlabel(' 樣本 ','fontsize',12) %預(yù)測(cè)誤差 error=BPoutput-output_test; figure(2) plot(error,'-*') title('BP 網(wǎng)絡(luò)預(yù)測(cè)誤差 ','fontsize',12) ylabel(' 誤差 ','fontsize',12) xlabel(' 樣本 ','fontsize',12) figure(3) plot((output_test-BPoutput)./BPoutput,'-*'); title(' 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差百分比 ') errorsum=sum(abs(error))