第一篇：關于神經網絡的論文讀后感

關于神經網絡的論文讀后感

近期近代數(shù)學方法課上老師講授了一種新的方法叫做神經網絡。

神經網絡（NNs）全稱為人工神經網絡（Artificial Neural Networks，簡寫為ANNs），簡稱神經網絡，也稱作連接模型（Connection Model），它是一種模范動物神經網絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。它是一種大規(guī)模并行的非線性動力學系統(tǒng)。

1943年，心理學家W·Mcculloch和數(shù)理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數(shù)學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經網絡研究的先驅。

1945年馮·諾依曼領導的設計小組試制成功存儲程序式電子計算機，標志著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區(qū)別，提出了以簡單神經元構成的再生自動機網絡結構。但是，由于指令存儲式計算機技術的發(fā)展非常迅速，迫使他放棄了神經網絡研究的新途徑，繼續(xù)投身于指令存儲式計算機技術的研究，并在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯(lián)系在一起的，但他也是人工神經網絡研究的先驅之一。

50年代末，F(xiàn)·Rosenblatt設計制作了“感知機”，它是一種多層的神經網絡。這項工作首次把人工神經網絡的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效制作感知機，分別應用于文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經網絡的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因為當時數(shù)字計算機的發(fā)展處于全盛時期，許多人誤以為數(shù)字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經網絡體積龐大，價格昂貴，要制作在規(guī)模上與真實的神經網絡相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異感這樣的基本問題，而且多層網絡還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經網絡的前景失去信心。60年代末期，人工神經網絡的研究進入了低潮。

另外，在60年代初期，Widrow提出了自適應線性元件網絡，這是一種連續(xù)取值的線性加權求和閾值網絡。后來，在此基礎上發(fā)展了非線性多層自適應網絡。當時，這些工作雖未標出神經網絡的名稱，而實際上就是一種人工神經網絡模型。

隨著人們對感知機興趣的衰退，神經網絡的研究沉寂了相當長的時間。80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術提高到新的水平，完全付諸實用化，此外，數(shù)字計算機的發(fā)展在若干應用領域遇到困難。這一背景預示，向人工神經網絡尋求出路的時機已經成熟。美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發(fā)表了兩篇關于人工神經網絡研究的論文，引起了巨大的反響。人們重新認識到神經網絡的威力以及付諸應用的現(xiàn)實性。隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網絡的研究熱潮。

神經網絡的連接形式前向網絡.前向網絡通常包括許多層, 常見為三層網絡.這種網絡特點是只有前后相鄰兩層之間神經元相互連接, 各神經元之間沒有反饋.每個神經元可以從前一層接收多個輸入, 并只有一個輸出送給下一個神經元.三層前向網絡分為輸入層、隱層和輸出層.在前向網絡中計算功能的節(jié)點, 稱為計算單元, 而輸入節(jié)點無計算功能.常見的是網絡BP反饋網絡.從輸出層到輸入層有反饋, 即每一個節(jié)點同時接收外來輸入和來自其它節(jié)點的反饋輸入, 其中也包括神經元輸出信號引回到本身輸入構成的自環(huán)反饋.這種反饋網絡每一個節(jié)點都是一個計算單元.典型是網絡Hopfield相互結合型網絡.它屬于網狀結構.構成網絡中各個神經元都可能相互雙向聯(lián)接, 所有的神經元既作輸入, 同時也用于輸出.這種網絡對信息處理與前向網絡不一樣.在前向網絡中, 信息處理是從輸入層依次通過中間層 隱層 到輸出層, 處理結束.而在這種網絡中, 如果在某一時刻從神經網絡外部施加一個輸入, 各個神經元相互作用, 直到使網絡所有神經元的活性度或輸出值, 收斂于某個平均值為止作為信息處理的結束.4 混合型網絡.上述的前向網絡和相互結合型網絡分別是典型的層狀結構網絡和網絡結構網絡.介于這兩種網絡中間的一種聯(lián)接方式, 在前向網絡的同一層間神經元有互聯(lián)的結構, 稱為混合型網絡.這種在同一層內的互聯(lián), 目的是為了限制同層內神經元同時興奮或抑制的神經元數(shù)目, 以完成特定的功能。

在網絡上，我查閱了相關的文獻，一篇關于關于神經網絡用于機器人控制的的論文說道：神經網絡特別適合于機器人控制, 是由于它具有下述顯著特點 :1 由于神經網絡可以通過若干實例進行學習, 所以把它用作控制器的時候, 既不需要被控對象的數(shù)學模型, 也不需要人們事先為它設計好控制算法.2 因為神經網絡具有并行處理信息的能力, 所以它同時能將輸入的m 維向量變成輸出的n 維向量.這樣, 神經網絡可有效地處理視覺、聽覺這一類需要復雜計算的感知信息, 從而可能完成實時控制的任務.3 神經網絡對外界環(huán)境或系統(tǒng)參數(shù)的意想不到的變化, 具有很強的自適應性, 因此神經網絡控制系統(tǒng)具有大范圍的適應能力, 是一般的自適應控制系統(tǒng)所無法比擬的.如：“嬰兒”機器人，它安裝兩只攝像機并具有五個自由度.眾所周知, 嬰兒的特點就是愛動, 大一點的嬰兒則是看見什么都好奇, 覺得新鮮, 都想把看到的東西抓到手.起初, 他們看見的東西不一定能夠抓得著, 但經過不斷地實踐, 一旦有一次或幾次成功了, 這就是所謂的“無導師學習”.能不能使現(xiàn)在的機器人也有這種技能呢?現(xiàn)在的工業(yè)機器人很難做到, 因為現(xiàn)在的工業(yè)機器人要作什么都是由人事先計劃好并作一遍才行.即所謂的“示教——再現(xiàn)”,“示教——再現(xiàn)”是一種有導師的學習.如機器人的支臂、手和各關節(jié)的尺寸都準確知道, 即如果運動模型已知的話, 也可以把要作的事情 即任務 按時間順序寫成程序, 計算機根據(jù)已知的模型將任務翻譯成各個關節(jié)的角度變化加以實現(xiàn).這種控制方式的前提是模型必須已知.可是, 上述的嬰兒機器人不需要知道自己的模型, 這樣好像與人的本能更接近一些.人們雖然說不出自己手臂上的每根骨頭的尺寸, 但是人們的眼睛和手可以配合得非常默契.這種機能是靠學習得來的并以某種隱含的形式記在腦皮層的某個區(qū)域.在學習過程中, 這個隱含的內容也不斷地更新自己.人由嬰兒長成大人, 骨骼和肌肉的力量一直在發(fā)生變化, 腦中那個隱含的內容 知識和經驗也不斷調整自己.用自動控制的術語說, 這就是控制系統(tǒng)的自適應性;應該指出, 現(xiàn)代工業(yè)機器人的自適應性還極其有限.“嬰兒”機器人的工作過程分為兩個階段: 學習階段和工作階段.在學習階段, 嬰兒手里握著一個圓柱體, 在隨機位置發(fā)生器的作用下, 隨機地擺成這個姿勢或那個姿勢.在這個過程中, 攝像機將看到的一幅情景信息通過輸入變換并進入神經網絡, 接著產生目標變換的輸出.這個輸出與隨機位置產生器產生的實際輸出的差值用來調整權變換, 以使看到的和實際做到的不斷地趨于一致.例如, 經過1200 次姿勢訓練后,“嬰兒”機器人就學得很好了.在工作階段, 它可以把圓柱體擺在“嬰兒”工作空間的任何一個位置和角度上,“嬰兒”機器人可以迅速地移動手臂, 并用它的手準確地將圓柱體擒住.如果改變一下工作環(huán)境, 例如將“嬰兒”機器人的底坐上墊上點東西,“嬰兒”機器人第一次擒獲會失敗, 但它有能力適應這種工作環(huán)境的變化, 不需要重新返回學習階段就可以調整自己控制網絡的權, 并在相繼的抓獲中取得成功.實際神經網絡的應用研究可以分為以下兩大類：

1、神經網絡的軟件模擬和硬件實現(xiàn)的研究。

2、神經網絡在各個領域中應用的研究。這些領域主要包括：模式識別、信號處理、知識工程、專家系統(tǒng)、優(yōu)化組合、機器人控制等。隨著神經網絡理論本身以及相關理論、相關技術的不斷發(fā)展，神經網絡的應用定將更加深入。

在看了那些資料以后，我明白了神經網絡在應用上是非常廣泛的，而以后我應該更加努力地學好它，學會在以后的生活實踐中去應用它。

第二篇：神經網絡應用

神經網絡是新技術領域中的一個時尚詞匯。很多人聽過這個詞，但很少人真正明白它是什么。本文的目的是介紹所有關于神經網絡的基本包括它的功能、一般結構、相關術語、類型及其應用。

“神經網絡”這個詞實際是來自于生物學，而我們所指的神經網絡正確的名稱應該是“人工神經網絡（ANNs）”。在本文，我會同時使用這兩個互換的術語。

一個真正的神經網絡是由數(shù)個至數(shù)十億個被稱為神經元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網絡。人工神經網絡就是嘗試模擬這種生物學上的體系結構及其操作。在這里有一個難題：我們對生物學上的神經網絡知道的不多！因此，不同類型之間的神經網絡體系結構有很大的不同，我們所知道的只是神經元基本的結構。

The neuron

雖然已經確認在我們的大腦中有大約50至500種不同的神經元，但它們大部份都是基于基本神經元的特別細胞?；旧窠浽衧ynapses、soma、axon及dendrites。Synapses負責神經元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經元跳到另一個神經元。然后這些電子訊號會交給soma處理及以其內部電子訊號將處理結果傳遞給axon。而axon會將這些訊號分發(fā)給dendrites。最后，dendrites帶著這些訊號再交給其它的synapses，再繼續(xù)下一個循環(huán)。

如同生物學上的基本神經元，人工的神經網絡也有基本的神經元。每個神經元有特定數(shù)量的輸入，也會為每個神經元設定權重（weight）。權重是對所輸入的資料的重要性的一個指標。然后，神經元會計算出權重合計值（net value），而權重合計值就是將所有輸入乘以它們的權重的合計。每個神經元都有它們各自的臨界值（threshold），而當權重合計值大于臨界值時，神經元會輸出1。相反，則輸出0。最后，輸出會被傳送給與該神經元連接的其它神經元繼續(xù)剩余的計算。

Learning

正如上述所寫，問題的核心是權重及臨界值是該如何設定的呢？世界上有很多不同的訓練方式，就如網絡類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓練模式。

由于結構體系的不同，訓練的規(guī)則也不相同，但大部份的規(guī)則可以被分為二大類別它們可以被分為分類式或聯(lián)想式。分類式網絡可以接受一組數(shù)，然后將其分類。例如ONR程序接受一個數(shù)字的影象而輸出這個數(shù)字?；蛘逷PDA32程序接受一個坐標而將它分類成A類或B類（類別是由所提供的訓練決定的）。更多實際用途可以看Applications in the Military中的軍事雷達，該雷達可以分別出車輛或樹。

聯(lián)想模式接受一組數(shù)而輸出另一組。例如HIR程序接受一個?臟?圖像而輸出一個它所學過而最接近的一個圖像。聯(lián)想模式更可應用于復雜的應用程序，如簽名、面部、指紋識別等。

The Ups and Downs of Neural Networks

神經網絡在這個領域中有很多優(yōu)點，使得它越來越流行。它在類型分類/識別方面非常出色。神經網絡可以處理例外及不正常的輸入數(shù)據(jù)，這對于很多系統(tǒng)都很重要（例如雷達及聲波定位系統(tǒng)）。很多神經網絡都是模仿生物神經網絡的，即是他們仿照大腦的運作方式工作。神經網絡也得助于神經系統(tǒng)科學的發(fā)展，使它可以像人類一樣準確地辨別物件而有電腦的速度！前途是光明的，但現(xiàn)在...是的，神經網絡也有些不好的地方。這通常都是因為缺乏足夠強大的硬件。神經網絡的力量源自于以并行方式處理資訊，即是同時處理多項數(shù)據(jù)。因此，要一個串行的機器模擬并行處理是非常耗時的。

神經網絡的另一個問題是對某一個問題構建網絡所定義的條件不足-有太多因素需要考慮：訓練的算法、體系結構、每層的神經元個數(shù)、有多少層、數(shù)據(jù)的表現(xiàn)等，還有其它更多因素。因此，隨著時間越來越重要，大部份公司不可能負擔重復的開發(fā)神經網絡去有效地解決問題。

NN 神經網絡，Neural Network

ANNs 人工神經網絡，Artificial Neural Networks

neurons 神經元

synapses 神經鍵

self-organizing networks 自我調整網絡

networks modelling thermodynamic properties 熱動態(tài)性網絡模型

網格算法我沒聽說過

好像只有網格計算這個詞

網格計算是伴隨著互聯(lián)網技術而迅速發(fā)展起來的，專門針對復雜科學計算的新型計算模式。這種計算模式是利用互聯(lián)網把分散在不同地理位置的電腦組織成一個“虛擬的超級計算機”，其中每一臺參與計算的計算機就是一個“節(jié)點”，而整個計算是由成千上萬個“節(jié)點”組成的“一張網格”，所以這種計算方式叫網格計算。這樣組織起來的“虛擬的超級計算機”有兩個優(yōu)勢，一個是數(shù)據(jù)處理能力超強；另一個是能充分利用網上的閑置處理能力。簡單地講，網格是把整個網絡整合成一臺巨大的超級計算機，實現(xiàn)計算資源、存儲資源、數(shù)據(jù)資源、信息資源、知識資源、專家資源的全面共享。

第三篇：神經網絡心得[定稿]

人工神經網絡學習心得

時間如白馬過隙，很快八周的人工神經網絡學習即將結束，仿佛昨天才剛剛開始學習這門課程，在這段時間的學習中，我有起初對神經網絡的不了解到現(xiàn)在的熟悉和掌握，這其中的變化，是我知識提高的過程。我在這個過程中有一些自己的體會和感想。

我是一名學習控制科學和工程的研究生，起初對于神經網絡的認識很膚淺，由于我相應知識的欠缺，想要理解神經網絡的結構會很不容易。在開始的幾節(jié)課中，老師給我們講了神經網絡的發(fā)展史、結構和原理，當時感覺有壓力、緊張。因為我感覺和生物的神經學差不多，一開始接觸覺得它不是一門智能控制學，而是一門生物學，所以只能慢慢學習和理解，最終完成課程的學習。雖然相比于其他學過的課程，我對這門學科的了解稍微遜色點，但我還不是一個害怕困難的人，越是困難我越是會迎頭前進的，不會倒下，去努力掌握這些知識。

接下來的幾周，是老師的授課過程，說實話老師講的論文我聽的不太懂，講的軟件的應用也是一知半解……有種痛苦的感覺，好像什么也沒學到，問了其他同學，他們也有同樣的感覺，哦，原來都一樣啊，沒事，那就繼續(xù)堅持吧……

過了這個彷徨期，該是吶喊的時候了，該寫期末作業(yè)了，開始做題的時候還挺緊張，害怕題很難做，找了很多資料，照葫蘆畫瓢，硬著頭皮寫，寫完了之后有一點小小的成就感，我終于給做出來了，可當時我們還是不知道如RBF網絡和BP網絡怎么應用，只是有那么點熟悉，有那么點感覺。最重要的時刻到了，在課堂中老師提的問題，我顯得是那么生疏，滿臉的惆悵，對問題不知所措，迷茫與疲憊纏繞著我的身心。每次上課之前我都要花上一段時間去預習課程內容，但是每次看的都是一臉迷茫，一知半解。老師所說的每一句話，我要想半天才會明白過來。這事我猜知道，基礎是多么的重要，而且我知道學習知識最重要的是要學會應用和實踐。不然就只能只上談兵，但是一到應用我就不知從何下手。因此，我知道我還有很長的路要走。

其中的辛酸與樂趣大概也只有一塊學習的學友們了解。在這近兩個月中我們體會到了堅持的力量。遇到問題，不能退縮，只能前進。堅持就是勝利。問題只有在不斷的思考和學習中才能解決。同時，也能是自己得到提高。

經過幾周的的學習我對神經網絡的理解能力明顯有所提高。在神經網絡中我們可以用跳躍性的思維去思考問題，這鍛煉了我們的跨越式思維，提高了我們的能力，增強了我們的自信心，在人生道路上選擇的關鍵時刻起了很大的作用，讓我們明白了獨立思考，開闊眼界，在科研方面所發(fā)揮的重要作用，使我們“學以致用，終生受益。

在此，我們要感謝授課的李曉強老師，謝謝李老師在這近兩個月來對我們的關心。通過這八周的學習，鍛煉了我的能力；增加了對人工神經網絡知識的了解；提高了創(chuàng)新意識和解決問題的能力。

第四篇：人工智能論文：人工智能 人工神經網絡 計算機輔助教學

人工智能論文：智能化教學輔助訓練系統(tǒng)

【中文摘要】借助于計算機技術的迅猛發(fā)展與普及應用,人工智能技術越來越多的介入人們日常生活,由于其不可比擬的優(yōu)勢使得大量傳統(tǒng)的低效率、高重復性的人力工作得到極大的解放,不但提高了工作速度,也極高地提高了工作效率,而且準確程度仍不受影響。智能化教學輔助訓練系統(tǒng)的開發(fā),就是將人工智能技術應用于教學環(huán)節(jié)中的測試訓練環(huán)節(jié),將以往由教師所承擔的完整的考試過程交由計算機系統(tǒng)處理完成,不僅能夠把教師從繁重的工作負擔中解放出來,而且也可以提高測試過程的高效率和高準確性。本文所述的智能化教學輔助訓練系統(tǒng)可以勝任起完成教學過程中最為重要的學生能力測試環(huán)節(jié)的工作,完成平時的練習測試和期中、期末的考查,在保證測試效果的前提下,減輕了教師的工作負擔、提高了測試工作的效率、促進了學生的學習鞏固、提高了學校的教學水平,是非常值得大力推廣與應用的一項新方法。本系統(tǒng)具備以下的主要特點與功能：①暢通的網絡化運行,可以實現(xiàn)局域網以及廣域網的系統(tǒng)擴展；②根據(jù)題型的要求實現(xiàn)自動判卷或提交給具有相應權限的教師進行人工判卷；③根據(jù)預設的題庫系統(tǒng)可以實現(xiàn)教師的隨機抽題組卷功能；④根據(jù)教師的要求實現(xiàn)臨時增設題目并能夠自動完成題庫的分類收錄或即時向已登錄學生...【英文摘要】With the rapid development of computer technology and the popularization of artificial intelligence

technology more and more involved in people’s daily lives, because of its incomparable advantages of making a lot of the traditional low efficiency, high repetitive work was a great human emancipation, not only increased pace of work, but also improve the efficiency high, but accuracy remains unaffected.Intelligent training system teaching aids the development of artificial intelligence technology in teachin...【關鍵詞】人工智能 人工神經網絡 計算機輔助教學

【英文關鍵詞】Artificial Intelligence Artificial Neural Networks CAI 【索購全文】聯(lián)系Q1：138113721 Q2：139938848 【目錄】智能化教學輔助訓練系統(tǒng)6-7Abstract7-8

摘要

1.1 教學

第1章 緒論11-25輔助訓練系統(tǒng)綜述11-15述15-

211.2 國內外計算機考試系統(tǒng)發(fā)展綜

1.2.2 1.2.1 國外計算機考試系統(tǒng)綜述15-19國內計算機考試系統(tǒng)綜述19-21模式簡介21-2321-22

1.3 計算機考試系統(tǒng)的開發(fā)

1.3.1 C/S(Client/Server)模式簡介

1.3.3 1.3.2 B/S(Browser/Server)模式22-2

31.4 當前計算機輔助訓練系統(tǒng)的不足

1.6 本章小結混合模式2323-2424-25結構25-321.5 研究的目的意義24第2章 智能化教學輔助訓練系統(tǒng)的目標、設計原則與

2.1 系統(tǒng)的目標25-27

2.2 系統(tǒng)設計原則

27-2828-302.3 系統(tǒng)的結構28-312.3.1.系統(tǒng)的結構選擇

2.3.3.第3章 系

3.1.1 2.3.2.系統(tǒng)開發(fā)的軟硬件條件30-31

2.4 本章小結31-32系統(tǒng)的數(shù)據(jù)庫結構31統(tǒng)的功能與實現(xiàn)32-41管理員用戶32-33用戶35理模塊35-36模塊36-37塊37-38考試38-39置3940-41

3.1 用戶管理功能32-353.1.2 教師用戶33-35

3.1.3 學生3.2.1 用戶管3.2.3 題庫管理3.2 用戶管理功能的實現(xiàn)35-38

3.2.2 考務管理模塊363.2.4 試卷管理模塊37

3.2.5 考試管理模

3.3.1 在線3.3 系統(tǒng)核心功能與設計38-403.3.2 用戶組卷39

3.3.3 考生IP地址設3.4 本章小結

4.1 組卷方式3.3.4 考生成績查詢39-40第4章 智能化的組卷功能41-47

4.2 組卷的特點42的確定41-42數(shù)學模型42-4444-45

4.3 智能組卷系統(tǒng)的4.4 BP神經網絡在智能化組卷系統(tǒng)中的使用

4.6 本章小結45-475.1 系統(tǒng)安全保障模塊

5.3 數(shù)據(jù)安全保障模塊

5.4.1 密鑰的產生

第4.5 實驗結果455章 系統(tǒng)安全性的保障47-534750515253-5653-555.2 身份認證模塊47-505.4 考試數(shù)據(jù)的加密保護50-525.4.2 密鑰存儲51-525.5 本章小結52-536.1 硬件系統(tǒng)容錯53

5.4.3 數(shù)據(jù)接口第6章 系統(tǒng)的容錯功能

6.2 軟件系統(tǒng)容錯

6.2.2 系6.2.1 防止打開多個考試程序53-54

統(tǒng)重啟546.2.3 更換計算機考試54-556.2.4 學生考

6.3 號或姓名異常55本章小結55-56展望59-626.2.5 學生分數(shù)沒有正?；厥?5第7章 系統(tǒng)測試56-598.1 結論59-61

第8章 結論與

8.1.1 系統(tǒng)運行后收到的效果59-618.1.2 系統(tǒng)存在的不足之處61-62參考文獻62-67

致謝67618.2 展望

第五篇：BP神經網絡實驗報告

BP神經網絡實驗報告

一、實驗目的1、熟悉MATLAB中神經網絡工具箱的使用方法；

2、通過在MATLAB下面編程實現(xiàn)BP網絡逼近標準正弦函數(shù)，來加深對BP網絡的了解和認識，理解信號的正向傳播和誤差的反向傳遞過程。

二、實驗原理

由于傳統(tǒng)的感知器和線性神經網絡有自身無法克服的缺陷，它們都不能解決線性不可分問題，因此在實際應用過程中受到了限制。而BP網絡卻擁有良好的繁泛化能力、容錯能力以及非線性映射能力。因此成為應用最為廣泛的一種神經網絡。

BP算法的基本思想是把學習過程分為兩個階段：第一階段是信號的正向傳播過程；輸入信息通過輸入層、隱層逐層處理并計算每個單元的實際輸出值；第二階段是誤差的反向傳遞過程；若在輸入層未能得到期望的輸出值，則逐層遞歸的計算實際輸出和期望輸出的差值（即誤差），以便根據(jù)此差值調節(jié)權值。這種過程不斷迭代，最后使得信號誤差達到允許或規(guī)定的范圍之內。

基于BP算法的多層前饋型網絡模型的拓撲結構如上圖所示。

BP算法的數(shù)學描述：三層BP前饋網絡的數(shù)學模型如上圖所示。三層前饋網中，輸入向量為：；隱層輸入向量為：；輸出層輸出向量為：；期望輸出向量為：。輸入層到隱層之間的權值矩陣用V表示，其中列向量為隱層第j個神經元對應的權向量；隱層到輸出層之間的權值矩陣用W表示，其中列向量為輸出層第k個神經元對應的權向量。

下面分析各層信號之間的數(shù)學關系。

對于輸出層，有

對于隱層，有

以上兩式中，轉移函數(shù)f(x)均為單極性Sigmoid函數(shù)：

f(x)具有連續(xù)、可導的特點，且有

以上共同構成了三層前饋網了的數(shù)學模型。

當網絡輸出和期望輸出不相等時，存在輸出誤差E如下：

將以上誤差定義式展開至隱層，有

進一步展開至輸入層，有

由上式可以看出，網絡輸入誤差是兩層權值W和V的函數(shù)，因此調整權值可以改變誤差E。

顯然，調整權值的原則是使誤差不斷的減小，因此應使權值的調整量與誤差的負梯度成正比，即：

式中負號表示梯度下降，常數(shù)表示比例系數(shù)，在訓練中反映了學習速率。

容易看出，BP學習算法中，各層權值調整公式形式上都是一樣的，均有3個因素決定，即：學習速率、本層誤差信號和本層輸入信號X/Y。其中輸出層誤差信號同網絡的期望輸出與實際輸出之差有關，直接反映了輸出誤差，而各隱層的誤差信號與前面各層的誤差信號都有關，是從輸出層開始逐層反傳過來的。

三、程序

clc

clear

all

k=1;

n=10;

P=[-1:0.05:1];

T=sin(k*pi*P);

plot(P,T,＇-＇);

title(＇要逼近的非線性函數(shù)＇);

xlabel(＇輸入向量＇);

ylabel(＇非線性函數(shù)目標輸出向量＇);

net=newff(minmax(P),[n,1],{＇tansig＇,＇purelin＇},＇trainlm＇);

y1=sim(net,P);

net.trainParam.epochs=50;

net.trainParam.goal=0.01;

net=train(net,P,T);

y2=sim(net,P);

figure;

plot(P,T,＇-＇,P,y1,＇--＇,P,y2,＇*＇);

title(＇訓練前后的網絡仿真結果對比＇);

xlabel(＇輸入向量＇);

ylabel(＇輸出向量＇);

legend(＇目標函數(shù)輸出向量＇,＇未訓練BP網絡輸出＇,＇已訓練BP網絡輸出＇);

仿真結果如下圖：

由仿真結果圖可以看出，未經訓練的BP網絡輸出與目標函數(shù)差距很大，逼近效果不理想，而對BP網絡訓練之后的輸出可以較精確的逼近目標函數(shù)，并且BP網絡的訓練迭代次數(shù)僅約1.2次，網絡的輸出目標誤差就達到了精度要求，收斂速度很快。函數(shù)逼近效果、網絡訓練的收斂速度與原始非線性函數(shù)的頻率、BP網絡隱含層單元神經元的數(shù)目以及BP網絡訓練函數(shù)有關。

四、實驗結論

通過編程實現(xiàn)使用BP網絡對函數(shù)進行逼近，對BP網絡的信號和誤差傳遞的原理以及隱層、輸出層權值調整的規(guī)則有了充分的理解和認識。

BP網絡是一個強大的工具，它是應用最為廣泛的網絡。用于文字識別、模式分類、文字到聲音的轉換、圖像壓縮、決策支持等。

但是，通過實驗看出，它還是存在一定的不足。由于本實驗中采用的學習率是固定不變的，從而使得在函數(shù)逼近的時候在有些地方出現(xiàn)了偏離，如果能自適應的調整學習率，使網絡在學習初期具有較大的學習率，以快速逼近函數(shù)，當已經逼近理想輸出時再使用較小的學習率，來更加精準的去逼近函數(shù)，這樣會得到更好的逼近效果和更小的錯誤率。

另外，BP網絡還具有收斂速度慢、容易陷入局部極小值的問題。這些問題通過對標準BP算法的改進能得到一定程度的解決。