涉密論文 □ 公開論文 □

本 科 生 畢 業(yè) 論 文（設計）

本 科 生 畢 業(yè) 論 文（設計）

題目 陣列化的非晶體納米硅神經(jīng)突觸器件制備與數(shù)值模擬

姓名與學號 鄭浩 315104964

指導教師 皮孝東

合作導師

年級與專業(yè) 2015級 材料科學工程

所在學院 材料科學工程

提交日期

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

Submitted by

Hao Zheng

Supervised by

Prof.XiaoDong Pi

School of Materials Science and Engineering

Laboratory of Silicon Materials, Zhejiang University, Hangzhou

People’s Republic of China

May, 20th, 2019

浙江大學本科生畢業(yè)論文（設計）承諾書

1.本人鄭重地承諾所呈交的畢業(yè)論文（設計），是在指導教師的指導下嚴格按照學校和學院有關規(guī)定完成的。

2.本人在畢業(yè)論文（設計）中除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得 浙江大學 或其他教育機構的學位或證書而使用過的材料。

3.與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。

4.本人承諾在畢業(yè)論文（設計）選題和研究內(nèi)容過程中沒有偽造相關數(shù)據(jù)等行為。

5.在畢業(yè)論文（設計）中對侵犯任何方面知識產(chǎn)權的行為，由本人承擔相應的法律責任。

6.本人完全了解 浙江大學 有權保留并向有關部門或機構送交本論文（設計）的復印件和磁盤，允許本論文（設計）被查閱和借閱。本人授權 浙江大學 可以將本論文（設計）的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索和傳播，可以采用影印、縮印或掃描等復制手段保存、匯編本論文（設計）。

作者簽名： 導師簽名：

簽字日期： 年 月 日 簽字日期： 年 月 日

致 謝

致謝內(nèi)容。（仿宋字體或Times New Roman，小四號，兩端對齊，首行縮進兩個漢字符位，段前0磅，段后0磅，固定行距20磅。）

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

摘 要

信息時代的來臨，人類在處理大數(shù)據(jù)與多信息的任務面前面臨著很大的挑戰(zhàn)，傳統(tǒng)的馮-諾依曼式計算機思想在處理這些問題時出現(xiàn)了本質(zhì)上的不足，因此神經(jīng)網(wǎng)絡的應用于硬件化變得十分迫切。隨著憶阻器的發(fā)現(xiàn)，類腦計算的實際應用變得可能。本文從硬件神經(jīng)網(wǎng)絡的興起出發(fā)，闡述了硬件神經(jīng)網(wǎng)絡的研究現(xiàn)狀與實現(xiàn)途徑，之后引入了生物神經(jīng)元的特征，闡述了以往關于人類神經(jīng)元建立的數(shù)學模型。之后本文提出了一種陣列化硅納米晶體神經(jīng)突觸器件的制備方法與過程，并且在基于這樣的器件上，得到相應的LTP與STDP數(shù)據(jù)，將這些數(shù)據(jù)分別用于探究：神經(jīng)元激活函數(shù)數(shù)值模擬，有監(jiān)督脈沖神經(jīng)網(wǎng)絡之tempotron算法數(shù)值模擬與STDP無監(jiān)督學習網(wǎng)絡數(shù)值模擬，在得到結果的基礎上，提出了硬件化神經(jīng)網(wǎng)絡所需要的器件的基本性質(zhì)與要求。為未來的硬件化目標提出了可行性與基本方向。

關鍵詞：硬件神經(jīng)網(wǎng)絡；神經(jīng)元；神經(jīng)突觸器件；激活函數(shù)；Tempotron算法；STDP；無監(jiān)督學習

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information.The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent.The discovery of memristors made it possible for the practical application of brain-like calculations.Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment.After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared.Nervous function behaviors, e.g.LTP and STDP, have been obtained based on this device.These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network.Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed.The feasibility and basic direction for future hardware goals are proposed.Keywords: Hardware neuron network;neurons;Synaptic device;activation function;Tempotron algorithm;STDP;unsupervised learning;

目 次

第一部分 畢業(yè)論文（設計）

第一部分

畢業(yè)論文（設計）

第一章 緒論

11.1 硬件神經(jīng)網(wǎng)絡

1.1.1 硬件神經(jīng)網(wǎng)絡的興起

21世紀進入信息時代后，計算機的普及率大大上升，計算機本身也在計算力與邏輯處理上遠遠超過了人腦，然而不足的是，在數(shù)據(jù)的存取與記憶上，仍然是采用馮-洛伊曼式的串行方法，且功耗很大，而人類大腦擁有10^11 個神經(jīng)元和10^15神經(jīng)突觸。這使得人類處理信息的方式是高效的并行方式，并且功耗很低。例如人類大腦看到一種東西，識別它的過程往往使視覺神經(jīng)信號與記憶信號同時作用的結果，功耗在fj量級。在使得馮-洛伊曼式計算機處理復雜指令與控制上體現(xiàn)出了根本性的缺陷。基于這一點，神經(jīng)網(wǎng)絡的研究開始興起，在1943年，McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型后, 有關于神經(jīng)網(wǎng)絡的討論也逐漸火熱起來，但其發(fā)展的中途受到很多科學家對其的質(zhì)疑[19]。直到 1980年左右, Rumelhert 與他的研究伙伴[20]一起發(fā)表了著名的并行分布式處理(Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神經(jīng)網(wǎng)絡，從數(shù)學上的形式，證明了這種算法的可行性，BP神經(jīng)網(wǎng)絡是一種前饋式的誤差逆向傳播網(wǎng)絡，通過訓練集不斷縮小輸出值與目標值的差值從而達到非線性優(yōu)化的目的。由此，神經(jīng)網(wǎng)絡的數(shù)學原理得到證明，其實在1970年神經(jīng)網(wǎng)絡存在一段低落期，也受到了很多懷疑。但是BP神經(jīng)網(wǎng)絡的興起與提出，讓科學們對于神經(jīng)網(wǎng)絡的態(tài)度再次火熱起來。21世紀隨著深度學習的提出，又掀起了一股關于人工智能的熱潮，Deep learning 是在多層感知機的基礎上，不斷增加隱含層的層數(shù)，這上面又出現(xiàn)了一些數(shù)學上的問題比如激活函數(shù)的梯度彌散問題，但是由于Relu激活函數(shù)替代sigmod函數(shù)的提出，這些問題逐步得到了解決，深度學習向前發(fā)展了一大步。比如IBM的“深藍”擊敗世界圍棋選手李智石等，但是實際上，“深藍”在擊敗李智石時消耗的電量等于一桶油的燃燒的焦耳值，但是李智石僅僅使用了兩個饅頭的熱量戰(zhàn)斗。也就是說，這場比賽其實并不公平。其實這反應的是人工智能的工作效率與真正人腦的學習效率仍然有很大的差距。神經(jīng)網(wǎng)絡本質(zhì)是由多個簡單的信號處理單元組成，這些簡單的信號單元之間由一種方式連接形成網(wǎng)絡，它意在模仿人類大腦處理信息的模式，從而實現(xiàn)圖像識別，音像識別，特征提取和記憶等功能?，F(xiàn)在計算機能夠從軟件上對神經(jīng)網(wǎng)絡進行實現(xiàn)，然而關于數(shù)據(jù)的存取方式仍然無法得到突破，數(shù)據(jù)的存取方式仍然是老式馮-諾依曼式的串行處理方式。但是人類識別圖像，獲得信息是并行的。因此硬件神經(jīng)網(wǎng)絡的開發(fā)是必要的，硬件神經(jīng)網(wǎng)絡能夠使用集成電路實現(xiàn)并行處理信息，并且能耗低，效率高，能夠更貼近人類大腦的工作方式。因此硬件神經(jīng)網(wǎng)絡的開發(fā)受到很多的關注與研究，未來人工智能和類腦計算的發(fā)展前景中，硬件神經(jīng)網(wǎng)絡的研究是必須的。

[ANNOTATION:

BY wenhuang

ON 2019-05-23T09:23:00w

NOTE: 這部分放到前言部分比較好，或者干脆就不要了，放在這里是不合適的。]本文的第一章即緒論，主要是闡述當前關于硬件化神經(jīng)網(wǎng)絡的突破，現(xiàn)狀與發(fā)展形勢。

第二章主要從人類的神經(jīng)元開始，講述人類生物神經(jīng)元的特點，講述現(xiàn)在人工神經(jīng)元的數(shù)學模型，以及硬件化神經(jīng)元需要的要求與方式

第三章主要講述制備實驗器件的技術路線，與制備的過程和使用的材料

第四章從數(shù)值模擬的角度，探究神經(jīng)元硬件化的條件是怎么樣的，數(shù)值模擬選取MNIST數(shù)據(jù)集作為樣本數(shù)據(jù)集，通過使用實驗得到的激活函數(shù)替代理論激活函數(shù)，觀察網(wǎng)絡的準確率，得出相關結論，探究硬件需要滿足的條件

第五章從數(shù)值模擬的角度，探究突觸硬件需要滿足的條件，突觸與神經(jīng)元不同，它是作為神經(jīng)網(wǎng)絡中存儲權值，改變權值的存在，與神經(jīng)元有本質(zhì)上的區(qū)別，數(shù)值模擬采用26個英文字母的圖片作為數(shù)據(jù)集，進行編碼后發(fā)送脈沖，使用Tempotron 的有監(jiān)督脈沖神經(jīng)網(wǎng)絡進行數(shù)值模擬，通過實驗硬件得到的LTP與LTD圖像進行權值更新。得到預測率的圖像，證明了LTP的電或者光電器件能夠作為脈沖神經(jīng)網(wǎng)絡硬件化的一個器件，為未來做出相關硬件網(wǎng)絡道出了一種可行性。

第六章主要是針對STDP的學習機制擴大網(wǎng)絡規(guī)模，將數(shù)據(jù)集擴展到MNIST手寫數(shù)據(jù)集，使用STDP無監(jiān)督學習網(wǎng)絡[16]對數(shù)據(jù)進行訓練，之后再對訓練好的神經(jīng)元進行分類。得到我們想要的結果。

第七章主要是總結本文的工作得到的結論，以及對于未來硬件神經(jīng)網(wǎng)絡的發(fā)展的一些展望與看法

1.1.2 硬件神經(jīng)網(wǎng)絡的實現(xiàn)

一般硬件神經(jīng)網(wǎng)絡的實現(xiàn)方式有三種，即采用電子學方法——依靠微電子技術實現(xiàn)人工神經(jīng)網(wǎng)絡, 采用光電方法——依靠半導體光電集成技術實現(xiàn)人工神經(jīng)網(wǎng)絡, 采用光學方法實現(xiàn)人工神經(jīng)網(wǎng)絡[18]。微電子技術應該是通過各種電路設計，例如放大電路，差分電路等集成電路，實現(xiàn)神經(jīng)網(wǎng)絡的reference部分。依靠光電實現(xiàn)的硬件神經(jīng)網(wǎng)絡是本文的重點，利用電學元器件，憶阻器器件，或者是光電器件，模擬生物神經(jīng)元的膜電位變化曲線，與人類大腦的權重學習規(guī)則，從而實現(xiàn)神經(jīng)網(wǎng)絡的硬件化。采用光學的方法實現(xiàn)網(wǎng)絡計算的方法十分有趣，UCLA大學的研究小組發(fā)明了一種全光的深層神經(jīng)網(wǎng)絡，通過光的反射與折射傳遞信號，利用光入射的相位差記錄權值變化，實現(xiàn)了全光的神經(jīng)網(wǎng)絡，而且由于光的傳播速度是光速，在整個網(wǎng)絡的效率與速度上都十分驚人，能耗也十分低[21]。神經(jīng)網(wǎng)絡的電子學硬件實現(xiàn)方法主要有四種，其中分別是數(shù)字實現(xiàn)、模擬實現(xiàn)、混合數(shù)/模實現(xiàn)和脈沖技術實現(xiàn)等[18]。通過數(shù)字實現(xiàn)的神經(jīng)網(wǎng)絡一般精度很高[1,2]，權值易存儲也容易改變，并且能夠通過電路實現(xiàn)并行處理，克服傳統(tǒng)計算機串行處理數(shù)據(jù)的弊病，但是缺點是電路難以集成，體積很大，很難適用于計算機新型芯片這種地方。通過模擬實現(xiàn)的神經(jīng)網(wǎng)絡能夠很好克服上面的缺點[3,4,5]，但是由于突觸和神經(jīng)元器件對參數(shù)敏感，準確度下降，更關鍵是對于權值的存儲存在困難。1987年是一個轉機，即脈沖技術第一次用于了神經(jīng)網(wǎng)絡，使用VLSI技術作為實現(xiàn)，從這以后，神經(jīng)網(wǎng)絡的脈沖技術受到了很多關注[9,12]。

脈沖技術，簡單來說就是將神經(jīng)元的興奮或者抑制狀態(tài)通過一定的編碼方式轉化到脈沖的波形上，編碼的方法一般有高斯編碼，或者可以自定義的編碼方式。由于脈沖化的信號是離散的，因此一定程度上可以簡化運算電路：例如突觸電路。神經(jīng)元與一般的電路元件不同，它本身的密度很高，正如人類神經(jīng)元的密度很高一樣。這種緊密的排列方式使得脈沖信號把芯片和外圍設備的接口變得更容易連接。本文正是利用從脈沖神經(jīng)網(wǎng)絡出發(fā)，制備出硬件化的元件，通過數(shù)值模擬硬件的實際可行性，并且對于未來硬件化神經(jīng)網(wǎng)絡的方向提出一些看法

21.2 硬件神經(jīng)網(wǎng)絡研究進展

當前的人工神經(jīng)網(wǎng)絡存在三種模式，第一種是非學習型神經(jīng)網(wǎng)絡，即網(wǎng)絡的前饋過程與權值計算過程全部由軟件進行實現(xiàn)，權值是固定不變的，只用神經(jīng)網(wǎng)絡的電路結構完成之后，再與實際電路結構匹配即可。另外一種是on-chip的模式，即前饋過程通過微電子電路進行實現(xiàn)，權值的更新與計算通過計算機實現(xiàn)。還有一種off-chip模式，即是一種全自動的自主性芯片，從神經(jīng)網(wǎng)絡的前饋環(huán)節(jié)到神經(jīng)網(wǎng)絡的BP算法實現(xiàn)都一并完成。目前的研究狀況，我們已經(jīng)能夠熟練通過電路的設計實現(xiàn)非學習神經(jīng)網(wǎng)絡。在on-chip式的人工神經(jīng)網(wǎng)絡上，我們也能通過一定的模擬方式得到實現(xiàn)。現(xiàn)在的當務之急是開發(fā)off-chip式的神經(jīng)網(wǎng)絡，使用硬件對權值的存儲與改進是必要的。自從20世紀60年代后期引入憶阻器概念以來，由于其簡單性和功能相似性，它們被認為是模擬突觸裝置的最有希望的候選者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，開拓了RRAM和憶阻器之間聯(lián)系，做出了一定的應用之后以非易失性存儲器件和神經(jīng)突觸晶體管為代表開始成為神經(jīng)突觸器件的基礎。但將這些器件用于第二代神經(jīng)網(wǎng)絡（也就是多層感知機）上，取得了一定的成就，現(xiàn)在關于這方法的也在如火如荼的進行著，但是由于第二代神經(jīng)網(wǎng)絡的基礎仍然是基于計算機的算力達到的深度，也就是說，加深隱含層的數(shù)目提高準確度，知識因為有著強大的計算芯片作為支持。我們需要考慮一種完全類似于人腦思考問題的神經(jīng)網(wǎng)絡與算法，于是脈沖神經(jīng)網(wǎng)絡開始興起，并且被譽為第三代神經(jīng)網(wǎng)絡，這是一種完全基于人腦計算模式的神經(jīng)網(wǎng)絡，從長程記憶可塑性LTP，時間可塑依賴性STDP等研究的深入，這一網(wǎng)絡的硬件化也成為了可能

31.3 從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡

1.3.1 生物神經(jīng)元介紹

人的大腦中有超過 1011個神經(jīng)元，這些神經(jīng)元之間的連接的突觸又大約有10^15個，這些突觸使得神經(jīng)元互相連接，從而構成了復雜多變而又有條不紊的神經(jīng)網(wǎng)絡[7]。這些神經(jīng)元的單獨處理信息的速度并不算很快，但是人類的大腦能夠很有效的利用這些神經(jīng)元并行處理。即大量神經(jīng)元一起處理一個任務，這有些類似于計算機里的多線程并行操作算法。人類大腦的神經(jīng)元數(shù)目雖然龐大，但是它的能耗低卻是特點，我們每日攝入的熱量與一些機器的能源是不能夠比擬的，然而我們的大腦就能夠實現(xiàn)很多計算功能，有數(shù)據(jù)顯示，腦神經(jīng)系統(tǒng)一個動作每秒消耗的能量比最優(yōu)秀的處理器能耗小1010個數(shù)量級。

人的生物神經(jīng)元有兩個部分，分別是細胞體和突起。具有處理并且整合輸入的神經(jīng)信號，然后傳出這些信息的作用。突起有樹突和軸突兩種。樹突相對較短但分枝很多，其作用是接受其他神經(jīng)元軸突傳來的沖動并傳給細胞體。軸突長而分枝少，常常出現(xiàn)在軸丘，一般為粗細均勻的細長突起，其作用是接受外來刺激，再由細胞體傳出。神經(jīng)元與神經(jīng)元之間的連接被稱為神經(jīng)突觸，兩個神經(jīng)元之間連接強度或者關聯(lián)程度體現(xiàn)在突觸的連接強度。一般而言神經(jīng)元有以下的特點[8]：

1）：可塑性：即神經(jīng)元之間的突觸可以連接，也可以取消，連接可以變強，也可以慢慢變?nèi)?，方便與人類去適應不同的環(huán)境。

2）：興奮與抑制：神經(jīng)元受到外界刺激之后，會產(chǎn)生膜內(nèi)外滲透壓的差別從而導致Na+或者Ca2+的流入或者流出，這些離子的遷移會產(chǎn)生動作電位，導致膜電位的上升或者下降，也就對應了人類神經(jīng)元的興奮和抑制過程。

3）：學習與遺忘：由于可塑性的存在，當人類在長時間受到同一種刺激的時候，會產(chǎn)生我們的所說的學習功能，而這種功能其實是神經(jīng)元之間的連接得到了加強，同理，如果我們慢慢遺忘了一些東西，是因為長期不去使用從而神經(jīng)元之間的連接衰弱了。對應的有LTP,LTD圖像來進行表征。

4）：突觸的延時和不應期。神經(jīng)沖動的傳遞在突觸中是需要時間的，一般這個時間是1-150ms。另外，神經(jīng)元也不會在短時間內(nèi)接受兩次沖動，一般需要間隔一定的時間，這個被稱為不應期。

從上面可以看到，想要用神經(jīng)元器件模擬人類的生物的神經(jīng)元，一定要從生物本質(zhì)和特征去進行模擬。本文后面的數(shù)值模擬會再把這些特征一一強調(diào)一次，從而達到一種仿真的目的。

1.3.2 人工神經(jīng)元介紹

早在1943 年 McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型, 神經(jīng)元可用簡單的zha值函數(shù)表示，并完成邏輯函數(shù)功能[19]。20世紀初期，美國心理學家Willian Jame 提出，一個神經(jīng)元應該是同時接受來自不同神經(jīng)元的信號后，由于不同神經(jīng)元之間的突觸連接強度不同，神經(jīng)元相當于是一個加權和，并且由于興奮存在一個閾值電壓，需要一定的電壓值才會fire，因此神經(jīng)元可以用一個數(shù)學模型來勾畫，即著名的MP模型。

DOI:10.3389

[17]Qingzhou Wan, Mohammad T.Sharbati, John R.Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing

[18]陳瓊.鄭啟倫.人工神經(jīng)網(wǎng)絡系統(tǒng)硬件實現(xiàn)的研究進展.[J].電路與系統(tǒng)學報.2000 年 3 月

[19]Cowan J D.Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J].Bulletin of Mathematical Biology, 1990, 52(1-2):73-97.

[20]Mcclelland J.Reflections on Cognition and Parallel Distributed Processing[J].1986.

[21]Xing Lin, Yair Rivenson, Nezih T.Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018

附 錄

代碼具體說明請參考https://github.com/zhenghaobaby/graduated_design

作者簡歷

姓名：鄭浩 性別：男 民族：漢族 出生年月：1997-04-11 籍貫：四川成都

教育背景：

2012.09-2015.07 成都七中

2015.09-2019.07 浙江大學攻讀材料科學工程學士學位

攻讀學位期間發(fā)表的學術論文與取得的其他研究成果

已發(fā)表論文：

[1]XXXXXXX

[2]XXXX

待發(fā)表論文：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

[2]XXXX

已授權專利：

[1]XXXXXX

按學術論文發(fā)表的時間順序，列齊本人在攻讀學位期間發(fā)表或已錄用的學術論文清單。其他研究成果可以是申請的專利、獲得的獎項及完成的項目等。如果沒有，則省略此內(nèi)容。

中文仿宋，英文Times New Roman體，小四號，不加粗，兩端對齊，固定行距20磅，段前0磅，段后0磅，學術論文書寫格式同參考文獻，“已發(fā)表論文”、“待發(fā)表論文”、“已授權專利”等字加粗。