神經網絡硬件實現方法(神經網絡是一種控制方式)
1.神經網絡是一種控制方式
通常，神經網絡都是通過編程實現的，因為神經網絡本質上是種數學模型。但是，當前已經有硬件實現方案，即FPGA現場可編程門陣列來實現。
人工神經網絡作為一種新型的信息處理系統(tǒng)，由于基于傳統(tǒng)軟件實現，存在并行程度低和速度慢的缺點，使神經網絡的實現不能滿足實時性的要求，造成了理論研究與實際應用脫節(jié)。另外，用軟件實現神經網絡所需計算機體積龐大，不適合嵌入式場合的應用。而神經網絡的硬件實現的最大特點就是體現了系統(tǒng)的并行性，處理速度快，易于滿足實時性要求。另外，算法的復雜程度以及在實際工程中應用的可行性仍需要通過硬件的實現效果來檢驗。因此，神經網絡的硬件實現意義重大。
FPGA 現場可編程門陣列是一個具有大量通用邏輯單元的器件，并且它的內部邏輯可以根據實際需要進行相應的改變。這種可重新配置的結構特征非常適合實現神經網絡。
2.神經網絡計算機的實現技術
人工神經網絡的主要特點是大量神經元之間的加權互連。這就是神經網絡與光學技術相結合的重要原因。電子技術與光學技術相比，精確度高，便于程序控制，抗噪聲能力強。但是，隨著計算機芯片集成度和速度的提高，計算機中的引線問題已成為一個嚴重的障礙。由于電子引線不能互相短路交叉，引線靠近時會發(fā)生耦合，高速電脈沖在引線上傳播時要發(fā)生色散和延遲，以及電子器件的扇入和扇出系數較低等問題，使得高密度的電子互連在技術上有很大困難。超大規(guī)模集成電路（VLSI）的引線問題造成的時鐘扭曲（clock skew），嚴重限制了諾依曼型計算機的速度。而另一方面，光學互連是高度并行的，光線在傳播時可以任意互相交叉而不會發(fā)生串擾，光傳播速度極快，其延時和色散可以忽略不計，加上光學元件的扇入和扇出系數都很高，因此光學互連具有明顯的優(yōu)勢。
正因如此，許多科學家早已開始研究采用光學互連來解決VLSI的引線問題，以及芯片之間、插板之間的連接問題。此外，光學運算的高度并行性和快速實現大信息量線性運算的能力，如矩陣相乘，二維線性變換，二維卷積、積分等，也是用光學手段實現人工神經網絡的有利條件。光學信息處理雖有高速度及大信息量并行處理和優(yōu)點，但要滿足模糊運算和隨機處理的要求還是遠遠不夠的。光學信息處理性能的改進，要求在傳統(tǒng)的線性光學處理系統(tǒng)中引入非線性，而這些問題的解決與神經網絡的光學實現恰好不謀而合。光學信息處理中的許多課題，如光計算、圖像變換、相關濾波、特征提取、邊緣增強、聯想存儲、噪聲消除等，都可以用神經網絡的方法來完成。
關于光學神經網絡的研究，國內外已提出許多不同的硬件系統(tǒng)。例如，基于光學矢量矩陣相乘的Hopfield網絡的外積實現，采用全息存儲和共軛反射鏡（PCM）的全光學系統(tǒng)，采用液晶開關陣列、液晶光閥以及其它空間光調制器（SLM）的內積型光學神經網絡，光電混合全雙極“WTA”網絡等等。光學神經網絡已成為人工神經網絡研究的一個重要組成部分。
3.什么是人工神經網絡及其算法實現方式
人工神經網絡（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經元網絡進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網絡。在工程與學術界也常直接簡稱為神經網絡或類神經網絡。神經網絡是一種運算模型，由大量的節(jié)點（或稱神經元）之間相互聯接構成。每個節(jié)點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。
最近十多年來，人工神經網絡的研究工作不斷深入，已經取得了很大的進展，其在模式識別、智能機器人、自動控制、預測估計、生物、醫(yī)學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題，表現出了良好的智能特性。
4.神經網絡連接方式分為哪幾類
神經網絡模型的分類
人工神經網絡的模型很多，可以按照不同的方法進行分類。其中，常見的兩種分類方法是，按照網絡連接的拓樸結構分類和按照網絡內部的信息流向分類。
1 按照網絡拓樸結構分類
網絡的拓樸結構，即神經元之間的連接方式。按此劃分，可將神經網絡結構分為兩大類：層次型結構和互聯型結構。
層次型結構的神經網絡將神經元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經元負責接收來自外界的輸入信息，并傳給中間各隱層神經元；隱層是神經網絡的內部信息處理層，負責信息變換。根據需要可設計為一層或多層；最后一個隱層將信息傳遞給輸出層神經元經進一步處理后向外界輸出信息處理結果。
而互連型網絡結構中，任意兩個節(jié)點之間都可能存在連接路徑，因此可以根據網絡中節(jié)點的連接程度將互連型網絡細分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網絡信息流向分類
從神經網絡內部信息傳遞方向來看，可以分為兩種類型：前饋型網絡和反饋型網絡。
單純前饋網絡的結構與分層網絡結構相同，前饋是因網絡信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名的。前饋型網絡中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環(huán)路。因此這類網絡很容易串聯起來建立多層前饋網絡。
反饋型網絡的結構與單層全互連結構網絡相同。在反饋型網絡中的所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接受輸入，同時又可以向外界輸出。
5.神經網絡的應用有哪些
神經網絡的作用：（未盡之言參照百度百科）
{模擬人類實際神經網絡的數學方法問世以來，人們已慢慢習慣了把這種人工神經網絡直接稱為神經網絡。神經網絡在系統(tǒng)辨識.模式識別，智能控制等領域有著廣泛而吸引人的前景。特別在智能控制中，人們對神經網絡的自學習功能尤其感興趣，并且把神經網絡這一重要特點看作
是解決自動控制中按制器適應能力這個難題的關鍵鑰匙之一。 神經網絡的基礎在于神經元。 神經元是以生物神經系統(tǒng)的神經細胞為基礎的生物模型。在人們對生物神經系統(tǒng)進行研究，以探討人工智能的機制時，把神經元數學化，從而產生了神經元數學模型。 大量的形式相同的神經元連結在—起就組成了神經網絡。神經網絡是一個高度非線性動力學系統(tǒng)。雖然，每個神經元的結構和功能都不復雜，但是神經網絡的動態(tài)行為則是十分復雜的；因此，用神經網絡可以表達實際物理世界的各種現象。神經網絡模型是以神經元的數學模型為基礎來擁述的。神經網絡模型由網絡拓撲.節(jié)點特點和學習規(guī)則來表示
主要使用的方面：
1.并行分布處理。 2.高度魯棒性和容錯能力。 3.分布存儲及學習能力。 4.能充分逼近復雜的非線性關系。
6.Hopfield 神經網絡有哪幾種訓練方法
人工神經網絡模型主要考慮網絡連接的拓撲結構、神經元的特征、學習規(guī)則等。目前，已有近40種神經網絡模型，其中有反傳網絡、感知器、自組織映射、Hopfield網絡、波耳茲曼機、適應諧振理論等。根據連接的拓撲結構，神經網絡模型可以分為：
(1)前向網絡 網絡中各個神經元接受前一級的輸入，并輸出到下一級，網絡中沒有反饋，可以用一個有向無環(huán)路圖表示。這種網絡實現信號從輸入空間到輸出空間的變換，它的信息處理能力來自于簡單非線性函數的多次復合。網絡結構簡單，易于實現。反傳網絡是一種典型的前向網絡。
(2)反饋網絡 網絡內神經元間有反饋，可以用一個無向的完備圖表示。這種神經網絡的信息處理是狀態(tài)的變換，可以用動力學系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯想記憶功能有密切關系。Hopfield網絡、波耳茲曼機均屬于這種類型。
學習是神經網絡研究的一個重要內容，它的適應性是通過學習實現的。根據環(huán)境的變化，對權值進行調整，改善系統(tǒng)的行為。由Hebb提出的Hebb學習規(guī)則為神經網絡的學習算法奠定了基礎。Hebb規(guī)則認為學習過程最終發(fā)生在神經元之間的突觸部位，突觸的聯系強度隨著突觸前后神經元的活動而變化。在此基礎上，人們提出了各種學習規(guī)則和算法，以適應不同網絡模型的需要。有效的學習算法，使得神經網絡能夠通過連接權值的調整，構造客觀世界的內在表示，形成具有特色的信息處理方法，信息存儲和處理體現在網絡的連接中。
根據學習環(huán)境不同，神經網絡的學習方式可分為監(jiān)督學習和非監(jiān)督學習。在監(jiān)督學習中，將訓練樣本的數據加到網絡輸入端，同時將相應的期望輸出與網絡輸出相比較，得到誤差信號，以此控制權值連接強度的調整，經多次訓練后收斂到一個確定的權值。當樣本情況發(fā)生變化時，經學習可以修改權值以適應新的環(huán)境。使用監(jiān)督學習的神經網絡模型有反傳網絡、感知器等。非監(jiān)督學習時，事先不給定標準樣本，直接將網絡置于環(huán)境之中，學習階段與工作階段成為一體。此時，學習規(guī)律的變化服從連接權值的演變方程。非監(jiān)督學習最簡單的例子是Hebb學習規(guī)則。競爭學習規(guī)則是一個更復雜的非監(jiān)督學習的例子，它是根據已建立的聚類進行權值調整。自組織映射、適應諧振理論網絡等都是與競爭學習有關的典型模型。
研究神經網絡的非線性動力學性質，主要采用動力學系統(tǒng)理論、非線性規(guī)劃理論和統(tǒng)計理論，來分析神經網絡的演化過程和吸引子的性質，探索神經網絡的協(xié)同行為和集體計算功能，了解神經信息處理機制。為了探討神經網絡在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發(fā)揮作用?；煦缡且粋€相當難以精確定義的數學概念。一般而言，“混沌”是指由確定性方程描述的動力學系統(tǒng)中表現出的非確定性行為，或稱之為確定的隨機性?！按_定性”是因為它由內在的原因而不是外來的噪聲或干擾所產生，而“隨機性”是指其不規(guī)則的、不能預測的行為，只可能用統(tǒng)計的方法描述。混沌動力學系統(tǒng)的主要特征是其狀態(tài)對初始條件的靈敏依賴性，混沌反映其內在的隨機性?；煦缋碚撌侵该枋鼍哂谢煦缧袨榈姆蔷€性動力學系統(tǒng)的基本理論、概念、方法，它把動力學系統(tǒng)的復雜行為理解為其自身與其在同外界進行物質、能量和信息交換過程中內在的有結構的行為，而不是外來的和偶然的行為，混沌狀態(tài)是一種定態(tài)?；煦鐒恿W系統(tǒng)的定態(tài)包括：靜止、平穩(wěn)量、周期性、準同期性和混沌解?；煦畿壘€是整體上穩(wěn)定與局部不穩(wěn)定相結合的結果，稱之為奇異吸引子。
7.神經網絡算法是什么
Introduction 神經網絡是新技術領域中的一個時尚詞匯。
很多人聽過這個詞，但很少人真正明白它是什么。本文的目的是介紹所有關于神經網絡的基本包括它的功能、一般結構、相關術語、類型及其應用。
“神經網絡”這個詞實際是來自于生物學，而我們所指的神經網絡正確的名稱應該是“人工神經網絡（ANNs）”。在本文，我會同時使用這兩個互換的術語。
一個真正的神經網絡是由數個至數十億個被稱為神經元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網絡。人工神經網絡就是嘗試模擬這種生物學上的體系結構及其操作。
在這里有一個難題：我們對生物學上的神經網絡知道的不多！因此，不同類型之間的神經網絡體系結構有很大的不同，我們所知道的只是神經元基本的結構。 The neuron 雖然已經確認在我們的大腦中有大約50至500種不同的神經元，但它們大部份都是基于基本神經元的特別細胞。
基本神經元包含有synapses、soma、axon及dendrites。Synapses負責神經元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經元跳到另一個神經元。
然后這些電子訊號會交給soma處理及以其內部電子訊號將處理結果傳遞給axon。而axon會將這些訊號分發(fā)給dendrites。
最后，dendrites帶著這些訊號再交給其它的synapses，再繼續(xù)下一個循環(huán)。 如同生物學上的基本神經元，人工的神經網絡也有基本的神經元。
每個神經元有特定數量的輸入，也會為每個神經元設定權重（weight）。權重是對所輸入的資料的重要性的一個指標。
然后，神經元會計算出權重合計值（net value），而權重合計值就是將所有輸入乘以它們的權重的合計。每個神經元都有它們各自的臨界值（threshold），而當權重合計值大于臨界值時，神經元會輸出1。
相反，則輸出0。最后，輸出會被傳送給與該神經元連接的其它神經元繼續(xù)剩余的計算。
Learning 正如上述所寫，問題的核心是權重及臨界值是該如何設定的呢？世界上有很多不同的訓練方式，就如網絡類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓練模式。
由于結構體系的不同，訓練的規(guī)則也不相同，但大部份的規(guī)則可以被分為二大類別 - 監(jiān)管的及非監(jiān)管的。監(jiān)管方式的訓練規(guī)則需要“教師”告訴他們特定的輸入應該作出怎樣的輸出。
然后訓練規(guī)則會調整所有需要的權重值（這是網絡中是非常復雜的），而整個過程會重頭開始直至數據可以被網絡正確的分析出來。監(jiān)管方式的訓練模式包括有back-propagation及delta rule。
非監(jiān)管方式的規(guī)則無需教師，因為他們所產生的輸出會被進一步評估。 Architecture 在神經網絡中，遵守明確的規(guī)則一詞是最“模糊不清”的。
因為有太多不同種類的網絡，由簡單的布爾網絡（Perceptrons），至復雜的自我調整網絡（Kohonen），至熱動態(tài)性網絡模型（Boltzmann machines）！而這些，都遵守一個網絡體系結構的標準。 一個網絡包括有多個神經元“層”，輸入層、隱蔽層及輸出層。
輸入層負責接收輸入及分發(fā)到隱蔽層（因為用戶看不見這些層，所以見做隱蔽層）。這些隱蔽層負責所需的計算及輸出結果給輸出層，而用戶則可以看到最終結果。
現在，為免混淆，不會在這里更深入的探討體系結構這一話題。對于不同神經網絡的更多詳細資料可以看Generation5 essays 盡管我們討論過神經元、訓練及體系結構，但我們還不清楚神經網絡實際做些什么。
The Function of ANNs 神經網絡被設計為與圖案一起工作 - 它們可以被分為分類式或聯想式。分類式網絡可以接受一組數，然后將其分類。
例如ONR程序接受一個數字的影象而輸出這個數字?；蛘逷PDA32程序接受一個坐標而將它分類成A類或B類（類別是由所提供的訓練決定的）。
更多實際用途可以看Applications in the Military中的軍事雷達，該雷達可以分別出車輛或樹。 聯想模式接受一組數而輸出另一組。
例如HIR程序接受一個‘臟’圖像而輸出一個它所學過而最接近的一個圖像。聯想模式更可應用于復雜的應用程序，如簽名、面部、指紋識別等。
The Ups and Downs of Neural Networks 神經網絡在這個領域中有很多優(yōu)點，使得它越來越流行。它在類型分類/識別方面非常出色。
神經網絡可以處理例外及不正常的輸入數據，這對于很多系統(tǒng)都很重要（例如雷達及聲波定位系統(tǒng)）。很多神經網絡都是模仿生物神經網絡的，即是他們仿照大腦的運作方式工作。
神經網絡也得助于神經系統(tǒng)科學的發(fā)展，使它可以像人類一樣準確地辨別物件而有電腦的速度！前途是光明的，但現在。 是的，神經網絡也有些不好的地方。
這通常都是因為缺乏足夠強大的硬件。神經網絡的力量源自于以并行方式處理資訊，即是同時處理多項數據。
因此，要一個串行的機器模擬并行處理是非常耗時的。 神經網絡的另一個問題是對某一個問題構建網絡所定義的條件不足 - 有太多因素需要考慮：訓練的算法、體系結構、每層的神經元個數、有多少層、數據的表現等，還有其它更多因素。
因此，隨著時間越來越重要，大部份公司不可能負擔重復的開發(fā)神經網絡去有效地解決問題。 。
