recurrent: 時(shí)間維度的展開(kāi),代表信息在時(shí)間維度從前往后的的傳遞和積累,可以類(lèi)比markov假設(shè),后面的信息的概率建立在前面信息的基礎(chǔ)上,在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上表現(xiàn)為后面的神經(jīng)網(wǎng)絡(luò)的隱藏層的輸入是前面的神經(jīng)網(wǎng)絡(luò)的隱藏層的輸出;recursive: 空間維度的展開(kāi),是一個(gè)樹(shù)結(jié)構(gòu),比如nlp里某句話,用recurrent neural network來(lái)建模的話就是假設(shè)句子后面的詞的信息和前面的詞有關(guān),而用recurxive neural network來(lái)建模的話,就是假設(shè)句子是一個(gè)樹(shù)狀結(jié)構(gòu),由幾個(gè)部分(主語(yǔ),謂語(yǔ),賓語(yǔ))組成,而每個(gè)部分又可以在分成幾個(gè)小部分,即某一部分的信息由它的子樹(shù)的信息組合而來(lái),整句話的信息由組成這句話的幾個(gè)部分組合而來(lái)。
從廣義上說(shuō)深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)也是多層神經(jīng)網(wǎng)絡(luò)的一種。
傳統(tǒng)意義上的多層神經(jīng)網(wǎng)絡(luò)是只有輸入層、隱藏層、輸出層。其中隱藏層的層數(shù)根據(jù)需要而定,沒(méi)有明確的理論推導(dǎo)來(lái)說(shuō)明到底多少層合適。
而深度學(xué)習(xí)中最著名的卷積神經(jīng)網(wǎng)絡(luò)CNN,在原來(lái)多層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,加入了特征學(xué)習(xí)部分,這部分是模仿人腦對(duì)信號(hào)處理上的分級(jí)的。具體操作就是在原來(lái)的全連接的層前面加入了部分連接的卷積層與降維層,而且加入的是一個(gè)層級(jí)。
輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- 。. -- 隱藏層 -輸出層簡(jiǎn)單來(lái)說(shuō),原來(lái)多層神經(jīng)網(wǎng)絡(luò)做的步驟是:特征映射到值。
特征是人工挑選。深度學(xué)習(xí)做的步驟是 信號(hào)->特征->值。
特征是由網(wǎng)絡(luò)自己選擇。
簡(jiǎn)介:BP(Back Propagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出,是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。
BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系,而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法,通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小。
BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(input)、隱層(hide layer)和輸出層(output layer) 摘 要:BP神經(jīng)網(wǎng)絡(luò)算法是在BP神經(jīng)網(wǎng)絡(luò)現(xiàn)有算法的基礎(chǔ)上提出的,是通過(guò)任意選定一組權(quán)值,將給定的目標(biāo)輸出直接作為線性方程的代數(shù)和來(lái)建立線性方程組,解得待求權(quán),不存在傳統(tǒng)方法的局部極小及收斂速度慢的問(wèn)題,且更易理解。 關(guān)鍵詞:固定權(quán)值;gauss消元法;BP算法 人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks,ANN)系統(tǒng)是20世紀(jì)40年代后出現(xiàn)的,它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成,具有大規(guī)模并行處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn),在信息處理、模式識(shí)別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。
尤其誤差反向傳播算法(Error Back-propagation Training,簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò))可以逼近任意連續(xù)函數(shù),具有很強(qiáng)的非線性映射能力,而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定,靈活性很大,所以它在許多應(yīng)用領(lǐng)域中起到重要作用。近年來(lái),為了解決BP神經(jīng)網(wǎng)絡(luò)收斂速度慢、不能保證收斂到全局最小點(diǎn),網(wǎng)絡(luò)的中間層及它的單元數(shù)選取無(wú)理論指導(dǎo)及網(wǎng)絡(luò)學(xué)習(xí)和記憶的不穩(wěn)定性等缺陷,提出了許多改進(jìn)算法。
1 傳統(tǒng)的BP算法簡(jiǎn)述 BP算法是一種有監(jiān)督式的學(xué)習(xí)算法,其主要思想是:輸入學(xué)習(xí)樣本,使用反向傳播算法對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)練,使輸出的向量與期望向量盡可能地接近,當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時(shí)訓(xùn)練完成,保存網(wǎng)絡(luò)的權(quán)值和偏差。具體步驟如下: (1)初始化,隨機(jī)給定各連接權(quán)[w],[v]及閥值θi,rt。
(2)由給定的輸入輸出模式對(duì)計(jì)算隱層、輸出層各單元輸出 bj=f(■wijai-θj) ct=f(■vjtbj-rt) 式中:bj為隱層第j個(gè)神經(jīng)元實(shí)際輸出;ct為輸出層第t個(gè)神經(jīng)元的實(shí)際輸出;wij為輸入層至隱層的連接權(quán);vjt為隱層至輸出層的連接權(quán)。 dtk=(ytk-ct)ct(1-ct) ejk=[■dtvjt] bj(1-bj) 式中:dtk為輸出層的校正誤差;ejk為隱層的校正誤差。
(3)計(jì)算新的連接權(quán)及閥值,計(jì)算公式如下: vjt(n+1)=vjt(n)+琢dtkbj wij(n+1)=wij(n)+茁ejkaik rt(n+1)=rt(n)+琢dtk θj(n+1)=θj(n)+茁ejk 式中:琢,茁為學(xué)習(xí)系數(shù)(0。
神經(jīng)網(wǎng)絡(luò)是利用大量的神經(jīng)元按一定的拓?fù)浣Y(jié)構(gòu)和學(xué)習(xí)調(diào)整方法。
它能表示出豐富的特性:并行計(jì)算、分布存儲(chǔ)、可變結(jié)構(gòu)、高度容錯(cuò)、非線性運(yùn)算、自我組織、學(xué)習(xí)或自學(xué)習(xí)等。這些特性是人們長(zhǎng)期追求和期望的系統(tǒng)特性。
它在智能控制的參數(shù)、結(jié)構(gòu)或環(huán)境的自適應(yīng)、自組織、自學(xué)習(xí)等控制方面具有獨(dú)特的能力。 神經(jīng)網(wǎng)絡(luò)可以和模糊邏輯一樣適用于任意復(fù)雜對(duì)象的控制,但它與模糊邏輯不同的是擅長(zhǎng)單輸入多輸出系統(tǒng)和多輸入多輸出系統(tǒng)的多變量控制。
在模糊邏輯表示的SIMO系統(tǒng)和MIMO系統(tǒng)中,其模糊推理、解模糊過(guò)程以及學(xué)習(xí)控制等功能常用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。模糊神經(jīng)網(wǎng)絡(luò)技術(shù)和神經(jīng)模糊邏輯技術(shù):模糊邏輯和神經(jīng)網(wǎng)絡(luò)作為智能控制的主要技術(shù)已被廣泛應(yīng)用。
兩者既有相同性又有不同性。其相同性為:兩者都可作為萬(wàn)能逼近器解決非線性問(wèn)題,并且兩者都可以應(yīng)用到控制器設(shè)計(jì)中。
不同的是:模糊邏輯可以利用語(yǔ)言信息描述系統(tǒng),而神經(jīng)網(wǎng)絡(luò)則不行;模糊邏輯應(yīng)用到控制器設(shè)計(jì)中,其參數(shù)定義有明確的物理意義,因而可提出有效的初始參數(shù)選擇方法;神經(jīng)網(wǎng)絡(luò)的初始參數(shù)(如權(quán)值等)只能隨機(jī)選擇。 但在學(xué)習(xí)方式下,神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)各種訓(xùn)練,其參數(shù)設(shè)置可以達(dá)到滿(mǎn)足控制所需的行為。
模糊邏輯和神經(jīng)網(wǎng)絡(luò)都是模仿人類(lèi)大腦的運(yùn)行機(jī)制,可以認(rèn)為神經(jīng)網(wǎng)絡(luò)技術(shù)模仿人類(lèi)大腦的硬件,模糊邏輯技術(shù)模仿人類(lèi)大腦的軟件。根據(jù)模糊邏輯和神經(jīng)網(wǎng)絡(luò)的各自特點(diǎn),所結(jié)合的技術(shù)即為模糊神經(jīng)網(wǎng)絡(luò)技術(shù)和神經(jīng)模糊邏輯技術(shù)。
模糊邏輯、神經(jīng)網(wǎng)絡(luò)和它們混合技術(shù)適用于各種學(xué)習(xí)方式智能控制的相關(guān)技術(shù)與控制方式結(jié)合或綜合交叉結(jié)合,構(gòu)成風(fēng)格和功能各異的智能控制系統(tǒng)和智能控制器是智能控制技術(shù)方法的一個(gè)主要特點(diǎn).智能控制模糊控制系統(tǒng)所謂模糊控制,就是在被控制對(duì)象的模糊模型的基礎(chǔ)上,運(yùn)用模糊控制器近似推理手段,實(shí)現(xiàn)系統(tǒng)控制的一種方法。 模糊模型是用模糊語(yǔ)言和規(guī)則描述的一個(gè)系統(tǒng)的動(dòng)態(tài)特性及性能指標(biāo)。
模糊控制的基本思想是用機(jī)器去模擬人對(duì)系統(tǒng)的控制。它是受這樣事實(shí)而啟發(fā)的:對(duì)于用傳統(tǒng)控制理論無(wú)法進(jìn)行分析和控制的復(fù)雜的和無(wú)法建立數(shù)學(xué)模型的系統(tǒng),有經(jīng)驗(yàn)的操作者或?qū)<覅s能取得比較好的控制效果,這是因?yàn)樗麄儞碛腥辗e月累的豐富經(jīng)驗(yàn),因此人們希望把這種經(jīng)驗(yàn)指導(dǎo)下的行為過(guò)程總結(jié)成一些規(guī)則,并根據(jù)這些規(guī)則設(shè)計(jì)出控制器。
然后運(yùn)用模糊理論,模糊語(yǔ)言變量和模糊邏輯推理的知識(shí),把這些模糊的語(yǔ)言上升為數(shù)值運(yùn)算,從而能夠利用計(jì)算機(jī)來(lái)完成對(duì)這些規(guī)則的具體實(shí)現(xiàn),達(dá)到以機(jī)器代替人對(duì)某些對(duì)象進(jìn)行自動(dòng)控制的目的。
聲明:本網(wǎng)站尊重并保護(hù)知識(shí)產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡(luò)傳播權(quán)保護(hù)條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請(qǐng)?jiān)谝粋€(gè)月內(nèi)通知我們,我們會(huì)及時(shí)刪除。
蜀ICP備2020033479號(hào)-4 Copyright ? 2016 學(xué)習(xí)鳥(niǎo). 頁(yè)面生成時(shí)間:4.034秒