Geri yayılım - Backpropagation

Bir dizinin parçası
Makine öğrenme ve veri madenciliği
Problemler Sınıflandırma Kümeleme Regresyon Anomali tespiti AutoML İlişkilendirme kuralları Takviye öğrenme Yapılandırılmış tahmin Özellik mühendisliği Özellik öğrenimi Çevrimiçi öğrenme Yarı denetimli öğrenme Denetimsiz öğrenme Sıralamayı öğrenmek Dilbilgisi indüksiyonu
Denetimli öğrenme (sınıflandırma • gerileme) Karar ağaçları Topluluklar Torbalama Artırma Rastgele orman k-NN Doğrusal regresyon Naif bayanlar Yapay sinir ağları Lojistik regresyon Algılayıcı Alaka vektör makinesi (RVM) Destek vektör makinesi (SVM)
Kümeleme Huş ÇARE Hiyerarşik k-anlamına geliyor Beklenti-maksimizasyon (EM) DBSCAN OPTİK Ortalama kayma
Boyutsal küçülme Faktor analizi CCA ICA LDA NMF PCA PGD t-SNE
Yapılandırılmış tahmin Grafik modeller Bayes net Koşullu rastgele alan Gizli Markov
Anomali tespiti k-NN Yerel aykırı değer faktörü
Yapay sinir ağı Otomatik kodlayıcı Derin öğrenme DeepDream Çok katmanlı algılayıcı RNN LSTM GRU ESN Kısıtlı Boltzmann makinesi GAN SOM Evrişimli sinir ağı U-Net Transformatör
Takviye öğrenme Q-öğrenme SARSA Zamansal fark (TD)
Teori Önyargı-varyans ikilemi Hesaplamalı öğrenme teorisi Ampirik risk minimizasyonu Occam öğrenme PAC öğrenimi İstatistiksel öğrenme VC teorisi
Makine öğrenimi mekanları NörIPS ICML ML JMLR ArXiv: cs.LG
Yapay zeka sözlüğü Yapay zeka sözlüğü
İlgili Makaleler Makine öğrenimi araştırması için veri kümelerinin listesi Makine öğreniminin ana hatları

İçinde makine öğrenme, geri yayılım (arka plan,^[1] BP) yaygın olarak kullanılan bir algoritma eğitim için ileri beslemeli sinir ağları. Geri yayılımın genellemeleri, diğerleri için mevcuttur. yapay sinir ağları (YSA'lar) ve genel işlevler için. Bu algoritma sınıflarının tümü genel olarak "geri yayılım" olarak adlandırılır.^[2] İçinde sinir ağı uydurma, geri yayılım, gradyan of kayıp fonksiyonu saygıyla ağırlıklar tek bir giriş-çıkış örneği için ağın verimli, her bir ağırlığa göre ayrı ayrı gradyanın saf bir doğrudan hesaplamasından farklı olarak. Bu verimlilik, kullanımını mümkün kılar gradyan yöntemleri çok katmanlı ağları eğitmek için, kayıpları en aza indirmek için ağırlıkları güncellemek; dereceli alçalma veya gibi varyantlar stokastik gradyan inişi, yaygın olarak kullanılmaktadır. Geri yayılım algoritması, her bir ağırlığa göre kayıp fonksiyonunun gradyanını hesaplayarak çalışır. zincir kuralı, her seferinde bir katman degradeyi hesaplamak, yinelenen zincir kuralında ara terimlerin gereksiz hesaplamalarından kaçınmak için son katmandan geriye doğru; bu bir örnek dinamik program.^[3]

Dönem geri yayılım kesinlikle gradyanın nasıl kullanıldığını değil, sadece gradyan hesaplama algoritmasına atıfta bulunur; ancak terim, stokastik gradyan inişi gibi gradyanın nasıl kullanıldığı da dahil olmak üzere genellikle tüm öğrenme algoritmasına atıfta bulunmak için gevşek bir şekilde kullanılır.^[4] Geri yayılım, gradyan hesaplamasını genelleştirir. delta kuralı geri yayılmanın tek katmanlı versiyonu olan ve buna karşılık olarak genelleştirilen otomatik farklılaşma, geri yayılımın özel bir durum olduğu ters birikim (veya "ters mod").^[5] Dönem geri yayılım ve sinir ağlarındaki genel kullanımı Rumelhart, Hinton ve Williams (1986a), sonra detaylandırıldı ve popüler hale geldi Rumelhart, Hinton ve Williams (1986b), ancak teknik bağımsız olarak birçok kez yeniden keşfedildi ve 1960'lara dayanan birçok öncülü vardı; görmek § Tarih.^[6] Modern bir genel bakış, derin öğrenme ders kitabı Goodfellow, Bengio ve Courville (2016).^[7]

Genel Bakış

Geri yayılım, gradyan içinde ağırlık alanı ileri beslemeli bir sinir ağının kayıp fonksiyonu. Şunu belirtin:

• ${ displaystyle x}$: girdi (özelliklerin vektörü)
• ${ displaystyle y}$: hedef çıktı

  Sınıflandırma için çıktı, sınıf olasılıklarının bir vektörü olacaktır (ör. ${ displaystyle (0,1,0,7,0,2)}$ve hedef çıktı, tarafından kodlanan belirli bir sınıftır. tek sıcak /geçici değişken (Örneğin., ${ displaystyle (0,1,0)}$).

• ${ displaystyle C}$: kayıp fonksiyonu veya "maliyet işlevi"^[a]

  Sınıflandırma için bu genellikle çapraz entropi (XC, günlük kaybı ), regresyon için ise genellikle kare hata kaybı (SEL).

• ${ displaystyle L}$: katman sayısı
• ${ displaystyle W ^ {l} = (w_ {jk} ^ {l})}$: katman arasındaki ağırlıklar ${ displaystyle l-1}$ ve ${ displaystyle l}$, nerede ${ displaystyle w_ {jk} ^ {l}}$ arasındaki ağırlık ${ displaystyle k}$katmandaki -th düğüm ${ displaystyle l-1}$ ve ${ displaystyle j}$katmandaki -th düğüm ${ displaystyle l}$^[b]
• ${ displaystyle f ^ {l}}$: aktivasyon fonksiyonları katmanda ${ displaystyle l}$

  Sınıflandırma için son katman genellikle lojistik fonksiyon ikili sınıflandırma için ve softmax (softargmax) çok sınıflı sınıflandırma için iken, gizli katmanlar için bu geleneksel olarak bir sigmoid işlevi (lojistik fonksiyon veya diğerleri) her düğümde (koordinat), ancak bugün daha çeşitlidir, doğrultucu (rampa, ReLU ) yaygın olmak.

Geri yayılımın türetilmesinde, diğer ara miktarlar kullanılır; aşağıda gerektiği gibi tanıtılmıştır. Sapma terimleri, sabit girdisi 1 olan bir ağırlığa karşılık geldiklerinden özel olarak ele alınmazlar. Geri yayılım amacıyla, spesifik kayıp fonksiyonu ve aktivasyon fonksiyonları, kendileri ve türevleri verimli bir şekilde değerlendirilebildiği sürece önemli değildir.

Genel ağ, aşağıdakilerin bir kombinasyonudur: işlev bileşimi ve matris çarpımı:

${ displaystyle g (x): = f ^ {L} (W ^ {L} f ^ {L-1} (W ^ {L-1} cdots f ^ {1} (W ^ {1} x) cdots))}$

Bir eğitim seti için bir dizi giriş-çıkış çifti olacaktır, ${ displaystyle sol {(x_ {i}, y_ {i}) sağ }}$. Her bir giriş-çıkış çifti için ${ displaystyle (x_ {i}, y_ {i})}$ eğitim setinde, bu çift üzerindeki modelin kaybı, tahmin edilen çıktı arasındaki farkın maliyetidir. ${ displaystyle g (x_ {i})}$ ve hedef çıktı ${ displaystyle y_ {i}}$:

${ displaystyle C (y_ {i}, g (x_ {i}))}$

Ayrıma dikkat edin: Model değerlendirmesi sırasında, girişler değişirken ağırlıklar sabittir (ve hedef çıktı bilinmeyebilir) ve ağ çıktı katmanı ile biter (kayıp işlevini içermez). Model eğitimi sırasında, giriş-çıkış çifti sabitlenir, ağırlıklar değişir ve ağ kayıp fonksiyonu ile sona erer.

Geri yayılım, bir sabit giriş-çıkış çifti ${ displaystyle (x_ {i}, y_ {i})}$, ağırlıklar nerede ${ displaystyle w_ {jk} ^ {l}}$ çeşitlenebilir. Degradenin her bir bileşeni, ${ displaystyle kısmi C / kısmi w_ {jk} ^ {l},}$ zincir kuralı ile hesaplanabilir; ancak bunu her ağırlık için ayrı yapmak verimsizdir. Geri yayılım, her katmanın gradyanını, özellikle de ağırlıklı olanın gradyanını hesaplayarak, çift hesaplamalardan kaçınarak ve gereksiz ara değerleri hesaplamayarak gradyanı verimli bir şekilde hesaplar. giriş her katmanın ${ displaystyle delta ^ {l}}$ - arkadan öne.

Gayriresmi olarak, kilit nokta, bir kilo vermenin tek yoludur. ${ displaystyle W ^ {l}}$ zararı etkiler üzerindeki etkisi Sonraki katman ve öyle yapar doğrusal olarak, ${ displaystyle delta ^ {l}}$ Katmandaki ağırlıkların gradyanlarını hesaplamak için ihtiyacınız olan tek veri ${ displaystyle l}$ve sonra önceki katmanı hesaplayabilirsiniz ${ displaystyle delta ^ {l-1}}$ ve yinelemeli olarak tekrarlayın. Bu, verimsizliği iki şekilde önler. Birincisi, katmandaki gradyanı hesaplarken çoğaltmayı önler ${ displaystyle l}$, tüm türevleri sonraki katmanlarda yeniden hesaplamanıza gerek yoktur ${ displaystyle l + 1, l + 2, ldots}$ her seferinde. İkincisi, gereksiz ara hesaplamalardan kaçınır çünkü her aşamada, ağırlık değişimlerine göre gizli katmanların değerlerinin türevlerini gereksiz yere hesaplamak yerine, nihai çıktıya (kayıp) göre ağırlıkların gradyanını doğrudan hesaplar. ${ displaystyle kısmi a_ {j '} ^ {l'} / kısmi w_ {jk} ^ {l}}$.

Geri yayılım, basit ileri beslemeli ağlar için şu şekilde ifade edilebilir: matris çarpımı veya daha genel olarak ek grafik.

Matris çarpımı

Her katmandaki düğümlerin yalnızca hemen sonraki katmandaki düğümlere bağlandığı (herhangi bir katmanı atlamadan) ve son çıktı için bir skaler kaybı hesaplayan bir kayıp işlevinin olduğu, ileri beslemeli bir ağın temel durumu için geri yayılım yapılabilir. basitçe matris çarpımı ile anlaşılır.^[c] Esas olarak, geri yayılım, maliyet fonksiyonunun türevi için ifadeyi her katman arasındaki türevlerin bir ürünü olarak değerlendirir. soldan sağa - "geriye doğru" - her katman arasındaki ağırlıkların gradyanı, kısmi ürünlerin basit bir modifikasyonudur ("geriye doğru yayılan hata").

Bir giriş-çıkış çifti verildiğinde ${ displaystyle (x, y)}$, kayıp:

${ displaystyle C (y, f ^ {L} (W ^ {L} f ^ {L-1} (W ^ {L-1} cdots f ^ {2} (W ^ {2} f ^ {1 } (W ^ {1} x)) cdots)))}$

Bunu hesaplamak için girişle başlar ${ displaystyle x}$ ve ileriye dönük çalışır; her katmanın ağırlıklı girdisini şu şekilde ifade edin: ${ displaystyle z ^ {l}}$ ve katmanın çıktısı ${ displaystyle l}$ aktivasyon olarak ${ displaystyle a ^ {l}}$. Geri yayılım için aktivasyon ${ displaystyle a ^ {l}}$ yanı sıra türevler ${ displaystyle (f ^ {l}) '}$ (değerlendirildi ${ displaystyle z ^ {l}}$) geriye doğru geçiş sırasında kullanım için önbelleğe alınmalıdır.

Girdilere göre kaybın türevi zincir kuralı ile verilir; her terimin bir toplam türev, girişteki ağın değerinde (her düğümde) değerlendirilir ${ displaystyle x}$:

${ displaystyle { frac {dC} {da ^ {L}}} cdot { frac {da ^ {L}} {dz ^ {L}}} cdot { frac {dz ^ {L}} { da ^ {L-1}}} cdot { frac {da ^ {L-1}} {dz ^ {L-1}}} cdot { frac {dz ^ {L-1}} {da ^ {L-2}}} cdots { frac {da ^ {1}} {dz ^ {1}}} cdot { frac { kısmi z ^ {1}} { kısmi x}}.}$

Bu terimler şunlardır: kayıp fonksiyonunun türevi;^[d] aktivasyon fonksiyonlarının türevleri;^[e] ve ağırlıkların matrisleri:^[f]

${ displaystyle { frac {dC} {da ^ {L}}} cdot (f ^ {L}) ' cdot W ^ {L} cdot (f ^ {L-1})' cdot W ^ {L-1} cdots (f ^ {1}) ' cdot W ^ {1}.}$

Gradyan ${ displaystyle nabla}$ ... değiştirmek Çıktının türevinin girdiye göre, dolayısıyla matrislerin yeri değiştirilir ve çarpma sırası tersine çevrilir, ancak girdiler aynıdır:

${ displaystyle nabla _ {x} C = (W ^ {1}) ^ {T} cdot (f ^ {1}) ' cdots cdot (W ^ {L-1}) ^ {T} cdot (f ^ {L-1}) ' cdot (W ^ {L}) ^ {T} cdot (f ^ {L})' cdot nabla _ {a ^ {L}} C.}$

Geri yayılım daha sonra esasen bu ifadeyi sağdan sola değerlendirmekten (eşdeğer olarak, türev için önceki ifadeyi soldan sağa doğru çarparak), yol üzerindeki her katmandaki gradyanı hesaplamaktan oluşur; ek bir adım vardır, çünkü ağırlıkların gradyanı sadece bir alt ifade değildir: fazladan bir çarpma vardır.

Yardımcı miktarın tanıtılması ${ displaystyle delta ^ {l}}$ kısmi ürünler için (sağdan sola çarparak), "düzeydeki hata" olarak yorumlanır ${ displaystyle l}$"ve düzeydeki girdi değerlerinin eğimi olarak tanımlanır ${ displaystyle l}$:

${ displaystyle delta ^ {l}: = (f ^ {l}) ' cdot (W ^ {l + 1}) ^ {T} cdots cdot (W ^ {L-1}) ^ {T } cdot (f ^ {L-1}) ' cdot (W ^ {L}) ^ {T} cdot (f ^ {L})' cdot nabla _ {a ^ {L}} C. }$

Bunu not et ${ displaystyle delta ^ {l}}$ düzeydeki düğüm sayısına eşit uzunlukta bir vektördür ${ displaystyle l}$; her bir terim, "o düğüme (değeri) atfedilebilen maliyet" olarak yorumlanır.

Katmandaki ağırlıkların gradyanı ${ displaystyle l}$ o zaman:

${ displaystyle nabla _ {W ^ {l}} C = delta ^ {l} (a ^ {l-1}) ^ {T}.}$

Faktörü ${ displaystyle a ^ {l-1}}$ çünkü ağırlıklar ${ displaystyle W ^ {l}}$ seviye arası ${ displaystyle l-1}$ ve ${ displaystyle l}$ etki seviyesi ${ displaystyle l}$ girişlerle orantılı olarak (etkinleştirmeler): girişler sabittir, ağırlıklar değişir.

${ displaystyle delta ^ {l}}$ aşağıdaki gibi yinelemeli olarak kolayca hesaplanabilir:

${ displaystyle delta ^ {l-1}: = (f ^ {l-1}) ' cdot (W ^ {l}) ^ {T} cdot delta ^ {l}.}$

Böylece ağırlıkların gradyanları, her seviye için birkaç matris çarpımı kullanılarak hesaplanabilir; bu geri yayılımdır.

Saf bir şekilde ileriye dönük bilgi işlemle karşılaştırıldığında ( ${ displaystyle delta ^ {l}}$ örnek için):

${ displaystyle { başlar {hizalı} delta ^ {1} & = (f ^ {1}) ' cdot (W ^ {2}) ^ {T} cdot (f ^ {2})' cdots cdot (W ^ {L-1}) ^ {T} cdot (f ^ {L-1}) ' cdot (W ^ {L}) ^ {T} cdot (f ^ {L})' cdot nabla _ {a ^ {L}} C delta ^ {2} & = (f ^ {2}) ' cdots cdot (W ^ {L-1}) ^ {T} cdot (f ^ {L-1}) ' cdot (W ^ {L}) ^ {T} cdot (f ^ {L})' cdot nabla _ {a ^ {L}} C & vdots delta ^ {L-1} & = (f ^ {L-1}) ' cdot (W ^ {L}) ^ {T} cdot (f ^ {L})' cdot nabla _ {a ^ {L}} C delta ^ {L} & = (f ^ {L}) ' cdot nabla _ {a ^ {L}} C, end {hizalı}}}$

geri yayılımla ilgili iki temel fark vardır:

1. Bilgi işlem ${ displaystyle delta ^ {l-1}}$ açısından ${ displaystyle delta ^ {l}}$ Katmanların bariz yinelenen çoğalmasını önler ${ displaystyle l}$ ve ötesinde.
2. Şundan başlayarak çarpma ${ displaystyle nabla _ {a ^ {L}} C}$ - hatayı yaymak geriye doğru - her adımın basitçe bir vektörü çarptığı anlamına gelir (${ displaystyle delta ^ {l}}$) ağırlık matrislerine göre ${ displaystyle (W ^ {l}) ^ {T}}$ ve aktivasyon türevleri ${ displaystyle (f ^ {l-1}) '}$. Buna karşılık, daha önceki bir katmandaki değişikliklerden başlayarak ileriye doğru çarpmak, her çarpmanın bir matris tarafından matris. Bu çok daha pahalıdır ve tek bir katmandaki bir değişikliğin olası her yolunu izlemeye karşılık gelir ${ displaystyle l}$ katmandaki değişikliklere ilet ${ displaystyle l + 2}$ (çarpmak için ${ displaystyle W ^ {l + 1}}$ tarafından ${ displaystyle W ^ {l + 2}}$, ağırlık değişimlerinin gizli düğümlerin değerlerini nasıl etkilediğinin ara miktarlarını gereksiz yere hesaplayan, aktivasyonların türevleri için ek çarpımlarla).

Bitişik grafik

Bu bölüm genişlemeye ihtiyacı var. Yardımcı olabilirsiniz ona eklemek. (Kasım 2019)

Daha genel grafikler ve diğer gelişmiş varyasyonlar için, geri yayılım şu şekilde anlaşılabilir: otomatik farklılaşma, geri yayılımın özel bir durum olduğu ters birikim (veya "ters mod").^[5]

Sezgi

Motivasyon

Herhangi birinin hedefi denetimli öğrenme algoritması, bir dizi girdiyi doğru çıktılarına en iyi şekilde eşleyen bir işlev bulmaktır. Geri yayılımın motivasyonu, çok katmanlı bir sinir ağını, girdinin çıktıya herhangi bir keyfi eşlemesini öğrenmesine izin verecek uygun iç gösterimleri öğrenebilecek şekilde eğitmektir.^[8]

Optimizasyon problemi olarak öğrenme

Geri yayılım algoritmasının matematiksel olarak türetilmesini anlamak için, öncelikle bir nöronun gerçek çıkışı ile belirli bir eğitim örneği için doğru çıktı arasındaki ilişki hakkında bir sezginin geliştirilmesine yardımcı olur. İki giriş birimi olan, bir çıkış birimi olan ve hiçbir gizli birimi olmayan ve her nöronun bir doğrusal çıktı (girdilerden çıktılara eşlemenin doğrusal olmadığı sinir ağları üzerindeki çoğu çalışmanın aksine)^[g] bu, girdisinin ağırlıklı toplamıdır.

Başlangıçta, antrenmandan önce ağırlıklar rastgele ayarlanacaktır. Sonra nöron, eğitim örnekleri, bu durumda bir dizi demetler ${ displaystyle (x_ {1}, x_ {2}, t)}$ nerede ${ displaystyle x_ {1}}$ ve ${ displaystyle x_ {2}}$ ağın girdileridir ve t doğru çıktıdır (ağın eğitildiğinde bu girdilere göre üretmesi gereken çıktı). Verilen ilk ağ ${ displaystyle x_ {1}}$ ve ${ displaystyle x_ {2}}$, bir çıktı hesaplayacak y muhtemelen farklıdır t (rastgele ağırlıklar verildiğinde). Bir kayıp fonksiyonu ${ displaystyle L (t, y)}$ hedef çıktı arasındaki tutarsızlığı ölçmek için kullanılır t ve hesaplanan çıktı y. İçin regresyon analizi sorunlar karesi alınan hatanın kayıp fonksiyonu olarak kullanılabilir, çünkü sınıflandırma kategorik çaprazentropi kullanılabilir.

Örnek olarak kare hatasını kayıp olarak kullanan bir regresyon problemini düşünün:

${ displaystyle L (t, y) = (t-y) ^ {2} = E,}$

nerede E tutarsızlık veya hatadır.

Ağı tek bir eğitim vakasında düşünün: ${ displaystyle (1,1,0)}$. Böylece girdi ${ displaystyle x_ {1}}$ ve ${ displaystyle x_ {2}}$ sırasıyla 1 ve 1'dir ve doğru çıktı, t Şimdi 0, eğer ağın çıkışı arasındaki ilişki çizilirse y yatay eksende ve hata E dikey eksende sonuç bir paraboldür. minimum of parabol çıktıya karşılık gelir y hatayı en aza indiren E. Tek bir eğitim vakası için minimum, yatay eksene de temas eder, bu da hatanın sıfır olacağı ve ağın bir çıktı üretebileceği anlamına gelir. y hedef çıktıyla tam olarak eşleşen t. Bu nedenle, girdilerin çıktılarla eşleştirilmesi sorunu bir optimizasyon sorunu minimum hata üretecek bir işlev bulma.

Bununla birlikte, bir nöronun çıktısı, tüm girdilerinin ağırlıklı toplamına bağlıdır:

${ displaystyle y = x_ {1} w_ {1} + x_ {2} w_ {2},}$

nerede ${ displaystyle w_ {1}}$ ve ${ displaystyle w_ {2}}$ giriş ünitelerinden çıkış ünitesine olan bağlantıdaki ağırlıklardır. Bu nedenle, hata aynı zamanda nörona gelen ağırlıklara da bağlıdır, bu da nihayetinde öğrenmeyi sağlamak için ağda değiştirilmesi gereken şeydir. Her ağırlık ayrı bir yatay eksende çizilirse ve dikey eksende hata varsa, sonuç bir parabolik çanak. Bir nöron için k ağırlıklar, aynı arsa bir eliptik paraboloit nın-nin ${ displaystyle k + 1}$ boyutları.

Hatayı en aza indiren ağırlık kümesini bulmak için yaygın olarak kullanılan bir algoritma dereceli alçalma. Daha sonra, en dik iniş yönünü verimli bir şekilde hesaplamak için geri yayılım kullanılır.

Türetme

Gradyan iniş yöntemi, ağın ağırlıklarına göre kayıp fonksiyonunun türevinin hesaplanmasını içerir. Bu normalde geri yayılım kullanılarak yapılır. Bir çıkış nöronu varsayarsak,^[h] kare hata işlevi

${ displaystyle E = L (t, y)}$

nerede

${ displaystyle E}$ çıktı için kayıp ${ displaystyle y}$ ve hedef değer ${ displaystyle t}$,

${ displaystyle t}$ bir eğitim örneği için hedef çıktıdır ve

${ displaystyle y}$ çıktı nöronun gerçek çıktısıdır.

Her nöron için ${ displaystyle j}$, çıktısı ${ displaystyle o_ {j}}$ olarak tanımlanır

${ displaystyle o_ {j} = varphi ({ text {net}} _ {j}) = varphi left ( toplamı _ {k = 1} ^ {n} w_ {kj} o_ {k} sağ),}$

nerede aktivasyon fonksiyonu ${ displaystyle varphi}$ dır-dir doğrusal olmayan ve ayırt edilebilir (ReLU bir noktada olmasa bile). Tarihsel olarak kullanılan bir aktivasyon işlevi, lojistik fonksiyon:

${ displaystyle varphi (z) = { frac {1} {1 + e ^ {- z}}}}$

uygun bir türevi olan:

${ displaystyle { frac {d varphi (z)} {dz}} = varphi (z) (1- varphi (z))}$

Girdi ${ displaystyle { text {net}} _ {j}}$ bir nörona, çıktıların ağırlıklı toplamı ${ displaystyle o_ {k}}$ önceki nöronların. Nöron, giriş katmanından sonraki ilk katmandaysa, ${ displaystyle o_ {k}}$ giriş katmanının yalnızca girdiler ${ displaystyle x_ {k}}$ ağa. Nörona giriş birimlerinin sayısı ${ displaystyle n}$. Değişken ${ displaystyle w_ {kj}}$ nöron arasındaki ağırlığı gösterir ${ displaystyle k}$ önceki katmanın ve nöronun ${ displaystyle j}$ mevcut katmanın.

Hatanın türevini bulmak

Hesaplanıyor kısmi türev bir ağırlığa göre hatanın ${ displaystyle w_ {ij}}$ kullanılarak yapılır zincir kuralı iki defa:

${ displaystyle { frac { kısmi E} { kısmi w_ {ij}}} = { frac { kısmi E} { kısmi o_ {j}}} { frac { kısmi o_ {j}} { kısmi w_ {ij}}} = { frac { kısmi E} { kısmi o_ {j}}} { frac { kısmi o_ {j}} { kısmi { text {net}} _ {j }}} { frac { bölümlü { text {net}} _ {j}} { kısmi w_ {ij}}}}$

(Eq. 1)

Yukarıdakinin sağ tarafının son faktöründe, toplamda sadece bir terim ${ displaystyle { text {net}} _ {j}}$ bağlıdır ${ displaystyle w_ {ij}}$, Böylece

${ displaystyle { frac { kısmi { text {net}} _ {j}} { kısmi w_ {ij}}} = { frac { kısmi} { kısmi w_ {ij}}} sol ( toplam _ {k = 1} ^ {n} w_ {kj} o_ {k} sağ) = { frac { kısmi} { kısmi w_ {ij}}} w_ {ij} o_ {i} = o_ {ben}.}$

(Eq. 2)

Nöron giriş katmanından sonraki ilk katmandaysa, ${ displaystyle o_ {i}}$ sadece ${ displaystyle x_ {i}}$.

Nöron çıktısının türevi ${ displaystyle j}$ girdisine göre, basitçe aktivasyon fonksiyonunun kısmi türevidir:

${ displaystyle { frac { kısmi o_ {j}} { kısmi { metin {net}} _ {j}}} = { frac { kısmi varphi ({ text {net}} _ {j })} { kısmi { text {net}} _ {j}}}}$

(Eq. 3)

hangisi için lojistik aktivasyon fonksiyonu durum:

${ displaystyle { frac { kısmi o_ {j}} { kısmi { metin {net}} _ {j}}} = { frac { kısmi} { bölümlü { metin {net}} _ { j}}} varphi ({ text {net}} _ {j}) = varphi ({ text {net}} _ {j}) (1- varphi ({ text {net}} _ { j})) = o_ {j} (1-o_ {j})}$

Geri yayının etkinleştirme işlevinin olmasını gerektirmesinin nedeni budur. ayırt edilebilir. (Bununla birlikte, ReLU 0'da türevlenemeyen aktivasyon işlevi oldukça popüler hale geldi, ör. içinde AlexNet )

İlk faktör, nöronun çıktı katmanında olup olmadığını değerlendirmek için basittir, çünkü o zaman ${ displaystyle o_ {j} = y}$ ve

${ displaystyle { frac { kısmi E} { kısmi o_ {j}}} = { frac { kısmi E} { kısmi y}}}$

(Eq. 4)

Kare hatasının yarısı kayıp fonksiyonu olarak kullanılırsa, onu şu şekilde yeniden yazabiliriz:

${ displaystyle { frac { kısmi E} { kısmi o_ {j}}} = { frac { kısmi E} { kısmi y}} = { frac { kısmi} { kısmi y}} { frac {1} {2}} (ty) ^ {2} = yt}$

Ancak, eğer ${ displaystyle j}$ ağın keyfi bir iç katmanında, türevi buluyor ${ displaystyle E}$ göre ${ displaystyle o_ {j}}$ daha az belirgindir.

Düşünen ${ displaystyle E}$ girdilerin tüm nöronlar olduğu bir işlev olarak ${ displaystyle L = {u, v, noktalar, w }}$ nörondan girdi almak ${ displaystyle j}$,

${ displaystyle { frac { kısmi E (o_ {j})} { kısmi o_ {j}}} = { frac { kısmi E ( mathrm {net} _ {u}, { text {net }} _ {v}, dots, mathrm {net} _ {w})} { kısmi o_ {j}}}}$

ve almak toplam türev göre ${ displaystyle o_ {j}}$türev için yinelemeli bir ifade elde edilir:

${ displaystyle { frac { kısmi E} { kısmi o_ {j}}} = toplam _ { ell L} solda ({ frac { kısmi E} { kısmi { text {net) }} _ { ell}}} { frac { partial { text {net}} _ { ell}} { kısmi o_ {j}}} right) = sum _ { ell L cinsinden } left ({ frac { kısmi E} { kısmi o _ { ell}}} { frac { kısmi o _ { ell}} { bölümlü { text {net}} _ { ell}} } { frac { kısmi { text {net}} _ { ell}} { kısmi o_ {j}}} sağ) = toplam _ { ell in L} left ({ frac { kısmi E} { kısmi o _ { ell}}} { frac { kısmi o _ { ell}} { kısmi { text {net}} _ { ell}}} w_ {j ell} sağ)}$

(Eq. 5)

Bu nedenle, göre türev ${ displaystyle o_ {j}}$ çıktılara göre tüm türevler hesaplanabilir ${ displaystyle o _ { ell}}$ sonraki katmanın - çıkış nöronuna daha yakın olanlar - biliniyor. [Setteki nöronlardan herhangi biri ${ displaystyle L}$ nörona bağlı değildi ${ displaystyle j}$bağımsız olacaklardı ${ displaystyle w_ {ij}}$ ve toplamın altındaki karşılık gelen kısmi türev 0'a kaybolur.]

İkame Eq. 2, Eq. 3 Denklem.4 ve Eq. 5 içinde Eq. 1 elde ederiz:

${ displaystyle { frac { kısmi E} { kısmi w_ {ij}}} = { frac { kısmi E} { kısmi o_ {j}}} { frac { kısmi o_ {j}} { kısmi { text {net}} _ {j}}} { frac { bölümlü { text {net}} _ {j}} { kısmi w_ {ij}}} = { frac { kısmi E } { kısmi o_ {j}}} { frac { kısmi o_ {j}} { kısmi { metin {net}} _ {j}}} o_ {i}}$

${ displaystyle { frac { kısmi E} { kısmi w_ {ij}}} = o_ {i} delta _ {j}}$

ile

${ displaystyle delta _ {j} = { frac { kısmi E} { kısmi o_ {j}}} { frac { kısmi o_ {j}} { kısmi { metin {net}} _ { j}}} = { başla {vakalar} { frac { kısmi L (o_ {j}, t)} { kısmi o_ {j}}} { frac {d varphi ({ text {net} } _ {j})} {d { text {net}} _ {j}}} & { text {if}} j { text {bir çıkış nörondur,}} ( sum _ { ell in L} w_ {j ell} delta _ { ell}) { frac {d varphi ({ text {net}} _ {j})} {d { text {net}} _ {j}}} & { text {if}} j { text {bir iç nörondur.}} end {vakalar}}}$

Eğer ${ displaystyle varphi}$ lojistik fonksiyondur ve hata kare hatasıdır:

${ displaystyle delta _ {j} = { frac { kısmi E} { kısmi o_ {j}}} { frac { kısmi o_ {j}} { kısmi { metin {net}} _ { j}}} = { başla {vakalar} (o_ {j} -t_ {j}) o_ {j} (1-o_ {j}) & { text {if}} j { text {bir çıktıdır nöron,}} ( toplam _ { ell içinde L} w_ {j ell} delta _ { ell}) o_ {j} (1-o_ {j}) & { text {if} } j { text {bir iç nörondur.}} end {vakalar}}}$

Ağırlığı güncellemek için ${ displaystyle w_ {ij}}$ gradyan inişi kullanarak, bir öğrenme oranı seçmeli, ${ displaystyle eta> 0}$. Kilodaki değişikliğin etkiyi yansıtması gerekir. ${ displaystyle E}$ artış veya azalma ${ displaystyle w_ {ij}}$. Eğer ${ displaystyle { frac { kısmi E} { kısmi w_ {ij}}}> 0}$, artış ${ displaystyle w_ {ij}}$ artışlar ${ displaystyle E}$; tersine, eğer ${ displaystyle { frac { kısmi E} { kısmi w_ {ij}}} <0}$, artış ${ displaystyle w_ {ij}}$ azalır ${ displaystyle E}$. Yeni ${ displaystyle Delta w_ {ij}}$ eski ağırlığa ve öğrenme oranı ile gradyanın çarpımına eklenir. ${ displaystyle -1}$ garanti eder ${ displaystyle w_ {ij}}$ her zaman azalan bir şekilde değişir ${ displaystyle E}$. Başka bir deyişle, hemen aşağıdaki denklemde, ${ displaystyle - eta { frac { kısmi E} { kısmi w_ {ij}}}}$ her zaman değişir ${ displaystyle w_ {ij}}$ öyle bir şekilde ${ displaystyle E}$ azalır:

${ displaystyle Delta w_ {ij} = - eta { frac { kısmi E} { kısmi w_ {ij}}} = - eta o_ {i} delta _ {j}}$

Kayıp işlevi

Kayıp işlevi, bir veya daha fazla değişkenin değerlerini bir gerçek Numara bu değerlerle ilişkili bazı "maliyeti" sezgisel olarak temsil eder. Geri yayılım için, kayıp işlevi, bir eğitim örneği ağda yayıldıktan sonra ağ çıktısı ile beklenen çıktı arasındaki farkı hesaplar.

Varsayımlar

Kayıp işlevinin matematiksel ifadesi, muhtemelen geri yayılımda kullanılabilmesi için iki koşulu karşılamalıdır.^[9] Birincisi, ortalama olarak yazılabilmesidir. ${ textstyle E = { frac {1} {n}} toplamı _ {x} E_ {x}}$ aşırı hata fonksiyonları ${ textstyle E_ {x}}$, için ${ textstyle n}$ bireysel eğitim örnekleri, ${ textstyle x}$. Bu varsayımın nedeni, geri yayılım algoritmasının, genel hata fonksiyonuna genelleştirilmesi gereken tek bir eğitim örneği için hata fonksiyonunun gradyanını hesaplamasıdır. İkinci varsayım, sinir ağından gelen çıktıların bir fonksiyonu olarak yazılabileceğidir.

Örnek kayıp işlevi

İzin Vermek ${ displaystyle y, y '}$ vektör olmak ${ displaystyle mathbb {R} ^ {n}}$.

Bir hata işlevi seçin ${ displaystyle E (y, y ')}$ iki çıktı arasındaki farkı ölçmek. Standart seçim şunun karesidir: Öklid mesafesi vektörler arasında ${ displaystyle y}$ ve ${ displaystyle y '}$:

Hata fonksiyonu bitti ${ textstyle n}$ eğitim örnekleri, bireysel örneklere göre ortalama kayıp olarak yazılabilir:

Sınırlamalar

• Geri yayılımlı gradyan inişin küresel minimum hata işlevi, ancak yalnızca yerel minimum; ayrıca, geçmekte zorlanıyor yaylalar hata fonksiyonu manzarasında. Bu sorun, dışbükey olmama Sinir ağlarındaki hata fonksiyonlarının uzun süredir büyük bir dezavantaj olduğu düşünülüyordu, ancak Yann LeCun et al. birçok pratik problemde bunun olmadığını iddia edin.^[10]
• Geri yayılım öğrenimi, girdi vektörlerinin normalleştirilmesini gerektirmez; ancak normalleştirme performansı artırabilir.^[11]
• Geri yayılım, aktivasyon fonksiyonlarının türevlerinin ağ tasarım zamanında bilinmesini gerektirir.

Tarih

Dönem geri yayılım ve sinir ağlarındaki genel kullanımı Rumelhart, Hinton ve Williams (1986a), sonra detaylandırıldı ve popüler hale geldi Rumelhart, Hinton ve Williams (1986b), ancak teknik bağımsız olarak birçok kez yeniden keşfedildi ve 1960'lara dayanan birçok öncülü vardı.^[6][12]

Sürekli geri yayılımın temelleri şu bağlamda türetilmiştir: kontrol teorisi tarafından Henry J. Kelley 1960 yılında^[13] ve tarafından Arthur E. Bryson 1961'de.^{[14][15][16][17][18]} Prensiplerini kullandılar dinamik program. 1962'de, Stuart Dreyfus yalnızca temel alınarak daha basit bir türetme yayınladı zincir kuralı.^[19] Bryson ve Ho 1969'da çok aşamalı dinamik sistem optimizasyon yöntemi olarak tanımladı.^[20][21] Geri yayılım, 60'lı yılların başlarında birçok araştırmacı tarafından türetilmiştir.^[17] ve 1970'lerin başlarında bilgisayarlarda çalışmak üzere uygulandı. Seppo Linnainmaa.^[22][23][24] Paul Werbos 1974 tarihli tezinde derinlemesine analiz ettikten sonra sinir ağları için kullanılabileceğini ilk kez ABD'de önerdi.^[25] Sinir ağlarına uygulanmamış olsa da, 1970 yılında Linnainmaa için genel yöntemi yayınladı. otomatik farklılaşma (AD).^[23][24] Çok tartışmalı olmasına rağmen, bazı bilim adamları bunun aslında bir geri yayılma algoritması geliştirmeye yönelik ilk adım olduğuna inanıyor.^{[17][18][22][26]} 1973'te Dreyfus adapte oldu parametreleri hata gradyanlarıyla orantılı olarak kontrolörlerin sayısı.^[27] 1974'te Werbos, bu prensibi yapay sinir ağlarına uygulama olasılığından bahsetti,^[25] ve 1982'de Linnainmaa'nın AD yöntemini doğrusal olmayan fonksiyonlara uyguladı.^[18][28]

Daha sonra Werbos yöntemi yeniden keşfedildi ve 1985'te Parker tarafından açıklandı,^[29][30] ve 1986'da Rumelhart, Hinton ve Williams.^[12][30][31] Rumelhart, Hinton ve Williams deneysel olarak bu yöntemin sinir ağlarının gizli katmanlarında gelen verilerin yararlı dahili temsillerini oluşturabileceğini gösterdiler.^[8][32][33] Yann LeCun, Evrişimli Sinir Ağı mimarisinin mucidi, 1987'deki doktora tezinde sinir ağları için geri yayılım öğrenme algoritmasının modern formunu önerdi. 1993'te Eric Wan, geri yayılım yoluyla uluslararası bir örüntü tanıma yarışmasını kazandı.^[17][34]

2000'li yıllarda gözden düştü, ancak 2010'larda geri döndü ve ucuz, güçlü GPU tabanlı bilgi işlem sistemleri. Bu özellikle Konuşma tanıma, makine vizyonu, doğal dil işleme ve dil yapısı öğrenme araştırması (burada ilkiyle ilgili çeşitli fenomenleri açıklamak için kullanılmıştır.^[35] ve ikinci dil öğrenimi.^[36]).

İnsan beynini açıklamak için hata geri yayılımı önerildi ERP gibi bileşenler N400 ve P600.^[37]

Ayrıca bakınız

• Yapay sinir ağı
• Biyolojik sinir ağı
• Yıkıcı müdahale
• Topluluk öğrenme
• AdaBoost
• Aşırı uyum gösterme
• Sinirsel geri yayılım
• Zaman içinde geri yayılım

Notlar

Referanslar

daha fazla okuma

• Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). "6.5 Back-Propagation and Other Differentiation Algorithms". Deep Learning. MIT Basın. pp. 200–220. ISBN  9780262035613.
• Nielsen, Michael A. (2015). "How the backpropagation algorithm works". Neural Networks and Deep Learning. Determination Press.
• McCaffrey, James (October 2012). "Neural Network Back-Propagation for Programmers". MSDN Magazine.
• Rojas, Raúl (1996). "The Backpropagation Algorithm" (PDF). Neural Networks : A Systematic Introduction. Berlin: Springer. ISBN  3-540-60505-3.

Dış bağlantılar

• Backpropagation neural network tutorial at the Wikiversity
• Bernacki, Mariusz; Włodarczyk, Przemysław (2004). "Principles of training multi-layer neural network using backpropagation".
• Karpathy, Andrej (2016). "Lecture 4: Backpropagation, Neural Networks 1". CS231n. Stanford University – via Youtube.
• "What is Backpropagation Really Doing?". 3 Mavi 1 Kahverengi. November 3, 2017 – via Youtube.