Delta kuralı - Delta rule

Bu makalenin birden çok sorunu var. Lütfen yardım et onu geliştir veya bu konuları konuşma sayfası. (Bu şablon mesajların nasıl ve ne zaman kaldırılacağını öğrenin) Bu makale için ek alıntılara ihtiyaç var doğrulama. Lütfen yardım et bu makaleyi geliştir tarafından güvenilir kaynaklara alıntılar eklemek. Kaynaksız materyale itiraz edilebilir ve kaldırılabilir. Kaynakları bulun: "Delta kuralı"  – Haberler  · gazeteler  · kitabın  · akademisyen  · JSTOR (Kasım 2012) (Bu şablon mesajını nasıl ve ne zaman kaldıracağınızı öğrenin) Bu makale olabilir kafa karıştırıcı veya belirsiz okuyuculara. Lütfen bize yardım et makaleyi netleştir. Bununla ilgili bir tartışma olabilir konuşma sayfası. (Eylül 2012) (Bu şablon mesajını nasıl ve ne zaman kaldıracağınızı öğrenin) (Bu şablon mesajını nasıl ve ne zaman kaldıracağınızı öğrenin)

İçinde makine öğrenme, delta kuralı bir dereceli alçalma girdilerin ağırlıklarını güncellemek için öğrenme kuralı yapay nöronlar içinde tek katmanlı sinir ağı.^[1] Daha genel olanın özel bir durumu geri yayılım algoritması. Bir nöron için ${ displaystyle j}$ ile aktivasyon fonksiyonu ${ displaystyle g (x)}$delta kuralı ${ displaystyle j}$'s ${ displaystyle i}$inci ağırlık ${ displaystyle w_ {ji}}$ tarafından verilir

${ displaystyle Delta w_ {ji} = alpha (t_ {j} -y_ {j}) g '(h_ {j}) x_ {i}}$,

nerede

	${ displaystyle alpha}$ küçük bir sabittir öğrenme oranı
	${ displaystyle g (x)}$ nöronun aktivasyon işlevi
	${ displaystyle g '}$ ... türev nın-nin ${ displaystyle g}$
	${ displaystyle t_ {j}}$ hedef çıktı
	${ displaystyle h_ {j}}$ nöronun girdilerinin ağırlıklı toplamıdır
	${ displaystyle y_ {j}}$ gerçek çıktı
	${ displaystyle x_ {i}}$ ... ${ displaystyle i}$inci giriş.

Bunu tutar ${ displaystyle h_ {j} = toplam x_ {i} w_ {ji}}$ ve ${ displaystyle y_ {j} = g (h_ {j})}$.

Delta kuralı genellikle doğrusal aktivasyon işlevine sahip bir nöron için basitleştirilmiş biçimde ifade edilir.

${ displaystyle Delta w_ {ji} = alpha (t_ {j} -y_ {j}) x_ {i}}$

Delta kuralı, Algılayıcı güncelleme kuralı, türetme farklıdır. Algılayıcı, Heaviside adım işlevi aktivasyon işlevi olarak ${ displaystyle g (h)}$ve bu şu anlama geliyor ${ displaystyle g '(h)}$ sıfırda yoktur ve başka yerde sıfıra eşittir, bu da delta kuralının doğrudan uygulanmasını imkansız kılar.

Delta kuralının türetilmesi

Delta kuralı, sinir ağının çıktısındaki hatayı en aza indirmeye çalışarak elde edilir. dereceli alçalma. Bir sinir ağı için hata ${ displaystyle j}$ çıktılar şu şekilde ölçülebilir:

${ displaystyle E = toplam _ {j} { frac {1} {2}} (t_ {j} -y_ {j}) ^ {2}}$.

Bu durumda, her ağırlığa göre hata fonksiyonunun gradyanı ile orantılı olarak nöronun "ağırlık alanı" (tüm nöronun ağırlıklarının tüm olası değerlerinin alanı) boyunca hareket etmeyi diliyoruz. Bunu yapmak için hesaplıyoruz kısmi türev her ağırlığa göre hata. İçin ${ displaystyle i}$ağırlık, bu türev şu şekilde yazılabilir:

${ displaystyle { frac { kısmi E} { kısmi w_ {ji}}}}$.

Çünkü biz sadece kendimizle ilgileniyoruz ${ displaystyle j}$nöron, toplamı atlarken yukarıdaki hata formülünü değiştirebiliriz:

${ displaystyle { frac { kısmi E} { kısmi w_ {ji}}} = { frac { kısmi sol ({ frac {1} {2}} sol (t_ {j} -y_ { j} sağ) ^ {2} sağ)} { kısmi w_ {ji}}}}$

Sonra kullanıyoruz zincir kuralı bunu iki türeve ayırmak için:

${ displaystyle = { frac { kısmi sol ({ frac {1} {2}} sol (t_ {j} -y_ {j} sağ) ^ {2} sağ)} { kısmi y_ {j}}} { frac { kısmi y_ {j}} { kısmi w_ {ji}}}}$

Sol türevi bulmak için basitçe zincir kuralı:

${ displaystyle = - sol (t_ {j} -y_ {j} sağ) { frac { kısmi y_ {j}} { kısmi w_ {ji}}}}$

Doğru türevi bulmak için, bu sefer toplam girdiye göre farklılaşarak zincir kuralını tekrar uyguluyoruz. ${ displaystyle j}$, ${ displaystyle h_ {j}}$:

${ displaystyle = - sol (t_ {j} -y_ {j} sağ) { frac { kısmi y_ {j}} { kısmi h_ {j}}} { frac { kısmi h_ {j} } { kısmi w_ {ji}}}}$

Çıktısının ${ displaystyle j}$nöron ${ displaystyle y_ {j}}$, sadece nöronun aktivasyon işlevi ${ displaystyle g}$ nöronun girdisine uygulandı ${ displaystyle h_ {j}}$. Bu nedenle türevini yazabiliriz ${ displaystyle y_ {j}}$ göre ${ displaystyle h_ {j}}$ basitçe ${ displaystyle g}$ilk türevi:

${ displaystyle = - sol (t_ {j} -y_ {j} sağ) g '(h_ {j}) { frac { kısmi h_ {j}} { kısmi w_ {ji}}}}$

Sonra yeniden yazıyoruz ${ displaystyle h_ {j}}$ son dönemde her şeyin toplamı olarak ${ displaystyle k}$ her ağırlığın ağırlıkları ${ displaystyle w_ {jk}}$ çarpı karşılık gelen girdisi ${ displaystyle x_ {k}}$:

${ displaystyle = - sol (t_ {j} -y_ {j} sağ) g '(h_ {j}) { frac { kısmi sol ( toplamı _ {k} x_ {k} w_ {jk } sağ)} { kısmi w_ {ji}}}}$

Çünkü biz sadece ${ displaystyle i}$ağırlık, ilgili olan toplamın tek terimi ${ displaystyle x_ {i} w_ {ji}}$. Açıkça,

${ displaystyle { frac { kısmi x_ {i} w_ {ji}} { kısmi w_ {ji}}} = x_ {i}}$,

bize gradyan için son denklemimizi verir:

${ displaystyle { frac { kısmi E} { kısmi w_ {ji}}} = - sol (t_ {j} -y_ {j} sağ) g '(h_ {j}) x_ {i}}$

Yukarıda belirtildiği gibi, gradyan inişi bize her ağırlık için yaptığımız değişikliğin gradyan ile orantılı olması gerektiğini söyler. Orantılılık sabiti seçme ${ displaystyle alpha}$ ve eksi işaretini ortadan kaldırarak, hatayı en aza indirmek için ağırlığı gradyanın negatif yönünde hareket ettirmemizi sağladığımızda, hedef denklemimize ulaşırız:

${ displaystyle Delta w_ {ji} = alpha (t_ {j} -y_ {j}) g '(h_ {j}) x_ {i}}$.

Ayrıca bakınız

• Stokastik gradyan inişi
• Geri yayılım
• Rescorla – Wagner modeli - delta kuralının kökeni

Referanslar