Delta kuralı - Delta rule

İçinde makine öğrenme, delta kuralı bir dereceli alçalma girdilerin ağırlıklarını güncellemek için öğrenme kuralı yapay nöronlar içinde tek katmanlı sinir ağı.[1] Daha genel olanın özel bir durumu geri yayılım algoritması. Bir nöron için ile aktivasyon fonksiyonu delta kuralı 's inci ağırlık tarafından verilir

,

nerede

küçük bir sabittir öğrenme oranı
nöronun aktivasyon işlevi
... türev nın-nin
hedef çıktı
nöronun girdilerinin ağırlıklı toplamıdır
gerçek çıktı
... inci giriş.

Bunu tutar ve .

Delta kuralı genellikle doğrusal aktivasyon işlevine sahip bir nöron için basitleştirilmiş biçimde ifade edilir.

Delta kuralı, Algılayıcı güncelleme kuralı, türetme farklıdır. Algılayıcı, Heaviside adım işlevi aktivasyon işlevi olarak ve bu şu anlama geliyor sıfırda yoktur ve başka yerde sıfıra eşittir, bu da delta kuralının doğrudan uygulanmasını imkansız kılar.

Delta kuralının türetilmesi

Delta kuralı, sinir ağının çıktısındaki hatayı en aza indirmeye çalışarak elde edilir. dereceli alçalma. Bir sinir ağı için hata çıktılar şu şekilde ölçülebilir:

.

Bu durumda, her ağırlığa göre hata fonksiyonunun gradyanı ile orantılı olarak nöronun "ağırlık alanı" (tüm nöronun ağırlıklarının tüm olası değerlerinin alanı) boyunca hareket etmeyi diliyoruz. Bunu yapmak için hesaplıyoruz kısmi türev her ağırlığa göre hata. İçin ağırlık, bu türev şu şekilde yazılabilir:

.

Çünkü biz sadece kendimizle ilgileniyoruz nöron, toplamı atlarken yukarıdaki hata formülünü değiştirebiliriz:

Sonra kullanıyoruz zincir kuralı bunu iki türeve ayırmak için:

Sol türevi bulmak için basitçe zincir kuralı:

Doğru türevi bulmak için, bu sefer toplam girdiye göre farklılaşarak zincir kuralını tekrar uyguluyoruz. , :

Çıktısının nöron , sadece nöronun aktivasyon işlevi nöronun girdisine uygulandı . Bu nedenle türevini yazabiliriz göre basitçe ilk türevi:

Sonra yeniden yazıyoruz son dönemde her şeyin toplamı olarak her ağırlığın ağırlıkları çarpı karşılık gelen girdisi :

Çünkü biz sadece ağırlık, ilgili olan toplamın tek terimi . Açıkça,

,

bize gradyan için son denklemimizi verir:

Yukarıda belirtildiği gibi, gradyan inişi bize her ağırlık için yaptığımız değişikliğin gradyan ile orantılı olması gerektiğini söyler. Orantılılık sabiti seçme ve eksi işaretini ortadan kaldırarak, hatayı en aza indirmek için ağırlığı gradyanın negatif yönünde hareket ettirmemizi sağladığımızda, hedef denklemimize ulaşırız:

.

Ayrıca bakınız

Referanslar

  1. ^ Russell, Ingrid. "Delta Kuralı". Hartford Üniversitesi. Arşivlenen orijinal 4 Mart 2016 tarihinde. Alındı 5 Kasım 2012.