Çift yönlü tekrarlayan sinir ağları - Bidirectional recurrent neural networks

Çift yönlü Tekrarlayan Sinir Ağları (BRNN) zıt yöndeki iki gizli katmanı aynı çıktıya bağlayın. Bu formla üretken derin öğrenme çıktı katmanı aynı anda geçmiş (geriye doğru) ve gelecek (ileri) durumlardan bilgi alabilir. 1997'de Schuster ve Paliwal tarafından icat edildi,[1] Ağda mevcut olan giriş bilgisi miktarını artırmak için BRNN'ler tanıtıldı. Örneğin, çok katmanlı algılayıcı (MLP'ler) ve zaman gecikmeli sinir ağı (TDNN'ler), giriş verilerinin sabitlenmesini gerektirdiklerinden, giriş verileri esnekliğinde sınırlamalara sahiptir. Standart tekrarlayan sinir ağı (RNN'ler) ayrıca gelecekteki giriş bilgilerine mevcut durumdan ulaşılamadığı için kısıtlamalara sahiptir. Aksine, BRNN'ler giriş verilerinin sabitlenmesine ihtiyaç duymaz. Dahası, gelecekteki giriş bilgilerine mevcut durumdan erişilebilir. [2]

BRNN, özellikle girdinin bağlamına ihtiyaç duyulduğunda kullanışlıdır. Örneğin, el yazısı tanımada performans, mevcut harften önce ve sonra bulunan harflerin bilgisi ile artırılabilir.

Mimari

RNN ve BRNN'nin Yapısı[1]

BRNN'nin prensibi, normal bir RNN'nin nöronlarını, biri pozitif zaman yönü (ileri durumlar) ve diğeri negatif zaman yönü (geri durumlar) olmak üzere iki yöne bölmektir. Bu iki durumun çıkışı, zıt yön durumlarının girişlerine bağlı değildir. RNN ve BRNN'nin genel yapısı sağdaki diyagramda gösterilebilir. İki zaman yönü kullanılarak, gelecekteki bilgilerin dahil edilmesi için gecikmeler gerektiren standart RNN'den farklı olarak mevcut zaman çerçevesinin geçmiş ve geleceğine ait giriş bilgileri kullanılabilir.[1]

Eğitim

BRNN'ler, RNN'lere benzer algoritmalar kullanılarak eğitilebilir, çünkü iki yönlü nöronların herhangi bir etkileşimi yoktur. Ancak, geri yayılma uygulandığında, ek işlemlere ihtiyaç duyulur çünkü girdi ve çıktı katmanlarının güncellenmesi aynı anda yapılamaz. Eğitim için genel prosedürler şu şekildedir: İleri geçiş için önce ileri durumlar ve geri durumlar geçilir, ardından çıkış nöronları geçirilir. Geri geçiş için önce çıkış nöronları, daha sonra ileri durumlara ve sonra geri durumlara geçilir. İleri ve geri geçişler yapıldıktan sonra ağırlıklar güncellenir.[1]

Başvurular

BRNN uygulamaları şunları içerir:

  • Tercüme[5]
  • El Yazısı Tanıma[6]
  • Protein Yapısı Tahmini[7][8]
  • Konuşma bölümü etiketleme
  • Bağımlılık Ayrıştırma[9]
  • Varlık Çıkarma[10]

Referanslar

  1. ^ a b c d Schuster, Mike ve Kuldip K. Paliwal. "Çift yönlü tekrarlayan sinir ağları. "Signal Processing, IEEE İşlemleri, 45.11 (1997): 2673-2681.2. Awni Hannun, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen, Ryan
  2. ^ Salehinejad, Hojjat; Sankar, Sharan; Barfett, Joseph; Çolak, Errol; Valaee, Shahrokh (2017). "Tekrarlayan Sinir Ağlarında Son Gelişmeler". arXiv:1801.01078. Bibcode:2018arXiv180101078S. Alıntı dergisi gerektirir | günlük = (Yardım)
  3. ^ Graves, Alex, Santiago Fernández ve Jürgen Schmidhuber. "Gelişmiş ses sınıflandırması ve tanıma için çift yönlü LSTM ağları "Yapay Sinir Ağları: Biçimsel Modeller ve Uygulamaları – ICANN 2005. Springer Berlin Heidelberg, 2005. 799-804.
  4. ^ Graves, Alan, Navdeep Jaitly ve Abdel-rahman Mohamed. "Derin çift yönlü LSTM ile hibrit konuşma tanıma. "Otomatik Konuşma Tanıma ve Anlama (ASRU), 2013 IEEE Workshop on. IEEE, 2013.
  5. ^ Sundermeyer, Martin, vd. "Çift yönlü tekrarlayan sinir ağları ile çeviri modelleme. "Doğal Dil İşleme Üzerine Ampirik Yöntemler Konferansı Bildirileri, Ekim. 2014.
  6. ^ Liwicki, Marcus, vd. "Çift yönlü uzun kısa süreli bellek ağlarına dayalı çevrimiçi el yazısı tanımaya yeni bir yaklaşım "Proc. Doküman Analizi ve Tanıma Üzerine 9. Uluslararası Konf. Cilt 1. 2007.
  7. ^ Baldi, Pierre, vd. "Protein ikincil yapı tahmininde geçmişi ve geleceği kullanmak. "Bioinformatics 15.11 (1999): 937-946.
  8. ^ Pollastri, Gianluca ve Aoife Mclysaght. "Porter: protein ikincil yapı tahmini için yeni, doğru bir sunucu "Bioinformatics 21.8 (2005): 1719-1720.
  9. ^ Kiperwasser, Eliyahu; Goldberg, Yoav (2016). "İki Yönlü LSTM Özellik Temsillerini Kullanarak Basit ve Doğru Bağımlılık Ayrıştırma". Hesaplamalı Dilbilim Derneği İşlemleri. 4: 313–327. arXiv:1603.04351. Bibcode:2016arXiv160304351K. doi:10.1162 / tacl_a_00101.
  10. ^ Dernoncourt, Franck; Lee, Ji Young; Peter Szolovits (2017-05-15). "NeuroNER: Sinir ağlarına dayalı, adlandırılmış varlık tanıma için kullanımı kolay bir program". arXiv:1705.05487 [cs.CL ].

Dış bağlantılar

  • [1] Theano ile Python'da BRNN / LSTM Uygulaması