IBM uyum modelleri - IBM alignment models - Wikipedia

IBM uyum modelleri artan karmaşık modellerin bir dizisidir. istatistiksel makine çevirisi sözcüksel çeviri olasılıklarından başlayıp yeniden sıralama ve sözcük çoğaltmaya geçerek bir çeviri modeli ve hizalama modeli eğitmek.[1] 1990'ların başından başlayarak neredeyse yirmi yıl boyunca istatistiksel makine çevirisi sistemlerinin çoğunu desteklediler. nöral makine çevirisi hakim olmaya başladı. Bu modeller, ilkeli olasılık formülasyonu ve (çoğunlukla) izlenebilir çıkarım sunar.[2]

İstatistiksel makine çevirisi üzerine orijinal çalışma IBM beş model önerdi ve daha sonra bir model 6 önerildi. Altı modelin sıralaması şu şekilde özetlenebilir:

  • Model 1: sözcük çevirisi
  • Model 2: ek mutlak hizalama modeli
  • Model 3: Ekstra doğurganlık modeli
  • Model 4: göreli hizalama modeli eklendi
  • Model 5: sabit eksiklik sorunu.
  • Model 6: Model 4, bir HMM log doğrusal bir şekilde hizalama modeli

Model 1

IBM Model 1, sözcüklerin yeniden sıralanması veya eklenmesi ve çıkarılması açısından zayıftır. Çoğu durumda, bir dilde birbirini takip eden sözcükler, çeviriden sonra farklı bir sıraya sahip olur, ancak IBM Model 1, her tür yeniden sıralamayı eşit olarak mümkün olarak ele alır.

Hizalamada karşılaşılan bir diğer sorun da verimliliktir (giriş kelimelerinin çeviriden sonra belirli sayıda çıktı kelimesi üreteceği fikri). Çoğu durumda, bir giriş sözcüğü tek bir sözcüğe çevrilir, ancak bazı sözcükler birden çok sözcük üretir veya hatta çıkarılır (hiç sözcük üretmez). Kelime modellerinin verimliliği, çevirinin bu yönüne hitap eder. Ek bileşenler eklemek modellerin karmaşıklığını artırırken, IBM Model 1'in ana ilkeleri sabittir.[3]

Model 2

IBM Model 2, Model 1'de bulunmayan ek bir hizalama modeline sahiptir. Örneğin, yalnızca IBM Model 1 kullanıldığında, bu çeviriler için çeviri olasılıkları aynı olacaktır:

IBM modelleri 01.jpg

IBM Model 2, pozisyondaki bir yabancı giriş kelimesinin çevirisini modelleyerek bu sorunu ele aldı pozisyondaki ana dilde bir kelimeye şu şekilde tanımlanan bir hizalama olasılığı dağılımı kullanarak:

Yukarıdaki denklemde, f giriş cümlesinin uzunluğu l olarak belirtilmiştir.fve çevrilen cümlenin uzunluğu e olarak le. IBM Model 2 tarafından yapılan çeviri, iki adıma bölünmüş bir süreç olarak sunulabilir (sözcüksel çeviri ve hizalama).

IBM modelleri 02.jpg

Varsayım çeviri olasılığı ve uyum olasılığıdır, IBM Model 2 şu şekilde tanımlanabilir:

Bu denklemde hizalama fonksiyonu her çıktı sözcüğünü eşler yabancı girdi pozisyonuna .[4]

Model 3

Doğurganlık sorunu, IBM Model 3'te ele alınmaktadır. Doğurganlık, şu şekilde tanımlanan olasılık dağılımı kullanılarak modellenmiştir:

Her yabancı kelime için , bu tür bir dağılım kaç tane çıktı kelimesini gösterir genellikle tercüme eder. Bu model, giriş kelimelerinin çıkarılmasına neden olur çünkü . Ancak kelimeleri eklerken hala bir sorun var. Örneğin, İngilizce kelime yapmak genellikle olumsuzlarken eklenir. Bu sorun özel bir BOŞ aşağıdaki gibi tanımlanan koşullu bir dağılım kullanılarak doğurganlığını modellendirebilen belirteç:

Eklenen kelimelerin sayısı cümle uzunluğuna bağlıdır. NULL belirteç ekleme ek bir adım olarak modellenmesinin nedeni budur: doğurganlık adımı. IBM Model 3 çeviri sürecini dört adıma yükseltir:

IBM modelleri 03.jpg

Son adım, hizalama yerine distorsiyon olarak adlandırılır çünkü aynı çeviriyi aynı hizalamayla farklı şekillerde üretmek mümkündür.[5]

IBM Model 3 matematiksel olarak şu şekilde ifade edilebilir:

nerede doğurganlığını temsil eder her kaynak kelime doğurganlık dağılımı atanır , ve ve sırasıyla hedef ve kaynak cümlelerin mutlak uzunluklarına atıfta bulunun.[6]

Model 4

IBM Model 4'te, her kelime önceden hizalanmış kelimeye ve çevreleyen kelimelerin kelime sınıflarına bağlıdır. Bazı sözcükler çeviri sırasında diğerlerinden daha fazla yeniden sıralanma eğilimindedir (örneğin, Lehçe'yi İngilizceye çevirirken sıfat-ismin ters çevrilmesi). Sıfatlar genellikle kendilerinden önce gelen isimden önce hareket eder. Model 4'te tanıtılan kelime sınıfları, bu sınıfların olasılık dağılımlarını koşullandırarak bu sorunu çözer. Böyle bir dağılımın sonucu sözcükselleştirilmiş bir modeldir. Böyle bir dağılım şu şekilde tanımlanabilir:

Cept'teki ilk kelime için:

Ek kelimeler için:

nerede ve işlevler, kelimeleri kendi kelime sınıflarına eşler ve ve kelimelerin bozulma olasılık dağılımlarıdır. Cept, her bir giriş kelimesini hizalayarak oluşturulur en az bir çıktı kelimesine.[7]

Hem Model 3 hem de Model 4, bir girdi konumu seçilip seçilmediğini ve olasılık kütlesinin cümle sınırları dışındaki girdi konumları için ayrılıp ayrılmadığını göz ardı eder. Bu iki modelde (eksik modeller), tüm doğru hizalamaların olasılıklarının toplamı bir araya gelmemesinin nedeni budur.[7]

Model 5

IBM Model 5, model eksikliğinin üstesinden gelmek için daha fazla eğitim parametresiyle uyum modelini geliştirerek IBM Model 4'ü yeniden biçimlendiriyor.[8] Model 3 ve Model 4'teki çeviri sırasında, bir çıktı kelimesinin halihazırda alınmış bir konuma yerleştirilmesini engelleyecek hiçbir buluşsal yöntem yoktur. Model 5'te kelimeleri sadece serbest pozisyonlara yerleştirmek önemlidir. Serbest pozisyon sayısı izlenerek ve sadece bu pozisyonlara yerleştirmeye izin verilerek yapılır. Bozulma modeli IBM Model 4'e benzer, ancak serbest konumlara dayanmaktadır. Eğer çıktıdaki serbest konumların sayısını belirtir, IBM Model 5 bozulma olasılıkları şu şekilde tanımlanır:[9]

Cept'teki ilk kelime için:

Ek kelimeler için:

HMM veya IBM Model 4 ve 5 gibi birinci dereceden bağımlılıkları kullanan hizalama modelleri, diğer hizalama yöntemlerinden daha iyi sonuçlar üretir. HMM'nin ana fikri, sonraki kaynak dil konumları arasındaki mesafeyi tahmin etmektir. Öte yandan, IBM Model 4, sonraki hedef dil konumları arasındaki mesafeyi tahmin etmeye çalışır. Bu tür bağımlılıkların her iki türünü kullanırken daha iyi hizalama kalitesi elde etmesi beklendiğinden, HMM ve Model 4, Model 6'da aşağıdaki gibi log-doğrusal bir şekilde birleştirildi:[10]

enterpolasyon parametresi nerede Model 4'ün ağırlığını göreceli olarak saymak için kullanılır. gizli Markov modeli. Birkaç modelin log-lineer kombinasyonu şu şekilde tanımlanabilir: ile gibi:

Doğrusal kombinasyon yerine log-doğrusal kombinasyonu kullanılır çünkü değerler, HMM ve IBM Model 4 için büyüklük sıraları bakımından genellikle farklıdır.[11]

Referanslar

  1. ^ "IBM Modelleri". SMT Araştırma Anketi Wiki. 11 Eylül 2015. Alındı 26 Ekim 2015.
  2. ^ Yarin Gal, Phil Blunsom (12 Haziran 2013). "IBM Hizalama Modellerine Yönelik Sistematik Bayesçi Bir İnceleme" (PDF). Cambridge Üniversitesi. Alındı 26 Ekim 2015.CS1 Maint: yazar parametresini kullanır (bağlantı)
  3. ^ Wołk, K .; Marasek, K. (2014-04-07). "Gerçek Zamanlı İstatistiksel Konuşma Tercümesi". Akıllı Sistemler ve Hesaplamadaki Gelişmeler. Springer. 275: 107–114. arXiv:1509.09090. doi:10.1007/978-3-319-05951-8_11. ISBN  978-3-319-05950-1. ISSN  2194-5357.
  4. ^ Och, Franz Josef; Ney, Hermann (2003). "Çeşitli istatistiksel hizalama modellerinin sistematik bir karşılaştırması". Hesaplamalı dilbilimleri. 29 (29): 19–51. doi:10.1162/089120103321337421.
  5. ^ Wołk K., Marasek K. (2014). IWSLT 2014 için Lehçe-İngilizce Konuşma İstatistiksel Makine Çeviri Sistemleri. 11. Uluslararası Sözlü Dil Çevirisi Çalıştayı Bildirileri, Lake Tahoe, ABD.
  6. ^ FERNÁNDEZ, Pablo Malvar. Morfolojik Bilgileri Kullanarak Kelimeden Kelimeye Hizalamaları İyileştirme. 2008. Doktora Tezi. San Diego Eyalet Üniversitesi.
  7. ^ a b Schoenemann, Thomas (2010). IBM-3 çeviri modeli için optimum hizalamaları hesaplama. Ondördüncü Hesaplamalı Doğal Dil Öğrenimi Konferansı Bildirileri. Hesaplamalı Dilbilim Derneği. s. 98–106.
  8. ^ ŞÖVALYE Kevin. İstatistiksel bir MT öğretici çalışma kitabı. 1999 JHU Yaz Çalıştayı, 1999 için hazırlanan el yazması.
  9. ^ Brown, Peter F. (1993). "İstatistiksel makine çevirisinin matematiği: Parametre tahmini". Hesaplamalı dilbilimleri (19): 263–311.
  10. ^ Vulić I. (2010). "Terim Uyumu. Tekniğin Durumuna Genel Bakış" (PDF). Katholieke Universiteit Leuven. Alındı 26 Ekim 2015.[kalıcı ölü bağlantı ]
  11. ^ Wołk, K. (2015). "Cümle Düzeyinde İki Dilde Eşdeğer Verilerin Çıkarılması için Gürültülü-Paralel ve Karşılaştırılabilir Corpora Filtreleme Metodolojisi". Bilgisayar Bilimi. 16 (2): 169–184. arXiv:1510.04500. Bibcode:2015arXiv151004500W. doi:10.7494 / csci.2015.16.2.169.