Katzs geri çekilme modeli - Katzs back-off model - Wikipedia

Katz geri çekilme bir üretken ngram dil modeli bu tahmin ediyor şartlı olasılık geçmişinde verilen bir kelimenin n-gram. Bu tahmini şu şekilde gerçekleştirir: geri dönüş belirli koşullar altında giderek daha kısa geçmiş modellerle.[1] Bunu yaparak, daha iyi sonuçlar sağlamak için belirli bir geçmiş hakkında en güvenilir bilgiye sahip model kullanılır.

Model 1987 yılında Slava M. Katz tarafından tanıtıldı. Bundan önce, n-gram dil modelleri, maksimum olasılık tahminini kullanarak farklı n-gram sıraları için bireysel modeller eğitilerek ve ardından bunların birlikte enterpolasyonu yapılarak oluşturulmuştur.

Yöntem

Katz'ın geri çekilme modelinin denklemi: [2]

nerede

C(x) = defalarca x eğitimde görünür
wben = benverilen bağlamdaki th kelime

Esasen, bu şu anlama gelir: n-gram'dan daha fazla görüldü k eğitim süreleri, geçmişi verilen bir kelimenin koşullu olasılığı ile orantılıdır. maksimum olasılık bunun tahmini n-gram. Aksi takdirde, koşullu olasılık, geri çekilme koşullu olasılığına eşittir (n - 1) -gram.

Daha zor olan kısım için değerleri belirlemektir. k, d veα.

parametrelerin en az önemli olanıdır. Genellikle 0 olarak seçilir. Bununla birlikte, deneysel testler k için daha iyi değerler bulabilir.

genellikle tarafından bulunan indirim miktarıdır İyi-Turing tahmin. Diğer bir deyişle, Good-Turing tahminleri gibi , sonra

Hesaplamak , ilk olarak, (için kalan olasılık kütlesi olan quantity miktarını tanımlamak yararlıdır.n - 1) -gram:

Daha sonra geri çekilme ağırlığı α aşağıdaki gibi hesaplanır:

Yukarıdaki formül yalnızca "(n - 1) -gram ". Değilse, algoritma n-1'i tamamen atlar ve n-2 için Katz tahminini kullanır.

Tartışma

Bu model genellikle pratikte iyi çalışır, ancak bazı durumlarda başarısız olur. Örneğin, bigram "a b" ve unigram "c" nin çok yaygın olduğunu, ancak trigram "a b c" nin asla görülmediğini varsayalım. "A b" ve "c" çok yaygın olduğu için, "a b c" nin asla görülmemesi önemli olabilir (yani şans eseri değil). Belki de dilbilgisi kuralları buna izin vermiyor. Daha uygun bir 0 değeri atamak yerine, yöntem bigram'a geri dönecek ve tahmin edecektir. P(c | b), bu çok yüksek olabilir.[3]

Referanslar

  1. ^ "N-gram modeller" (PDF). Cornell.
  2. ^ Katz, S.M. (1987). Bir konuşma tanıyıcının dil modeli bileşeni için seyrek verilerden olasılıkların tahmini. Akustik, Konuşma ve Sinyal İşleme üzerine IEEE İşlemleri, 35 (3), 400–401.
  3. ^ Manning ve Schütze, İstatistiksel Doğal Dil İşlemenin Temelleri, MIT Press (1999), ISBN  978-0-262-13360-9.