Yarowsky algoritması - Yarowsky algorithm - Wikipedia
 | Bu makale bir dilbilim uzmanının ilgisine ihtiyacı var. (Ocak 2009) |
İçinde hesaplamalı dilbilimleri Yarowsky algoritması bir denetimsiz öğrenme algoritma için kelime anlamında belirsizlik giderme "başına bir duyu" kullanan sıralama "ve" söylem başına bir duyu "özellikleri insan dilleri kelime anlamında belirsizlik giderme için. Gözlemden, kelimeler çoğu verili söylemde ve belirli bir eşdizimde yalnızca tek bir anlam sergileme eğilimindedir.
Uygulama
Algoritma büyük, etiketsiz bir külliyat verilen örneklerin tanımlandığı çok anlamlı kelime ve ilgili tüm bilgileri saklar cümleler çizgiler olarak. Örneğin, Yarowsky, algoritmayı göstermek için 1995 tarihli makalesinde "bitki" kelimesini kullanıyor. Kelimenin iki olası anlamı olduğu varsayılırsa, bir sonraki adım, her bir anlamı temsil eden az sayıda tohum eşdizimi tanımlamak, her duyuya bir etiket vermek (yani, duyu A ve B), sonra uygun etiketi atamaktır. tohum eşdizimlerini içeren tüm eğitim örnekleri. Bu durumda, "ömür" ve "üretim" sözcükleri sırasıyla A ve B duyuları için başlangıç tohum eşdizimi olarak seçilir. Kalan örnekler (Yarowsky'ye göre% 85-% 98) etiketsiz kalır.
Algoritma başlangıçta, duyu A ve B'yi doğru ve üretken bir şekilde ayırt edecek tohum eşdizimi temsilcisini seçmelidir. Bu, bir sözlük Bu anlamda 'ın girişi. Eşdizimler, hedef sözcüğe bitişikse daha güçlü etkiye sahip olma eğilimindedir, etki mesafeyle zayıflar. Yarowsky (1993) 'de verilen kriterlere göre, hedef kelime ile en güvenilir eşdizimsel ilişkilerde görünen tohum kelimeler seçilecektir. Etki, bir kelimedeki kelimeler için çok daha güçlüdür. yüklem -argument ilişkisi, hedef kelimeye aynı mesafedeki keyfi ilişkilendirmelerden daha güçlüdür ve içerik kelimeleriyle eşdizimler için işlev kelimelerinden çok daha güçlüdür. Bunu söyledikten sonra, bir eşdizim kelimesi, külliyat boyunca hedef kelime ile birkaç eşdizimsel ilişkiye sahip olabilir. Bu, kelimeye farklı sıralamalar ve hatta farklı sınıflandırmalar verebilir. Alternatif olarak, her bir sınıf için tek bir tanımlayıcı ortak yerleşim tanımlayarak ve tohumlar için yalnızca bu tanımlayıcı kelimelerden birini içeren bağlamları kullanarak yapılabilir. Halka açık bir veritabanı WordNet bu tür tanımlayıcı terimler için otomatik bir kaynak olarak kullanılabilir. Ek olarak, hedef kelimenin yakınında büyük sıklıkta geçen kelimeler tohum eşdizimlerini temsil eden kelimeler olarak seçilebilir. Bu yaklaşım tam otomatik değildir, her bir hedef kelimenin anlamı için hangi kelimenin seçileceğine bir insan yargıç karar vermelidir, çıktılar duyuların güvenilir göstergeleri olacaktır.
Bir karar listesi algoritması daha sonra diğer güvenilir eşdizimleri tanımlamak için kullanılır. Bu eğitim algoritması, Pr (Sense | Collocation) olasılığını hesaplar ve karar listesi, log-likelihood oranına göre sıralanır:
Bir yumuşatma algoritması daha sonra 0 değerden kaçınmak için kullanılacaktır. Karar listesi algoritması, tüm eşleşen sıralama kümesi yerine yalnızca en güvenilir kanıt parçasını kullanarak geniş bir bağımsız olmayan kanıt kaynağı kümesindeki birçok sorunu çözer.
Ortaya çıkan yeni sınıflandırıcı daha sonra tüm numune setine uygulanacaktır. Bu örnekleri şuraya ekleyin: artık tohum kümeleri için makul bir eşiğin üzerinde olasılıkla A veya B olarak etiketlenmiş olanlar. Karar listesi algoritması ve yukarıdaki ekleme adımı uygulanır yinelemeli. Tohum setlerine yeni öğrenilen eşdizimler eklendikçe, duyu A veya duyu B kümesi büyüyecek ve orijinal kalıntı küçülecektir. Bununla birlikte, bu eşdizimler, yalnızca sınıflandırma olasılıkları eşiğin üzerinde kalırsa tohum kümelerinde kalır, aksi takdirde daha sonraki sınıflandırma için kalıntıya döndürülürler. Her yinelemenin sonunda, "söylem başına bir duyu" özelliği, başlangıçta yanlış etiketlenen eşdizimleri önlemeye ve dolayısıyla tohum kümelerinin saflığını iyileştirmeye yardımcı olmak için kullanılabilir.
Güçlü ortak yerleşimlerin yanlış sınıf için gösterge haline gelmesini önlemek için, sınıf dahil etme eşiğinin rastgele değiştirilmesi gerekir. Aynı amaç için, ara yakınsamadan sonra algoritmanın bağlam penceresinin genişliğini de artırması gerekecektir.
Algoritma, güvenilir bir eşdizim bulunmayana kadar yinelemeye devam edecektir. "Söylem başına bir duyu" özelliği, burada hata düzeltme için kullanılabilir. İkili anlamda bir bölüme sahip olan bir hedef kelime için, çoğunluk hissi A'nın oluşumları küçük anlam B'yi belirli bir eşik ile aşarsa, azınlık olanlar A olarak yeniden etiketlenecektir.Yarowsky'ye göre, herhangi bir anlamın net olması için baskın, hedef kelimenin geçişleri 4'ten az olmamalıdır.
Algoritma, kararlı bir artık küme üzerinde birleştiğinde, hedef sözcüğün nihai karar listesi elde edilir. En güvenilir eşdizimler, orijinal tohum sözcükleri yerine yeni listenin en üstündedir. Orijinal etiketsiz külliyat daha sonra duyu etiketleri ve olasılıklarla etiketlenir. Nihai karar listesi artık yeni verilere uygulanabilir, listedeki en yüksek dereceye sahip eşdizim, yeni verileri sınıflandırmak için kullanılır. Örneğin, yeni veri setindeki hedef kelimenin en yüksek sıralamalı eşdizimi A anlamındaysa, o zaman hedef kelime A anlamında sınıflandırılır.
Ayrıca bakınız
Referanslar
- Yarowsky, D. "Denetlenmemiş Kelime Duyusu Belirsizliği Denetlenen Yöntemlere Rakip Olmak". Hesaplamalı Dilbilim Derneği 33. Yıllık Toplantısı Bildirileri. Cambridge, MA, s. 189–196, 1995.