İkinci dereceden birlikte oluşma noktasal karşılıklı bilgi - Second-order co-occurrence pointwise mutual information

Bu makalenin birden çok sorunu var. Lütfen yardım et onu geliştir veya bu konuları konuşma sayfası. (Bu şablon mesajların nasıl ve ne zaman kaldırılacağını öğrenin) Bu makale çoğu okuyucunun anlayamayacağı kadar teknik olabilir. Lütfen geliştirmeye yardım et -e uzman olmayanlar için anlaşılır hale getirinteknik detayları kaldırmadan. (Ocak 2016) (Bu şablon mesajını nasıl ve ne zaman kaldıracağınızı öğrenin) (Bu şablon mesajını nasıl ve ne zaman kaldıracağınızı öğrenin)

İçinde hesaplamalı dilbilimleri, ikinci dereceden birlikte oluşma noktasal karşılıklı bilgi bir anlamsal benzerlik ölçü. Derecesini değerlendirmek için bağlantı verilen iki kelime arasında noktasal karşılıklı bilgi (PMI) iki hedef kelimenin önemli komşu kelimelerinin listelerini büyük bir külliyat.

Tarih

PMI-IR yöntemi^{[açıklama gerekli ]} Kullanılmış AltaVista Hesaplanacak Gelişmiş Arama sorgusu sözdizimi olasılıklar. AltaVista'nın "NEAR" arama operatörünün PMI-IR yönteminde önemli bir operatör olduğuna dikkat edin.^{[kaynak belirtilmeli ]} Ancak, artık AltaVista'da kullanılmamaktadır; bu, uygulama açısından PMI-IR yönteminin yeni sistemlerde aynı biçimde kullanılmasının mümkün olmadığı anlamına gelir. Her durumda, algoritmik bakış açısından, SOC-PMI kullanmanın avantajı, iki kelime arasındaki benzerliği hesaplayabilmesidir. birlikte meydana gelmek sıklıkla, çünkü aynı komşu sözcüklerle birlikte ortaya çıkarlar. Örneğin, British National Corpus (BNC), frekansların ve bağlamların kaynağı olarak kullanılmıştır.

Metodoloji

Yöntem, her iki listede ortak olan kelimeleri dikkate alır ve göreli anlamsal benzerliği hesaplamak için PMI değerlerini (karşı listeden) toplar. Biz tanımlıyoruz noktasal karşılıklı bilgi sadece sahip olan kelimeler için işlev ${ displaystyle f ^ {b} (t_ {i}, w)> 0}$,

${ displaystyle f ^ { text {pmi}} (t_ {i}, w) = log _ {2} { frac {f ^ {b} (t_ {i}, w) kere m} {f ^ {t} (t_ {i}) f ^ {t} (w)}},}$

nerede ${ displaystyle f ^ {t} (t_ {i})}$ bize türünün kaç katı olduğunu söyler ${ displaystyle t_ {i}}$ tüm külliyatta göründü, ${ displaystyle f ^ {b} (t_ {i}, w)}$ bize kaç kez kelime söyler ${ displaystyle t_ {i}}$ kelime ile ortaya çıktı ${ displaystyle w}$ bir bağlam penceresinde ve ${ displaystyle m}$ korpustaki toplam simge sayısıdır. Şimdi, kelime için ${ displaystyle w}$, bir dizi kelime tanımlıyoruz ${ displaystyle X ^ {w}}$, PMI değerlerine göre azalan sırada sıralanmıştır. ${ displaystyle w}$ ve en iyiyi aldı ${ displaystyle beta}$ sahip olan kelimeler ${ displaystyle f ^ { text {pmi}} (t_ {i}, w)> 0}$.

Set ${ displaystyle X ^ {w}}$, kelimeler içerir ${ displaystyle X_ {i} ^ {w}}$,

${ displaystyle X ^ {w} = {X_ {i} ^ {w} }}$, nerede ${ displaystyle i = 1,2, ldots, beta}$ ve

${ displaystyle f ^ { text {pmi}} (X_ {1} ^ {w}, w) geq f ^ { text {pmi}} (X_ {2} ^ {w}, w) geq cdots f ^ { text {pmi}} (X _ { beta -1} ^ {w}, w) geq f ^ { text {pmi}} (X _ { beta} ^ {w}, w)}$

Bir temel kural değerini seçmek için kullanılır ${ displaystyle beta}$. ${ displaystyle beta}$-PMI toplamı Bir kelimenin işlevi başka bir kelimeye göre tanımlanır. Kelime için ${ displaystyle w_ {1}}$ kelimeye göre ${ displaystyle w_ {2}}$ bu:

${ displaystyle f (w_ {1}, w_ {2}, beta) = toplamı _ {i = 1} ^ { beta} (f ^ { text {pmi}} (X_ {i} ^ {w_ {1}}, w_ {2})) ^ { gamma}}$

nerede ${ displaystyle f ^ { text {pmi}} (X_ {i} ^ {w_ {1}}, w_ {2})> 0}$ kümedeki kelimelerin tüm pozitif PMI değerlerini toplayan ${ displaystyle X ^ {w_ {2}}}$ ayrıca setteki kelimeler için ortaktır ${ displaystyle X ^ {w_ {1}}}$. Başka bir deyişle, bu işlev aslında tüm anlamsal olarak yakın kelimelerin pozitif PMI değerlerini toplar. ${ displaystyle w_ {2}}$ aynı zamanda yaygın olan ${ displaystyle w_ {1}}$'ın listesi. ${ displaystyle gamma}$ 1'den büyük bir değere sahip olmalıdır. Yani, ${ displaystyle beta}$-PMI toplamı kelime için işlev ${ displaystyle w_ {1}}$ kelimeye göre ${ displaystyle w_ {2}}$ sahip olmak ${ displaystyle beta = beta _ {1}}$ ve ${ displaystyle beta}$-PMI toplamı kelime için işlev ${ displaystyle w_ {2}}$ kelimeye göre ${ displaystyle w_ {1}}$ sahip olmak ${ displaystyle beta = beta _ {2}}$ vardır

${ displaystyle f (w_ {1}, w_ {2}, beta _ {1}) = toplam _ {i = 1} ^ { beta _ {1}} (f ^ { text {pmi}} (X_ {i} ^ {w_ {1}}, w_ {2})) ^ { gamma}}$

ve

${ displaystyle f (w_ {2}, w_ {1}, beta _ {2}) = toplam _ {i = 1} ^ { beta _ {2}} (f ^ { text {pmi}} (X_ {i} ^ {w_ {2}}, w_ {1})) ^ { gamma}}$

sırasıyla.

Son olarak anlamsal PMI benzerliği iki kelime arasındaki fonksiyon, ${ displaystyle w_ {1}}$ ve ${ displaystyle w_ {2}}$, olarak tanımlanır

${ displaystyle mathrm {Sim} (w_ {1}, w_ {2}) = { frac {f (w_ {1}, w_ {2}, beta _ {1})} { beta _ {1 }}} + { frac {f (w_ {2}, w_ {1}, beta _ {2})} { beta _ {2}}}.}$

Anlamsal kelime benzerliği normalleştirilir, böylece aralarında bir benzerlik puanı sağlar. ${ displaystyle 0}$ ve ${ displaystyle 1}$ kapsayıcı. Anlamsal benzerlik algoritmasının normalleşmesi, iki kelime arasında normalleştirilmiş bir benzerlik puanı verir. İki kelimeyi argüman olarak alır, ${ displaystyle r_ {i}}$ ve ${ displaystyle s_ {j}}$ve maksimum değer, ${ displaystyle lambda}$, bu semantik benzerlik işlevi Sim () tarafından döndürülür. 0 ile 1 arasında bir benzerlik puanı döndürür. Örneğin, algoritma kelimeler için 0.986 döndürür mezarlık ve mezarlık ile ${ displaystyle lambda = 20}$ (SOC-PMI yöntemi için).

Referanslar

• Islam, A. ve Inkpen, D. (2008). Derlem tabanlı kelime benzerliği ve dize benzerliği kullanan anlamsal metin benzerliği. ACM Trans. Knowl. Discov. Veri 2, 2 (Temmuz 2008), 1–25.
• Islam, A. ve Inkpen, D. (2006). Kelimelerin Anlamsal Benzerliğini Belirlemeye Yönelik İkinci Derece Eşzamanlı PMI Uluslararası Dil Kaynakları ve Değerlendirme Konferansı Bildirilerinde (LREC 2006), Cenova, İtalya, s. 1033–1038.