Mesafeyi düzenle - Edit distance - Wikipedia

İçinde hesaplamalı dilbilimleri ve bilgisayar Bilimi, mesafeyi düzenle ne kadar benzemediğini ölçmenin bir yolu Teller (ör. kelimeler), bir dizeyi diğerine dönüştürmek için gereken minimum işlem sayısını sayarak birbirine bağlanır. Mesafeleri düzenle uygulamaları bul doğal dil işleme nerede otomatik yazım düzeltme bir sözlükten söz konusu kelimeye uzaklığı düşük olan kelimeleri seçerek yanlış yazılmış bir kelime için aday düzeltmeleri belirleyebilir. İçinde biyoinformatik benzerliğini ölçmek için kullanılabilir DNA A, C, G ve T harflerinin dizileri olarak görülebilen diziler.

Düzenleme mesafesinin farklı tanımları, farklı dizi işlemleri kullanır. Levenshtein mesafesi işlemler dizedeki bir karakterin kaldırılması, eklenmesi veya değiştirilmesidir. En yaygın metrik olan terim Levenshtein mesafesi genellikle birbirinin yerine kullanılır mesafeyi düzenle.[1]

Düzenleme mesafesi türleri

Farklı düzenleme mesafesi türleri, farklı dizi işlemlerine izin verir. Örneğin:

Bazı düzenleme mesafesi, belirli bir izin verilen düzenleme işlemleri kümesiyle hesaplanan parametrelendirilebilir bir metrik olarak tanımlanır ve her işleme bir maliyet (muhtemelen sonsuz) atanır. Bu, DNA ile daha da genelleştirilmiştir sıra hizalaması gibi algoritmalar Smith – Waterman algoritması, bir operasyonun maliyetini, nerede uygulandığına bağlı kılar.

Biçimsel tanım ve özellikler

İki dizge verildiğinde a ve b bir alfabede Σ (ör. ASCII karakterler, dizi bayt [0..255], vb.), Düzenleme mesafesi d (a, b) dönüşüm sağlayan minimum ağırlıklı düzenleme işlemleri dizisidir. a içine b. En basit düzenleme işlemlerinden biri, Levenshtein tarafından 1966'da tanımlanan işlemdir:[2]

Yerleştirme tek bir sembolün. Eğer a = senv, ardından sembolü ekleyerek x üretir senxv. Bu aynı zamanda gösterilebilir den →xboş dizeyi belirtmek için ε kullanarak.
Silme tek bir sembol değişikliğinin senxv -e senv (x→ ε).
ikame tek bir sembolün x bir sembol için y ≠ x değişiklikler senxv -e senyv (x→y).

Levenshtein'ın orijinal tanımında, bu işlemlerin her birinin birim maliyeti vardır (bir karakterin kendi başına ikamesinin sıfır maliyeti olması dışında), bu nedenle Levenshtein mesafesi minimuma eşittir. numara dönüştürmek için gereken işlemlerin a -e b. Daha genel bir tanım, negatif olmayan ağırlık fonksiyonlarını ilişkilendirir wins(x), wdel(x) ve walt(x, y) operasyonlarla.[2]

Ek ilkel işlemler önerilmiştir. Damerau-Levenshtein mesafesi tek bir düzenleme olarak sayılır, yaygın bir hata: aktarım iki bitişik karakterden oluşan, resmi olarak değişen bir işlemle karakterize senxyv içine senyxv.[3][4]Düzeltme görevi için OCR çıktı, birleştirmek ve Bölünmüş tek bir karakteri bir çift olarak değiştiren veya tersini yapan işlemler kullanılmıştır.[4]

Diğer düzenleme mesafesi varyantları, işlem kümesini kısıtlayarak elde edilir. En uzun ortak alt dizi (LCS) mesafe, her ikisi de birim maliyetle olmak üzere, yalnızca iki düzenleme işlemi olarak ekleme ve silme ile düzenleme mesafesidir.[1]:37 Benzer şekilde, yalnızca değiştirmelere izin vererek (yine birim maliyetle), Hamming mesafesi elde edildi; bu eşit uzunluktaki dizelerle sınırlandırılmalıdır.[1]Jaro – Winkler mesafesi yalnızca transpozisyonlara izin verilen bir düzenleme mesafesinden elde edilebilir.

Misal

Levenshtein mesafesi "yavru kedi" ve "oturma" arasındaki 3'dür. İlkini ikincisine dönüştüren minimal bir düzenleme komut dosyası:

  1. kitten → sitten ("k" yerine "s" koyun)
  2. oturmaken → sittbenn ("e" yerine "i" koyun)
  3. sittin → sitting (sonuna "g" ekleyin)

LCS mesafesi (yalnızca eklemeler ve silmeler) farklı bir mesafe ve minimum düzenleme komut dosyası sağlar:

  1. kitten → itten (0'daki "k" harfini sil)
  2. itten → sitten (0'a "s" ekleyin)
  3. oturmaken → sittn (4'teki "e" yi silin)
  4. sittn → sittbenn (4'e "i" ekleyin)
  5. sittin → sitting (6'ya "g" ekleyin)

5 işlemlik toplam maliyet / mesafe için.

Özellikleri

Negatif olmayan maliyetle mesafeyi düzenleme, aşağıdaki aksiyomları karşılar: metrik, bir metrik uzay Aşağıdaki koşullar karşılandığında dizelerin sayısı:[1]:37

  • Her düzenleme işleminin pozitif maliyeti vardır;
  • her işlem için eşit maliyetli ters işlem vardır.

Bu özelliklerle, metrik aksiyomlar aşağıdaki gibi karşılanır:

d(a, b) = 0 ancak ve ancak a = b ise, çünkü her dizge tam olarak sıfır işlemleri kullanılarak önemsiz bir şekilde kendisine dönüştürülebilir.
d(a, b)> 0 ne zaman a ≠ b, çünkü bu sıfır olmayan maliyette en az bir işlem gerektirecektir.
d(a, b) = d(b, a) her işlemin maliyetinin eşitliği ve bunun tersi.
Üçgen eşitsizliği: d(a, c) ≤ d(a, b) + d(b, c).[5]

Levenshtein mesafesi ve birim maliyetle LCS mesafesi yukarıdaki koşulları ve dolayısıyla metrik aksiyomları karşılar. Uygun ölçümler olmayan düzenleme mesafesi çeşitleri de literatürde dikkate alınmıştır.[1]

Birim maliyet düzenleme mesafelerinin diğer yararlı özellikleri şunları içerir:

  • LCS mesafesi yukarıda bir çift dizginin uzunluklarının toplamı ile sınırlandırılmıştır.[1]:37
  • LCS mesafesi, Levenshtein mesafesinin üst sınırıdır.
  • Aynı uzunluktaki dizeler için Hamming mesafesi, Levenshtein mesafesinin üst sınırıdır.[1]

Maliyet / ağırlıklardan bağımsız olarak, aşağıdaki özellikler tüm düzenleme mesafeleri için geçerlidir:

  • Ne zaman a ve b ortak bir öneki paylaşırsa, bu ön ekin mesafe üzerinde hiçbir etkisi yoktur. Resmen, ne zaman a = uv ve b = uw, sonra d(a, b) = d(v, w).[4] Bu, ortak ön ekler ve son ekler doğrusal zamanda atlanabildiğinden, düzenleme mesafesi ve düzenleme komut dosyalarını içeren birçok hesaplamayı hızlandırmaya olanak tanır.

Hesaplama

Bir çift dize arasındaki minimum düzenleme mesafesini hesaplamak için ilk algoritma, Damerau 1964'te.[6]

Ortak algoritma

Ana makale: Wagner – Fischer algoritması

Levenshtein'ın orijinal işlemlerini kullanarak, (simetrik olmayan) düzenleme mesafesi -e tarafından verilir , yinelemeyle tanımlanan[2]

Bu algoritma, yinelemeli cümlenin minimizasyonuna başka bir terim ekleyerek transpozisyonları işlemek için genelleştirilebilir.[3]

Basit, yinelemeli bu yinelemeyi değerlendirmenin yolu üstel zaman. Bu nedenle, genellikle bir dinamik program yaygın olarak kredilendirilen algoritma Wagner ve Fischer,[7] çok sayıda icat geçmişine sahip olmasına rağmen.[2][3]Wagner – Fischer algoritmasının tamamlanmasından sonra, minimum düzenleme işlemleri dizisi, dinamik programlama algoritması sırasında kullanılan işlemlerin geri izlemesi olarak okunabilir. .

Bu algoritmanın bir zaman karmaşıklığı / Θ (mn). Tam dinamik programlama tablosu oluşturulduğunda, uzay karmaşıklığı aynı zamanda Θ (mn); bu geliştirilebilir Θ (dk (m,n)) herhangi bir anda, algoritmanın bellekte yalnızca iki satır (veya iki sütun) gerektirdiğini gözlemleyerek. Ancak bu optimizasyon, minimum düzenleme işlemleri dizisinin okunmasını imkansız hale getirir.[3] Bu soruna doğrusal uzay çözümü, Hirschberg algoritması.[8]:634

Geliştirilmiş algoritmalar

Yukarıda açıklanan Wagner – Fisher algoritmasında iyileştirme, Ukkonen birkaç varyantı açıklar,[9] bunlardan biri iki dize ve maksimum düzenleme mesafesi alır sve döner min (s, d). Bunu yalnızca dinamik programlama tablosunun bir bölümünü köşegen çevresinde hesaplayarak ve depolayarak başarır. Bu algoritma zaman alır Ö(s× dk (m,n)), nerede m ve n dizelerin uzunluklarıdır. Uzay karmaşıklığı Ö(s²) veya Ö(s), düzenleme sırasının okunması gerekip gerekmediğine bağlı olarak.[3]

Daha fazla iyileştirme Landau, Myers ve Schmidt [1] vermek Ö(s2 + maks (m,n)) zaman algoritması.[10]

Başvurular

Mesafeyi düzenle içindeki uygulamaları bulur hesaplamalı biyoloji ve doğal dil işleme, ör. yazım hatalarının veya OCR hatalarının düzeltilmesi ve yaklaşık dize eşleşmesi, amacın birçok uzun metinde kısa diziler için eşleşmeler bulmak olduğu durumlarda, az sayıda farkın beklendiği durumlarda.

İlgili problem türlerini çözmek için bir dizi arasındaki mesafenin hesaplanmasının yanı sıra problemleri çözen çeşitli algoritmalar mevcuttur.

  • Hirschberg algoritması optimal olanı hesaplar hizalama Optimalliğin düzenleme mesafesini en aza indirmek olarak tanımlandığı iki dizeden.
  • Yaklaşık dize eşleşmesi düzenleme mesafesi açısından formüle edilebilir. Ukkonen'in 1985 algoritması bir dizi alıyor p, desen olarak adlandırılır ve sabit k; sonra oluşturur deterministik sonlu durum otomatiği rasgele bir dizede bulur sdüzenleme mesafesi olan bir alt dize p en fazla k[11] (cf. the Aho – Corasick algoritması, benzer şekilde bir dizi modelin herhangi birini aramak için bir otomat oluşturur, ancak düzenleme işlemlerine izin vermez). Yaklaşık dize eşleşmesi için benzer bir algoritma, bitap algoritması, ayrıca düzenleme mesafesi açısından da tanımlanmıştır.
  • Levenshtein otomatı sabit bir referans dizesinin sınırlı düzenleme mesafesi içinde bir dizi dizgeyi tanıyan sonlu durum makineleridir.[4]

Dil düzenleme mesafesi

Dizeler arasındaki düzenleme mesafesinin bir genellemesi, bir dizge ile bir dil arasındaki dil düzenleme mesafesidir, genellikle bir resmi dil. Bir dizi ile diğeri arasındaki düzenleme mesafesini dikkate almak yerine, dil düzenleme mesafesi, sabit bir dizi ile diğeri arasında elde edilebilecek minimum düzenleme mesafesidir. hiç bir dizi diziden alınan dize. Herhangi bir dil için daha resmi olarak L ve dize x bir alfabe üzerinde Σ, dil düzenleme mesafesi d (L, x) tarafından verilir[12], nerede dize düzenleme mesafesidir. Dil ne zaman L dır-dir bağlamdan bağımsız Aho ve Peterson tarafından 1972'de önerilen, dil düzenleme mesafesini hesaplayan bir kübik zaman dinamik programlama algoritması vardır.[13] Daha az ifade gücüne sahip gramer aileleri için, örneğin normal gramerler, düzenleme mesafesini hesaplamak için daha hızlı algoritmalar mevcuttur.[14]

Dil düzenleme mesafesi, RNA katlama, hata düzeltme ve Optimum Yığın Oluşturma problemine çözümler gibi birçok farklı uygulama bulmuştur.[12][15]

Ayrıca bakınız

Referanslar

  1. ^ a b c d e f g Navarro, Gonzalo (1 Mart 2001). "Dize eşlemeyi yaklaşık olarak belirlemek için rehberli bir tur" (PDF). ACM Hesaplama Anketleri. 33 (1): 31–88. CiteSeerX  10.1.1.452.6317. doi:10.1145/375360.375365. Alındı 19 Mart 2015.
  2. ^ a b c d Daniel Jurafsky; James H. Martin. Konuşma ve Dil İşleme. Pearson Education International. s. 107–111.
  3. ^ a b c d e Esko Ukkonen (1983). Yaklaşık dize eşleştirmesinde. Hesaplama Teorisinin Temelleri. Springer. sayfa 487–495. doi:10.1007/3-540-12689-9_129.
  4. ^ a b c d Schulz, Klaus U .; Mihov, Stoyan (2002). "Levenshtein otomatıyla hızlı dizi düzeltmesi". Uluslararası Belge Analizi ve Tanıma Dergisi. 5 (1): 67–85. CiteSeerX  10.1.1.16.652. doi:10.1007 / s10032-002-0082-8.
  5. ^ Lei Chen; Raymond Ng (2004). Lₚ-normlarının evliliği ve düzenleme mesafesi üzerine (PDF). Proc. 30. Uluslararası Konf. Çok Büyük Veritabanları (VLDB) üzerinde. 30. doi:10.1016 / b978-012088469-8.50070-x.
  6. ^ Kukich, Karen (1992). "Metindeki Kelimeleri Otomatik Olarak Düzeltme Teknikleri" (PDF). ACM Hesaplama Anketleri. 24 (4): 377–439. doi:10.1145/146370.146380. Arşivlenen orijinal (PDF) 2016-09-27 tarihinde. Alındı 2017-11-09.
  7. ^ R. Wagner; M. Fischer (1974). "Dizeden dizgeye düzeltme sorunu". J. ACM. 21: 168–178. doi:10.1145/321796.321811. S2CID  13381535.
  8. ^ Skiena, Steven (2010). Algoritma Tasarım Kılavuzu (2. baskı). Springer Science + Business Media. Bibcode:2008adm..book ..... S. ISBN  978-1-849-96720-4.
  9. ^ Ukkonen, Esko (1985). "Yaklaşık dize eşleşmesi için algoritmalar" (PDF). Bilgi ve Kontrol. 64 (1–3): 100–118. doi:10.1016 / S0019-9958 (85) 80046-2.
  10. ^ Landau; Myers; Schmidt (1998). "Artımlı Dize Karşılaştırması". Bilgi İşlem Üzerine SIAM Dergisi. 27 (2): 557–582. CiteSeerX  10.1.1.38.1766. doi:10.1137 / S0097539794264810.
  11. ^ Esko Ukkonen (1985). "Dizelerde yaklaşık desenler bulma". J. Algoritmalar. 6: 132–137. doi:10.1016/0196-6774(85)90023-9.
  12. ^ a b Bringmann, Karl; Grandoni, Fabrizio; Saha, Barna; Williams, Virginia Vassilevska (2016). "Dil Düzenleme Mesafesi için Gerçekten Alt Kübik Algoritmalar ve Hızlı Sınırlı Fark Min-Artı Ürünüyle RNA Katlama" (PDF). 2016 IEEE 57. Yıllık Bilgisayar Biliminin Temelleri Sempozyumu (FOCS). s. 375–384. arXiv:1707.05095. doi:10.1109 / focs.2016.48. ISBN  978-1-5090-3933-3.
  13. ^ Aho, A .; Peterson, T. (1972-12-01). "Bağlamdan Bağımsız Diller için Minimum Mesafe Hata Düzeltme Ayrıştırıcısı". Bilgi İşlem Üzerine SIAM Dergisi. 1 (4): 305–312. doi:10.1137/0201022. ISSN  0097-5397.
  14. ^ Wagner, Robert A. (1974). "Normal diller için sıra-n düzeltme". ACM'nin iletişimi. 17 (5): 265–268. doi:10.1145/360980.360995. S2CID  11063282.
  15. ^ Saha, B. (2014-10-01). Yakın Doğrusal Zamanda Dyck Dili Düzenleme Mesafesi Sorunu. 2014 IEEE 55. Yıllık Bilgisayar Biliminin Temelleri Sempozyumu. sayfa 611–620. doi:10.1109 / FOCS.2014.71. ISBN  978-1-4799-6517-5. S2CID  14806359.