Doğal dil işleme tarihi - History of natural language processing
doğal dil işleme tarihi ilerlemeleri tanımlar doğal dil işleme (Doğal dil işlemenin ana hatları). İle bazı örtüşme var makine çevirisi tarihi, konuşma tanıma tarihi, ve yapay zeka tarihi.
Araştırma ve Geliştirme
Makine çevirisinin tarihi, filozofların Leibniz ve Descartes diller arasında sözcükleri ilişkilendiren kodlar için önerilerde bulunur. Tüm bu öneriler teorik kaldı ve hiçbiri gerçek bir makinenin geliştirilmesiyle sonuçlanmadı.
"Çeviri makineleri" için ilk patentler 1930'ların ortalarında uygulandı. Bir teklif Georges Artsrouni sadece otomatik iki dilli bir sözlüktü kağıt bant. Diğer öneri Peter Troyanskii, bir Rusça, daha ayrıntılıydı. Hem iki dilli sözlüğü hem de diller arasındaki dilbilgisel rolleri ele almak için bir yöntem içeriyordu. Esperanto.
1950'de Alan Turing ünlü makalesini yayınladı "Bilgi İşlem Makineleri ve İstihbarat "şimdi adı verilen şeyi öneren Turing testi bir zeka kriteri olarak. Bu kriter, bir bilgisayar programının, bir insan yargıçla gerçek zamanlı yazılı bir görüşmede bir insanı taklit etme yeteneğine bağlıdır; yargıcın, program ile arasındaki farkı - yalnızca konuşma içeriğine dayanarak - güvenilir bir şekilde ayırt edemeyeceği kadar iyi. gerçek bir insan.
1957'de Noam Chomsky ’S Sözdizimsel Yapılar Dilbilimde devrim yaratan 'evrensel gramer ', kural tabanlı bir sözdizimsel yapı sistemi.[1]
Georgetown deneyi 1954'te altmıştan fazla Rusça cümlenin İngilizce'ye tamamen otomatik olarak çevrilmesini içeriyordu. Yazarlar, üç veya beş yıl içinde makine çevirisinin çözülmüş bir sorun olacağını iddia etti.[2] Ancak, gerçek ilerleme çok daha yavaştı ve ALPAC raporu 1966'da, on yıllık araştırmanın beklentileri karşılayamadığını ortaya çıkaran makine çevirisi için finansman önemli ölçüde azaldı. İlk çevirinin yapıldığı 1980'lerin sonlarına kadar makine çevirisinde çok az araştırma yapıldı. istatistiksel makine çevirisi sistemler geliştirildi.
1960'larda geliştirilen oldukça başarılı bazı NLP sistemleri SHRDLU, kısıtlı olarak çalışan doğal bir dil sistemi "dünyaları engeller "kısıtlı kelime dağarcığı ile.
1969'da Roger Schank tanıttı kavramsal bağımlılık teorisi doğal dil anlayışı için.[3] Bu model, kısmen aşağıdakilerin çalışmasından etkilenmiştir: Sidney Kuzu, Schank'ın öğrencileri tarafından yoğun olarak kullanıldı. Yale Üniversitesi, Robert Wilensky, Wendy Lehnert gibi ve Janet Kolodner.
1970 yılında William A. Woods, artırılmış geçiş ağı (ATN) doğal dil girdisini temsil eder.[4] Onun yerine ifade yapısı kuralları ATN'ler eşdeğer bir set kullandı sonlu durum otomatı bunlar yinelemeli olarak çağrıldı. ATN'ler ve bunların "genelleştirilmiş ATN'ler" olarak adlandırılan daha genel formatları, birkaç yıl boyunca kullanılmaya devam etti. 1970'lerde birçok programcı, gerçek dünya bilgilerini bilgisayar tarafından anlaşılabilir veriler şeklinde yapılandıran 'kavramsal ontolojiler' yazmaya başladı. Örnekler MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politika (Carbonell, 1979) ve Plot Birimleridir (Lehnert 1981) ). Bu süre zarfında birçok sohbet robotları dahil yazılmış SAVUŞTURMA, Racter, ve Jabberwacky.
1980'lere kadar, çoğu NLP sistemi karmaşık elle yazılmış kurallar setine dayanıyordu. 1980'lerin sonlarından başlayarak, NLP'de bir devrim yaşandı. makine öğrenme dil işleme algoritmaları. Bunun nedeni hem hesaplama gücündeki sürekli artıştır. Moore Yasası ve hakimiyetinin kademeli olarak azalması Chomskyan dilbilim teorileri (ör. dönüşümsel gramer ), teorik temelleri bir tür cesaret kırdı külliyat dilbilim Bu, dil işlemeye yönelik makine öğrenimi yaklaşımının temelini oluşturur.[5] En eski kullanılan makine öğrenimi algoritmalarından bazıları, örneğin Karar ağaçları, mevcut elle yazılmış kurallara benzer zorsa-ise kurallarından oluşan sistemler üretti. Bununla birlikte, araştırmalar giderek daha fazla odaklandı istatistiksel modeller yumuşak yapan olasılığa dayalı iliştirmeye dayalı kararlar gerçek değerli giriş verilerini oluşturan özelliklerin ağırlıkları. önbellek dili modelleri hangisinin üzerine Konuşma tanıma sistemler artık bu tür istatistiksel modellerin örnekleridir. Bu tür modeller, bilinmeyen girdi verildiğinde, özellikle hatalar içeren girdi (gerçek dünya verileri için çok yaygındır) verildiğinde genellikle daha sağlamdır ve birden çok alt görev içeren daha büyük bir sisteme entegre edildiğinde daha güvenilir sonuçlar üretir.
Kayda değer erken başarıların çoğu, makine çevirisi, özellikle art arda daha karmaşık istatistiksel modellerin geliştirildiği IBM Research'teki çalışmalar nedeniyle. Bu sistemler, mevcut çok dilli sistemlerden yararlanabilmiştir. metinsel corpora tarafından üretilmiş Kanada Parlamentosu ve Avrupa Birliği tüm hükümet işlemlerinin ilgili hükümet sistemlerinin tüm resmi dillerine çevrilmesini talep eden yasaların bir sonucu olarak. Bununla birlikte, diğer sistemlerin çoğu, bu sistemler tarafından uygulanan görevler için özel olarak geliştirilen ve bu sistemlerin başarısında büyük bir sınırlama olan (ve genellikle olmaya devam eden) şirketlere bağlıydı. Sonuç olarak, çok sayıda araştırma, sınırlı miktarda veriden daha etkili bir şekilde öğrenme yöntemlerine yöneldi.
Son araştırmalar giderek daha fazla odaklandı denetimsiz ve yarı denetimli öğrenme algoritmaları. Bu tür algoritmalar, istenen cevaplarla elle açıklama eklenmemiş verilerden veya açıklamalı ve açıklamasız verilerin bir kombinasyonunu kullanarak öğrenebilir. Genel olarak, bu görev çok daha zordur. denetimli öğrenme ve genellikle belirli bir miktarda girdi verisi için daha az doğru sonuçlar üretir. Bununla birlikte, muazzam miktarda açıklamasız veri mevcuttur (diğer şeylerin yanı sıra, içeriğin tüm içeriği dahil) Dünya çapında Ağ ), bu genellikle düşük sonuçları telafi edebilir.
Yazılım
| Yazılım | Yıl | Yaratıcı | Açıklama | Referans |
|---|---|---|---|---|
| Georgetown deneyi | 1954 | Georgetown Üniversitesi ve IBM | Altmıştan fazla Rusça cümlenin İngilizce'ye tam otomatik tercümesini içeriyordu. | |
| ÖĞRENCİ | 1964 | Daniel Bobrow | lise cebir kelime problemlerini çözebilir.[6] | |
| ELIZA | 1964 | Joseph Weizenbaum | bir simülasyonu Rogerian psikoterapist, yanıtını birkaç dilbilgisi kuralıyla yeniden ifade ediyor.[7] | |
| SHRDLU | 1970 | Terry Winograd | kısıtlı olarak çalışan doğal bir dil sistemi "dünyaları engeller "sınırlı kelime dağarcığı ile son derece iyi çalıştı | |
| SAVUŞTURMA | 1972 | Kenneth Colby | Bir gevezelik | |
| KL-ONE | 1974 | Sondheimer vd. | geleneğinde bir bilgi temsil sistemi anlamsal ağlar ve çerçeveler; bu bir çerçeve dili. | |
| MARGIE | 1975 | Roger Schank | ||
| TaleSpin (yazılım) | 1976 | Meehan | ||
| QUALM | Lehnert | |||
| ASANSÖR / MERDİVEN | 1978 | Hendrix | ABD Donanması gemileri hakkında bilgi veri tabanına doğal dil arayüzü. | |
| SAM (yazılım) | 1978 | Cullingford | ||
| PAM (yazılım) | 1978 | Robert Wilensky | ||
| Politika (yazılım) | 1979 | Carbonell | ||
| Çizim Birimleri (yazılım) | 1981 | Lehnert | ||
| Jabberwacky | 1982 | Rollo Marangoz | gevezelik "Doğal insan sohbetini ilginç, eğlenceli ve esprili bir şekilde simüle etmeyi" amaçlamaktadır. | |
| MUMBLE (yazılım) | 1982 | McDonald | ||
| Racter | 1983 | William Chamberlain ve Thomas Etter | gevezelik rastgele İngilizce nesir üretti. | |
| MOPTRANS[8] | 1984 | Lytinen | ||
| KODIAK (yazılım) | 1986 | Wilensky | ||
| Yokluk (yazılım) | 1987 | Hirst | ||
| Dr. Sbaitso | 1991 | Yaratıcı Laboratuvarlar | ||
| Watson (yapay zeka yazılımı) | 2006 | IBM | Kazanan bir soru cevaplama sistemi Jeopardy! yarışması, en iyi insan oyuncuları Şubat 2011'de mağlup etti. | |
| Siri | 2011 | elma | Apple tarafından geliştirilmiş bir sanal asistan. | |
| Amazon Alexa | 2014 | Amazon | Amazon tarafından geliştirilmiş bir sanal asistan. | |
| Google Asistan | 2016 | Google tarafından geliştirilmiş bir sanal asistan. |
Referanslar
- ^ "SEM1A5 - Bölüm 1 - NLP'nin kısa geçmişi". Alındı 2010-06-25.
- ^ Hutchins, J. (2005)
- ^ Roger Schank, 1969, Doğal dil için kavramsal bir bağımlılık ayrıştırıcısı Hesaplamalı dilbilim üzerine 1969 konferansının bildirileri, Sång-Säby, İsveç, sayfa 1-3
- ^ Woods, William A (1970). "Doğal Dil Analizi için Geçiş Ağı Gramerler". ACM 13 (10) İletişimi: 591–606 [1]
- ^ Chomskyan dilbilim, "köşe kılıfları "teorik modellerinin sınırlarını vurgulayan ( patolojik matematikte fenomen), tipik olarak kullanılarak oluşturulur düşünce deneyleri, gerçek dünya verilerinde meydana gelen tipik olayların sistematik olarak araştırılması yerine, külliyat dilbilim. Böyle yaratma ve kullanma corpora gerçek dünya verileri, NLP için makine öğrenimi algoritmalarının temel bir parçasıdır. Buna ek olarak, sözde Chomskyan dilbiliminin teorik temelleri "uyaranın yoksulluğu "argüman, tipik olarak makine öğreniminde kullanılan genel öğrenme algoritmalarının dil işlemede başarılı olamayacağını gerektirir. Sonuç olarak, Chomskyan paradigması bu tür modellerin dil işlemeye uygulanmasını cesaretlendirdi.
- ^ McCorduck 2004, s. 286, Crevier 1993, s. 76−79, Russell ve Norvig 2003, s. 19
- ^ McCorduck 2004, s. 291–296, Crevier 1993, s. 134-139
- ^ Janet L. Kolodner, Christopher K. Riesbeck; Deneyim, Hafıza ve Akıl Yürütme; Psychology Press; 2014 yeni baskı
Kaynakça
- Crevier, Daniel (1993), Yapay Zeka: Yapay Zeka için Kesintisiz Arayış, New York, NY: BasicBooks, ISBN 0-465-02997-3
- McCorduck, Pamela (2004), Düşünen Makineler (2. baskı), Natick, MA: A. K. Peters, Ltd., ISBN 978-1-56881-205-2, OCLC 52197627.
- Russell, Stuart J.; Norvig, Peter (2003), Yapay Zeka: Modern Bir Yaklaşım (2. baskı), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2.