İstatistiksel öğrenme teorisi - Statistical learning theory

İstatistiksel öğrenme teorisi için bir çerçevedir makine öğrenme alanlarından çizim İstatistik ve fonksiyonel Analiz.^[1]^[2] İstatistiksel öğrenme teorisi, verilere dayalı bir tahmine dayalı fonksiyon bulma problemiyle ilgilenir. İstatistiksel öğrenme teorisi, aşağıdaki alanlarda başarılı uygulamalara yol açmıştır. Bilgisayar görüşü, Konuşma tanıma, ve biyoinformatik.

Giriş

Öğrenmenin hedefleri anlamak ve tahmin etmektir. Öğrenme, aşağıdakiler dahil birçok kategoriye ayrılır: denetimli öğrenme, denetimsiz öğrenme, çevrimiçi öğrenme, ve pekiştirmeli öğrenme. İstatistiksel öğrenme teorisi perspektifinden, denetimli öğrenme en iyi anlaşılır.^[3] Denetimli öğrenme, bir Eğitim Seti veri. Eğitimdeki her nokta, girdinin bir çıktıyla eşleştiği bir girdi-çıktı çiftidir. Öğrenme problemi, öğrenilen işlevin gelecekteki girdiden çıktıyı tahmin etmek için kullanılabileceği şekilde girdi ve çıktı arasında eşleştiren işlevin çıkarımından oluşur.

Çıktının türüne bağlı olarak, denetimli öğrenme problemleri, gerileme veya sorunları sınıflandırma. Çıktı sürekli bir değer aralığı alıyorsa, bu bir regresyon problemidir. Kullanma Ohm Yasası Örnek olarak, giriş olarak voltaj ve çıkış olarak akım ile bir regresyon gerçekleştirilebilir. Regresyon, gerilim ve akım arasındaki fonksiyonel ilişkiyi bulacaktır. ${ displaystyle R}$ , öyle ki

{ displaystyle V = IR}

Sınıflandırma problemleri, çıktının ayrı bir etiket kümesinden bir öğe olacağı sorunlardır. Makine öğrenimi uygulamaları için sınıflandırma çok yaygındır. İçinde yüz tanıma örneğin, bir kişinin yüzünün bir resmi girdi olabilir ve çıktı etiketi o kişinin adı olacaktır. Giriş, öğeleri resimdeki pikselleri temsil eden büyük bir çok boyutlu vektör ile temsil edilecektir.

Eğitim seti verilerine dayalı bir işlevi öğrendikten sonra, bu işlev, eğitim setinde görünmeyen veriler olan bir test veri setinde doğrulanır.

Resmi açıklama

Al ${ displaystyle X}$ olmak vektör alanı olası tüm girdilerden ve ${ displaystyle Y}$ tüm olası çıktıların vektör uzayı olmak. İstatistiksel öğrenme teorisi, bazı bilinmeyenlerin olduğu perspektifini alır. olasılık dağılımı ürün alanı üzerinde ${ displaystyle Z = X times Y}$ yani bilinmeyen bazı şeyler var ${ displaystyle p (z) = p ({ vec {x}}, y)}$ . Eğitim seti şunlardan oluşur: ${ displaystyle n}$ bu olasılık dağılımından örnekler ve not edilmiştir

{ displaystyle S = {({ vec {x}} _ {1}, y_ {1}), noktalar, ({ vec {x}} _ {n}, y_ {n}) } = {{ vec {z}} _ {1}, noktalar, { vec {z}} _ {n} }}

Her ${ displaystyle { vec {x}} _ {i}}$ eğitim verilerinden bir giriş vektörüdür ve ${ displaystyle y_ {i}}$ ona karşılık gelen çıktıdır.

Bu formalizmde, çıkarım problemi bir fonksiyon bulmaktan ibarettir ${ displaystyle f: X - Y}$ öyle ki ${ displaystyle f ({ vec {x}}) sim y}$ . İzin Vermek ${ displaystyle { mathcal {H}}}$ işlev alanı olmak ${ displaystyle f: X - Y}$ hipotez uzayı denir. Hipotez alanı, algoritmanın arayacağı işlevlerin alanıdır. İzin Vermek ${ displaystyle V (f ({ vec {x}}), y)}$ ol kayıp fonksiyonu, tahmin edilen değer arasındaki fark için bir metrik ${ displaystyle f ({ vec {x}})}$ ve gerçek değer ${ displaystyle y}$ . beklenen risk olarak tanımlandı

{ displaystyle I [f] = displaystyle int _ {X times Y} V (f ({ vec {x}}), y) , p ({ vec {x}}, y) , d { vec {x}} , dy}

Hedef işlev, mümkün olan en iyi işlev ${ displaystyle f}$ seçilebilir, tarafından verilir ${ displaystyle f}$ bu tatmin edici

{ displaystyle f = inf _ {h in { mathcal {H}}} I [h]}

Çünkü olasılık dağılımı ${ displaystyle p ({ vec {x}}, y)}$ bilinmiyorsa, beklenen risk için bir aproksi önlemi kullanılmalıdır. Bu ölçü, bu bilinmeyen olasılık dağılımından bir örnek olan eğitim setine dayanmaktadır. Denir ampirik risk

{ displaystyle I_ {S} [f] = { frac {1} {n}} displaystyle sum _ {i = 1} ^ {n} V (f ({ vec {x}} _ {i} ), y_ {i})}

İşlevi seçen bir öğrenme algoritması ${ displaystyle f_ {S}}$ Ampirik riski en aza indiren ampirik risk minimizasyonu.

Kayıp fonksiyonları

Kayıp fonksiyonunun seçimi, fonksiyon üzerinde belirleyici bir faktördür ${ displaystyle f_ {S}}$ öğrenme algoritması tarafından seçilecektir. Kayıp işlevselliği aynı zamanda bir algoritma için yakınsama oranını da etkiler. Kayıp fonksiyonunun dışbükey olması önemlidir.^[4]

Sorunun bir regresyon mu yoksa bir sınıflandırma mı olduğuna bağlı olarak farklı kayıp fonksiyonları kullanılır.

Regresyon

Regresyon için en yaygın kayıp işlevi, kare kaybı işlevidir (aynı zamanda L2 normu ). Bu tanıdık kayıp işlevi, Sıradan En Küçük Kareler regresyonu. Form şu şekildedir:

{ displaystyle V (f ({ vec {x}}), y) = (y-f ({ vec {x}})) ^ {2}}

Mutlak değer kaybı (aynı zamanda L1 normu ) ayrıca bazen kullanılır:

{ displaystyle V (f ({ vec {x}}), y) = | y-f ({ vec {x}}) |}

Sınıflandırma

Bir anlamda 0-1 gösterge işlevi sınıflandırma için en doğal kayıp fonksiyonudur. Öngörülen çıktı gerçek çıktıyla aynıysa 0 değerini alır ve tahmin edilen çıktı gerçek çıktıdan farklıysa 1 değerini alır. İle ikili sınıflandırma için ${ displaystyle Y = {- 1,1 }}$ , bu:

{ displaystyle V (f ({ vec {x}}), y) = theta (-yf ({ vec {x}}))}

nerede ${ displaystyle theta}$ ... Heaviside adım işlevi.

Düzenlilik

Bu görüntü, makine öğreniminde aşırı uyum sağlamanın bir örneğini temsil ediyor. Kırmızı noktalar, eğitim seti verilerini temsil eder. Yeşil çizgi, gerçek işlevsel ilişkiyi temsil ederken, mavi çizgi aşırı uyuma kurban giden öğrenilmiş işlevi gösterir.

Makine öğrenimi problemlerinde, ortaya çıkan önemli bir problem, aşırı uyum gösterme. Öğrenme bir tahmin problemi olduğu için, amaç (daha önce gözlemlenen) verilere en çok uyan bir fonksiyon bulmak değil, gelecekteki girdilerden en doğru çıktıyı tahmin edecek olanı bulmaktır. Ampirik risk minimizasyonu bu aşırı uyum riskini taşır: verilere tam olarak uyan ancak gelecekteki çıktıyı iyi tahmin etmeyen bir işlev bulmak.

Aşırı uyum, kararsız çözümlerin belirtisidir; eğitim seti verilerindeki küçük bir karışıklık, öğrenilen işlevde büyük bir varyasyona neden olacaktır. Çözüm için istikrar garanti edilebilirse, genelleme ve tutarlılığın da garanti edildiği gösterilebilir.^[5]^[6] Düzenlilik Aşırı uyum sorununu çözebilir ve soruna istikrar kazandırabilir.

Hipotez alanı kısıtlanarak düzenlenebilirlik sağlanabilir ${ displaystyle { mathcal {H}}}$ . Yaygın bir örnek kısıtlayıcı olabilir ${ displaystyle { mathcal {H}}}$ doğrusal fonksiyonlara: bu, standart problemin bir indirgemesi olarak görülebilir. doğrusal regresyon. ${ displaystyle { mathcal {H}}}$ ayrıca polinom derecesi ile sınırlandırılabilir ${ displaystyle p}$ , üstel veya sınırlı fonksiyonlar L1. Hipotez uzayının kısıtlanması, potansiyel işlevlerin biçimi sınırlı olduğu için aşırı uydurmayı önler ve bu nedenle, keyfi olarak sıfıra yakın deneysel risk veren bir işlevin seçimine izin vermez.

Düzenlemeye bir örnek Tikhonov düzenlenmesi. Bu,

{ displaystyle { frac {1} {n}} displaystyle sum _ {i = 1} ^ {n} V (f ({ vec {x}} _ {i}), y_ {i}) + gamma | f | _ { mathcal {H}} ^ {2}}

nerede ${ displaystyle gamma}$ sabit ve pozitif bir parametredir, düzenleme parametresidir. Tikhonov düzenlenmesi, çözümün varlığını, benzersizliğini ve istikrarını sağlar.^[7]

Ayrıca bakınız

Çekirdek Hilbert uzaylarını çoğaltma için faydalı bir seçimdir ${ displaystyle { mathcal {H}}}$ .
Öğrenme için proksimal gradyan yöntemleri

Referanslar

^ Trevor Hastie Robert Tibshirani, Jerome Friedman (2009) İstatistiksel Öğrenmenin Unsurları, Springer-Verlag ISBN 978-0-387-84857-0.
^ Mohri, Mehryar; Rostamizadeh, Afshin; Talwalkar Ameet (2012). Makine Öğreniminin Temelleri. ABD, Massachusetts: MIT Press. ISBN 9780262018258.
^ Tomaso Poggio, Lorenzo Rosasco, vd. İstatistiksel Öğrenme Teorisi ve Uygulamaları, 2012, 1. sınıf
^ Rosasco, L., Vito, E.D., Caponnetto, A., Fiana, M. ve Verri A. 2004. Sinirsel hesaplama Cilt 16, s. 1063-1076
^ Vapnik, V.N. ve Chervonenkis, A.Y. 1971. Olayların göreli frekanslarının olasılıklarına tekdüze yakınsaması üzerine. Olasılık Teorisi ve Uygulamaları Cilt 16, s. 264-280.
^ Mukherjee, S., Niyogi, P. Poggio, T. ve Rifkin, R. 2006. Öğrenme teorisi: istikrar genelleme için yeterlidir ve ampirik risk minimizasyonunun tutarlılığı için gerekli ve yeterlidir. Hesaplamalı Matematikteki Gelişmeler. Cilt 25, s. 161-193.
^ Tomaso Poggio, Lorenzo Rosasco, vd. İstatistiksel Öğrenme Teorisi ve Uygulamaları, 2012, Sınıf 2

[1] Trevor Hastie Robert Tibshirani, Jerome Friedman (2009) İstatistiksel Öğrenmenin Unsurları, Springer-Verlag ISBN 978-0-387-84857-0.

[2] Mohri, Mehryar; Rostamizadeh, Afshin; Talwalkar Ameet (2012). Makine Öğreniminin Temelleri. ABD, Massachusetts: MIT Press. ISBN 9780262018258.

[3] Tomaso Poggio, Lorenzo Rosasco, vd. İstatistiksel Öğrenme Teorisi ve Uygulamaları, 2012, 1. sınıf

[4] Rosasco, L., Vito, E.D., Caponnetto, A., Fiana, M. ve Verri A. 2004. Sinirsel hesaplama Cilt 16, s. 1063-1076

[5] Vapnik, V.N. ve Chervonenkis, A.Y. 1971. Olayların göreli frekanslarının olasılıklarına tekdüze yakınsaması üzerine. Olasılık Teorisi ve Uygulamaları Cilt 16, s. 264-280.

[6] Mukherjee, S., Niyogi, P. Poggio, T. ve Rifkin, R. 2006. Öğrenme teorisi: istikrar genelleme için yeterlidir ve ampirik risk minimizasyonunun tutarlılığı için gerekli ve yeterlidir. Hesaplamalı Matematikteki Gelişmeler. Cilt 25, s. 161-193.

[7] Tomaso Poggio, Lorenzo Rosasco, vd. İstatistiksel Öğrenme Teorisi ve Uygulamaları, 2012, Sınıf 2

[1]

[2]

[3]

[4]

[5]

[6]

[7]