Ampirik Bayes yöntemi - Empirical Bayes method

Ampirik Bayes yöntemleri prosedürler istatiksel sonuç Önceki dağılımın verilerden tahmin edildiği. Bu yaklaşım standartın aksine duruyor Bayesci yöntemler, bunun için herhangi bir veri gözlemlenmeden önceki dağıtım sabitlenir. Perspektifteki bu farklılığa rağmen, ampirik Bayes, tam bir Bayesçi yaklaşım olarak görülebilir. hiyerarşik model burada hiyerarşinin en yüksek seviyesindeki parametreler, entegre edilmek yerine en olası değerlerine ayarlanır. Maksimum olarak da bilinen Ampirik Bayes marjinal olasılık,^[1] ayar için bir yaklaşımı temsil eder hiperparametreler.

Giriş

Ampirik Bayes yöntemleri, tamamen Bayesçi bir tedaviye bir yaklaşım olarak görülebilir. hiyerarşik Bayes modeli.

Örneğin, iki aşamalı hiyerarşik bir Bayes modelinde, gözlemlenen veriler ${ displaystyle y = {y_ {1}, y_ {2}, noktalar, y_ {n} }}$ gözlenmeyen bir parametre setinden oluşturulduğu varsayılır ${ displaystyle theta = { theta _ {1}, theta _ {2}, dots, theta _ {n} }}$ olasılık dağılımına göre ${ displaystyle p (y orta teta) ,}$ . Sırayla, parametreler ${ displaystyle theta}$ aşağıdakilerle karakterize edilen bir popülasyondan alınan örnekler olarak düşünülebilir hiperparametreler ${ displaystyle eta ,}$ olasılık dağılımına göre ${ displaystyle p ( teta orta eta) ,}$ . Hiyerarşik Bayes modelinde, ampirik Bayes yaklaşımında olmasa da, hiperparametreler ${ displaystyle eta ,}$ parametresiz bir dağıtımdan alınmış kabul edilir ${ displaystyle p ( eta) ,}$ .

Belirli bir ilgi miktarı hakkında bilgi ${ displaystyle theta _ {i} ;}$ bu nedenle, yalnızca doğrudan ona bağlı olan verilerin özelliklerinden değil, aynı zamanda parametre popülasyonunun özelliklerinden de gelir. ${ displaystyle theta ;}$ bir bütün olarak, verilerden bir bütün olarak çıkarılır, hiperparametreler tarafından özetlenir ${ displaystyle eta ;}$ .

Kullanma Bayes teoremi,

{ displaystyle p ( theta orta y) = { frac {p (y orta teta) p ( teta)} {p (y)}} = { frac {p (y orta teta) } {p (y)}} int p ( theta mid eta) p ( eta) , d eta ,.}

Genel olarak, bu integral izlenemez analitik olarak veya sembolik ve tarafından değerlendirilmelidir sayısal yöntemler. Stokastik (rastgele) veya deterministik yaklaşımlar kullanılabilir. Örnek stokastik yöntemler Markov Zinciri Monte Carlo ve Monte Carlo örnekleme. Deterministik yaklaşımlar aşağıda tartışılmıştır dördün.

Alternatif olarak, ifade şu şekilde yazılabilir:

{ displaystyle p ( theta orta y) = int p ( teta orta eta, y) p ( eta orta y) ; d eta = int { frac {p (y orta theta) p ( theta mid eta)} {p (y mid eta)}} p ( eta mid y) ; d eta ,,}

ve integraldeki terim sırayla şu şekilde ifade edilebilir:

{ displaystyle p ( eta orta y) = int p ( eta orta theta) p ( theta orta y) ; d theta.}

Bunlar, yapı olarak niteliksel olarak benzer bir yinelemeli şema önermektedir. Gibbs örnekleyici, art arda iyileştirilmiş yaklaşımları geliştirmek için ${ displaystyle p ( teta y ortası) ;}$ ve ${ displaystyle p ( eta orta y) ;}$ . İlk olarak, bir başlangıç yaklaşımı hesaplayın ${ displaystyle p ( teta y ortası) ;}$ görmezden gelmek ${ displaystyle eta}$ tamamen bağımlılık; sonra bir yaklaşım hesaplayın ${ displaystyle p ( eta orta y) ;}$ ilk yaklaşık dağılımına göre ${ displaystyle p ( teta y ortası) ;}$ ; o zaman bunu kullan ${ displaystyle p ( eta orta y) ;}$ için yaklaşımı güncellemek ${ displaystyle p ( teta y ortası) ;}$ ; sonra güncelle ${ displaystyle p ( eta orta y) ;}$ ; ve benzeri.

Gerçek dağıtım ${ displaystyle p ( eta orta y) ;}$ keskin bir şekilde doruğa ulaşır, integral belirleyici ${ displaystyle p ( teta y ortası) ;}$ olasılık dağılımını değiştirerek çok fazla değişmeyebilir ${ displaystyle eta ;}$ bir nokta tahmini ile ${ displaystyle eta ^ {*} ;}$ dağılımın tepe noktasını (veya alternatif olarak ortalamasını) temsil eden,

{ displaystyle p ( teta orta y) simeq { frac {p (y orta teta) ; p ( teta orta eta ^ {*})} {p (y orta eta ^ {*})}} ,.}

Bu yaklaşımla, yukarıdaki yinelemeli şema, EM algoritması.

"Ampirik Bayes" terimi, çok çeşitli yöntemleri kapsayabilir, ancak çoğu, ya yukarıdaki şemanın ya da buna benzer bir şeyin erken kesilmesi olarak kabul edilebilir. Tüm dağılım yerine nokta tahminleri tipik olarak parametre (ler) için kullanılır ${ displaystyle eta ;}$ . Tahminler ${ displaystyle eta ^ {*} ;}$ tipik olarak ilk yaklaşımdan ${ displaystyle p ( teta y ortası) ;}$ daha sonra ayrıntılandırma olmadan. Bu tahminler ${ displaystyle eta ^ {*} ;}$ genellikle uygun bir ön dağıtım düşünülmeden yapılır ${ displaystyle eta}$ .

Nokta tahmini

Robbins yöntemi: parametrik olmayan ampirik Bayes (NPEB)

Robbins^[2] bir örnekleme durumu olarak kabul edildi karışık dağıtım her biri için olasılık nerede ${ displaystyle y_ {i}}$ (şartlı ${ displaystyle theta _ {i}}$ ) ile belirtilir Poisson Dağılımı,

{ displaystyle p (y_ {i} mid theta _ {i}) = {{ theta _ {i}} ^ {y_ {i}} e ^ {- theta _ {i}} üzeri {y_ {ben}}!}}

önceki sırada θ ayrıca belirtilmemesi dışında i.i.d. bilinmeyen bir dağıtımdan kümülatif dağılım fonksiyonu ${ displaystyle G ( theta)}$ . Bileşik örnekleme, kaza oranları ve klinik deneyler gibi çeşitli istatistiksel tahmin problemlerinde ortaya çıkar.^{[kaynak belirtilmeli ]} Sadece bir nokta tahmini arıyoruz ${ displaystyle theta _ {i}}$ tüm gözlemlenen veriler verildi. Önceki belirtilmemiş olduğundan, bunu bilmeden yapmaya çalışıyoruz G.^[3]

Altında kare hata kaybı (SEL), koşullu beklenti E (θ_ben | Y_ben = y_ben) tahmin için kullanmak için makul bir miktardır. Poisson bileşik örnekleme modeli için bu miktar

{ displaystyle operatorname {E} ( theta _ {i} mid y_ {i}) = { int ( theta ^ {y_ {i} +1} e ^ {- theta} / {y_ {i }}!) , dG ( theta) over { int ( theta ^ {y_ {i}} e ^ {- theta} / {y_ {i}}!) , dG ( theta}) }.}

Bu, ifade ile çarpılarak basitleştirilebilir. ${ displaystyle ({y_ {i}} + 1) / ({y_ {i}} + 1)}$ , verimli

{ displaystyle operatorname {E} ( theta _ {i} mid y_ {i}) = {{(y_ {i} +1) p_ {G} (y_ {i} +1)} üzeri {p_ {G} (y_ {i})}},}

nerede p_G entegre edilerek elde edilen marjinal dağılım θ bitmiş G.

Bundan yararlanmak için Robbins^[2] marjinallerin ampirik frekansları ile tahmin edilmesini önerdi ve aşağıdaki gibi tamamen parametrik olmayan tahmini verdi:

{ displaystyle operatorname {E} ( theta _ {i} mid y_ {i}) yaklaşık (y_ {i} +1) {{ # {Y_ {j} = y_ {i} +1 }} üzerinden { # {Y_ {j} = y_ {i} }}},}

nerede ${ displaystyle #}$ "sayısı" anlamına gelir. (Ayrıca bakınız Good-Turing frekans tahmini.)

Örnek - Kaza oranları

Bir sigorta şirketinin her müşterisinin "kaza oranı" Θ olduğunu ve kazalara karşı sigortalı olduğunu varsayalım; Θ'nin olasılık dağılımı, temeldeki dağılımdır ve bilinmemektedir. Her müşterinin belirli bir zaman diliminde uğradığı kaza sayısı, bir Poisson Dağılımı belirli bir müşterinin kaza oranına eşit beklenen değer ile. Bir müşterinin yaşadığı gerçek kaza sayısı, gözlemlenebilir miktardır. Kaza oranının Θ temelde yatan olasılık dağılımını tahmin etmenin kaba bir yolu, belirtilen süre boyunca 0, 1, 2, 3, ... kazalardan muzdarip tüm nüfusun üyelerinin oranını, gözlemlenen kazadaki karşılık gelen oran olarak tahmin etmektir. rastgele örneklem. Bunu yaptıktan sonra, numunedeki her bir müşterinin kaza oranını tahmin etmek istenir. Yukarıdaki gibi, biri kullanılabilir şartlı beklenen değer Kaza oranının bas temel periyotta gözlemlenen kaza sayısı göz önüne alındığında. Bu nedenle, bir müşteri referans süresi boyunca altı kaza geçirirse, bu müşterinin tahmini kaza oranı 7 × [7 kazaya uğrayan numunenin oranı] / [6 kazaya uğrayan numunenin oranı] 'dır. Unutmayın ki acı çeken insanların oranı k kazalar azalan bir fonksiyondur k, müşterinin tahmin edilen kaza oranı genellikle gözlemlenen kaza sayısından daha düşük olacaktır.

Bu küçülme etki ampirik Bayes analizlerinin tipik bir örneğidir.

Parametrik ampirik Bayes

Olasılık ve önceleri basit parametrik formları alırsa (örneğin 1 veya 2 boyutlu olasılık işlevleri basit eşlenik öncelikler ), o zaman ampirik Bayes sorunu yalnızca marjinal değeri tahmin etmektir. ${ displaystyle m (y orta eta)}$ ve hiperparametreler ${ displaystyle eta}$ tüm ampirik ölçüm setini kullanarak. Örneğin, parametrik deneysel Bayes nokta tahmini olarak adlandırılan yaygın bir yaklaşım, marjinali yaklaşık olarak tahmin etmektir. maksimum olasılık tahmini (MLE) veya a Anlar hiperparametrelerin ifade edilmesine izin veren genişleme ${ displaystyle eta}$ ampirik ortalama ve varyans açısından. Bu basitleştirilmiş marjinal, ampirik ortalamaların, önceki dönem için bir nokta tahminine eklenmesine izin verir. ${ displaystyle theta}$ . Önceki için ortaya çıkan denklem ${ displaystyle theta}$ aşağıda gösterildiği gibi büyük ölçüde basitleştirilmiştir.

Aşağıdakiler dahil birkaç yaygın parametrik ampirik Bayes modeli vardır. Poisson-gama modeli (aşağıda), Beta-binom modeli, Gauss-Gauss modeli, Dirichlet-multinomial model için özel modeller de Bayes doğrusal regresyon (aşağıya bakın) ve Bayes çok değişkenli doğrusal regresyon. Daha gelişmiş yaklaşımlar şunları içerir: hiyerarşik Bayes modelleri ve Bayes karışım modelleri.

Poisson-gama modeli

Örneğin, yukarıdaki örnekte, olasılığın bir Poisson Dağılımı ve şimdi öncekinin, önceki eşlenik, hangisi bir gama dağılımı ( ${ displaystyle G ( alfa, beta)}$ ) (nerede ${ displaystyle eta = ( alfa, beta)}$ ):

{ displaystyle rho ( theta mid alpha, beta) = { frac { theta ^ { alpha -1} , e ^ {- theta / beta}} { beta ^ { alpha } Gama ( alpha)}} mathrm {for} theta> 0, alpha> 0, beta> 0 , !.}

Göstermek basittir arka aynı zamanda bir gama dağılımıdır. Yazmak

{ displaystyle rho ( theta orta y) propto rho (y orta teta) rho ( teta orta alfa, beta)}

açıkça bağlı olmadığı için marjinal dağılımın ihmal edildiği yer ${ displaystyle theta}$ Bağımlı olan genişleyen terimler ${ displaystyle theta}$ posteri şu şekilde verir:

{ displaystyle rho ( theta mid y) propto ( theta ^ {y} , e ^ {- theta}) ( theta ^ { alpha -1} , e ^ {- theta / beta}) = theta ^ {y + alpha -1} , e ^ {- theta (1 + 1 / beta)}.}

Yani arka yoğunluk da bir gama dağılımı ${ displaystyle G ( alpha ', beta')}$ , nerede ${ displaystyle alpha '= y + alpha}$ , ve ${ displaystyle beta '= (1 + 1 / beta) ^ {- 1}}$ . Ayrıca, marjinalin sadece posteriorun tümüyle ayrılmaz bir parçası olduğuna dikkat edin. ${ displaystyle Theta}$ , ki bu bir negatif binom dağılımı.

Ampirik Bayes'i uygulamak için, marjinali yaklaşık olarak hesaplayacağız. maksimum olasılık tahmini (MLE). Ancak arka taraf bir gama dağılımı olduğundan, marjinalin MLE'si yalnızca posteriorun ortalamasıdır, bu da nokta tahmini ${ displaystyle operatöradı {E} ( theta mid y)}$ ihtiyacımız var. Ne demek olduğunu hatırlayarak ${ displaystyle mu}$ bir gama dağılımının ${ displaystyle G ( alpha ', beta')}$ basitçe ${ displaystyle alpha ' beta'}$ , sahibiz

{ displaystyle operatorname {E} ( theta mid y) = alpha ' beta' = { frac {{ bar {y}} + alpha} {1 + 1 / beta}} = { frac { beta} {1+ beta}} { bar {y}} + { frac {1} {1+ beta}} ( alpha beta).}

Değerlerini elde etmek için ${ displaystyle alpha}$ ve ${ displaystyle beta}$ , ampirik Bayes, ortalama tahmini ${ displaystyle alpha beta}$ ve varyans ${ displaystyle alpha beta ^ {2}}$ tüm ampirik veri setini kullanarak.

Ortaya çıkan nokta tahmini ${ displaystyle operatöradı {E} ( theta mid y)}$ bu nedenle, örnek ortalamasının ağırlıklı ortalaması gibidir ${ displaystyle { bar {y}}}$ ve önceki ortalama ${ displaystyle mu = alpha beta}$ . Bu, ampirik Bayes'in genel bir özelliği olduğu ortaya çıkıyor; önceki (yani ortalama) nokta tahminleri, numune tahmininin ağırlıklı ortalamaları ve önceki tahminin (aynı şekilde varyans tahminleri için) gibi görünecektir.

Ayrıca bakınız

Referanslar

^ SANTİMETRE. Bishop (2005). Örüntü tanıma için sinir ağları. Oxford University Press ISBN 0-19-853864-2
^ ^a ^b Robbins, Herbert (1956). "İstatistiklere Ampirik Bayes Yaklaşımı". Üçüncü Berkeley Matematiksel İstatistik ve Olasılık Sempozyumu Bildirileri, Cilt 1: İstatistik Teorisine Katkılar: 157–163. BAY 0084919. Alındı 2008-03-15.
^ Carlin, Bradley P .; Louis, Thomas A. (2000). Veri Analizi için Bayes ve Ampirik Bayes Yöntemleri (2. baskı). Chapman & Hall / CRC. pp. Sec. 3.2 ve Ek B. ISBN 978-1-58488-170-4.

daha fazla okuma

Peter E. Rossi; Greg M. Allenby; Rob McCulloch (14 Mayıs 2012). Bayesian İstatistikleri ve Pazarlama. John Wiley & Sons. ISBN 978-0-470-86368-8.
Casella, George (Mayıs 1985). "Ampirik Bayes Veri Analizine Giriş" (PDF). Amerikan İstatistikçi. 39 (2): 83–87. doi:10.2307/2682801. hdl:1813/32886. JSTOR 2682801. BAY 0789118.
Nikulin, Mikhail (1987). "Deneysel Bayesci yaklaşım probleminde Bernstein'ın düzenlilik koşulları". Sovyet Matematik Dergisi. 36 (5): 596–600. doi:10.1007 / BF01093293. S2CID 122405908.

Dış bağlantılar

[Bishop05-1] SANTİMETRE. Bishop (2005). Örüntü tanıma için sinir ağları. Oxford University Press ISBN 0-19-853864-2

[Robbins-2] Robbins, Herbert (1956). "İstatistiklere Ampirik Bayes Yaklaşımı". Üçüncü Berkeley Matematiksel İstatistik ve Olasılık Sempozyumu Bildirileri, Cilt 1: İstatistik Teorisine Katkılar: 157–163. BAY 0084919. Alındı 2008-03-15.

[CL-3] Carlin, Bradley P .; Louis, Thomas A. (2000). Veri Analizi için Bayes ve Ampirik Bayes Yöntemleri (2. baskı). Chapman & Hall / CRC. pp. Sec. 3.2 ve Ek B. ISBN 978-1-58488-170-4.

[1]

[2]

[3]