Hyperprior - Hyperprior

Bir dizinin parçası
Bayes istatistikleri
Teori
Kabul edilebilir karar kuralı Bayes verimliliği Bayes olasılığı Olasılık yorumları Bayes teoremi Bayes faktörü Bayesci çıkarım Bayes ağı Önceki Arka Olasılık Önceden konjuge Arka tahmin Hiperparametre Hyperprior Kayıtsızlık ilkesi Maksimum entropi ilkesi Ampirik Bayes yöntemi Cromwell kuralı Bernstein-von Mises teoremi Schwarz kriteri Güvenilir aralık Maksimum bir posteriori tahmin Radikal olasılık
Teknikler
Bayes doğrusal regresyon Bayes tahmincisi Yaklaşık Bayes hesaplaması Markov zinciri Monte Carlo
Matematik portalı

İçinde Bayes istatistikleri, bir hiperprior bir önceki dağıtım bir hiperparametre yani bir a parametresinde önceki dağıtım.

Terimde olduğu gibi hiperparametre, kullanımı aşırı onu temeldeki sistem için modelin bir parametresinin önceki dağılımından ayırmaktır. Özellikle kullanımında ortaya çıkarlar eşlenik öncelikler.

Örneğin, biri bir beta dağılımı parametrenin dağılımını modellemek p bir Bernoulli dağılımı, sonra:

• Bernoulli dağılımı (parametre ile p) model temeldeki sistemin;
• p bir parametre temeldeki sistemin (Bernoulli dağılımı);
• Beta dağılımı (parametrelerle birlikte α ve β) önceki dağıtımı p;
• α ve β önceki dağıtımın parametreleridir (beta dağılımı), dolayısıyla hiperparametreler;
• Önceki bir dağıtım α ve β bu nedenle bir hiperprior.

Prensipte, yukarıdakileri yineleyebiliriz: eğer hiperprior'un kendisinin hiperparametreleri varsa, bunlara hiper hiperparametreler vb. Denebilir.

Hiperparametredeki posterior dağılıma benzer şekilde hiperposterior diyebiliriz ve bunlar aynı ailedeyse, bunlara eşlenik hiper dağılımlar veya eşlenik hiperprior olarak adlandırılabilir. Ancak, bu hızla çok soyut hale gelir ve orijinal sorundan çıkarılır.

Amaç

Hiperpriors, eşlenik önsözler gibi, hesaplama kolaylığıdır - Bayesci çıkarım sürecini değiştirmezler, sadece birinin öncekiyle daha kolay tanımlanmasına ve hesaplanmasına izin verirler.

Belirsizlik

İlk olarak, hiperparametrede bir hiperparametrenin kullanılması belirsizliğin ifade edilmesine izin verir: sabit bir öncekini almak bir varsayımdır, öncekinin bir hiperparametresini değiştirmek kişinin bu varsayıma göre duyarlılık analizi yapmasına izin verir ve bu hiperparametrede bir dağılım almak kişinin ifade etmesini sağlar Bu varsayımda belirsizlik: "öncekinin bu biçimde olduğunu varsayalım (bu parametrik aile), ancak parametrelerin değerlerinin tam olarak ne olması gerektiğinden emin değiliz."

Karışım dağılımı

Daha soyut bir şekilde, bir hiperprior kullanılıyorsa, önceki dağıtımın (temel modelin parametresi üzerinde) kendisi karışım yoğunluğu: çeşitli önceki dağılımların ağırlıklı ortalamasıdır (farklı hiperparametreler üzerinden), hiper öncül ağırlıklandırmadır. Bu, ek olası dağılımları ekler (birinin kullandığı parametrik ailenin ötesinde), çünkü parametrik dağılım aileleri genellikle dışbükey kümeler - karışım yoğunluğu bir dışbükey kombinasyon dağılımlar, genel olarak yalan söyleyecek dışarıda Örneğin, iki normal dağılımın karışımı normal bir dağılım değildir: biri farklı araçlar alırsa (yeterince uzakta) ve her birinin% 50'sini karıştırırsa, iki modlu bir dağılım elde edilir ve bu nedenle normal değildir. Aslında, normal dağılımların dışbükey gövdesi tüm dağılımlarda yoğundur, bu nedenle bazı durumlarda, uygun bir hiperprior içeren bir aile kullanarak belirli bir öncekine keyfi olarak yakın bir şekilde yaklaşabilirsiniz.

Bu yaklaşımı özellikle yararlı kılan şey, bir kişinin eşlenik önceleri kullanmasıdır: bireysel eşlenik önseller kolaylıkla posteriorları hesaplamışlardır ve bu nedenle, eşlenik öncüllerin bir karışımı, aynı posteriorların karışımıdır: sadece her bir konjugatın daha önce nasıl değiştiğini bilmesi gerekir. önceki çok kısıtlayıcı olabilir, ancak eşlenik önsellerin bir karışımını kullanmak, hesaplaması kolay bir biçimde istenen dağılımı verebilir. Bu, özfonksiyonlar açısından bir işlevi ayrıştırmaya benzer - bkz. Önceden eşlenik: Özfonksiyonlarla analoji.

Dinamik sistem

Bir hiperprior, olası hiperparametreler uzayı üzerindeki bir dağılımdır. Biri eşlenik öncül kullanılıyorsa, bu alan sonrakilere taşınarak korunur - bu nedenle veriler geldikçe dağılım değişir, ancak bu alanda kalır: veri geldikçe, dağılım bir dinamik sistem (güncellenmiş hiperparametrelere dönüşen her hiperparametre alanı noktası), tıpkı öncekinin yakınsaması gibi, zamanla yakınsama.

Referanslar

• Bernardo, J. M .; Smith, A.F.M. (2000). Bayes Teorisi. New York: Wiley. ISBN  0-471-49464-X.