Sürekli Bernoulli dağılımı - Continuous Bernoulli distribution

Sürekli Bernoulli dağılımı
Olasılık yoğunluk işlevi
Sürekli Bernoulli dağılımının olasılık yoğunluk fonksiyonu
Gösterim
Parametreler
Destek
PDF
nerede
CDF
Anlamına gelmek
Varyans

İçinde olasılık teorisi, İstatistik, ve makine öğrenme, sürekli Bernoulli dağılımı[1][2][3] sürekli bir ailedir olasılık dağılımları tek bir parametreli şekil parametresi , birim aralığında tanımlanmıştır , tarafından:

Sürekli Bernoulli dağılımı ortaya çıkar derin öğrenme ve Bilgisayar görüşü özellikle bağlamında değişken otomatik kodlayıcılar,[4][5] doğal görüntülerin piksel yoğunluklarını modellemek için. Bu nedenle, yaygın olarak kullanılan ikili değişken için uygun bir olasılıksal karşılığı tanımlar. çapraz entropi genellikle sürekli olarak uygulanan kayıp, değerli veriler.[6][7][8][9] Bu uygulama, sürekli Bernoulli dağılımının normalleştirme sabitini görmezden gelmek anlamına gelir, çünkü ikili çapraz entropi kaybı, ayrık için yalnızca gerçek bir log-olabilirliği tanımlar, değerli veriler.

Sürekli Bernoulli ayrıca bir üstel aile dağılımlar. yazı için doğal parametre, yoğunluk kanonik biçimde yeniden yazılabilir:.


İlgili dağılımlar

Bernoulli dağılımı

Sürekli Bernoulli, sürekli bir gevşeme olarak düşünülebilir. Bernoulli dağılımı, ayrık küme üzerinde tanımlanan tarafından olasılık kütle fonksiyonu:

nerede 0 ile 1 arasında bir skaler parametredir. Aynı işlevsel formun sürekli aralıkta uygulanması sürekli Bernoulli ile sonuçlanır olasılık yoğunluk fonksiyonu, normalleştirme sabitine kadar.

Beta dağılımı

Beta dağılımı yoğunluk işlevine sahiptir:

şu şekilde yeniden yazılabilir:

nerede pozitif skaler parametrelerdir ve 1- içinde rastgele bir noktayı temsil ederbasit, . Parametrenin rolünü ve bu yoğunluk fonksiyonundaki argümanı değiştirerek şunu elde ederiz:

Bu aile sadece tanımlanabilir doğrusal kısıtlamaya kadar , nereden elde ederiz:

tam olarak sürekli Bernoulli yoğunluğuna karşılık gelir.

Üstel dağılım

Bir üstel dağılım birim aralıkla sınırlı, uygun parametreye sahip sürekli bir Bernoulli dağılımına eşdeğerdir.

Sürekli kategorik dağılım

Sürekli Bernoulli'nin çok değişkenli genellemesine, sürekli kategorik.[10]

Referanslar

  1. ^ Loaiza-Ganem, G. ve Cunningham, J.P. (2019). Sürekli Bernoulli: varyasyonel otomatik kodlayıcılarda yaygın bir hatayı düzeltme. Nöral Bilgi İşleme Sistemlerindeki Gelişmelerde (s. 13266-13276).
  2. ^ PyTorch Dağılımları. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli
  3. ^ Tensorflow Olasılığı. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli
  4. ^ Kingma, D.P. ve Welling, M. (2013). Otomatik kodlama değişken yuvaları. arXiv ön baskı arXiv: 1312.6114.
  5. ^ Kingma, D.P. ve Welling, M. (2014, Nisan). Stokastik gradyan VB ve varyasyonel otomatik kodlayıcı. İkinci Uluslararası Öğrenme Temsilleri Konferansı'nda, ICLR (Cilt 19).
  6. ^ Larsen, A.B.L., Sønderby, S. K., Larochelle, H. ve Winther, O. (2016, Haziran). Öğrenilmiş bir benzerlik ölçüsü kullanarak piksellerin ötesinde otomatik kodlama. Uluslararası makine öğrenimi konferansında (s. 1558-1566).
  7. ^ Jiang, Z., Zheng, Y., Tan, H., Tang, B. ve Zhou, H. (2017, Ağustos). Varyasyonel derin gömme: kümelemeye denetimsiz ve üretken bir yaklaşım. 26. Uluslararası Yapay Zeka Ortak Konferansı Bildirilerinde (s. 1965-1972).
  8. ^ PyTorch VAE öğreticisi: https://github.com/pytorch/examples/tree/master/vae.
  9. ^ Keras VAE öğreticisi: https://blog.keras.io/building-autoencoders-in-keras.html.
  10. ^ Gordon-Rodriguez, E., Loaiza-Ganem, G. ve Cunningham, J.P. (2020). Sürekli kategorik: yeni bir simpleks değerli üstel aile. 36. Uluslararası Makine Öğrenimi Konferansı'nda, ICML 2020. Uluslararası Makine Öğrenimi Topluluğu (IMLS).