İçinde matematik, bir maksimum pürüzsüz bir endeksli aile x1, ..., xn sayıların sayısı bir pürüzsüz yaklaşım için maksimum işlevi
anlam a parametrik aile fonksiyonların
öyle ki her biri için α, işlev
pürüzsüz ve aile maksimum işleve yakınlaşır
gibi
. Kavramı pürüzsüz minimum benzer şekilde tanımlanmıştır. Çoğu durumda, tek bir aile ikisine de yaklaşır: parametre pozitif sonsuza giderken maksimum, parametre negatif sonsuza giderken minimum; sembollerde
gibi
ve
gibi
. Terim ayrıca, parametreleştirilmiş bir ailenin parçası olmak zorunda olmaksızın bir maksimuma benzer şekilde davranan belirli bir düzgün işlev için gevşek bir şekilde kullanılabilir.
Örnekler
Smoothmax '-x' ve x fonksiyonuna çeşitli katsayılarla uygulanır. İçin çok pürüzsüz
![alfa](https://wikimedia.org/api/rest_v1/media/math/render/svg/b79333175c8b3f0840bfb4ec41b8072c83ea88d3)
= 0,5 ve daha keskin
![alfa](https://wikimedia.org/api/rest_v1/media/math/render/svg/b79333175c8b3f0840bfb4ec41b8072c83ea88d3)
=8.
Parametrenin büyük pozitif değerleri için
aşağıdaki formülasyon pürüzsüzdür, ayırt edilebilir maksimum fonksiyonun yaklaşıklığı. Mutlak değerde büyük olan parametrenin negatif değerleri için minimuma yaklaşır.
![{ displaystyle { mathcal {S}} _ { alpha} (x_ {1}, ldots, x_ {n}) = { frac { sum _ {i = 1} ^ {n} x_ {i} e ^ { alpha x_ {i}}} { toplam _ {i = 1} ^ {n} e ^ { alpha x_ {i}}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea5302e6fb5d229d98126f2de7e61b22d1010501)
aşağıdaki özelliklere sahiptir:
gibi ![alpha ila infty](https://wikimedia.org/api/rest_v1/media/math/render/svg/1488b56a327cc223bac1548a520344c56552abf2)
... aritmetik ortalama girdilerinin
gibi ![alpha to - infty](https://wikimedia.org/api/rest_v1/media/math/render/svg/d0f2a7db323c5c99c0c4527fa868a025a43a38aa)
Gradyanı
ile yakından ilgilidir softmax ve tarafından verilir
![{ displaystyle nabla _ {x_ {i}} { mathcal {S}} _ { alpha} (x_ {1}, ldots, x_ {n}) = { frac {e ^ { alpha x_ { i}}} { sum _ {j = 1} ^ {n} e ^ { alpha x_ {j}}}} [1+ alpha (x_ {i} - { mathcal {S}} _ { alfa} (x_ {1}, ldots, x_ {n}))].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1a1ed2997b3a0ceb8682440a0374158074ee3c73)
Bu, softmax işlevini kullanan optimizasyon teknikleri için yararlı kılar dereceli alçalma.
LogSumExp
Başka bir pürüzsüz maksimum LogSumExp:
![{ displaystyle mathrm {LSE} _ { alpha} (x_ {1}, ldots, x_ {n}) = 1 / alpha log ( exp ( alpha x_ {1}) + ldots + exp ( alpha x_ {n}))}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a90ce79069077641c46404662511f63699f2d9ad)
Bu aynı zamanda normalleştirilebilir
tümü negatif değildir, etki alanına sahip bir işlev verir
ve aralık
:
![{ displaystyle g (x_ {1}, ldots, x_ {n}) = log ( exp (x_ {1}) + ldots + exp (x_ {n}) - (n-1))}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b008d984668d67fc1a852725de948363080e292a)
terim gerçeğini düzeltir
bir sıfır üstel hariç tümünü iptal ederek ve
düştüm
sıfırdır.
p-Norm
Bir başka pürüzsüz maksimum da p-norm:
![{ displaystyle || (x_ {1}, ldots, x_ {n}) || _ {p} = left (| x_ {1} | ^ {p} + cdots + | x_ {n} | ^ {p} sağ) ^ {1 / p}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/32d1a42688b5aef3572e5dda63588cea23824afa)
hangisine yaklaşır
gibi
.
P-normunun bir avantajı, norm. Bu nedenle "ölçek değişmez" (homojen):
ve üçgen eşitsizliği karşılar.
Sayısal yöntemlerde kullanın
![[icon]](//upload.wikimedia.org/wikipedia/commons/thumb/1/1c/Wiki_letter_w_cropped.svg/20px-Wiki_letter_w_cropped.svg.png) | Bu bölüm boş. Yardımcı olabilirsiniz ona eklemek. (2015 Şubat) |
Diğer yumuşatma işlevi seçenekleri
![{ displaystyle { mathcal {max}} _ { alpha} (x_ {1}, x_ {2}) = left ((x_ {1} + x_ {2}) + { sqrt {(x_ {1 } -x_ {2}) ^ {2} + alpha}} sağ) / 2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/717d80b3cd1dd19fb60fcd6a7ab69826d644651a)
Nerede
bir parametredir.
Ayrıca bakınız
Referanslar
M. Lange, D. Zühlke, O. Holz ve T. Villmann, "lp-normlarının uygulamaları ve gradyan tabanlı öğrenme vektör nicemlemesi için yumuşak yaklaşımları" Proc. ESANN, Nisan 2014, s. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf )