Doğrusal olmayan en küçük kareler - Non-linear least squares

Bir serinin parçası
Regresyon analizi
Modeller
Doğrusal regresyon Basit regresyon Polinom regresyon Genel doğrusal model
Genelleştirilmiş doğrusal model Ayrık seçim Binom regresyon İkili regresyon Lojistik regresyon Çok terimli logit Karışık logit Probit Çok terimli probit Sıralı logit Sıralı probit Poisson
Çok düzeyli model Sabit efektler Rastgele efektler Doğrusal karışık efekt modeli Doğrusal olmayan karma efekt modeli
Doğrusal olmayan regresyon Parametrik olmayan Yarı parametrik güçlü Çeyreklik İzotonik Ana bileşenleri En küçük açı Yerel Bölümlenmiş
Değişkenlerdeki hatalar
Tahmin
En küçük kareler Doğrusal Doğrusal olmayan
Sıradan Ağırlıklı Genelleştirilmiş
Kısmi Toplam Negatif olmayan Ridge regresyonu Düzenlenmiş
En az mutlak sapmalar Yinelemeli olarak yeniden ağırlıklandırıldı Bayes Bayes çok değişkenli
Arka fon
Regresyon doğrulama Ortalama ve tahmin edilen yanıt Hatalar ve kalıntılar Formda olmanın güzelliği Studentized kalıntı Gauss-Markov teoremi
Matematik portalı

Doğrusal olmayan en küçük kareler şekli en küçük kareler bir dizi uydurmak için kullanılan analiz m doğrusal olmayan bir modelle yapılan gözlemler n bilinmeyen parametreler (m ≥ n). Bazı şekillerde kullanılır doğrusal olmayan regresyon. Yöntemin temeli, modeli doğrusal bir modelle kestirmek ve parametreleri ardışık yinelemelerle rafine etmektir. Birçok benzerlik var doğrusal en küçük kareler ama aynı zamanda biraz önemli farklılıklar. Ekonomik teoride, doğrusal olmayan en küçük kareler yöntemi (i) probit regresyonunda, (ii) eşik regresyonunda, (iii) yumuşak regresyonda, (iv) lojistik bağlantı regresyonunda, (v) Box-Cox dönüştürülmüş regresörlerde (${ displaystyle m (x, theta _ {i}) = theta _ {1} + theta _ {2} x ^ {( theta _ {3})}}$).

Teori

Bir dizi düşünün ${ displaystyle m}$ Veri noktaları, ${ displaystyle (x_ {1}, y_ {1}), (x_ {2}, y_ {2}), noktalar, (x_ {m}, y_ {m}),}$ ve bir eğri (model fonksiyonu) ${ displaystyle y = f (x, { boldsymbol { beta}}),}$ değişkene ek olarak ${ displaystyle x}$ ayrıca bağlıdır ${ displaystyle n}$ parametreler ${ displaystyle { boldsymbol { beta}} = ( beta _ {1}, beta _ {2}, dots, beta _ {n}),}$ ile ${ displaystyle m geq n.}$ Vektörü bulmak isteniyor ${ displaystyle { boldsymbol { beta}}}$ eğrinin verilen veriye en küçük kareler anlamında en iyi uyması, yani kareler toplamı gibi parametrelerin

${ displaystyle S = toplam _ {i = 1} ^ {m} r_ {i} ^ {2}}$

küçültüldüğünde kalıntılar (örneklem içi tahmin hataları) r_ben tarafından verilir

${ displaystyle r_ {i} = y_ {i} -f (x_ {i}, { boldsymbol { beta}})}$

için ${ displaystyle i = 1,2, noktalar, m.}$

minimum değeri S ne zaman oluşur gradyan sıfırdır. Model içerdiğinden n parametreler var n gradyan denklemleri:

${ displaystyle { frac { kısmi S} { kısmi beta _ {j}}} = 2 toplamı _ {i} r_ {i} { frac { kısmi r_ {i}} { kısmi beta _ {j}}} = 0 quad (j = 1, ldots, n).}$

Doğrusal olmayan bir sistemde, türevler ${ displaystyle { frac { kısmi r_ {i}} { kısmi beta _ {j}}}}$ hem bağımsız değişkenin hem de parametrelerin fonksiyonlarıdır, bu nedenle genel olarak bu gradyan denklemlerinin kapalı bir çözümü yoktur. Bunun yerine, parametreler için başlangıç ​​değerleri seçilmelidir. Ardından, parametreler yinelemeli olarak rafine edilir, yani değerler ardışık yaklaşımla elde edilir,

${ displaystyle beta _ {j} yaklaşık beta _ {j} ^ {k + 1} = beta _ {j} ^ {k} + Delta beta _ {j}. ,}$

Buraya, k bir yineleme numarası ve artışların vektörüdür, ${ displaystyle Delta { boldsymbol { beta}} ,}$ kaydırma vektörü olarak bilinir. Her yinelemede model, birinci dereceden bir yaklaşıma göre doğrusallaştırılır. Taylor polinomu hakkında genişleme ${ displaystyle { boldsymbol { beta}} ^ {k} !}$

${ displaystyle f (x_ {i}, { boldsymbol { beta}}) yaklaşık f (x_ {i}, { boldsymbol { beta}} ^ {k}) + sum _ {j} { frac { partial f (x_ {i}, { boldsymbol { beta}} ^ {k})} { partial beta _ {j}}} left ( beta _ {j} - beta _ { j} ^ {k} right) = f (x_ {i}, { boldsymbol { beta}} ^ {k}) + sum _ {j} J_ {ij} , Delta beta _ {j }.}$

Jacobian, J, sabitlerin bir fonksiyonudur, bağımsız değişken ve parametreler, dolayısıyla bir yinelemeden diğerine değişir. Dolayısıyla, doğrusallaştırılmış model açısından, ${ displaystyle { frac { kısmi r_ {i}} { kısmi beta _ {j}}} = - J_ {ij}}$ ve artıklar tarafından verilir

${ displaystyle Delta y_ {i} = y_ {i} -f (x_ {i}, { boldsymbol { beta}} ^ {k}).}$

${ displaystyle r_ {i} = y_ {i} -f (x_ {i}, { boldsymbol { beta}}) = left (y_ {i} -f (x_ {i}, { kalın sembol { beta}} ^ {k}) right) + left (f (x_ {i}, { boldsymbol { beta}} ^ {k}) - f (x_ {i}, { boldsymbol { beta} }) sağ) yaklaşık Delta y_ {i} - toplam _ {s = 1} ^ {n} J_ {is} Delta beta _ {s}.}$

Bu ifadeleri gradyan denklemlerine koyarsak,

${ displaystyle -2 sum _ {i = 1} ^ {m} J_ {ij} left ( Delta y_ {i} - sum _ {s = 1} ^ {n} J_ {is} Delta beta _ {s} sağ) = 0,}$

yeniden düzenlemede n eşzamanlı doğrusal denklemler, normal denklemler

${ displaystyle sum _ {i = 1} ^ {m} sum _ {s = 1} ^ {n} J_ {ij} J_ {is} Delta beta _ {s} = sum _ {i = 1} ^ {m} J_ {ij} Delta y_ {i} qquad (j = 1, dots, n). ,}$

Normal denklemler matris gösteriminde şu şekilde yazılır:

${ displaystyle mathbf { sol (J ^ {T} J sağ) Delta { boldsymbol { beta}} = J ^ {T} Delta y}.}$

Gözlemler eşit derecede güvenilir olmadığında, ağırlıklı bir kareler toplamı en aza indirilebilir,

${ displaystyle S = toplam _ {i = 1} ^ {m} W_ {ii} r_ {i} ^ {2}.}$

Her bir öğe diyagonal ağırlık matrisi W ideal olarak hatanın karşılığına eşit olmalıdır varyans ölçümün.^[1] Normal denklemler o zaman

${ displaystyle mathbf { sol (J ^ {T} WJ sağ) Delta { boldsymbol { beta}} = J ^ {T} W Delta y}.}$

Bu denklemler temelini oluşturur Gauss – Newton algoritması doğrusal olmayan en küçük kareler problemi için.

Geometrik yorumlama

Doğrusal en küçük karelerde amaç fonksiyonu, S, bir ikinci dereceden fonksiyon parametrelerin.

${ displaystyle S = toplamı _ {i} W_ {ii} sol (y_ {i} - toplamı _ {j} X_ {ij} beta _ {j} sağ) ^ {2}}$

Sadece bir parametre olduğunda, grafik S bu parametreye göre bir parabol. İki veya daha fazla parametre ile S herhangi bir çift parametreye göre eş merkezli olacaktır elipsler (normal denklem matrisinin ${ displaystyle mathbf {X ^ {T} WX}}$ dır-dir pozitif tanımlı ). Minimum parametre değerleri, elipslerin ortasında bulunur. Genel amaç fonksiyonunun geometrisi paraboloit eliptik olarak tanımlanabilir. NLLSQ'da amaç fonksiyonu, yalnızca minimum değerine yakın bir bölgedeki parametrelere göre ikinci dereceden oluşur; burada kesilmiş Taylor serileri modele iyi bir yaklaşımdır.

${ displaystyle S yaklaşık toplam _ {i} W_ {ii} sol (y_ {i} - toplamı _ {j} J_ {ij} beta _ {j} sağ) ^ {2}}$

Parametre değerleri optimum değerlerinden ne kadar farklı olursa, konturlar o kadar eliptik şekilden sapar. Bunun bir sonucu, ilk parametre tahminlerinin (bilinmeyen!) Optimal değerlerine mümkün olduğu kadar yakın olması gerektiğidir. Ayrıca, Gauss – Newton algoritmasının yalnızca amaç fonksiyonu parametrelerde yaklaşık olarak ikinci dereceden olduğu zaman yakınsak olduğu için ıraksamanın nasıl ortaya çıkabileceğini de açıklar.

Hesaplama

İlk parametre tahminleri

Bazı kötü koşullandırma ve sapma sorunları, optimum değerlere yakın olan ilk parametre tahminleri bularak düzeltilebilir. Bunu yapmanın iyi bir yolu şudur: bilgisayar simülasyonu. Hem gözlemlenen hem de hesaplanan veriler bir ekranda görüntülenir. Modelin parametreleri, gözlemlenen ve hesaplanan veriler arasındaki uyum makul derecede iyi olana kadar elle ayarlanır. Bu öznel bir yargı olsa da, doğrusal olmayan iyileştirme için iyi bir başlangıç ​​noktası bulmak yeterlidir. İlk parametre tahminleri, dönüşümler veya doğrusallaştırmalar kullanılarak oluşturulabilir. Daha da iyisi Stokastik Huni Algoritması gibi evrimsel algoritmalar, optimum parametre tahminlerini çevreleyen dışbükey çekim havzasına yol açabilir. Randomizasyon ve elitizm kullanan hibrit algoritmaların, ardından Newton yöntemlerinin yararlı ve hesaplama açısından verimli olduğu gösterilmiştir.

Çözüm

Tarif edilenler arasında herhangi bir yöntem altında bir çözüm bulmak için uygulanabilir.

Yakınsama kriterleri

Yakınsama için sağduyu kriteri, kareler toplamının bir yinelemeden diğerine azalmamasıdır. Bununla birlikte, bu kriterin çeşitli nedenlerle pratikte uygulanması genellikle zordur. Yararlı bir yakınsama kriteri

${ displaystyle sol | { frac {S ^ {k} -S ^ {k + 1}} {S ^ {k}}} sağ | <0.0001.}$

0.0001 değeri biraz keyfidir ve değiştirilmesi gerekebilir. Özellikle deneysel hataların büyük olduğu durumlarda artırılması gerekebilir. Alternatif bir kriter

${ displaystyle sol | { frac { Delta beta _ {j}} { beta _ {j}}} sağ | <0.001, qquad j = 1, noktalar, n.}$

Yine, sayısal değer biraz keyfidir; 0,001, her parametrenin% 0,1 hassasiyetle düzeltilmesi gerektiğini belirtmeye eşdeğerdir. Bu, parametrelerdeki en büyük bağıl standart sapmadan daha az olduğunda mantıklıdır.

Jacobian'ın sayısal yaklaşımla hesaplanması

Jacobian unsurları için analitik ifadeler türetmenin çok zor veya hatta imkansız olduğu modeller vardır. Ardından, sayısal yaklaşım

${ displaystyle { frac { kısmi f (x_ {i}, { boldsymbol { beta}})} { kısmi beta _ {j}}} yaklaşık { frac { delta f (x_ {i }, { boldsymbol { beta}})} { delta beta _ {j}}}}$

hesaplanarak elde edilir ${ displaystyle f (x_ {i}, { boldsymbol { beta}}) ,}$ için ${ displaystyle beta _ {j} ,}$ ve ${ displaystyle beta _ {j} + delta beta _ {j} ,}$. Artış,${ displaystyle delta beta _ {j} ,}$, boyut, sayısal türev çok büyük olduğu için yaklaşım hatasına maruz kalmayacak şekilde seçilmelidir veya yuvarlama çok küçük olmakla hata.

Parametre hataları, güven sınırları, kalıntılar vb.

Bazı bilgiler verilir ilgili bölüm üzerinde doğrusal en küçük kareler sayfa.

Birden çok minimum

Birden çok minimum, bazıları şunlardır:

• Bir parametre iki veya daha fazlasına yükseltilir. Örneğin, verileri bir Lorentziyen eğri

${ displaystyle f (x_ {i}, { boldsymbol { beta}}) = { frac { alpha} {1+ sol ({ frac { gamma -x_ {i}} { beta}} sağ) ^ {2}}}}$

nerede ${ displaystyle alpha}$ yükseklik ${ displaystyle gamma}$ pozisyon ve ${ displaystyle beta}$ yarı yükseklikte yarı genişliktir, yarı genişlik için iki çözüm vardır, ${ displaystyle { hat { beta}}}$ ve ${ displaystyle - { şapka { beta}}}$ amaç işlevi için aynı optimal değeri verir.

• Modelin değeri değiştirilmeden iki parametre değiştirilebilir. Basit bir örnek, modelin iki parametrenin ürününü içermesidir, çünkü ${ displaystyle alpha beta}$ ile aynı değeri verecek ${ displaystyle beta alpha}$.
• Bir parametre bir trigonometrik fonksiyondadır, örneğin ${ displaystyle sin beta ,}$aynı değerlere sahip olan ${ displaystyle { hat { beta}} + 2n pi}$. Görmek Levenberg – Marquardt algoritması Örneğin.

Tüm çoklu minimumlar, amaç fonksiyonunun eşit değerlerine sahip değildir. Yerel minimum olarak da bilinen yanlış minimumlar, hedef fonksiyon değeri sözde küresel minimum değerinden büyük olduğunda ortaya çıkar. Bulunan minimumun genel minimum olduğundan emin olmak için, iyileştirme büyük ölçüde farklı olan parametrelerin başlangıç ​​değerleri ile başlatılmalıdır. Başlangıç ​​noktasına bakılmaksızın aynı minimum bulunduğunda, muhtemelen küresel minimum olacaktır.

Çoklu minimumlar olduğunda önemli bir sonuç vardır: amaç fonksiyonunun iki minimum arasında bir yerde maksimum bir değeri olacaktır. Gradyan sıfır olduğundan ve benzersiz bir iniş yönü olmadığından, normal denklemler matrisi objektif fonksiyonda maksimumda pozitif tanımlı değildir. Maksimuma yakın bir noktadan (bir dizi parametre değeri) yapılan iyileştirme kötü koşullandırılacaktır ve bir başlangıç ​​noktası olarak bundan kaçınılmalıdır. Örneğin, bir Lorentzian'ı takarken, bandın yarı genişliği sıfır olduğunda normal denklem matrisi pozitif tanımlı değildir.^[2]

Doğrusal bir modele dönüşüm

Doğrusal olmayan bir model bazen doğrusal bir modele dönüştürülebilir. Örneğin, model basit bir üstel fonksiyon olduğunda,

${ displaystyle f (x_ {i}, { boldsymbol { beta}}) = alpha e ^ { beta x_ {i}}}$

logaritma alınarak doğrusal bir modele dönüştürülebilir.

${ displaystyle log f (x_ {i}, { boldsymbol { beta}}) = log alpha + beta x_ {i}}$

Grafiksel olarak bu, bir yarı günlük arsa. Karelerin toplamı,

${ displaystyle S = sum _ {i} ( log y_ {i} - log alpha - beta x_ {i}) ^ {2}. !}$

Hatalar çarpımsal olmadığı sürece bu prosedürden kaçınılmalıdır. günlük normal dağıtılmış çünkü yanıltıcı sonuçlar verebilir. Bu, deneysel hatalar ne olursa olsun y olabilir, hatalar günlük y farklıdır. Bu nedenle, dönüştürülmüş kareler toplamı en aza indirildiğinde, hem parametre değerleri hem de hesaplanan standart sapmaları için farklı sonuçlar elde edilecektir. Ancak, günlük olarak normal dağıtılan çarpımsal hatalarda bu prosedür tarafsız ve tutarlı parametre tahminleri verir.

Başka bir örnek, Michaelis-Menten kinetiği, iki parametreyi belirlemek için kullanılır ${ displaystyle V _ { max}}$ ve ${ displaystyle K_ {m}}$:

${ displaystyle v = { frac {V _ { max} [S]} {K_ {m} + [S]}}}$.

Lineweaver – Burk grafiği

${ displaystyle { frac {1} {v}} = { frac {1} {V _ { max}}} + { frac {K_ {m}} {V _ { max} [S]}}}$

nın-nin ${ displaystyle { frac {1} {v}}}$ karşısında ${ displaystyle { frac {1} {[S]}}}$ parametrelerde doğrusaldır ${ displaystyle { frac {1} {V _ { max}}}}$ ve ${ displaystyle { frac {K_ {m}} {V _ { max}}}}$, ancak veri hatalarına karşı çok hassastır ve verileri bağımsız değişkenin belirli bir aralığına sığdırmaya yönelik güçlü bir önyargı ${ displaystyle [S]}$.

Algoritmalar

Gauss – Newton yöntemi

Normal denklemler

${ displaystyle mathbf { sol (J ^ {T} WJ sağ) Delta { boldsymbol { beta}} = sol (J ^ {T} W sağ) Delta y}}$

çözülebilir ${ displaystyle Delta { boldsymbol { beta}}}$ tarafından Cholesky ayrışma, açıklandığı gibi doğrusal en küçük kareler. Parametreler yinelemeli olarak güncellenir

${ displaystyle { boldsymbol { beta}} ^ {k + 1} = { boldsymbol { beta}} ^ {k} + Delta { boldsymbol { beta}}}$

nerede k bir yineleme numarasıdır. Bu yöntem basit modeller için yeterli olsa da, sapma olursa başarısız olacaktır. Bu nedenle, sapmaya karşı koruma şarttır.

Vardiyalı kesme

Sapma meydana gelirse, basit bir çare, kaydırma vektörünün uzunluğunu azaltmaktır, ${ displaystyle mathbf { Delta beta}}$kesirli f

${ displaystyle { boldsymbol { beta}} ^ {k + 1} = { boldsymbol { beta}} ^ {k} + f Delta { boldsymbol { beta}}.}$

Örneğin, kaydırma vektörünün uzunluğu, amaç fonksiyonunun yeni değeri son iterasyondaki değerinden daha az olana kadar art arda yarıya indirilebilir. Kesir, f tarafından optimize edilebilir satır arama.^[3] Her deneme değeri olarak f amaç fonksiyonunun yeniden hesaplanmasını gerektirir, değerini çok sıkı bir şekilde optimize etmeye değmez.

Kaydırmalı kesme kullanılırken, kaydırma vektörünün yönü değişmeden kalır. Bu, yöntemin uygulanabilirliğini, kaydırma vektörünün yönünün, objektif fonksiyon parametrelerde yaklaşık olarak ikinci dereceden olsaydı olacağından çok farklı olmadığı durumlara sınırlar. ${ displaystyle { boldsymbol { beta}} ^ {k}.}$

Marquardt parametresi

Sapma meydana gelirse ve kaydırma vektörünün yönü, kaydırma-kesme çok etkili olmayacak şekilde "ideal" yönünden o kadar uzaksa, yani kesir, f sapmayı önlemek için gereken çok küçük, yön değiştirilmelidir. Bu, Marquardt parametre.^[4] Bu yöntemde normal denklemler değiştirilir

${ displaystyle mathbf { sol (J ^ {T} WJ + lambda I sağ) Delta { boldsymbol { beta}} = sol (J ^ {T} W sağ) Delta y}}$

nerede ${ displaystyle lambda}$ Marquardt parametresidir ve ben bir kimlik matrisidir. Değerini artırmak ${ displaystyle lambda}$ kaydırma vektörünün hem yönünü hem de uzunluğunu değiştirme etkisine sahiptir. Kaydırma vektörü yönüne doğru döndürülür en dik iniş

ne zaman ${ displaystyle lambda mathbf {I gg {} J ^ {T} WJ}, mathbf { Delta { boldsymbol { beta}}} yaklaşık (1 / lambda) mathbf {J ^ { T} W Delta y}.}$

${ displaystyle mathbf {J ^ {T} W Delta y}}$ en dik iniş vektörüdür. Öyleyse ne zaman ${ displaystyle lambda}$ çok büyük hale geldiğinde, kaydırma vektörü en dik iniş vektörünün küçük bir parçası haline gelir.

Marquardt parametresinin belirlenmesi için çeşitli stratejiler önerilmiştir. Vardiyalı kesmede olduğu gibi, bu parametreyi çok sıkı bir şekilde optimize etmek israftır. Daha ziyade, amaç fonksiyonunun değerinde bir azalmaya neden olan bir değer bulunduğunda, parametrenin bu değeri bir sonraki yinelemeye taşınır, mümkünse azaltılır veya gerekirse arttırılır. Marquardt parametresinin değerini azaltırken, altında onu sıfıra ayarlamanın güvenli olduğu, yani değiştirilmemiş Gauss – Newton yöntemiyle devam etmenin güvenli olduğu bir kesme değeri vardır. Kesme değeri, Jacobian'ın en küçük tekil değerine eşit olarak ayarlanabilir.^[5] Bu değer için bir sınır verilir ${ displaystyle 1 / { mbox {izleme}} mathbf { sol (J ^ {T} WJ sağ) ^ {- 1}}}$.^[6]

QR ayrıştırması

Kareler toplamındaki minimum, normal denklemlerin oluşturulmasını içermeyen bir yöntemle bulunabilir. Doğrusallaştırılmış model ile artıklar şu şekilde yazılabilir:

${ displaystyle mathbf {r = Delta y-J Delta { boldsymbol { beta}}}.}$

Jacobian, dikey bir ayrışmaya maruz kalır; QR ayrıştırması süreci açıklamaya hizmet edecek.

${ displaystyle mathbf {J = QR}}$

nerede Q bir dikey ${ displaystyle m kere m}$ matris ve R bir ${ displaystyle m kere n}$ matris olan bölümlenmiş Içine ${ displaystyle n kere n}$ blok, ${ displaystyle mathbf {R} _ {n}}$ve bir ${ displaystyle (m-n) kere n}$ sıfır blok. ${ displaystyle mathbf {R} _ {n}}$ üst üçgendir.

${ displaystyle mathbf {R} = { begin {bmatrix} mathbf {R} _ {n} mathbf {0} end {bmatrix}}}$

Kalan vektör sol ile çarpılır ${ displaystyle mathbf {Q} ^ {T}}$.

${ displaystyle mathbf {Q ^ {T} r = Q ^ {T} Delta yR Delta { boldsymbol { beta}}} = { begin {bmatrix} mathbf { left (Q ^ { T} Delta yR Delta { boldsymbol { beta}} right)} _ {n} mathbf { left (Q ^ {T} Delta y right)} _ {mn} end {bmatrix}}}$

Bunun kareler toplamı üzerinde hiçbir etkisi yoktur. ${ displaystyle S = mathbf {r ^ {T} QQ ^ {T} r = r ^ {T} r}}$ Çünkü Q dır-dir dikey Minimum değeri S üst blok sıfır olduğunda elde edilir. Bu nedenle, kaydırma vektörü çözülerek bulunur

${ displaystyle mathbf {R_ {n} Delta { boldsymbol { beta}} = left (Q ^ {T} Delta y sağ) _ {n}}. ,}$

Bu denklemler şu şekilde kolayca çözülür: R üst üçgendir.

Tekil değer ayrışımı

Ortogonal ayrıştırma yönteminin bir varyantı şunları içerir: tekil değer ayrışımı içinde R diğer dikey dönüşümlerle köşegenleştirilir.

${ displaystyle mathbf {J = U { boldsymbol { Sigma}} V ^ {T}} ,}$

nerede ${ displaystyle mathbf {U}}$ ortogonaldir, ${ displaystyle { boldsymbol { Sigma}}}$ tekil değerlerin köşegen bir matrisidir ve ${ displaystyle mathbf {V}}$ özvektörlerinin ortogonal matrisidir ${ displaystyle mathbf {J ^ {T} J}}$ veya eşdeğer olarak sağ tekil vektörler ${ displaystyle mathbf {J}}$. Bu durumda kaydırma vektörü şu şekilde verilir:

${ displaystyle mathbf {{ boldsymbol { Delta}} beta = V { boldsymbol { Sigma}} ^ {- 1} left (U ^ {T} { boldsymbol { Delta}} y sağ)} _ {n}. ,}$

Bu ifadenin göreli basitliği, doğrusal olmayan en küçük karelerin teorik analizinde çok kullanışlıdır. Tekil değer ayrışımının uygulanması, Lawson ve Hanson'da ayrıntılı olarak tartışılmıştır.^[5]

Gradyan yöntemleri

Bilimsel literatürde doğrusal olmayan veri uydurma problemleri için farklı yöntemlerin kullanıldığı birçok örnek vardır.

• Model fonksiyonunun Taylor serisi açılımına ikinci türevlerin dahil edilmesi. Bu Optimizasyonda Newton yöntemi.

${ displaystyle f (x_ {i}, { boldsymbol { beta}}) = f ^ {k} (x_ {i}, { boldsymbol { beta}}) + sum _ {j} J_ {ij } , Delta beta _ {j} + { frac {1} {2}} sum _ {j} sum _ {k} Delta beta _ {j} , Delta beta _ { k} , H_ {jk _ {(i)}}, H_ {jk _ {(i)}} = { frac { kısmi ^ {2} f (x_ {i}, { boldsymbol { beta}} )} { kısmi beta _ {j} , kısmi beta _ {k}}}.}$

Matris H olarak bilinir Hessen matrisi. Bu model, minimuma yakın daha iyi yakınsama özelliklerine sahip olmasına rağmen, parametreler optimum değerlerinden uzak olduğunda çok daha kötüdür. Hessian'ın hesaplanması, algoritmanın karmaşıklığına katkıda bulunur. Bu yöntem genel kullanımda değildir.

• Davidon – Fletcher – Powell yöntemi. Sözde Newton yönteminin bir biçimi olan bu yöntem, yukarıdakine benzer, ancak ikinci türevler için analitik ifadeler kullanmak zorunda kalmamak için, ardışık yaklaşımla Hessian'ı hesaplar.
• En dik iniş. Kaydırma vektörü en dik iniş yönünü gösterdiğinde karelerin toplamında bir azalma garanti edilse de, bu yöntem genellikle kötü performans gösterir. Parametre değerleri optimumdan uzak olduğunda, amaç fonksiyonunun dış hatlarına normal (dik) olan en dik iniş vektörünün yönü Gauss – Newton vektörünün yönünden çok farklıdır. Bu, özellikle en dik iniş yönü boyunca minimum, en dik iniş vektörünün uzunluğunun küçük bir kısmına karşılık gelebileceğinden, sapmayı çok daha olası hale getirir. Objektif fonksiyonun dış hatları çok eksantrik olduğunda, parametreler arasında yüksek korelasyon olması nedeniyle, en dik iniş yinelemeleri, kaydırmalı kesme ile minimuma doğru yavaş, zikzak bir yörünge izler.
• Eşlenik gradyan araması. Bu, ikinci dereceden problemlerde kullanıldığında bile sonlu hassasiyetli dijital bilgisayarlarda başarısız olmasına rağmen, iyi teorik yakınsama özelliklerine sahip gelişmiş bir en dik iniş tabanlı yöntemdir.^[7]

Doğrudan arama yöntemleri

Doğrudan arama yöntemleri, çeşitli parametre değerlerinde amaç fonksiyonunun değerlendirilmesine bağlıdır ve türevleri hiç kullanmaz. Gauss – Newton yönteminde ve gradyan yöntemlerinde sayısal türevlerin kullanımına alternatifler sunarlar.

• Alternatif değişken arama.^[3] Her parametre, sırayla sabit veya değişken bir artış eklenerek ve karelerin toplamında bir azalmaya neden olan değer korunarak değiştirilir. Yöntem, parametreler yüksek oranda ilişkilendirilmediğinde basit ve etkilidir. Çok zayıf yakınsama özelliklerine sahiptir, ancak ilk parametre tahminlerini bulmak için yararlı olabilir.
• Nelder – Mead (simpleks) araması. Bir basit bu bağlamda bir politop nın-nin n İçinde + 1 köşe n boyutlar; düzlemde bir üçgen, üç boyutlu uzayda bir tetrahedron vb. Her köşe noktası, belirli bir parametre kümesi için amaç işlevinin bir değerine karşılık gelir. Simpleksin şekli ve boyutu, en yüksek tepe noktasındaki amaç fonksiyonunun değeri her zaman azalacak şekilde parametreler değiştirilerek ayarlanır. Karelerin toplamı başlangıçta hızlı bir şekilde azalabilse de, M.J.D. Powell'ın bir örneğine göre yarı-konveks problemlerde durağan olmayan bir noktaya yakınsayabilir.

Bunların ve diğer yöntemlerin daha ayrıntılı açıklamaları şurada mevcuttur: Sayısal Tarifler çeşitli dillerde bilgisayar kodu ile birlikte.

Ayrıca bakınız

• En küçük kareler vektör makinesini destekler
• Eğri uydurma
• Gri kutu modeli
• Doğrusal olmayan programlama
• Doğrusal olmayan regresyon
• Optimizasyon (matematik)
• Levenberg – Marquardt algoritması

Referanslar

daha fazla okuma

• Kelley, C.T. (1999). Optimizasyon için Yinelemeli Yöntemler (PDF). Uygulamalı Matematikte SIAM Sınırları. hayır 18. ISBN  0-89871-433-8.
• Strutz, T. (2016). Veri Uydurma ve Belirsizlik: Ağırlıklı En Küçük Kareler ve Ötesine Pratik Bir Giriş (2. baskı). Springer Vieweg. ISBN  978-3-658-11455-8.