Levenberg – Marquardt algoritması - Levenberg–Marquardt algorithm

İçinde matematik ve bilgi işlem, Levenberg – Marquardt algoritması (LMA ya da sadece LM) olarak da bilinir sönümlü en küçük kareler (DLS) yöntemi, çözmek için kullanılır doğrusal olmayan en küçük kareler sorunlar. Bu minimizasyon sorunları özellikle en küçük kareler eğri uydurma.

LMA, genel eğri uydurma problemlerini çözmek için birçok yazılım uygulamasında kullanılır. Bununla birlikte, birçok uydurma algoritmasında olduğu gibi, LMA yalnızca bir yerel minimum, ki bu zorunlu olarak küresel minimum. LMA, Gauss – Newton algoritması (GNA) ve yöntemi dereceli alçalma. LMA daha fazlasıdır güçlü GNA'dan daha iyidir, bu da çoğu durumda nihai minimumdan çok uzakta başlasa bile bir çözüm bulduğu anlamına gelir. İyi davranan işlevler ve makul başlangıç parametreleri için, LMA, GNA'dan biraz daha yavaş olma eğilimindedir. LMA ayrıca şu şekilde de görüntülenebilir: Gauss – Newton kullanarak güven bölgesi yaklaşmak.

Algoritma ilk olarak 1944'te Kenneth Levenberg,^[1] çalışırken Frankford Ordu Cephaneliği. 1963 yılında tarafından yeniden keşfedilmiştir. Donald Marquardt,^[2] kim çalıştı istatistikçi -de DuPont ve bağımsız olarak Girard tarafından,^[3] Wynne^[4] ve Morrison.^[5]

Sorun

Levenberg-Marquardt algoritmasının birincil uygulaması, en küçük kareler eğri uydurma problemidir: bir dizi verildiğinde ${ displaystyle m}$ ampirik çiftler ${ displaystyle sol (x_ {i}, y_ {i} sağ)}$ bağımsız ve bağımlı değişkenlerin parametrelerini bulun ${ displaystyle { boldsymbol { beta}}}$ model eğrisinin ${ displaystyle f sol (x, { boldsymbol { beta}} sağ)}$ böylece sapmaların karelerinin toplamı ${ displaystyle S sol ({ boldsymbol { beta}} sağ)}$ küçültüldü:

{ displaystyle { hat { boldsymbol { beta}}} in operatorname {argmin} limits _ { boldsymbol { beta}} S sol ({ boldsymbol { beta}} sağ) equiv operatorname {argmin} limits _ { boldsymbol { beta}} sum _ {i = 1} ^ {m} left [y_ {i} -f left (x_ {i}, { boldsymbol { beta}} sağ) sağ] ^ {2},}

boş olmadığı varsayılır.

Çözüm

Diğer sayısal küçültme algoritmaları gibi, Levenberg – Marquardt algoritması da bir yinelemeli prosedür. Bir küçültmeyi başlatmak için, kullanıcının parametre vektörü için bir ilk tahmin sağlaması gerekir. ${ displaystyle { boldsymbol { beta}}}$ . Yalnızca bir minimumun olduğu durumlarda, bilgisiz standart bir tahmin gibi ${ displaystyle { boldsymbol { beta}} ^ { text {T}} = { begin {pmatrix} 1, 1, dots, 1 end {pmatrix}}}$ iyi çalışacak; olan durumlarda çoklu minimum algoritma, yalnızca ilk tahmin zaten nihai çözüme biraz yakınsa global minimuma yakınsar.

Her bir yineleme adımında, parametre vektörü ${ displaystyle { boldsymbol { beta}}}$ yeni bir tahminle değiştirilir ${ displaystyle { boldsymbol { beta}} + { boldsymbol { delta}}}$ . Karar vermek ${ displaystyle { boldsymbol { delta}}}$ , işlev ${ displaystyle f sol (x_ {i}, { boldsymbol { beta}} + { boldsymbol { delta}} sağ)}$ yaklaşık olarak doğrusallaştırma:

{ displaystyle f sol (x_ {i}, { boldsymbol { beta}} + { boldsymbol { delta}} sağ) yaklaşık f sol (x_ {i}, { boldsymbol { beta} } sağ) + mathbf {J} _ {i} { boldsymbol { delta}},}

nerede

{ displaystyle mathbf {J} _ {i} = { frac { kısmi f sol (x_ {i}, { boldsymbol { beta}} sağ)} { kısmi { kalın sembol { beta} }}}}

... gradyan (bu durumda satır vektörü) / ${ displaystyle f}$ göre ${ displaystyle { boldsymbol { beta}}}$ .

Toplam ${ displaystyle S sol ({ boldsymbol { beta}} sağ)}$ kare sapmaların minimum değeri sıfırdır gradyan göre ${ displaystyle { boldsymbol { beta}}}$ . Yukarıdaki birinci dereceden yaklaşım ${ displaystyle f sol (x_ {i}, { boldsymbol { beta}} + { boldsymbol { delta}} sağ)}$ verir

{ displaystyle S sol ({ boldsymbol { beta}} + { boldsymbol { delta}} sağ) yaklaşık toplam _ {i = 1} ^ {m} sol [y_ {i} -f left (x_ {i}, { boldsymbol { beta}} right) - mathbf {J} _ {i} { boldsymbol { delta}} sağ] ^ {2},}

veya vektör gösteriminde,

{ displaystyle { begin {align} S sol ({ boldsymbol { beta}} + { boldsymbol { delta}} sağ) & yaklaşık sol | mathbf {y} - mathbf {f } left ({ boldsymbol { beta}} right) - mathbf {J} { boldsymbol { delta}} right | ^ {2} & = left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) - mathbf {J} { boldsymbol { delta}} right] ^ { mathrm {T}} left [ mathbf { y} - mathbf {f} left ({ boldsymbol { beta}} right) - mathbf {J} { boldsymbol { delta}} right] & = left [ mathbf {y } - mathbf {f} left ({ boldsymbol { beta}} right) right] ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right] - left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) right] ^ { mathrm { T}} mathbf {J} { boldsymbol { delta}} - left ( mathbf {J} { boldsymbol { delta}} right) ^ { mathrm {T}} left [ mathbf { y} - mathbf {f} left ({ boldsymbol { beta}} right) right] + { boldsymbol { delta}} ^ { mathrm {T}} mathbf {J} ^ { mathrm {T}} mathbf {J} { boldsymbol { delta}} & = left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} right) sağ] ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ kalın sembol { beta}} sağ) sağ] -2 sol [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} sağ) sağ] ^ { mathrm { T}} mathbf {J} { boldsymbol { delta}} + { boldsymbol { delta}} ^ { mathrm {T}} mathbf {J} ^ { mathrm {T}} mathbf {J } { boldsymbol { delta}}. end {hizalı}}}

Türevini almak ${ displaystyle S sol ({ boldsymbol { beta}} + { boldsymbol { delta}} sağ)}$ göre ${ displaystyle { boldsymbol { delta}}}$ ve sonucu sıfıra ayarlamak

{ displaystyle sol ( mathbf {J} ^ { mathrm {T}} mathbf {J} sağ) { boldsymbol { delta}} = mathbf {J} ^ { mathrm {T}} sol [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} sağ) sağ],}

nerede ${ displaystyle mathbf {J}}$ ... Jacobian matrisi, kimin ${ displaystyle i}$ -th satır eşittir ${ displaystyle mathbf {J} _ {i}}$ , ve nerede ${ displaystyle mathbf {f} sol ({ boldsymbol { beta}} sağ)}$ ve ${ displaystyle mathbf {y}}$ vektörler ${ displaystyle i}$ -nci bileşen ${ displaystyle f sol (x_ {i}, { boldsymbol { beta}} sağ)}$ ve ${ displaystyle y_ {i}}$ sırasıyla. İçin elde edilen yukarıdaki ifade ${ displaystyle { boldsymbol { beta}}}$ Gauss-Newton yöntemi kapsamında gelir. Yukarıda tanımlandığı gibi Jacobian matrisi (genel olarak) bir kare matris değil, dikdörtgen boyutunda bir matristir. ${ displaystyle m kere n}$ , nerede ${ displaystyle n}$ parametrelerin sayısıdır (vektörün boyutu ${ displaystyle { boldsymbol { beta}}}$ ). Matris çarpımı ${ displaystyle sol ( mathbf {J} ^ { mathrm {T}} mathbf {J} sağ)}$ gerekli olanı verir ${ displaystyle n kere n}$ kare matris ve sağ taraftaki matris-vektör çarpımı bir boyut vektörü verir ${ displaystyle n}$ . Sonuç bir dizi ${ displaystyle n}$ çözülebilen doğrusal denklemler ${ displaystyle { boldsymbol { delta}}}$ .

Levenberg'in katkısı, bu denklemi "sönümlü versiyon" ile değiştirmektir:

{ displaystyle sol ( mathbf {J} ^ { mathrm {T}} mathbf {J} + lambda mathbf {I} sağ) { boldsymbol { delta}} = mathbf {J} ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ boldsymbol { beta}} sağ) sağ]}

nerede ${ displaystyle mathbf {I}}$ artış olarak veren kimlik matrisidir ${ displaystyle { boldsymbol { delta}}}$ tahmini parametre vektörüne ${ displaystyle { boldsymbol { beta}}}$ .

(Negatif olmayan) sönümleme faktörü ${ displaystyle lambda}$ her yinelemede ayarlanır. Azaltılması ise ${ displaystyle S}$ hızlıdır, daha küçük bir değer kullanılabilir ve algoritmayı Gauss – Newton algoritması bir yineleme, artıkta yetersiz azalma sağlarsa, ${ displaystyle lambda}$ gradyan-iniş yönüne bir adım daha yaklaşarak artırılabilir. Unutmayın ki gradyan nın-nin ${ displaystyle S}$ göre ${ displaystyle { boldsymbol { beta}}}$ eşittir ${ displaystyle -2 sol ( mathbf {J} ^ { mathrm {T}} sol [ mathbf {y} - mathbf {f} sol ({ boldsymbol { beta}} sağ) sağ] doğru) ^ { mathrm {T}}}$ . Bu nedenle, büyük değerler için ${ displaystyle lambda}$ adım yaklaşık olarak degradenin tersi yönde atılacaktır. Hesaplanan adımın uzunluğu ${ displaystyle { boldsymbol { delta}}}$ veya en son parametre vektöründen kareler toplamının azaltılması ${ displaystyle { boldsymbol { beta}} + { boldsymbol { delta}}}$ önceden tanımlanmış sınırların, yineleme duraklarının ve son parametre vektörünün altına düşmesi ${ displaystyle { boldsymbol { beta}}}$ çözüm olarak kabul edilir.

Levenberg'in algoritmasının dezavantajı, sönümleme faktörünün değerinin ${ displaystyle lambda}$ büyük, tersine ${ displaystyle mathbf {J} ^ { text {T}} mathbf {J} + lambda mathbf {I}}$ hiç kullanılmıyor. Fletcher, degradenin her bir bileşenini eğriliğe göre ölçeklendirebileceğimizi ve böylece degradenin daha küçük olduğu yönler boyunca daha büyük hareketin olacağına dair içgörü sağladı. Bu, küçük gradyan yönünde yavaş yakınsamayı önler. Bu nedenle, Fletcher 1971 makalesinde Doğrusal olmayan en küçük kareler için değiştirilmiş bir Marquardt alt yordamı kimlik matrisini değiştirdi ${ displaystyle mathbf {I}}$ köşegen elemanlarından oluşan köşegen matris ile ${ displaystyle mathbf {J} ^ { text {T}} mathbf {J}}$ , böylece çözüm ölçeğini değişmez hale getirir:

{ displaystyle sol [ mathbf {J} ^ { mathrm {T}} mathbf {J} + lambda operatorname {diag} sol ( mathbf {J} ^ { mathrm {T}} mathbf {J} right) right] { boldsymbol { delta}} = mathbf {J} ^ { mathrm {T}} left [ mathbf {y} - mathbf {f} left ({ kalın sembol { beta}} sağ) sağ].}

Benzer bir sönümleme faktörü, Tikhonov düzenlenmesi doğrusal çözmek için kullanılan kötü niyetli sorunlar yanı sıra sırt gerilemesi, bir tahmin teknik İstatistik.

Sönümleme parametresi seçimi

Sönümleme parametresi için en iyi seçim için az çok sezgisel argümanlar ileri sürülmüştür. ${ displaystyle lambda}$ . Bu seçimlerden bazılarının algoritmanın yerel yakınsamasını neden garanti ettiğini gösteren teorik argümanlar mevcuttur; ancak, bu seçimler, algoritmanın küresel yakınsamasını aşağıdaki istenmeyen özelliklerden muzdarip hale getirebilir: en dik iniş özellikle optimuma yakın çok yavaş yakınsama.

Herhangi bir seçimin mutlak değerleri, ilk sorunun ne kadar iyi ölçeklendiğine bağlıdır. Marquardt bir değerle başlamayı önerdi ${ displaystyle lambda _ {0}}$ ve bir faktör ${ displaystyle nu> 1}$ . Başlangıçta ayar ${ displaystyle lambda = lambda _ {0}}$ ve kalan karelerin toplamını hesaplamak ${ displaystyle S sol ({ boldsymbol { beta}} sağ)}$ başlangıç noktasından bir adım sonra sönümleme faktörü ile ${ displaystyle lambda = lambda _ {0}}$ ve ikincisi ile ${ displaystyle lambda _ {0} / nu}$ . Bunların her ikisi de başlangıç noktasından daha kötüyse, sönümleme ardışık çarpma ile arttırılır. ${ displaystyle nu}$ yeni bir sönümleme faktörü ile daha iyi bir nokta bulunana kadar ${ displaystyle lambda _ {0} nu ^ {k}}$ bazı ${ displaystyle k}$ .

Sönümleme faktörünün kullanılması durumunda ${ displaystyle lambda / nu}$ karede bir azalma ile sonuçlanır, bu durumda bu, yeni değer olarak alınır. ${ displaystyle lambda}$ (ve bu sönümleme faktörü ile elde edilen yeni optimum konum alınır) ve süreç devam eder; kullanılıyorsa ${ displaystyle lambda / nu}$ daha kötü bir kalıntıyla sonuçlandı, ancak ${ displaystyle lambda}$ daha iyi bir kalıntıyla sonuçlandı, o zaman ${ displaystyle lambda}$ değişmeden bırakılır ve yeni optimum, ile elde edilen değer olarak alınır. ${ displaystyle lambda}$ sönümleme faktörü olarak.

Sönümleme parametresinin kontrolü için etkili bir strateji olarak adlandırılan gecikmiş haz, parametrenin her yokuş yukarı adım için küçük bir miktar artırılması ve her yokuş aşağı adım için büyük miktarda azaltılmasıdır. Bu stratejinin arkasındaki fikir, optimizasyonun başlangıcında yokuş aşağı çok hızlı hareket etmekten kaçınmak, bu nedenle gelecekteki yinelemelerde mevcut adımları kısıtlamak ve dolayısıyla yakınsamayı yavaşlatmaktır.^[6] Çoğu durumda 2 kat artış ve 3 kat azalmanın etkili olduğu gösterilmiştir, büyük problemler için ise 1,5 kat artış ve faktör azalması ile daha uç değerler daha iyi çalışabilir. arasında 5.^[7]

Jeodezik ivme

Levenberg – Marquardt adımını hız olarak yorumlarken ${ displaystyle { boldsymbol {v}} _ {k}}$ boyunca jeodezik parametre uzayında yol, ivmeyi açıklayan ikinci dereceden bir terim ekleyerek yöntemi geliştirmek mümkündür. ${ displaystyle { boldsymbol {a}} _ {k}}$ jeodezik boyunca

{ displaystyle { boldsymbol {v}} _ {k} + { frac {1} {2}} { boldsymbol {a}} _ {k}}

nerede ${ displaystyle { boldsymbol {a}} _ {k}}$ çözümü

{ displaystyle { boldsymbol {J}} _ {k} { boldsymbol {a}} _ {k} = - f_ {vv}.}

Bu jeodezik ivme terimi yalnızca Yönlü türev ${ displaystyle f_ {vv} = toplam _ { mu nu} v _ { mu} v _ { nu} kısmi _ { mu} kısmi _ { nu} f ({ kalın sembol {x}} )}$ hızın yönü boyunca ${ displaystyle { boldsymbol {v}}}$ , tam ikinci dereceden türev matrisinin hesaplanmasını gerektirmez, hesaplama maliyeti açısından sadece küçük bir ek yük gerektirir.^[8] İkinci dereceden türev oldukça karmaşık bir ifade olabileceğinden, onu bir ile değiştirmek uygun olabilir. Sonlu fark yaklaşım

{ displaystyle { begin {align} f_ {vv} ^ {i} & yaklaşık { frac {f_ {i} ({ boldsymbol {x}} + h { boldsymbol { delta}}) - 2f_ { i} ({ boldsymbol {x}}) + f_ {i} ({ boldsymbol {x}} - h { boldsymbol { delta}})} {h ^ {2}}} & = { frac {2} {h}} left ({ frac {f_ {i} ({ boldsymbol {x}} + h { boldsymbol { delta}}) - f_ {i} ({ boldsymbol {x} })} {h}} - { boldsymbol {J}} _ {i} { boldsymbol { delta}} right) end {hizalı}}}

nerede ${ displaystyle f ({ boldsymbol {x}})}$ ve ${ displaystyle { boldsymbol {J}}}$ algoritma tarafından zaten hesaplanmıştır, bu nedenle hesaplamak için yalnızca bir ek fonksiyon değerlendirmesi gerektirir ${ displaystyle f ({ kalın sembol {x}} + h { kalın sembol { delta}})}$ . Sonlu fark adımının seçimi ${ displaystyle h}$ algoritmanın kararlılığını etkileyebilir ve yaklaşık 0,1'lik bir değer genel olarak mantıklıdır.^[7]

İvme, hıza zıt yönü gösterebileceğinden, sönümlemenin çok küçük olması durumunda yöntemin durmasını önlemek için, bir adımı kabul etmek için ivmeye ek bir kriter eklenir.

{ displaystyle { frac {2 sol | { boldsymbol {a}} _ {k} sağ |} { sol | { boldsymbol {v}} _ {k} sağ |}} leq alpha}

nerede ${ displaystyle alpha}$ genellikle 1'den küçük bir değere sabitlenir, daha zor problemler için daha küçük değerlere sahiptir.^[7]

Bir jeodezik hızlandırma teriminin eklenmesi, yakınsama hızında önemli bir artışa izin verebilir ve özellikle algoritma, amaç fonksiyonunun peyzajındaki dar kanyonlarda hareket ederken, izin verilen adımların daha küçük ve ikinci dereceden dolayı daha yüksek doğrulukta olduğu durumlarda yararlıdır. terim önemli gelişmeler sağlar.^[7]

Misal

Kötü uyum

Daha uygun

En uygun

Bu örnekte işlevi uydurmaya çalışıyoruz ${ Displaystyle y = a çünkü sol (bX sağ) + b sin sol (aX sağ)}$ Levenberg – Marquardt algoritmasını kullanarak GNU Oktav olarak leasqr işlevi. Grafikler, parametreler için giderek daha iyi uyumu gösteriyor ${ displaystyle a = 100}$ , ${ displaystyle b = 102}$ başlangıç eğrisinde kullanılır. Yalnızca son grafikteki parametreler orijinale en yakın seçildiğinde, eğriler tam olarak uyuyor. Bu denklem, Levenberg – Marquardt algoritması için çok hassas başlangıç koşullarına bir örnektir. Bu duyarlılığın bir nedeni, çoklu minimumların varlığıdır - fonksiyon ${ displaystyle çünkü sol ( beta x sağ)}$ parametre değerinde minimuma sahiptir ${ displaystyle { hat { beta}}}$ ve ${ displaystyle { hat { beta}} + 2n pi}$ .

Ayrıca bakınız

Güven bölgesi
Nelder – Mead yöntemi
Doğrusal olmayan denklem sistemlerini çözmek için Levenberg-Marquardt algoritmasının varyantları da kullanılmıştır.^[9]

Referanslar

^ Levenberg, Kenneth (1944). "En Küçük Karelerdeki Bazı Doğrusal Olmayan Sorunların Çözümü İçin Bir Yöntem". Üç Aylık Uygulamalı Matematik. 2 (2): 164–168. doi:10.1090 / qam / 10666.
^ Marquardt, Donald (1963). "Doğrusal Olmayan Parametrelerin En Küçük Kareler Tahmini için Bir Algoritma". SIAM Uygulamalı Matematik Dergisi. 11 (2): 431–441. doi:10.1137/0111030. hdl:10338.dmlcz / 104299.
^ Girard, André (1958). "Alıntı Revue d'optique théorique et enstrümantal". Rev. Opt. 37: 225–241, 397–424.
^ Wynne, C.G. (1959). "Elektronik Dijital Bilgisayarla Lens Tasarımı: I". Proc. Phys. Soc. Lond. 73 (5): 777–787. Bibcode:1959PPS .... 73..777W. doi:10.1088/0370-1328/73/5/310.
^ Morrison, David D. (1960). "Doğrusal olmayan en küçük kareler problemleri ve yakınsama ispatları için yöntemler". Takip Programları ve Yörünge Tespiti Konulu Jet Tahrik Laboratuvarı Semineri Bildirileri: 1–9.
^ Transtrum, Mark K; Machta, Benjamin B; Sethna, James P (2011). "Özensiz modellere uygulamalar ve optimizasyon ile doğrusal olmayan en küçük karelerin geometrisi". Fiziksel İnceleme E. APS. 83 (3): 036701.
^ ^a ^b ^c ^d Transtrum, Mark K; Sethna, James P (2012). "Doğrusal olmayan en küçük karelerin en aza indirilmesi için Levenberg-Marquardt algoritmasında iyileştirmeler". arXiv:1201.5885.
^ "Doğrusal Olmayan En Küçük Kareler Uydurma". GNU Bilimsel Kitaplığı. Arşivlenen orijinal 2020-04-14 tarihinde.
^ Kanzow, Christian; Yamashita, Nobuo; Fukushima, Masao (2004). "Dışbükey kısıtlamalara sahip doğrusal olmayan denklemleri çözmek için güçlü yerel yakınsama özelliklerine sahip Levenberg – Marquardt yöntemleri". Hesaplamalı ve Uygulamalı Matematik Dergisi. 172 (2): 375–397. doi:10.1016 / j.cam.2004.02.013.

daha fazla okuma

Moré, Jorge J .; Sorensen, Daniel C. (1983). "Güven Bölgesi Adımını Hesaplama" (PDF). SIAM J. Sci. Stat. Bilgisayar. 4 (3): 553–572. doi:10.1137/0904038.
Gill, Philip E .; Murray, Walter (1978). "Doğrusal olmayan en küçük kareler probleminin çözümü için algoritmalar". SIAM Sayısal Analiz Dergisi. 15 (5): 977–992. Bibcode:1978 SJNA ... 15..977G. doi:10.1137/0715063.
Pujol Jose (2007). "Doğrusal olmayan ters problemlerin çözümü ve Levenberg-Marquardt yöntemi". Jeofizik. SEG. 72 (4): W1 – W16. Bibcode:2007 Geop ... 72W ... 1P. doi:10.1190/1.2732552.^{[kalıcı ölü bağlantı ]}
Nocedal, Jorge; Wright, Stephen J. (2006). Sayısal Optimizasyon (2. baskı). Springer. ISBN 978-0-387-30303-1.

Dış bağlantılar

Algoritmanın ayrıntılı açıklaması şurada bulunabilir: C, Bölüm 15.5'teki Sayısal Tarifler: Doğrusal olmayan modeller
C. T. Kelley, Optimizasyon için Yinelemeli YöntemlerSIAM Frontiers in Applied Mathematics, sayı 18, 1999, ISBN 0-89871-433-8. Çevrimiçi kopya
SIAM haberlerinde algoritmanın tarihi
Ananth Ranganathan tarafından bir öğretici
K. Madsen, H. B. Nielsen, O. Tingleff, Doğrusal Olmayan En Küçük Kareler Problemleri İçin Yöntemler (doğrusal olmayan en küçük kareler öğreticisi; L-M kodu: analitik Jacobian sekant )
T. Strutz: Veri Uydurma ve Belirsizlik (Ağırlıklı en küçük kareler ve ötesine pratik bir giriş). 2. baskı, Springer Vieweg, 2016, ISBN 978-3-658-11455-8.
H. P. Gavin, Doğrusal olmayan en küçük kareler eğri uydurma problemleri için Levenberg-Marquardt yöntemi (MATLAB uygulama dahil)

[Levenberg-1] Levenberg, Kenneth (1944). "En Küçük Karelerdeki Bazı Doğrusal Olmayan Sorunların Çözümü İçin Bir Yöntem". Üç Aylık Uygulamalı Matematik. 2 (2): 164–168. doi:10.1090 / qam / 10666.

[Marquardt-2] Marquardt, Donald (1963). "Doğrusal Olmayan Parametrelerin En Küçük Kareler Tahmini için Bir Algoritma". SIAM Uygulamalı Matematik Dergisi. 11 (2): 431–441. doi:10.1137/0111030. hdl:10338.dmlcz / 104299.

[Girard-3] Girard, André (1958). "Alıntı Revue d'optique théorique et enstrümantal". Rev. Opt. 37: 225–241, 397–424.

[Wynne-4] Wynne, C.G. (1959). "Elektronik Dijital Bilgisayarla Lens Tasarımı: I". Proc. Phys. Soc. Lond. 73 (5): 777–787. Bibcode:1959PPS .... 73..777W. doi:10.1088/0370-1328/73/5/310.

[Morrison-5] Morrison, David D. (1960). "Doğrusal olmayan en küçük kareler problemleri ve yakınsama ispatları için yöntemler". Takip Programları ve Yörünge Tespiti Konulu Jet Tahrik Laboratuvarı Semineri Bildirileri: 1–9.

[Transtrum2011-6] Transtrum, Mark K; Machta, Benjamin B; Sethna, James P (2011). "Özensiz modellere uygulamalar ve optimizasyon ile doğrusal olmayan en küçük karelerin geometrisi". Fiziksel İnceleme E. APS. 83 (3): 036701.

[Transtrum2012-7] Transtrum, Mark K; Sethna, James P (2012). "Doğrusal olmayan en küçük karelerin en aza indirilmesi için Levenberg-Marquardt algoritmasında iyileştirmeler". arXiv:1201.5885.

[8] "Doğrusal Olmayan En Küçük Kareler Uydurma". GNU Bilimsel Kitaplığı. Arşivlenen orijinal 2020-04-14 tarihinde.

[9] Kanzow, Christian; Yamashita, Nobuo; Fukushima, Masao (2004). "Dışbükey kısıtlamalara sahip doğrusal olmayan denklemleri çözmek için güçlü yerel yakınsama özelliklerine sahip Levenberg – Marquardt yöntemleri". Hesaplamalı ve Uygulamalı Matematik Dergisi. 172 (2): 375–397. doi:10.1016 / j.cam.2004.02.013.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]