Ağırlıklı en küçük kareler - Weighted least squares

Ağırlıklı en küçük kareler (WLS), Ayrıca şöyle bilinir ağırlıklı doğrusal regresyon,^[1]^[2] bir genellemedir Sıradan en küçük kareler ve doğrusal regresyon hataların olduğu kovaryans matrisi farklı olmasına izin verilir kimlik matrisi.WLS ayrıca bir uzmanlık alanıdır. genelleştirilmiş en küçük kareler yukarıdaki matrisin olduğu diyagonal.

Giriş

Özel bir durum genelleştirilmiş en küçük kareler aranan ağırlıklı en küçük kareler tüm çaprazdan çapraz girişler olduğunda oluşur Ω (artıkların korelasyon matrisi) boştur; varyanslar gözlemlerin% 'si (kovaryans matrisi boyunca) hala eşit olmayabilir (farklı varyans ).

Bir modelin bir veri noktasına uyumu, artık, ${ displaystyle r_ {i}}$ , bağımlı değişkenin ölçülen değeri arasındaki fark olarak tanımlanır, ${ displaystyle y_ {i}}$ ve modelin tahmin ettiği değer, ${ displaystyle f (x_ {i}, { boldsymbol { beta}})}$ :

{ displaystyle r_ {i} ({ boldsymbol { beta}}) = y_ {i} -f (x_ {i}, { boldsymbol { beta}}).}

Hatalar ilintisiz ise ve eşit varyansa sahipse, fonksiyonun minimum değeri

{ displaystyle S ({ boldsymbol { beta}}) = sum _ {i} r_ {i} ({ boldsymbol { beta}}) ^ {2}}

,

ne zaman bulunur ${ displaystyle { frac { kısmi S ({ hat { boldsymbol { beta}}})} { kısmi beta _ {j}}} = 0}$ (tanımlayan ${ displaystyle { boldsymbol { şapka { beta}}}}$ ).

Gauss-Markov teoremi bu böyle olduğunda ${ displaystyle { hat { boldsymbol { beta}}}}$ bir en iyi doğrusal yansız tahminci (MAVİ ). Bununla birlikte, ölçümler ilintisizse ancak farklı belirsizliklere sahipse, değiştirilmiş bir yaklaşım benimsenebilir. Aitken Kalanların ağırlıklı bir toplamı en aza indirildiğinde, ${ displaystyle { hat { boldsymbol { beta}}}}$ ... MAVİ her ağırlık, ölçüm varyansının tersine eşitse

{ displaystyle S = sum _ {i = 1} ^ {n} W_ {ii} {r_ {i}} ^ {2}, qquad W_ {ii} = { frac {1} {{ sigma _ {i}} ^ {2}}}}

Bu kareler toplamı için gradyan denklemleri

{ displaystyle -2 sum _ {i} W_ {ii} { frac { kısmi f (x_ {i}, { boldsymbol { beta}})} { kısmi beta _ {j}}} r_ {i} = 0, qquad j = 1, ldots, m}

Doğrusal bir en küçük kareler sisteminde değiştirilmiş normal denklemleri veren,

{ displaystyle sum _ {i = 1} ^ {n} sum _ {k = 1} ^ {m} X_ {ij} W_ {ii} X_ {ik} { hat { beta}} _ {k } = toplam _ {i = 1} ^ {n} X_ {ij} W_ {ii} y_ {i}, qquad j = 1, ldots, m ,.}

Gözlemsel hatalar ilintisiz ve ağırlık matrisi olduğunda, W, köşegendir, bunlar şu şekilde yazılabilir:

{ displaystyle mathbf { sol (X ^ {T} WX sağ) { hat { boldsymbol { beta}}} = X ^ {T} Wy}.}

Hatalar ilişkilendirilirse, ortaya çıkan tahminci MAVİ ağırlık matrisi, şunun tersine eşitse varyans kovaryans matrisi gözlemlerin.

Hatalar ilintisiz olduğunda, ağırlık matrisini şu şekilde çarpanlarına ayırmak için hesaplamaları basitleştirmek uygundur: ${ displaystyle w_ {ii} = { sqrt {W_ {ii}}}}$ Normal denklemler daha sonra sıradan en küçük karelerle aynı biçimde yazılabilir:

{ displaystyle mathbf { sol (X '^ {T} X' sağ) { şapka { boldsymbol { beta}}} = X '^ {T} y'} ,}

Aşağıdaki ölçeklenmiş matrisi ve vektörü tanımladığımız yer:

{ displaystyle { begin {align} mathbf {X '} & = operatorname {diag} left ( mathbf {w} right) mathbf {X}, mathbf {y'} & = operatör adı {diag} left ( mathbf {w} right) mathbf {y} = mathbf {y} oslash mathbf { sigma}. end {hizalı}}}

Bu bir tür beyazlatma dönüşümü; son ifade bir giriş yönü bölümü.

İçin doğrusal olmayan en küçük kareler sistemler benzer bir argüman, normal denklemlerin aşağıdaki gibi değiştirilmesi gerektiğini gösterir.

{ displaystyle mathbf {(J ^ {T} WJ) , { boldsymbol { Delta}} beta = J ^ {T} W , { boldsymbol { Delta}} y}. ,}

Ampirik testler için uygun olanın W kesin olarak bilinmiyor ve tahmin edilmesi gerekiyor. Bunun için uygulanabilir genelleştirilmiş en küçük kareler (FGLS) teknikleri kullanılabilir; bu durumda, köşegen kovaryans matrisi için özelleşir, böylece uygulanabilir bir ağırlıklı en küçük kareler çözümü sağlar.

Gözlemlerin belirsizliği dış kaynaklardan bilinmiyorsa, o zaman ağırlıklar verilen gözlemlerden tahmin edilebilir. Bu, örneğin aykırı değerleri belirlemek için yararlı olabilir. Aykırı değerler veri setinden çıkarıldıktan sonra, ağırlıklar bire sıfırlanmalıdır.^[3]

Motivasyon

Bazı durumlarda gözlemler ağırlıklandırılabilir - örneğin, eşit derecede güvenilir olmayabilirler. Bu durumda, ağırlıklı kareler toplamı en aza indirilebilir:

{ displaystyle { underet { boldsymbol { beta}} { operatorname {arg , min}}} , sum _ {i = 1} ^ {n} w_ {i} left | y_ {i} - toplam _ {j = 1} ^ {m} X_ {ij} beta _ {j} right | ^ {2} = { underet { boldsymbol { beta}} { operatorname {arg , min }}} , { büyük |} W ^ {1/2} ( mathbf {y} -X { boldsymbol { beta}}) { büyük |} ^ {2}.}

nerede w_ben > 0, bengözlem ve W ... Diyagonal matris bu tür ağırlıkların.

Ağırlıklar ideal olarak şuna eşit olmalıdır: karşılıklı of varyans ölçümün. (Bu, gözlemlerin ilintisiz olduğu anlamına gelir. Gözlemler bağlantılı, ifade ${ displaystyle textstyle S = toplam _ {k} toplamı _ {j} r_ {k} W_ {kj} r_ {j} ,}$ geçerlidir. Bu durumda ağırlık matrisi ideal olarak şunun tersine eşit olmalıdır varyans kovaryans matrisi gözlemlerin).^[3]Normal denklemler:

{ displaystyle sol (X ^ { rm {T}} WX sağ) { hat { boldsymbol { beta}}} = X ^ { rm {T}} W mathbf {y}.}

Bu yöntem, yinelemeli olarak yeniden ağırlıklandırılmış en küçük kareler.

Parametre hataları ve korelasyon

Tahmini parametre değerleri, gözlemlenen değerlerin doğrusal kombinasyonlarıdır

{ displaystyle { hat { boldsymbol { beta}}} = (X ^ { rm {T}} WX) ^ {- 1} X ^ { rm {T}} W mathbf {y}.}

Bu nedenle, tahmini için bir ifade varyans kovaryans matrisi Parametre tahminlerinin% 50'si ile elde edilebilir hata yayılımı gözlemlerdeki hatalardan. Gözlemler için varyans-kovaryans matrisinin şu şekilde gösterilmesine izin verin: M ve tahmin edilen parametrelerinki M^β. Sonra

{ displaystyle M ^ { beta} = (X ^ { rm {T}} WX) ^ {- 1} X ^ { rm {T}} WMW ^ { rm {T}} X (X ^ { rm {T}} W ^ { rm {T}} X) ^ {- 1}.}

Ne zaman W = M⁻¹, bu basitleştirir

{ displaystyle M ^ { beta} = (X ^ { rm {T}} WX) ^ {- 1}.}

Birim ağırlıkları kullanıldığında (W = ben, kimlik matrisi ), deneysel hataların ilintisiz ve tümünün eşit olduğu ima edilir: M = σ²ben, nerede σ² ... Önsel bir gözlemin varyansı. her durumda, σ² yaklaşık olarak azaltılmış ki-kare ${ displaystyle chi _ { nu} ^ {2}}$ :

{ displaystyle M ^ { beta} = chi _ { nu} ^ {2} (X ^ { rm {T}} WX) ^ {- 1},}

{ displaystyle chi _ { nu} ^ {2} = S / nu,}

nerede S (ağırlıklı) minimum değeridir amaç fonksiyonu:

{ displaystyle S = r ^ { rm {T}} Wr.}

Payda, ${ displaystyle nu = n-m}$ , sayısı özgürlük derecesi; görmek etkili serbestlik dereceleri ilişkili gözlemler durumunda genellemeler için.

Her durumda, varyans parametre tahmininin ${ displaystyle { hat { beta}} _ {i}}$ tarafından verilir ${ displaystyle M_ {ii} ^ { beta}}$ ve kovaryans parametre tahminleri arasında ${ displaystyle { hat { beta}} _ {i}}$ ve ${ displaystyle { hat { beta}} _ {j}}$ tarafından verilir ${ displaystyle M_ {ij} ^ { beta}}$ . standart sapma varyansın kareköküdür, ${ displaystyle sigma _ {i} = { sqrt {M_ {ii} ^ { beta}}}}$ ve korelasyon katsayısı ile verilir ${ displaystyle rho _ {ij} = M_ {ij} ^ { beta} / ( sigma _ {i} sigma _ {j})}$ . Bu hata tahminleri yalnızca rastgele hatalar ölçümlerde. Parametrelerdeki gerçek belirsizlik, varlığından dolayı daha büyüktür. sistematik hatalar, tanım gereği nicelleştirilemez. Gözlemler ilintisiz olsa bile, parametrelerin tipik olarak bağlantılı.

Parametre güven sınırları

Sıklıkla varsayıldı, herhangi bir somut delil istemekle birlikte, genellikle Merkezi Limit Teoremi -görmek Normal dağılım # Oluşum —Her gözlemdeki hatanın bir normal dağılım ortalama sıfır ve standart sapma ile ${ displaystyle sigma}$ . Bu varsayım altında, tahmin edilen standart hatası açısından tek bir skaler parametre tahmini için aşağıdaki olasılıklar türetilebilir. ${ displaystyle se _ { beta}}$ (verilen İşte ):

% 68 aralığın

{ displaystyle { hat { beta}} pm se _ { beta}}

gerçek katsayı değerini kapsar

% 95 aralığın

{ displaystyle { hat { beta}} pm 2se _ { beta}}

gerçek katsayı değerini kapsar

% 99 aralığın

{ displaystyle { hat { beta}} pm 2.5se _ { beta}}

gerçek katsayı değerini kapsar

Varsayım mantıksız değildir m >> n. Deneysel hatalar normal olarak dağıtılırsa, parametreler bir Student t dağılımı ile m − n özgürlük derecesi. Ne zaman m >> n Student t-dağılımı normal bir dağılıma yaklaşmaktadır. Ancak, bu güven sınırlarının sistematik hatayı hesaba katamayacağını unutmayın. Ayrıca, parametre hataları, tabi oldukları tek bir önemli rakama aktarılmalıdır. örnekleme hatası.^[4]

Gözlem sayısı nispeten az olduğunda, Chebychev eşitsizliği Deneysel hataların dağılımına ilişkin varsayımlara bakılmaksızın olasılıklar üzerinde bir üst sınır için kullanılabilir: bir parametrenin beklenti değerinden 1, 2 veya 3 standart sapmadan daha fazla olması için maksimum olasılıklar% 100,% 25 ve Sırasıyla% 11.

Artık değerler ve korelasyon

kalıntılar tarafından gözlemlerle ilgilidir

{ displaystyle mathbf { hat {r}} = mathbf {y} -X { hat { boldsymbol { beta}}} = mathbf {y} -H mathbf {y} = (IH) mathbf {y},}

nerede H ... idempotent matris olarak bilinir şapka matrisi:

{ displaystyle H = X sol (X ^ { rm {T}} WX sağ) ^ {- 1} X ^ { rm {T}} W,}

ve ben ... kimlik matrisi. Kalıntıların varyans-kovaryans matrisi, M ^r tarafından verilir

{ displaystyle M ^ { mathbf {r}} = (I-H) M (I-H) ^ { rm {T}}.}

Böylece, gözlemler olmasa bile kalıntılar ilişkilendirilir.

Ne zaman ${ displaystyle W = M ^ {- 1}}$ ,

{ displaystyle M ^ { mathbf {r}} = (I-H) M.}

Ağırlıklı artık değerlerin toplamı, model işlevi sabit bir terim içerdiğinde sıfıra eşittir. Kalıntıların ifadesini sol ile çarpın: X ^ T W^T:

{ displaystyle X ^ { rm {T}} W { hat { mathbf {r}}} = X ^ { rm {T}} W mathbf {y} -X ^ { rm {T}} WX { hat { boldsymbol { beta}}} = X ^ { rm {T}} W mathbf {y} - (X ^ { rm {T}} WX) (X ^ { rm {T }} WX) ^ {- 1} X ^ { rm {T}} W mathbf {y} = mathbf {0}.}

Örneğin, modelin ilk teriminin sabit olduğunu söyleyin, böylece ${ displaystyle X_ {i1} = 1}$ hepsi için ben. Bu durumda şunu takip eder:

{ displaystyle sum _ {i} ^ {m} X_ {i1} W_ {i} { hat {r}} _ {i} = sum _ {i} ^ {m} W_ {i} { şapka {r}} _ {i} = 0.}

Bu nedenle, yukarıdaki motivasyonel örnekte, artık değerlerin toplamının sıfıra eşit olması tesadüfi olmayıp, modeldeki α sabit teriminin varlığının bir sonucudur.

Deneysel hata bir normal dağılım, sonra, kalıntılar ve gözlemler arasındaki doğrusal ilişki nedeniyle, kalıntılar da^[5] ancak gözlemler, tüm olası gözlemlerin popülasyonunun yalnızca bir örneği olduğundan, kalıntılar bir Student t dağılımı. Studentized kalıntılar için istatistiksel bir test yapmakta kullanışlıdır. aykırı belirli bir kalıntı aşırı derecede büyük göründüğünde.

Ayrıca bakınız

Referanslar

^ [1]
^ [2]
^ ^a ^b Strutz, T. (2016). Veri Uydurma ve Belirsizlik (Ağırlıklı en küçük kareler ve ötesine pratik bir giriş). Springer Görüntüleyici. ISBN 978-3-658-11455-8., Bölüm 3
^ Mandel, John (1964). Deneysel Verilerin İstatistiksel Analizi. New York: Interscience.
^ Mardia, K. V .; Kent, J. T .; Bibby, J.M. (1979). Çok değişkenli analiz. New York: Akademik Basın. ISBN 0-12-471250-9.

[1] [1]

[2] [2]

[strutz-3] Strutz, T. (2016). Veri Uydurma ve Belirsizlik (Ağırlıklı en küçük kareler ve ötesine pratik bir giriş). Springer Görüntüleyici. ISBN 978-3-658-11455-8., Bölüm 3

[4] Mandel, John (1964). Deneysel Verilerin İstatistiksel Analizi. New York: Interscience.

[5] Mardia, K. V .; Kent, J. T .; Bibby, J.M. (1979). Çok değişkenli analiz. New York: Akademik Basın. ISBN 0-12-471250-9.

[1]

[2]

[3]

[4]

[5]