Ki-kare testi - Chi-squared test

χ 2

üzerinde xeksen ve p-değer (sağ kuyruk olasılığı) yeksen.

Bir ki-kare testi, şu şekilde de yazılmıştır $χ 2$ Ölçek, bir istatistiksel hipotez testi yani geçerli test istatistiği olduğunda gerçekleştirmek için ki-kare dağıtılmış altında sıfır hipotezi özellikle Pearson'un ki-kare testi ve bunların çeşitleri. Pearson'un ki-kare testi, bir testin olup olmadığını belirlemek için kullanılır. istatistiksel olarak anlamlı beklenen arasındaki fark frekanslar ve bir veya daha fazla kategoride gözlemlenen frekanslar olasılık tablosu.

Bu testin standart uygulamalarında, gözlemler birbirini dışlayan sınıflara ayrılmıştır. Eğer sıfır hipotezi popülasyondaki sınıflar arasında hiçbir fark olmadığı doğruysa, gözlemlerden hesaplanan test istatistiği aşağıdaki $χ 2$ frekans dağılımı. Testin amacı, gözlenen frekansların boş hipotezin doğru olduğunu varsayma olasılığını değerlendirmektir.

Aşağıdaki test istatistikleri $χ 2$ dağılım, gözlemler bağımsız olduğunda ve normal dağılım, hangi varsayımlar genellikle altında gerekçelendirilir? Merkezi Limit Teoremi. Ayrıca orada $χ 2$ bir çiftin bağımsızlığının sıfır hipotezini test etmek için testler rastgele değişkenler çiftlerin gözlemlerine göre.

Ki-kare testleri genellikle test istatistiği dağılımının, $χ 2$ dağıtım asimptotik olarak yani örnekleme dağılımı (eğer sıfır hipotezi doğruysa) test istatistiğinin ki-kare dağılımına gitgide yaklaşır. örneklem boyutlar artar.

Tarih

19. yüzyılda, istatistiksel analitik yöntemler esas olarak biyolojik veri analizinde uygulanıyordu ve araştırmacılar için gözlemlerin bir normal dağılım, gibi Sör George Airy ve Profesör Merriman tarafından eleştirilenler Karl Pearson 1900 tarihli makalesinde.^[1]

19. yüzyılın sonunda, Pearson önemli çarpıklık bazı biyolojik gözlemler dahilinde. Normal ya da çarpık olmasına bakılmaksızın gözlemleri modellemek için Pearson, 1893'ten 1916'ya kadar yayınlanan bir dizi makalede,^[2]^[3]^[4]^[5] tasarladı Pearson dağılımı, normal dağılımı ve birçok çarpık dağılımları içeren bir sürekli olasılık dağılımları ailesi ve gözlemi modellemek için Pearson dağılımını kullanmak ve modelin gerçekten ne kadar iyi olduğunu belirlemek için bir uyum iyiliği testi yapmaktan oluşan bir istatistiksel analiz yöntemi önerdi. gözlemlere uyuyor.

Pearson'un ki-kare testi

1900'de Pearson bir makale yayınladı^[1] üzerinde $χ 2$ Modern istatistiğin temellerinden biri olarak kabul edilen test.^[6] Bu yazıda, Pearson bir uyum iyiliği testini araştırdı.

Farz et ki $n$ bir popülasyondan rastgele bir örnekteki gözlemler, $k$ gözlenen ilgili sayılara sahip karşılıklı dışlayıcı sınıflar $x ben$ (için $ben = 1,2,\dots, k$ ) ve boş bir hipotez olasılığı verir $p ben$ bir gözlemin içine düştüğü $ben$ inci sınıf. Yani beklenen sayılara sahibiz $m ben = np ben$ hepsi için $ben$ , nerede

{ displaystyle { begin {align} & sum _ {i = 1} ^ {k} {p_ {i}} = 1 [8pt] & sum _ {i = 1} ^ {k} {m_ {i}} = n toplam _ {i = 1} ^ {k} {p_ {i}} = toplam _ {i = 1} ^ {k} x_ {i} end {hizalı}}}

Pearson, sıfır hipotezinin doğru olması koşuluyla, $n \to \infty$ aşağıda verilen miktarın sınırlayıcı dağılımı, $χ 2$ dağıtım.

{ displaystyle X ^ {2} = toplam _ {i = 1} ^ {k} { frac {(x_ {i} -m_ {i}) ^ {2}} {m_ {i}}} = toplam _ {i = 1} ^ {k} {{ frac {x_ {i} ^ {2}} {m_ {i}}} - n}}

Pearson ilk olarak beklenen sayıların olduğu durumla ilgilendi. $m ben$ tüm hücrelerde yeterince büyük bilinen sayılar olduğu varsayılarak $x ben$ olarak alınabilir normal dağılım ve sınırda olduğu sonucuna ulaştı. $n$ büyür, $X 2$ takip eder $χ 2$ ile dağıtım $k - 1$ özgürlük derecesi.

Bununla birlikte Pearson, daha sonra beklenen sayıların örnekten tahmin edilmesi gereken parametrelere bağlı olduğu durumu değerlendirdi ve şunu önerdi: $m ben$ beklenen gerçek sayılar olmak ve $m' ben$ tahmini beklenen sayılar olması, fark

{ displaystyle X ^ {2} - {X '} ^ {2} = toplam _ {i = 1} ^ {k} { frac {x_ {i} ^ {2}} {m_ {i}}} - toplam _ {i = 1} ^ {k} { frac {x_ {i} ^ {2}} {m '_ {i}}}}

genellikle pozitif ve ihmal edilebilecek kadar küçük olacaktır. Sonuç olarak Pearson, eğer dikkate alırsak $X' 2$ aynı zamanda dağıtıldığı gibi $χ 2$ ile dağıtım $k - 1$ serbestlik derecesi, bu yaklaşımdaki hata pratik kararları etkilemeyecektir. Bu sonuç, pratik uygulamalarda bazı tartışmalara neden oldu ve Fisher'in 1922 ve 1924 makalelerine kadar 20 yıl boyunca çözümlenmedi.^[7]^[8]

Ki-kare testlerinin diğer örnekleri

Bir test istatistiği takip eden ki-kare dağılımı tam olarak, normal olarak dağılan bir popülasyonun varyansının belirli bir değere sahip olup olmadığı testidir. örnek varyans. Bu tür testler pratikte nadirdir çünkü popülasyonun gerçek varyansı genellikle bilinmemektedir. Bununla birlikte, birkaç istatistiksel test vardır. ki-kare dağılımı yaklaşık olarak geçerlidir:

Fisher'in kesin testi

Bağımsızlık için 2 x 2 ki-kare testi yerine kullanılan kesin bir test için bkz. Fisher'in kesin testi.

Binom testi

Uyum iyiliği için 2 x 1 ki-kare testi yerine kullanılan kesin bir test için bkz. Binom testi.

Diğer ki-kare testleri

Cochran – Mantel – Haenszel ki-kare testi.
McNemar'ın testi, bazılarında kullanılmış 2 × 2 eşleştirmeli tablolar
Tukey katkı testi
portmanteau testi içinde Zaman serisi analizi, varlığını test etmek otokorelasyon
Olabilirlik-oran testleri Genel olarak istatistiksel modelleme, basit bir modelden daha karmaşık bir modele geçme ihtiyacına dair kanıt olup olmadığını test etmek için (burada basit model karmaşık olanın içine yerleştirilmiştir).

Yates'in süreklilik için düzeltmesi

Kullanmak ki-kare dağılımı yorumlamak Pearson'un ki-kare istatistiği birinin varsayılmasını gerektirir ayrık gözlemlenme olasılığı iki terimli frekanslar Tabloda sürekli olarak tahmin edilebilir ki-kare dağılımı. Bu varsayım tam olarak doğru değildir ve bazı hatalara neden olur.

Hatayı yaklaşık olarak azaltmak için, Frank Yates formülü ayarlayan süreklilik için bir düzeltme önerdi Pearson'un ki-kare testi gözlemlenen her değer ile bir değerdeki beklenen değeri arasındaki mutlak farktan 0,5 çıkararak 2 × 2 olasılık tablosu.^[9] Bu, elde edilen ki-kare değerini düşürür ve böylece p-değer.

Normal popülasyondaki varyans için ki-kare testi

Bir boyut örneği ise $n$ bir popülasyondan alınmıştır. normal dağılım, sonra bir sonuç var (bkz. örnek varyansın dağılımı ) popülasyon varyansının önceden belirlenmiş bir değere sahip olup olmadığına dair bir test yapılmasına izin verir. Örneğin, bir üretim süreci uzun bir süre boyunca kararlı durumda olabilir ve bu, varyans için bir değerin esasen hatasız olarak belirlenmesine izin verir. İşlemin bir varyantının test edildiğini ve küçük bir örneklemin ortaya çıkmasına neden olduğunu varsayalım. $n$ varyasyonu test edilecek ürün öğeleri. Test istatistiği $T$ bu durumda, örnek ortalamayla ilgili karelerin toplamının varyans için nominal değere (yani tutma olarak test edilecek değer) bölünmesi olarak ayarlanabilir. Sonra $T$ ile ki-kare dağılımı vardır $n - 1$ özgürlük derecesi. Örneğin, örnek büyüklüğü 21 ise, kabul bölgesi $T$ % 5 anlamlılık düzeyi 9,59 ile 34,17 arasındadır.

Kategorik veriler için örnek ki-kare testi

Dört mahallesi olan 1.000.000 kişilik bir şehir olduğunu varsayalım: $Bir$ , $B$ , $C$ , ve $D$ . Şehrin 650 sakininin rastgele bir örneği alınarak mesleği kaydedildi. "beyaz yakalı", "mavi yakalı" veya "yakasız". Boş hipotez, her kişinin ikamet ettiği mahallenin, kişinin mesleki sınıflandırmasından bağımsız olmasıdır. Veriler şu şekilde sıralanmıştır:

	$Bir$	$B$	$C$	$D$	Toplam
Beyaz yaka	90	60	104	95	349
Mavi yakalı	30	50	51	20	151
Yaka yok	30	40	45	35	150
Toplam	150	150	200	150	650

Mahallede yaşayan örneği alalım $Bir$ , 150, 1.000.000 nüfusun ne kadarının mahallede yaşadığını tahmin etmek için $Bir$ . Benzer şekilde alıyoruz 349/650 1.000.000 kişinin ne kadarının beyaz yakalı olduğunu tahmin etmek için. Hipotez altında bağımsızlık varsayımıyla, mahalledeki beyaz yakalı çalışanların sayısını "beklemeliyiz" $Bir$ olmak

{ displaystyle 150 times { frac {349} {650}} yaklaşık 80,54}

Sonra tablonun bu "hücresinde"

{ displaystyle { frac { sol ({ metni {gözlemlenen}} - { metni {beklenen}} sağ) ^ {2}} { metni {beklenen}}} = { frac { sol (90 -80,54 sağ) ^ {2}} {80,54}} yaklaşık 1,11}

Bu miktarların tüm hücrelerde toplamı test istatistiğidir; bu durumda, ${ displaystyle yaklaşık 24,6}$ . Sıfır hipotezi altında, bu toplamın yaklaşık olarak serbestlik derecesi olan ki-kare dağılımı vardır.

{ displaystyle ({ text {satır sayısı}} - 1) ({ text {sütun sayısı}} - 1) = (3-1) (4-1) = 6}

Test istatistiği bu ki-kare dağılımına göre olasılık dışı büyükse, o zaman sıfır bağımsızlık hipotezi reddedilir.

Bununla ilgili bir konu da homojenlik testidir. Diyelim ki, dört mahallenin her birinin her sakini örneğe eşit dahil olma şansı vermek yerine, her mahalleden kaç sakinin dahil edileceğine önceden karar veriyoruz. Bu durumda, her sakinin aynı mahallenin tüm sakinleri gibi seçilme şansı vardır, ancak farklı mahallelerde yaşayanlar, dört örnek boyutu dört mahallenin nüfusuyla orantılı değilse farklı seçilme olasılıklarına sahip olacaktır. Böyle bir durumda, "bağımsızlık" yerine "homojenliği" test ediyor olurduk. Soru, dört mahalledeki mavi yakalı, beyaz yakalı ve yakasız çalışanların oranlarının aynı olup olmadığıdır. Ancak test aynı şekilde yapılır.

Başvurular

İçinde kriptanaliz ki-kare testi, dağılımını karşılaştırmak için kullanılır. düz metin ve (muhtemelen) şifresi çözüldü şifreli metin. Testin en düşük değeri, şifre çözme işleminin yüksek olasılıkla başarılı olduğu anlamına gelir.^[10]^[11] Bu yöntem, modern kriptografik problemleri çözmek için genelleştirilebilir.^[12]

İçinde biyoinformatik Ki-kare testi, farklı kategorilere (örn. hastalık genleri, esansiyel genler, belirli bir kromozom üzerindeki genler) ait genlerin belirli özelliklerinin (örn., genomik içerik, mutasyon oranı, etkileşim ağı kümelenmesi vb.) dağılımını karşılaştırmak için kullanılır. vb.).^[13]^[14]

Ayrıca bakınız

Referanslar

^ ^a ^b Pearson, Karl (1900). "İlişkili bir değişkenler sistemi durumunda olası olandan belirli bir sapma sisteminin, rastgele örneklemeden ortaya çıkmış olmasının makul bir şekilde varsayılabileceği kriterine göre." (PDF). Felsefi Dergisi. Seri 5. 50 (302): 157–175. doi:10.1080/14786440009463897.
^ Pearson, Karl (1893). "Matematiksel evrim teorisine katkılar [soyut]". Kraliyet Cemiyeti Tutanakları. 54: 329–333. doi:10.1098 / rspl.1893.0079. JSTOR 115538.
^ Pearson, Karl (1895). "Matematiksel evrim teorisine katkılar, II: Homojen malzemede çarpık varyasyon". Kraliyet Cemiyetinin Felsefi İşlemleri. 186: 343–414. Bibcode:1895RSPTA.186..343P. doi:10.1098 / rsta.1895.0010. JSTOR 90649.
^ Pearson, Karl (1901). "Evrim teorisine matematiksel katkılar, X: Çarpık varyasyonla ilgili bir anıya ek". Kraliyet Derneği'nin Felsefi İşlemleri A. 197 (287–299): 443–459. Bibcode:1901RSPTA.197..443P. doi:10.1098 / rsta.1901.0023. JSTOR 90841.
^ Pearson, Karl (1916). "Evrim teorisine matematiksel katkılar, XIX: Çarpık varyasyon üzerine bir hatıraya ikinci ek". Kraliyet Derneği'nin Felsefi İşlemleri A. 216 (538–548): 429–457. Bibcode:1916RSPTA.216..429P. doi:10.1098 / rsta.1916.0009. JSTOR 91092.
^ Cochran, William G. (1952). "Ki-kare Uyum İyiliği Testi". Matematiksel İstatistik Yıllıkları. 23 (3): 315–345. doi:10.1214 / aoms / 1177729380. JSTOR 2236678.
^ Fisher, Ronald A. (1922). "Yorumlanması Üzerine $χ 2$ Olasılık Tablolarından ve P'nin Hesaplanmasından ". Kraliyet İstatistik Derneği Dergisi. 85 (1): 87–94. doi:10.2307/2340521. JSTOR 2340521.
^ Fisher, Ronald A. (1924). "Hangi Koşullar $χ 2$ Gözlem ve Hipotez Arasındaki Tutarsızlığı Ölçer ". Kraliyet İstatistik Derneği Dergisi. 87 (3): 442–450. JSTOR 2341149.
^ Yates, Frank (1934). "Küçük sayıları içeren beklenmedik durum tablosu ve $χ 2$ Ölçek". Kraliyet İstatistik Derneği Dergisi Eklentisi. 1 (2): 217–235. doi:10.2307/2983604. JSTOR 2983604.
^ "Ki-kare İstatistik". Pratik Kriptografi. Arşivlenen orijinal 18 Şubat 2015. Alındı 18 Şubat 2015.
^ "Kodları Kırmak İçin Chi Kareyi Kullanma". IB Matematik Kaynakları. British International School Phuket.
^ Ryabko, B. Ya .; Stognienko, V. S .; Shokin, Yu. I. (2004). "Yeni bir rastgelelik testi ve bazı kriptografik problemlere uygulanması" (PDF). İstatistiksel Planlama ve Çıkarım Dergisi. 123 (2): 365–376. doi:10.1016 / s0378-3758 (03) 00149-6. Alındı 18 Şubat 2015.
^ Feldman, I .; Rzhetsky, A .; Vitkup, D. (2008). "Kalıtsal hastalık mutasyonlarını barındıran genlerin ağ özellikleri". PNAS. 105 (11): 4323–432. Bibcode:2008PNAS..105.4323F. doi:10.1073 / pnas.0701722105. PMC 2393821. PMID 18326631.
^ "ki-kare testleri" (PDF). Arşivlenen orijinal (PDF) 29 Haziran 2018 tarihinde. Alındı 29 Haziran 2018.

daha fazla okuma

Weisstein, Eric W. "Ki-Kare Testi". MathWorld.
Corder, G.W .; Foreman, D.I. (2014), Parametrik Olmayan İstatistikler: Adım Adım Yaklaşım, New York: Wiley, ISBN 978-1118840313
Greenwood, Cindy; Nikulin, M.S. (1996), Ki-kare testi için bir rehber, New York: Wiley, ISBN 0-471-55779-X
Nikulin, M. S. (1973), "Normallik için Ki-kare testi", Uluslararası Vilnius Olasılık Teorisi ve Matematiksel İstatistik Konferansı Bildirileri, 2, s. 119–122
Bagdonavicius, V .; Nikulin, M.S. (2011), "Doğru sansürlenmiş veriler için Ki-kare uygunluk testi", Uluslararası Uygulamalı Matematik ve İstatistik Dergisi, s. 30–50^{[tam alıntı gerekli ]}

[Pearson1900-1] Pearson, Karl (1900). "İlişkili bir değişkenler sistemi durumunda olası olandan belirli bir sapma sisteminin, rastgele örneklemeden ortaya çıkmış olmasının makul bir şekilde varsayılabileceği kriterine göre." (PDF). Felsefi Dergisi. Seri 5. 50 (302): 157–175. doi:10.1080/14786440009463897.

[Pearson1893-2] Pearson, Karl (1893). "Matematiksel evrim teorisine katkılar [soyut]". Kraliyet Cemiyeti Tutanakları. 54: 329–333. doi:10.1098 / rspl.1893.0079. JSTOR 115538.

[Pearson1895-3] Pearson, Karl (1895). "Matematiksel evrim teorisine katkılar, II: Homojen malzemede çarpık varyasyon". Kraliyet Cemiyetinin Felsefi İşlemleri. 186: 343–414. Bibcode:1895RSPTA.186..343P. doi:10.1098 / rsta.1895.0010. JSTOR 90649.

[Pearson1901-4] Pearson, Karl (1901). "Evrim teorisine matematiksel katkılar, X: Çarpık varyasyonla ilgili bir anıya ek". Kraliyet Derneği'nin Felsefi İşlemleri A. 197 (287–299): 443–459. Bibcode:1901RSPTA.197..443P. doi:10.1098 / rsta.1901.0023. JSTOR 90841.

[Pearson1916-5] Pearson, Karl (1916). "Evrim teorisine matematiksel katkılar, XIX: Çarpık varyasyon üzerine bir hatıraya ikinci ek". Kraliyet Derneği'nin Felsefi İşlemleri A. 216 (538–548): 429–457. Bibcode:1916RSPTA.216..429P. doi:10.1098 / rsta.1916.0009. JSTOR 91092.

[Cochran1952-6] Cochran, William G. (1952). "Ki-kare Uyum İyiliği Testi". Matematiksel İstatistik Yıllıkları. 23 (3): 315–345. doi:10.1214 / aoms / 1177729380. JSTOR 2236678.

[Fisher1922-7] Fisher, Ronald A. (1922). "Yorumlanması Üzerine $χ 2$ Olasılık Tablolarından ve P'nin Hesaplanmasından ". Kraliyet İstatistik Derneği Dergisi. 85 (1): 87–94. doi:10.2307/2340521. JSTOR 2340521.

[Fisher1924-8] Fisher, Ronald A. (1924). "Hangi Koşullar $χ 2$ Gözlem ve Hipotez Arasındaki Tutarsızlığı Ölçer ". Kraliyet İstatistik Derneği Dergisi. 87 (3): 442–450. JSTOR 2341149.

[Yates-9] Yates, Frank (1934). "Küçük sayıları içeren beklenmedik durum tablosu ve $χ 2$ Ölçek". Kraliyet İstatistik Derneği Dergisi Eklentisi. 1 (2): 217–235. doi:10.2307/2983604. JSTOR 2983604.

[practicalcrypto-10] "Ki-kare İstatistik". Pratik Kriptografi. Arşivlenen orijinal 18 Şubat 2015. Alındı 18 Şubat 2015.

[ibmath-11] "Kodları Kırmak İçin Chi Kareyi Kullanma". IB Matematik Kaynakları. British International School Phuket.

[elsevier-12] Ryabko, B. Ya .; Stognienko, V. S .; Shokin, Yu. I. (2004). "Yeni bir rastgelelik testi ve bazı kriptografik problemlere uygulanması" (PDF). İstatistiksel Planlama ve Çıkarım Dergisi. 123 (2): 365–376. doi:10.1016 / s0378-3758 (03) 00149-6. Alındı 18 Şubat 2015.

[pnas-bics-13] Feldman, I .; Rzhetsky, A .; Vitkup, D. (2008). "Kalıtsal hastalık mutasyonlarını barındıran genlerin ağ özellikleri". PNAS. 105 (11): 4323–432. Bibcode:2008PNAS..105.4323F. doi:10.1073 / pnas.0701722105. PMC 2393821. PMID 18326631.

[chi-bics-14] "ki-kare testleri" (PDF). Arşivlenen orijinal (PDF) 29 Haziran 2018 tarihinde. Alındı 29 Haziran 2018.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]