Krippendorffs alfa - Krippendorffs alpha - Wikipedia

Krippendorff'un alfa katsayısı,[1] akademik olarak adlandırıldı Klaus Krippendorff, bir değişkenin değerleri açısından bir dizi analiz birimi kodlanırken elde edilen anlaşmanın istatistiksel bir ölçüsüdür. 1970'lerden beri alfa kullanılır içerik analizi metinsel birimlerin eğitimli okuyucular tarafından, danışmanlıkta ve anket araştırması uzmanların açık uçlu görüşme verilerini analiz edilebilir terimler halinde kodladığı, aynı fenomenin alternatif testlerinin karşılaştırılması gereken psikolojik testlerde veya Gözlemsel çalışmalar Yapılandırılmamış olayların sonraki analiz için kaydedildiği yer.

Krippendorff'un alfa, genellikle kodlayıcılar arası anlaşma ölçüleri olarak adlandırılan birkaç bilinen istatistiği genelleştirir. değerlendiriciler arası güvenilirlik, verilen birim setlerini kodlamanın güvenilirliği (birimleştirmeden farklı olarak), ancak aynı zamanda kendisini güvenilirlik katsayıları olarak adlandırılan, ancak sonraki analiz için oluşturulan kodlama verilerinin ayrıntılarına uygun olmayan istatistiklerden de ayırır.

Krippendorff'un alfa, her biri bir analiz birimine bir değer atayan, eksik (eksik) verilere, bir değişkeni kodlamak için mevcut herhangi bir sayıdaki değere, ikili, nominal, sıra, aralık, oran, kutup ve dairesel metrikler (ölçüm seviyeleri ) ve kendini güvenilirlik verilerinin küçük örnek boyutlarına göre ayarlar. Bu varyasyonlarla tek bir katsayının erdemi, hesaplanan güvenilirliklerin herhangi bir sayıda kodlayıcı, değer, farklı ölçüt ve eşit olmayan örneklem boyutları arasında karşılaştırılabilir olmasıdır.

Krippendorff'un alfasını hesaplamak için yazılım mevcuttur.[2][3][4][5][6][7][8][9]

Güvenilirlik verileri

Güvenilirlik verileri bir durumda oluşturulur. m ≥ 2 ortak talimat (örneğin, bir kod kitabı ) ancak bağımsız olarak çalışan kodlayıcılar, 1, ...,V ortak bir sete N analiz birimleri. Kanonik formlarında, güvenilirlik verileri bir m-tarafından-N matris içeren N değerler vij o kodlayıcı cben birime atandı senj. Tanımlamak mj birime atanan değerlerin sayısı olarak j tüm kodlayıcılar arasında c. Veriler eksik olduğunda, mj daha az olabilir m. Güvenilirlik verileri, değerlerin eşleştirilebilir olmasını gerektirir, yani mj ≥ 2. Eşleştirilebilen toplam değer sayısı nmN.

Açıklığa kavuşturmaya yardımcı olmak için, özet olarak kanonik form şu şekildedir:

sen1sen2sen3...senN
c1v11v12v13...v1N
c2v21v22v23...v2N
c3v31v32v33...v3N
..................
cmvm1vm2vm3...vmN

Genel alfa formu

İle belirtiyoruz bir gözlemcinin verebileceği tüm olası yanıtların kümesi. Bir örnek için tüm gözlemcilerin cevaplarına birim denir (bir çoklu set oluşturur). Bu birimlerle bir multiset'i öğeler olarak belirtiyoruz, .

Alfa şu şekilde verilir:

nerede anlaşmazlık gözlemlendi mi ve tesadüfen beklenen anlaşmazlıktır.

nerede bir metrik fonksiyondur (aşağıya bakın), eşleştirilebilir öğelerin toplam sayısıdır, bir birimdeki öğe sayısıdır, sayısı birimdeki çiftler , ve permütasyon işlevidir. Bu, diyagonalden (ağırlıklı) ortalama olarak gözlemlenen mesafe olarak görülebilir.

nerede çiftin yol sayısı yapılabilir. Bu, tüm gözlemlerin çoklu kümesinden türetilebilecek tüm olası yanıt çiftlerinin köşegeninden ortalama uzaklık olarak görülebilir.

Yukarıdakiler, olağan biçimine eşdeğerdir cebirsel olarak basitleştirildikten sonra.[10]

Krippendorff'un bir yorumu alfa dır-dir:

mükemmel güvenilirliği gösterir
güvenilirliğin olmadığını gösterir. Birimler ve bunlara atanan değerler istatistiksel olarak ilgisizdir.
anlaşmazlıklar sistematik olduğunda ve şans eseri beklenebilecekleri aştığında.

Bu genel haliyle, anlaşmazlıklar DÖ ve De kavramsal olarak şeffaf olabilir ancak hesaplama açısından verimsiz olabilir. Özellikle güvenilirlik verilerinin görsel olarak daha öğretici çakışma matris gösterimi olarak ifade edildiğinde cebirsel olarak basitleştirilebilirler.

Tesadüf matrisleri

Bir tesadüf matrisi çapraz tablolar n güvenilirlik verilerinin kanonik biçiminden bir v-tarafından-v kare matris, nerede v bir değişkendeki mevcut değerlerin sayısıdır. İlişkilendirme ve korelasyon istatistiklerinde bilinen olasılık matrislerinin aksine, çiftler değerlerin (çapraz tablolama ), bir tesadüf matrisi tüm eşlenebilir değerler. Bir tesadüf matrisi, kodlayıcılara göndermeleri atlar ve tüm mükemmel eşleşmeleri içeren köşegeni etrafında simetriktir, viu = vi'u iki kodlayıcı için ben ve ben' , tüm birimlerde sen. Gözlemlenen tesadüflerin matrisi frekansları içerir:

eşleşmemiş değerleri atlamak, burada ben(∘) = 1 ise true, aksi takdirde 0.

Bir tesadüf matrisi tüm eşlenebilir değerleri tablo haline getirdiğinden ve içeriği toplamı n, dört veya daha fazla kodlayıcı söz konusu olduğunda, Öck kesirler olabilir.

Beklenen tesadüflerin matrisi frekansları içerir:

toplamı aynı nc, nk, ve n olduğu gibi Öck. Bu tesadüfler açısından Krippendorff'un alfa şu hale gelir:

Fark fonksiyonları

Fark fonksiyonları [11] değerler arasında v ve v ' metrik özelliklerini yansıtır (ölçüm seviyeleri ) değişkenleri.

Genel olarak:

Özellikle:

İçin nominal veri , nerede v ve v ' isim olarak hizmet edin.
İçin sıra veri , nerede v ve v′ Rütbelerdir.
İçin Aralık veri , nerede v ve v′ Aralıklı ölçek değerleridir.
İçin oran veri , nerede v ve v′ Mutlak değerlerdir.
İçin kutup veri , nerede vmin ve vmax Kutup ölçeğinin uç noktalarını tanımlar.
İçin dairesel veri , sinüs fonksiyonunun derece cinsinden ifade edildiği ve U tekrarlanmadan önce daire veya döngüdeki değerlerin çevresi veya aralığıdır. Eşit aralıklı dairesel metrikler için, bu metriğin en küçük ve en büyük tam sayı değerleri birbirine bitişiktir ve U = ven büyük – ven küçük + 1.

Önem

İstatistiksel dağılımın matematiksel ifadeleri kadar alfa her zaman yalnızca yaklaşık değerlerdir, elde edilmesi tercih edilir alpha’s tarafından dağıtım önyükleme.[12][13] Alpha'nın dağılım iki endeksi ortaya çıkarır:

  • güvenilirlik aralığı hesaplanmış alfa çeşitli istatistiksel anlamlılık seviyelerinde
  • Olasılık alfa Verilerin yeterince güvenilir kabul edilmesi için gerekli olan seçilmiş bir minimuma ulaşmada başarısız olur (tek kuyruklu test). Bu indeks, boş hipotezin (şans anlaşması) şimdiye kadar ilgili menzilden çıkarıldığını kabul eder. alfa Verilerin ne kadar güvenilir olduğuna dair reddedilmesinin çok az anlam ifade ettiği katsayıları Güvenilir olduğuna karar vermek için, verilerin mükemmel anlaşmadan önemli ölçüde sapmaması gerekir.

Kabul edilebilir minimum alfa Eksik verilerden çıkarılacak sonuçların önemine göre katsayı seçilmelidir. Yanlış sonuçların maliyeti yüksek olduğunda, minimum alfa yüksek ayarlanması gerekiyor. Güvenilir olmayan verilerden yanlış sonuç çıkarmanın riskleri hakkında bilgi sahibi olunmadığı için, sosyal bilimciler genellikle güvenilir verilere güvenirler. α ≥ 0.800, verileri 0.800 olarak düşünün>α ≥ 0.667, yalnızca geçici sonuçlar çıkarmak ve anlaşması α <0.667 olan verileri atmak için.[14]

Hesaplamalı bir örnek

Güvenilirlik verilerinin kanonik biçimi, 45 hücreli 3 kodlayıcı 15 birim matris olsun:

Birimler u:123456789101112131415
Kodlayıcı A*****34121133*3
Kodlayıcı B1*213343*******
Kodlayıcı C**21344*21133*4

"*" İşaretinin "kodlayamaz", "yanıt yok" veya "gözlem eksikliği" gibi varsayılan bir kategoriyi gösterdiğini varsayalım. Ardından, * önemli olan dört değerdeki verilerin güvenilirliği hakkında hiçbir bilgi sağlamaz. Ünite 2 ve 14'ün hiçbir bilgi içermediğini ve ünite 1'in, o ünite içinde eşleştirilemeyen yalnızca bir değer içerdiğini unutmayın. Bu nedenle, bu güvenilirlik verileri aşağıdakilerden oluşmaz: mN = 45 ancak n = 26 eşlenebilir değer, içinde değil N = 15 ancak 12 çarpma kodlu birimde.

Bu veriler için çakışma matrisi aşağıdaki şekilde oluşturulacaktır:

Ö11 = {in sen=4}: {içinde sen=10}: {içinde sen=11}:
Ö13 = {in sen=8}: Ö31
Ö22 = {in sen=3}: {içinde sen=9}:
Ö33 = {in sen=5}: {içinde sen=6}: {içinde sen=12}: {içinde sen=13}:
Ö34 = {in sen=6}: {içinde sen=15}: Ö43
Ö44 = {in sen=7}:
Değerler v veya v′:1234nv
Değer 1617
Değer 244
Değer 317210
Değer 4235
Frekans nv '7410526

Bu tesadüf matrisindeki girişler açısından, Krippendorff'un alfa şunlardan hesaplanabilir:

Kolaylık sağlamak için, çünkü ve , sadece çakışma matrisinin köşegen dışı üçgenlerinden birindeki girişler aşağıda listelenmiştir:

Hepsini göz önünde bulundurarak ne zaman nominal veriler için yukarıdaki ifade şunları verir:

İle aralık verileri için yukarıdaki ifade şunları verir:

Buraya, çünkü uyuşmazlıklar büyük ölçüde komşu değerler arasında meydana gelir ve çakışma matrisinin köşegenine daha yakın meydana gelmesiyle görselleştirilir. hesaba katar ama değil. Gözlemlenen frekanslar Övv beklenen frekanslarla ortalama orantılıdır ev ≠ v ', .

Karşılaştırma alfa farklı ölçütlerdeki katsayılar, kodlayıcıların bir değişkenin metriğini nasıl kavramsallaştırdığına dair ipuçları sağlayabilir.

Alpha'nın diğer istatistikleri kucaklaması

Krippendorff's alfa Bilinen birkaç istatistiği ortak bir çatı altında toplar, her birinin kendi sınırlamaları vardır, ancak ek özellikleri yoktur.

  • Scott's pi[15] nominal veriler ve iki kodlayıcı için bir anlaşma katsayısıdır.
Veriler nominal olduğunda, alfa Scott’ınkine benzer bir biçime pi:
Scott’ın gözlemlediği anlaşma oranı görünür alpha’s tam olarak pay. Scott’ın beklenen anlaşma oranı, asimptotik olarak yaklaşık olarak örneklem büyüklüğü n büyük, sonsuz olduğunda eşittir. Scott’ın pi bu özel durum mu alfa iki kodlayıcının çok büyük bir nominal veri örneği oluşturduğu. Sonlu numune boyutları için: . Belli ki, .
  • Fleiss ’ kappa[16] bir dizi kodlayıcının tam olarak atadığı çok büyük örneklem büyüklüklerine sahip nominal veriler için bir anlaşma katsayısıdır m hepsine etiketler N istisnasız birimler (ancak unutmayın, m kodlayıcılar ve her örnek için yalnızca bazı alt küme etiketi). Fleiss, Cohen'in kappa[17] üç veya daha fazla değerlendirici veya kodlayıcıya, ancak genelleştirilmiş Scott'ın pi yerine. Bu kafa karışıklığı, Fleiss’in yeniden adlandırarak tanınan adını seçmesine yansır. K:[18]
Örnek boyutları sonlu olduğunda, K gözlemlenen anlaşmaların oranını elde etmedeki tutarsızlığı işlediği görülebilir içindeki maçları sayarak m(m - 1) içindeki olası değer çiftleri sen, uygun şekilde hariç değerler kendileriyle eşleşirken, orantı tümü içindeki eşleşmeleri sayarak elde edilir (mN)2 = n2 olası değer çiftleri, etkili dahil olmak üzere değerler kendileriyle eşleşti. Katsayıya bir önyargı getiren ikincisidir. Ancak, aynen pi, numune boyutları çok büyüdüğünde, bu sapma kaybolur ve oran içinde nominalα asimptotik olarak yaklaşık içinde K. Yine de, Fleiss ' kappa, daha doğrusu K, ile kesişir alfa sabit sayıda m kodlayıcılar hepsini kodlar N birimler (veri eksik), nominal kategoriler ve örneklem boyutu kullanılarak n = mN çok büyük, teorik olarak sonsuz.
nerede toplamı N bir kodlayıcının sıralaması arasındaki farklar c ve diğer kodlayıcının sıralaması k aynı nesnenin sen. Buna karşılık alfa tüm kodlayıcılar için frekanslarına göre bağlı sıraları hesaplar, rho her bir kodlayıcının örneğinde bunların ortalamasını alır. Bağların yokluğunda, payı ve paydası , nerede n = 2Nolan numune boyutları büyüdüğünde. Yani, Spearman’s rho bu özel durum mu alfa iki kodlayıcının çok büyük bir birim kümesini sıraladığı. Tekrar, ve .
  • Pearson sınıf içi korelasyon katsayı rii aralık verileri, iki kodlayıcı ve çok büyük örnek boyutları için bir anlaşma katsayısıdır. Bunu elde etmek için, Pearson'un ilk önerisi, gözlemlenen değer çiftlerini bir tabloya iki kez girmekti. c − k ve bir kez k − cgeleneksel olan Pearson ürün-moment korelasyon katsayısı daha sonra uygulanır.[20] Değer çiftlerinin iki kez girilmesiyle ortaya çıkan tablo, iki kodlayıcıya başvurmadan bir tesadüf matrisi haline gelir. n = 2N değerler ve köşegen etrafında simetriktir, yani eklem doğrusal regresyon çizgisi 45 ° 'lik bir çizgiye zorlanır ve kodlayıcılara yapılan referanslar ortadan kaldırılır. Bu nedenle, Pearson sınıf içi korelasyon katsayı, özel aralık durumudur alfa iki kodlayıcı ve büyük örnek boyutları için, ve .
  • Son olarak, aralıktaki anlaşmazlıklar alfa, Dsen, DÖ ve De uygun örnekler varyanslar.[21] Güvenilirlik aralığının alfa değerlendirmeler, varyans temelli tüm analitik tekniklerle tutarlıdır, örneğin varyans analizi. Ayrıca, sadece aralık verileri için değil, aynı zamanda nominal, sıralı, oran, kutupsal ve dairesel veriler için de fark fonksiyonları dahil ederek, alfa varyans kavramını genişletir ölçümler bu klasik analitik teknikler nadiren ele alınır.

Krippendorff's alfa bu özel amaçlı katsayıların herhangi birinden daha geneldir. Değişen örnek boyutlarına uyum sağlar ve çok çeşitli güvenilirlik verileri arasında karşılaştırmalar sağlar, çoğunlukla bilinen önlemlerle göz ardı edilir.

Alfa ile uyumsuz katsayılar ve kodlamanın güvenilirliği

Anlamsal olarak, güvenilirlik, sonraki analizler için burada kodlanmış verilere güvenme yeteneğidir. Yeterince fazla sayıda kodlayıcı okudukları veya gözlemledikleri üzerinde tam olarak hemfikir olduklarında, açıklamalarına güvenmek güvenli bir bahis. Bu tür yargılar, süreci kopyalayan kodlayıcıların sayısına ve kodlanmış birimlerin ilgilenilen popülasyonu ne kadar temsil ettiğine bağlıdır. Anlaşma mükemmelden daha az olduğunda, özellikle güvenilirlik olmadığında yorumlama sorunları ortaya çıkar.

  • Korelasyon ve ilişki katsayıları. Pearson'un çarpım-moment korelasyon katsayısı rijörneğin, koordinatları arasındaki herhangi bir doğrusal regresyon çizgisinden sapmaları ölçer. ben ve j. Bu regresyon çizgisi tam olarak 45 ° veya ortalanmadıkça, rij anlaşmayı ölçmez. Benzer şekilde, kodlayıcılar arasındaki mükemmel anlaşma aynı zamanda mükemmel ilişki anlamına gelirken, ilişkilendirme istatistikleri değişkenler arasındaki olası yukarıdaki ilişki örüntülerini kaydedin. Anlaşmayı diğer kuruluşlardan ayırt etmezler ve bu nedenle güvenilirlik ölçüleri olarak uygun değildirler.
  • Kodlayıcıların istatistiksel olarak birbirine bağlı olma derecesini ölçen katsayılar. Kodlanmış verilerin güvenilirliği söz konusu olduğunda, kodlayıcıların bireyselliğinin içinde yeri olamaz. Kodlayıcıların birbirinin yerine kullanılabilir olarak ele alınması gerekir. Alfa, Scott's pive Pearson'un orijinali sınıf içi korelasyon bunu yalnızca olasılıkların değil, tesadüflerin bir işlevi olarak tanımlanarak gerçekleştirin. Daha tanıdık beklenmedik durum matrislerinin aksine, N çift değerlerin ve iki kodlayıcıya referansı koruyun, çakışma matrisleri n eşlenebilir değerler kodlamada, onlara kimin katkıda bulunduğuna bakılmaksızın, aslında kodlayıcıları birbirinin yerine kullanılabilir olarak ele almak için kullanılır. Cohen'in kappa,[22] aksine, kodlayıcılar istatistiksel olarak birbirinden bağımsız olsaydı beklenecek anlaşma olarak, beklenmedik anlaşmayı beklenmedik durumlar açısından tanımlar.[23] Cohen'in şans anlayışı, kodlayıcıların belirli kategoriler için bireysel tercihleri ​​arasındaki anlaşmazlıkları içermekte başarısız olur, kategorilerin kullanımı konusunda hemfikir olan kodlayıcıları cezalandırır ve daha yüksek ile aynı fikirde olmayanları ödüllendirir. kappa-değerler. Bu, diğer tuhaflıkların sebebidir. kappa.[24] Kodlayıcıların istatistiksel bağımsızlığı, kodlanan birimlerin ve kendilerine atanan değerlerin istatistiksel bağımsızlığı ile yalnızca marjinal olarak ilişkilidir. Cohen'in kappa, önemli anlaşmazlıkları görmezden gelerek, kodlama verilerinin güvenilirliği değerlendirildiğinde aldatıcı bir şekilde büyük hale gelebilir.
  • Kodlayıcı yargılarının tutarlılığını ölçen katsayılar. Psikometrik literatürde,[25] güvenilirlik, ortak bir bireysel özellikler kümesine uygulandığında birçok testin gerçekleştirdiği tutarlılık olarak tanımlanma eğilimindedir. Cronbach alfa,[26] örneğin, birden çok testin ilişkili sonuçlar ürettiği dereceyi değerlendirmek için tasarlanmıştır. Elbette mükemmel uyum ideal olanıdır, ancak test sonuçları sistematik olarak değiştiğinde de Cronbach'ın alfa değeri yüksektir. Kodlayıcıların yargılarının tutarlılığı, gerekli veri güvenilirliği güvencelerini sağlamaz. Aynı yargılardan (sistematik veya rastgele) herhangi bir sapma, anlaşmazlık olarak kabul edilmeli ve ölçülen güvenilirliği azaltmalıdır. Cronbach alfa, mutlak farklılıklara yanıt vermek için tasarlanmamıştır.
  • Güvenilirlik açısından yorumlanamayan taban çizgilerine (0'ı ölçtükleri koşullar) sahip katsayılar, yani birimlerin ve kendilerine atanan değerlerin istatistiksel olarak ilgisiz olduğunu gösteren özel bir değere sahip değildir. Basit% - anlaşmazlık 0 = aşırı anlaşmazlık ile 100 = mükemmel anlaşma arasında değişir ve kesin bir değeri olmayan şansla. Daha önce belirtildiği gibi, Cohen'in kappa güvenilirliğin yokluğunu iki ayrı kodlayıcı arasındaki istatistiksel bağımsızlık olarak tanımlayarak bu kategoriye girer. Bennett, Alpert ve Goldstein'ın temeli S[27] değerlerin gerçekte nasıl kullanıldığıyla pek ilgisi olmayan kodlama için mevcut değerlerin sayısı olarak tanımlanır. Goodman ve Kruskal'ın lambdasır[28] belirli bir güvenilirlik yorumu olmadan 0 bırakarak –1 ve +1 arasında değişecek şekilde tanımlanır. Lin'in tekrarlanabilirliği veya uyum katsayısı rc[29] alır Pearson ürün moment korelasyonu rij bir hassasiyet ölçüsü olarak ve ona bir ölçü ekler Cb doğruluk, görünüşte düzeltmek için rij'Yukarıda bahsedilen yetersizlik. -1 ile +1 arasında değişir ve 0'ın güvenilirlik yorumu belirsizdir. Mükemmel uyumdan sapar kalmaz güvenilirlik yorumları sorgulanabilir hale gelen daha fazla sözde güvenilirlik ölçüsü vardır.

Bir istatistiği uzlaşma, tekrarlanabilirlik veya güvenilirlik olarak adlandırmak, onu sonraki kararlarda kodlanmış verilere güvenip güvenemeyeceğine dair geçerli bir indeks yapmaz. Matematiksel yapısı, kodlama birimleri sürecini analiz edilebilir terimler sistemine uymalıdır.

Notlar

  1. ^ Krippendorff, K. (2013) pp. 221–250, alfa ve 1969'dan beri içerik analizinde kullanımı.
  2. ^ Hayes, A.F. & Krippendorff, K. (2007) tanımlar ve bilgi işlem için SPSS ve SAS makroları sağlar alfa, güven sınırları ve seçilen bir minimuma ulaşamama olasılığı.
  3. ^ Kripp.alpha () işlevini içeren irr paketinin referans kılavuzu platformdan bağımsız istatistik paketi için R
  4. ^ Alfa kaynakları sayfası.
  5. ^ Krippendorff'un alfasını hesaplamak için Matlab kodu.
  6. ^ Krippendorff'un alfasını hesaplamak için Python kodu.
  7. ^ Krippendorff'un alfa hızlı hesaplaması için Python kodu.
  8. ^ Ticari Stata yazılımına kullanıcı tarafından yazılmış çeşitli eklentiler mevcuttur.
  9. ^ Veri Çerçevelerini destekleyen Açık Kaynak Python uygulaması
  10. ^ Onur, David. "Krippendorff'un Alpha'yı Anlamak" (PDF).
  11. ^ Krippendorff’un Alfa Güvenilirliğini Hesaplama " http://repository.upenn.edu/asc_papers/43/
  12. ^ Krippendorff, K. (2004) s. 237–238
  13. ^ Hayes, A. F. & Krippendorff, K. (2007) Verileri Kodlamak için Standart Güvenilirlik Ölçümü Çağrısına Cevap Verme [1]
  14. ^ Krippendorff, K. (2004) s. 241–243
  15. ^ Scott, W.A. (1955)
  16. ^ Fleiss, J.L. (1971)
  17. ^ Cohen, J. (1960)
  18. ^ Siegel, S. ve Castellan, N. J. (1988), s. 284–291.
  19. ^ Mızrakçı, C.E. (1904)
  20. ^ Pearson K. (1901), Tildesley, M.L. (1921)
  21. ^ Krippendorff, K. (1970)
  22. ^ Cohen, J. (1960)
  23. ^ Krippendorff, K. (1978) bu sorunu Joseph Fleiss ile gündeme getirdi.
  24. ^ Zwick, R. (1988), Brennan, R.L. & Prediger, D.J. (1981), Krippendorff (1978, 2004).
  25. ^ Nunnally, J.C. & Bernstein, I.H. (1994)
  26. ^ Cronbach, L.J. (1951)
  27. ^ Bennett, E.M., Alpert, R. & Goldstein, A.C. (1954)
  28. ^ Goodman, L. A. ve Kruskal, W.H. (1954) s. 758
  29. ^ Lin, L. I. (1989)

1. K. Krippendorff, 2013, İçerik Analizi: Metodolojisine Giriş, 3. baskı. Bin Meşe, CA, ABD: Adaçayı, PP. 221–250

Referanslar

  • Bennett, Edward M., Alpert, R. & Goldstein, A.C. (1954). Sınırlı yanıtlı sorgulama yoluyla iletişim. Üç Aylık Kamuoyu, 18, 303–308.
  • Brennan, Robert L. & Prediger, Dale J. (1981). Katsayı kappa: Bazı kullanımlar, yanlış kullanımlar ve alternatifler. Eğitimsel ve Psikolojik Ölçme, 41, 687–699.
  • Cohen, Jacob (1960). Nominal ölçekler için bir anlaşma katsayısı. Eğitimsel ve Psikolojik Ölçme, 20 (1), 37–46.
  • Cronbach, Lee, J. (1951). Katsayı alfa ve testlerin iç yapısı. Psychometrika, 16 (3), 297–334.
  • Fleiss, Joseph L. (1971). Birçok değerlendirici arasında nominal ölçek anlaşmasının ölçülmesi. Psikolojik Bülten, 76, 378–382.
  • Goodman, Leo A. Ve Kruskal, William H. (1954). Çapraz sınıflandırmalar için ilişkilendirme ölçüleri. Amerikan İstatistik Derneği Dergisi, 49, 732–764.
  • Hayes, Andrew F. ve Krippendorff, Klaus (2007). Veri kodlama için standart bir güvenilirlik önlemi çağrısını yanıtlamak. İletişim Yöntemleri ve Önlemleri, 1, 77–89.
  • Krippendorff Klaus (2013). İçerik analizi: Metodolojisine giriş, 3. baskı. Bin Meşe, CA: Adaçayı.
  • Krippendorff Klaus (1978). İkili öznitelik verilerinin güvenilirliği. Biyometri, 34 (1), 142–144.
  • Krippendorff Klaus (1970). Aralık verilerinin güvenilirliğini, sistematik hatasını ve rastgele hatasını tahmin etme. Eğitimsel ve Psikolojik Ölçme, 30 (1), 61–70.
  • Lin, Lawrence I. (1989). Tekrarlanabilirliği değerlendirmek için bir uyum korelasyon katsayısı. Biyometri, 45, 255–268.
  • Nunnally, Jum C. & Bernstein, Ira H. (1994). Psikometrik Teori, 3. baskı. New York: McGraw-Hill.
  • Pearson, Karl, vd. (1901). Evrim teorisine matematiksel katkılar. IX: Homotipoz ilkesi ve bunun kalıtımla, bireyin değişkenliğiyle ve ırkınkiyle ilişkisi üzerine. Bölüm I: Sebze krallığında homotipoz. Kraliyet Cemiyetinin Felsefi İşlemleri (Londra), Seri A, 197, 285–379.
  • Scott, William A. (1955). İçerik analizinin güvenilirliği: Nominal ölçekli kodlama durumu. Kamuoyu Üç Aylık Bülteni, 19, 321–325.
  • Siegel, Sidney ve Castella, N. John (1988). Davranış Bilimleri için Parametrik Olmayan İstatistikler, 2. baskı. Boston: McGraw-Hill.
  • Tildesley, M.L. (1921). Burmes kafatasının ilk çalışması. Biometrica, 13, 176–267.
  • Mızrakçı, Charles E. (1904). İki şey arasındaki ilişkinin kanıtı ve ölçüsü. Amerikan Psikoloji Dergisi, 15, 72–101.
  • Zwick, Rebecca (1988). Değerlendiriciler arası anlaşmaya başka bir bakış. Psikolojik Bülten, 103 (3), 347–387.

Dış bağlantılar