Otomatik makale puanlama - Automated essay scoring - Wikipedia

Otomatik makale puanlama (AES) eğitim ortamında yazılan denemelere not vermek için özel bilgisayar programlarının kullanılmasıdır. Bu bir biçimdir eğitimsel değerlendirme ve bir uygulama doğal dil işleme. Amacı, büyük bir metinsel varlık kümesini, olası derecelere karşılık gelen, örneğin 1'den 6'ya kadar sayılara karşılık gelen az sayıda ayrı kategoriye sınıflandırmaktır. Bu nedenle, bir problem olarak kabul edilebilir. istatistiksel sınıflandırma.

AES'e artan ilgiye çeşitli faktörler katkıda bulunmuştur. Bunların arasında maliyet, hesap verebilirlik, standartlar ve teknoloji var. Artan eğitim maliyetleri, standartlar getirerek eğitim sistemini sonuçlardan sorumlu tutma baskısına yol açtı. Bilgi teknolojisindeki ilerleme, eğitim başarısını daha düşük maliyetle ölçmeyi vaat ediyor.

AES'nin kullanımı yüksek riskli test Rakipler, bilgisayarların henüz doğru bir şekilde yazıya not veremediğini araştırmaya işaret ederek ve bu tür amaçlarla kullanımlarının indirgeyici yollarla yazı öğretmeyi teşvik ettiğini savunarak (örn. sınava öğretmek ).

Tarih

AES'in çoğu tarihsel özetleri, alanın kökenini, Ellis Batten Sayfası.[1] 1966'da[2] bilgisayarla makale puanlama olasılığı için ve 1968'de yayınladı[3] Project Essay Grade (PEG) adlı bir programdaki başarılı çalışması. O zamanın teknolojisini kullanarak, bilgisayarlı makale puanlaması uygun maliyetli olmayacaktı.[4] bu yüzden Page yaklaşık yirmi yıldır çabalarını azalttı. Sonunda, Sayfa PEG sattı Ölçüm Dahil

1990'a gelindiğinde, masaüstü bilgisayarlar o kadar güçlü ve yaygın hale geldi ki, AES pratik bir olasılıktı. Daha 1982'de, Writer's Workbench adlı bir UNIX programı noktalama işaretleri, yazım denetimi ve dilbilgisi tavsiyeleri sunabiliyordu.[5] Çeşitli şirketlerle (özellikle Eğitimsel Test Hizmeti) işbirliği içinde, Page, PEG'i güncelledi ve 1990'ların başında bazı başarılı denemeler gerçekleştirdi.[6]

Peter Foltz ve Thomas Landauer Intelligent Essay Assessor (IEA) adlı bir puanlama motorunu kullanan bir sistem geliştirdi. IEA, ilk olarak 1997'de lisans dersleri için kompozisyonları puanlamak için kullanıldı.[7] Artık Pearson Eğitim Teknolojileri'nin bir ürünüdür ve bir dizi ticari üründe ve eyalet ve ulusal sınavlarda puan vermek için kullanılır.

IntelliMetric, Vantage Learning'in AES motorudur. Gelişimi 1996 yılında başladı.[8] İlk olarak 1998'de makaleleri puanlamak için ticari olarak kullanıldı.[9]

Educational Testing Service, otomatik bir kompozisyon puanlama programı olan "e-rater" ı sunar. Ticari olarak ilk kez Şubat 1999'da kullanıldı.[10] Jill Burstein, geliştirilmesinde ekip lideriydi. ETS'nin Kriter Çevrimiçi Yazma Değerlendirme Hizmeti, hem puanlar hem de hedeflenen geri bildirim sağlamak için e-değerlendirici motorunu kullanır.

Lawrence Rudner, Bayesian puanlama ile bazı çalışmalar yaptı ve BETSY (Bayesian Essay Test Scoring sYstem) adlı bir sistem geliştirdi.[11] Sonuçlarından bazıları basılı veya çevrimiçi olarak yayınlandı, ancak henüz hiçbir ticari sistem BETSY'yi içermiyor.

Howard Mitzel ve Sue Lottridge önderliğinde, Pacific Metrics, CRASE adlı yapılandırılmış bir yanıt otomatik puanlama motoru geliştirdi. Şu anda birkaç eyalet eğitim bakanlığı tarafından ve ABD Eğitim Bakanlığı tarafından finanse edilen Gelişmiş Değerlendirme Hibesinde kullanılan Pacific Metrics'in teknolojisi, 2007'den beri büyük ölçekli biçimlendirici ve özetleyici değerlendirme ortamlarında kullanılmaktadır.

Measurement Inc., 2002 yılında PEG'in haklarını aldı ve geliştirmeye devam etti.[12]

2012 yılında Hewlett Vakfı bir yarışmaya sponsor oldu Kaggle Otomatik Öğrenci Değerlendirme Ödülü (ASAP) olarak adlandırıldı.[13] 201 meydan okuma, AES kullanarak, insan değerlendiricilerin sekiz farklı soruya yazılan binlerce denemeye vereceği puanları tahmin etmeye çalıştı. Amaç, AES'in insan değerlendiriciler kadar güvenilir olabileceğini göstermekti. Yarışma ayrıca, ASAP verilerinin bir alt kümesinde dokuz AES satıcısı arasında ayrı bir gösteriye ev sahipliği yaptı. Araştırmacılar, otomatik makale puanlamasının insan puanlaması kadar güvenilir olduğunu bildirmesine rağmen,[14] Bu iddia herhangi bir istatistiksel testle doğrulanmamıştır çünkü bazı satıcılar katılımlarının ön koşulu olarak bu tür testlerin yapılmasını istememiştir.[15] Dahası, Hewlett Çalışması'nın AES'in insan değerlendiriciler kadar güvenilir olabileceğini gösterdiği iddiası o zamandan beri şiddetle tartışılıyor,[16][17] dahil Randy E. Bennett Norman O. Frederiksen, Değerlendirme İnovasyonu Başkanı Eğitim Test Hizmeti.[18] Çalışmanın en önemli eleştirilerinden bazıları, sekiz veri setinin beşinin denemelerden ziyade paragraflardan oluşması, sekiz veri setinin dördünün insan okuyucular tarafından yazma becerisinden ziyade içerik açısından derecelendirildiği ve insan okuyucuları ölçmekten ziyade bu ve AES makineleri, iki okuyucunun puanlarının ortalaması olan "gerçek puana" karşı, çalışma yapay bir yapı, "çözümlenmiş puan" kullandı; bu, dört veri kümesinde iki insan puanından daha yüksek olanı içeriyordu. anlaşmazlık. Özellikle bu son uygulama, makinelere bu veri kümelerini toplamalarına izin vererek haksız bir avantaj sağladı.[16]

1966'da Page, gelecekte bilgisayar temelli yargıcın her bir insan yargıçla diğer insan yargıçlardan daha iyi ilişkilendirileceğini varsaydı.[2] Bu yaklaşımın genel olarak makale işaretlemesine uygulanabilirliği eleştirilmesine rağmen, bu hipotez, tipik İngilizler gibi kısa sorulara serbest metin yanıtlarını işaretlemek için desteklenmiştir. GCSE sistemi.[19] Sonuçları denetimli öğrenme otomatik sistemlerin, farklı öğretmenler tarafından işaretleme yapıldığında iyi bir uyum içinde olduğunu gösterin. Denetimsiz kümeleme Cevapların% 'si, mükemmel kağıtların ve zayıf kağıtların iyi tanımlanmış kümeler oluşturduğunu ve bu kümeler için otomatik işaretleme kuralının iyi çalıştığını gösterdi, oysa üçüncü küme (' karma ') için insan öğretmenler tarafından verilen notlar tartışmalı olabilir ve herhangi bir 'karma' kümeden yapılan çalışmaların değerlendirilmesi sıklıkla sorgulanabilir (hem insan hem de bilgisayar tabanlı).[19]

Deneme kalitesinin farklı boyutları

Yakın tarihli bir ankete göre,[20] modern AES sistemleri, kullanıcılara geri bildirim sağlamak için bir makalenin kalitesinin farklı boyutlarını puanlamaya çalışır. Bu boyutlar aşağıdaki öğeleri içerir:

  • Dilbilgisi: gramer kurallarına uymak
  • Kullanım: edat kullanımı, kelime kullanımı
  • Mekanik: yazım, noktalama, büyük harf kullanımı için aşağıdaki kurallar
  • Stil: kelime seçimi, cümle yapısı çeşitliliği
  • Alaka düzeyi: içeriğin bilgi istemiyle ne kadar alakalı olduğu
  • Organizasyon: makale ne kadar iyi yapılandırılmış
  • Geliştirme: örneklerle fikir geliştirme
  • Uyum: geçiş ifadelerinin uygun kullanımı
  • Tutarlılık: fikirler arasında uygun geçişler
  • Tez Açıklığı: tezin netliği
  • İkna edebilirlik: ana argümanın inandırıcılığı

Prosedür

Başlangıçtan beri, AES için temel prosedür, dikkatle elle puanlanmış bir dizi eğitim denemesiyle başlamak olmuştur.[21] Program, her makalenin metninin toplam kelime sayısı, alt cümle sayısı veya büyük harflerin küçük harflere oranı gibi yüzey özelliklerini değerlendirir - herhangi bir insan anlayışı olmadan ölçülebilen miktarlar. Ardından, bu miktarları makalelerin aldığı puanlarla ilişkilendiren bir matematiksel model oluşturur. Aynı model daha sonra yeni makalelerin puanlarını hesaplamak için uygulanır.

Son zamanlarda, böyle bir matematiksel model Isaac Persing ve Vincent Ng tarafından oluşturuldu.[22] Bu sadece yukarıdaki özellikler üzerine denemeleri değil, aynı zamanda argüman güçlerini de değerlendirir. Yazarın mutabakat düzeyi ve bunun nedenleri, yönlendirmenin konusuna bağlılık, argüman bileşenlerinin yerleri (ana iddia, iddia, öncül), argümanlarda hatalar, argümanlarda uyum gibi makalenin çeşitli özelliklerini değerlendirir. çeşitli diğer özellikler arasında. Yukarıda bahsedilen diğer modellerin aksine, bu model makaleleri derecelendirirken insan anlayışını kopyalamaya daha yakındır.

Çeşitli AES programları, hangi spesifik yüzey özelliklerini ölçtükleri, eğitim setinde kaç deneme gerektiği ve en önemlisi matematiksel modelleme tekniğinde farklılık gösterir. Kullanılan erken girişimler doğrusal regresyon. Modern sistemler, doğrusal regresyon veya diğer makine öğrenimi tekniklerini genellikle diğer istatistiksel tekniklerle birlikte kullanabilir. gizli anlamsal analiz[23] ve Bayesci çıkarım.[11]

Başarı kriterleri

Herhangi bir değerlendirme yöntemi, geçerlilik, adalet ve güvenilirlik açısından değerlendirilmelidir.[24] Bir araç, ölçmek istediği özelliği gerçekten ölçüyorsa geçerlidir. Gerçekte, herhangi bir sınıf insanı cezalandırmaması veya ayrıcalık tanımaması adildir. Alakasız dış faktörler değiştirildiğinde bile sonucunun tekrarlanabilir olması güvenilirdir.

Bilgisayarlar resme girmeden önce, yüksek riskli denemelere genellikle iki eğitimli insan değerlendirici tarafından puanlar verildi. Puanlar birden fazla puan farklıysa, daha deneyimli bir üçüncü değerlendirici anlaşmazlığı çözecektir. Bu sistemde, güvenilirliği ölçmenin kolay bir yolu vardır: değerlendiriciler arası anlaşma. Değerlendiriciler bir noktada tutarlı bir şekilde anlaşmazlarsa, eğitimleri hatalı olabilir. Bir değerlendirici, diğer değerlendiricilerin aynı makalelere nasıl baktıklarına sürekli olarak katılmıyorsa, bu değerlendiricinin muhtemelen ekstra eğitime ihtiyacı vardır.

Değerlendiriciler arası anlaşmayı ölçmek için çeşitli istatistikler önerilmiştir. Bunların arasında yüzde anlaşma var, Scott's π, Cohen'in κ, Krippendorf's α, Pearson korelasyon katsayısı r, Spearman sıra korelasyon katsayısı ρ ve Lin'ler uyum korelasyon katsayısı.

Yüzde uyumu, genellikle 4 ≤ n ≤ 6 olan, 1'den n'ye kadar puanlara sahip derecelendirme ölçeklerine uygulanabilen basit bir istatistiktir. Her biri puanlanan toplam makale sayısının yüzdesi olan üç rakam olarak rapor edilir: tam uyum (iki değerlendirici verdi makale aynı puan), bitişik anlaşma (puanlayıcılar en fazla bir puan farklıydı; bu tam uyumu içerir) ve aşırı anlaşmazlık (puanlayıcılar ikiden fazla puan farklıydı). Uzman insan notlandırıcıların, tüm makalelerin% 53 ila% 81'i üzerinde ve% 97 ila% 100'ü üzerinde bitişik anlaşma sağladıkları görülmüştür.[25]

Değerlendiriciler arası anlaşma artık bilgisayarın performansını ölçmek için uygulanabilir. İki insan değerlendiriciye ve bir AES programına bir dizi makale verilir. Bilgisayar tarafından atanan puanlar, insan değerlendiricilerden biri ile hemfikir ise, puanlayıcılar birbirleriyle hemfikir ise, AES programı güvenilir kabul edilir. Alternatif olarak, iki insan değerlendiricinin puanlarının ortalaması alınarak her denemeye "gerçek bir puan" verilir ve iki insan ve bilgisayar, gerçek puanla uyuşmaları temelinde karşılaştırılır.

Bazı araştırmacılar, AES sistemlerinin aslında bir insandan daha iyi performans gösterdiğini bildirdi. Page bu iddiayı PEG için 1994'te yaptı.[6] Scott Elliot, 2003 yılında IntelliMetric'in tipik olarak insan puanlayıcılardan daha iyi performans gösterdiğini söyledi.[8] Bununla birlikte, AES makineleri, her türlü karmaşık yazma testi için insan okuyuculardan daha az güvenilir görünmektedir.[26]

Mevcut uygulamada, GMAT gibi yüksek riskli değerlendirmeler her zaman en az bir insan tarafından puanlanmaktadır. AES, ikinci bir değerlendiricinin yerine kullanılır. Bir insan değerlendirici, birden fazla noktadaki anlaşmazlıkları çözer.[27]

Eleştiri

AES çeşitli gerekçelerle eleştirildi. Yang ve diğerleri. "yanıtların yüzey özelliklerine aşırı güvenmekten, yanıtların içeriğine ve yaratıcılığa duyarsızlıktan ve yeni tür hile ve test yapma stratejilerine karşı savunmasızlığından" bahsedin.[27] Bazı eleştirmenler, hiçbir insanın yazılarını okumayacağını bilirlerse öğrencilerin motivasyonunun azalacağından endişe duyuyor.[28] En anlamlı eleştiriler arasında kasıtlı olarak anlamsız yazılara yüksek puanlar verildiği bildiriliyor.[29]

HumanReaders.Org Dilekçesi

12 Mart 2013 tarihinde, HumanReaders.Org "Yüksek Bahisli Değerlendirmede Öğrenci Denemelerinin Makine Puanlamasına Karşı Profesyoneller" adlı çevrimiçi bir imza kampanyası başlattı. Haftalar içinde, dilekçe aşağıdakiler de dahil olmak üzere binlerce imza aldı: Noam Chomsky,[30] ve dahil olmak üzere bir dizi gazetede alıntı yapıldı New York Times,[31] ve bir dizi eğitim ve teknoloji bloglarında.[32]

Dilekçe, AES'in yüksek riskli testler için kullanılmasını "önemsiz", "indirgeyici", "yanlış", "teşhis edilemeyen", "haksız" ve "gizli" olarak tanımlıyor.[33]

AES ile ilgili araştırmanın ayrıntılı bir özetinde, dilekçe sitesi "ARAŞTIRMA BULGULARI - hiç kimsenin - öğrenciler, ebeveynler, öğretmenler, işverenler, yöneticiler, yasa koyucular - makalelerin makine puanlamasına güvenemeyeceğini GÖSTERİR ... VE BUNU makine puanlaması gerçek yazı eylemlerini ölçer ve bu nedenle teşvik etmez. "[34]

Dilekçe, özellikle yüksek riskli testler için AES'in kullanımına değiniyor ve diğer olası kullanımlar hakkında hiçbir şey söylemiyor.

Yazılım

Otomatik makale puanlaması için çoğu kaynak tescillidir.

  • eRater - yayınlayan Eğitim Test Hizmeti
  • Intellimetric - Vantage Learning tarafından
  • Proje Deneme Notu[35] - Measurement, Inc. tarafından

Referanslar

  1. ^ Sayfa, E.B. (2003). "Proje Deneme Notu: PEG", s. 43. Shermis, Mark D. ve Jill Burstein, editörler, Otomatik Deneme Puanlama: Disiplinler Arası Bir Bakış Açısı. Lawrence Erlbaum Associates, Mahwah, New Jersey, ISBN  0805839739
    - Larkey, Leah S. ve W. Bruce Croft (2003). "Otomatik Deneme Notlandırmaya Metin Sınıflandırma Yaklaşımı", s. 55. Shermis, Mark D. ve Jill Burstein, eds. Otomatik Deneme Puanlama: Disiplinler Arası Bir Bakış Açısı. Lawrence Erlbaum Associates, Mahwah, New Jersey, ISBN  0805839739
    - Keith Timothy Z. (2003). "Otomatik Deneme Puanlama Sistemlerinin Geçerliliği", s. 153. Shermis, Mark D. ve Jill Burstein, editörler, Otomatik Deneme Puanlama: Disiplinler Arası Bir Bakış Açısı. Lawrence Erlbaum Associates, Mahwah, New Jersey, ISBN  0805839739
    - Shermis, Mark D., Jill Burstein ve Claudia Leacock (2006). "Yazıyı Ölçme ve Analiz Etmede Bilgisayar Uygulamaları", s. 403. MacArthur, Charles A., Steve Graham ve Jill Fitzgerald, editörler, Yazı Araştırması El Kitabı. Guilford Press, New York, ISBN  1-59385-190-1
    - Attali, Yigal, Brent Bridgeman ve Catherine Trapani (2010). "Otomatik Deneme Puanlamada Genel Yaklaşım Performansı", s. 4. Teknoloji, Öğrenme ve Değerlendirme Dergisi, 10(3)
    - Wang, Jinhao ve Michelle Stallone Brown (2007). "İnsan Puanlamasına Karşı Otomatik Deneme Puanlaması: Karşılaştırmalı Bir Çalışma", s. 6. Teknoloji, Öğrenme ve Değerlendirme Dergisi, 6(2)
    - Bennett, Randy Elliot ve Anat Ben-Simon (2005). "Teorik Olarak Anlamlı Otomatikleştirilmiş Kompozisyon Puanlamasına Doğru" Arşivlendi 7 Ekim 2007 Wayback Makinesi, s. 6. Erişim tarihi: 19 Mart 2012-.
  2. ^ a b Sayfa, E.B. (1966). "Yazıları bilgisayarla notlandırmanın ... yakınlığı". Phi Deltası Kappan. 47 (5): 238–243. JSTOR  20371545.
  3. ^ Sayfa, E.B. (1968). "Öğrenci Denemelerinin Analizinde Bilgisayarın Kullanımı", Uluslararası Eğitim İncelemesi, 14(3), 253-263.
  4. ^ Sayfa, E.B. (2003), s. 44-45.
  5. ^ MacDonald, N.H., L.T. Frase, P.S. Gingrich ve S.A. Keenan (1982). "The Writers Workbench: Metin Analizi için Bilgisayar Yardımları", İletişimde IEEE İşlemleri, 3(1), 105-110.
  6. ^ a b Sayfa, E.B. (1994). "Modern Kavramlar ve Yazılımlar Kullanarak Öğrenci Nesnesinin Yeni Bilgisayar Derecelendirmesi", Deneysel Eğitim Dergisi, 62(2), 127-142.
  7. ^ Rudner, Lawrence. "Üç önemli yazma değerlendirme programı" Arşivlendi 9 Mart 2012 Wayback Makinesi. Erişim tarihi: 6 Mart 2012.
  8. ^ a b Elliot, Scott (2003). "Intellimetric TM: Buradan Geçerliliğe", s. 75. Shermis, Mark D. ve Jill Burstein, eds., Otomatik Deneme Puanlama: Disiplinler Arası Bir Bakış Açısı. Lawrence Erlbaum Associates, Mahwah, New Jersey, ISBN  0805839739
  9. ^ "IntelliMetric®: Nasıl Çalışır ", Vantage Learning. Erişim tarihi: 28 Şubat 2012.
  10. ^ Burstein Jill (2003). "E-rater (R) Puanlama Motoru: Doğal Dil İşleme ile Otomatik Deneme Puanlama", s. 113. Shermis, Mark D. ve Jill Burstein, editörler, Otomatik Deneme Puanlama: Disiplinler Arası Bir Bakış Açısı. Lawrence Erlbaum Associates, Mahwah, New Jersey, ISBN  0805839739
  11. ^ a b Rudner, Lawrence (yaklaşık 2002). "Bayes Ağlarını Kullanarak Bilgisayar Derecelendirmesi - Genel Bakış" Arşivlendi 8 Mart 2012 Wayback Makinesi. Erişim tarihi: 7 Mart 2012.
  12. ^ "Değerlendirme Teknolojileri" Arşivlendi 29 Aralık 2011 Wayback Makinesi, Measurement Incorporated. Erişim tarihi: 9 Mart 2012.
  13. ^ Hewlett ödülü " Arşivlendi 30 Mart 2012 Wayback Makinesi. Alındı ​​Mart 2012.
  14. ^ "İnsan ve makine: Daha iyi yazarlar, daha iyi notlar". Akron Üniversitesi. 12 Nisan 2012. Alındı 4 Temmuz 2015.
    - Shermis, Mark D. ve Jill Burstein, editörler. Otomatik Deneme Değerlendirme El Kitabı: Mevcut Uygulamalar ve Yeni Yönergeler. Routledge, 2013.
  15. ^ Rivard, Ry (15 Mart 2013). "İnsanlar Robo Okuyucular İçin Kavga Ediyor". Inside Higher Ed. Alındı 14 Haziran 2015.
  16. ^ a b Perelman, Les (Ağustos 2013). "Mark D. Shermis & Ben Hamner'ın Eleştirisi," Kontrast Son Teknoloji Otomatik Denemelerin Puanlanması: Analiz"". Journal of Writing Assessment. 6 (1). Alındı 13 Haziran 2015.
  17. ^ Perelman, L. (2014). "Son teknoloji kelimeleri sayarken" ", Yazmayı Değerlendirme, 21, 104-111.
  18. ^ Bennett, Randy E. (Mart 2015). "Eğitimsel Değerlendirmenin Değişen Doğası". Eğitimde Araştırmanın Gözden Geçirilmesi. 39 (1): 370–407. doi:10.3102 / 0091732X14554179. S2CID  145592665.
  19. ^ a b Süzen, N .; Mirkes, E. M .; Levesley, J; Gorban, A.N. (2020). "Metin madenciliği yöntemlerini kullanarak otomatik kısa yanıt notu ve geri bildirim". Prosedür Bilgisayar Bilimi. 169: 726–743. arXiv:1807.10543. doi:10.1016 / j.procs.2020.02.171.
  20. ^ Ke, Zixuan (9 Ağustos 2019). "Otomatik Deneme Puanlama: Sanatın Durumu Üzerine Bir İnceleme" (PDF). Yirmi Sekizinci Uluslararası Yapay Zeka Ortak Konferansı Bildirileri (IJCAI-19): 6300–6308. doi:10.24963 / ijcai.2019 / 879. ISBN  978-0-9992411-4-1. Alındı 11 Nisan 2020.
  21. ^ Keith, Timothy Z. (2003), s. 149.
  22. ^ Persing, Isaac ve Vincent Ng (2015). "Öğrenci Denemelerinde Modelleme Argüman Gücü", s. 543-552. İçinde Hesaplamalı Dilbilim Derneği 53. Yıllık Toplantısı ve 7. Uluslararası Doğal Dil İşleme Ortak Konferansı Bildirileri (Cilt 1: Uzun Makaleler). Erişim tarihi: 2015-10-22.
  23. ^ Bennett, Randy Elliot ve Anat Ben-Simon (2005), s. 7.
  24. ^ Chung, Gregory K.W.K. ve Eva L. Baker (2003). "Oluşturulan Yanıtların Otomatik Puanlamasının Güvenilirliği ve Geçerliliğiyle İlgili Sorunlar", s. 23. İçinde: Otomatik Deneme Puanlama: Disiplinler Arası Bir Bakış Açısı. Shermis, Mark D. ve Jill Burstein, editörler. Lawrence Erlbaum Associates, Mahwah, New Jersey, ISBN  0805839739
  25. ^ Elliot, Scott (2003), s. 77.
    - Burstein, Jill (2003), s. 114.
  26. ^ Bennett, Randy E. (Mayıs 2006). "Teknoloji ve Yazma Değerlendirmesi: ABD Ulusal Eğitim İlerlemesi Değerlendirmesinden Çıkarılan Dersler" (PDF). Uluslararası Eğitim Değerlendirme Derneği. Arşivlenen orijinal (PDF) 24 Eylül 2015. Alındı 5 Temmuz 2015.
    - McCurry, D. (2010). "Makine puanlaması, geniş ve açık yazma testlerinin yanı sıra insan okuyucularla da ilgilenebilir mi?". Yazmayı Değerlendirme. 15 (2): 118–129. doi:10.1016 / j.asw.2010.04.002.
    - R. Bridgeman (2013). Shermis, Mark D .; Burstein, Jill (editörler). Otomatik Deneme Değerlendirme El Kitabı. New York: Routledge. s. 221–232.
  27. ^ a b Yang, Yongwei, Chad W. Buckendahl, Piotr J. Juszkiewicz ve Dennison S. Bhola (2002). "Bilgisayarla Otomatik Puanlamayı Doğrulama Stratejilerinin İncelenmesi" Arşivlendi 13 Ocak 2016 Wayback Makinesi, Eğitimde Uygulamalı Ölçüm, 15(4). Erişim tarihi: 8 Mart 2012.
  28. ^ Wang, Jinhao ve Michelle Stallone Brown (2007), s. 4-5.
    - Dikli, Semire (2006). "Makalelerin Otomatik Puanlanmasına Genel Bakış" Arşivlendi 8 Nisan 2013 Wayback Makinesi, Teknoloji, Öğrenme ve Değerlendirme Dergisi, 5(1)
    - Ben-Simon, Anat (2007). "Otomatik Deneme Puanlamasına (AES) Giriş", PowerPoint sunumu, Tiflis, Gürcistan, Eylül 2007.
  29. ^ Winerip, Michael (22 Nisan 2012). "Bir Robo-Greyderle Yüzleşmek mi? Sadece Karıştırıcı Şekilde Karıştırmaya Devam Edin". New York Times. Alındı 5 Nisan 2013.
  30. ^ "İmzalar >> Yüksek Riskli Değerlendirmede Öğrenci Denemelerinin Makine Puanlamasına Karşı Profesyoneller". HumanReaders.Org. Alındı 5 Nisan 2013.
  31. ^ Markoff, John (4 Nisan 2013). "Deneme Sınıflandırma Yazılımı Profesörlere Bir Mola Veriyor". New York Times. Alındı 5 Nisan 2013.
    - Garner, Richard (5 Nisan 2013). "Profesörler, bilgisayar tarafından yazılan makaleler yüzünden öfkeli". Bağımsız. Alındı 5 Nisan 2013.
  32. ^ Corrigan, Paul T. (25 Mart 2013). "Makine Puanlama Denemelerine Karşı Dilekçe, HumanReaders.Org". Yüksek Öğrenimde Öğretim ve Öğrenim. Alındı 5 Nisan 2013.
    - Jaffee, Robert David (5 Nisan 2013). "Bilgisayarlar Kağıtları Okuyamaz, Yazamaz veya Not Veremez". Huffington Post. Alındı 5 Nisan 2013.
  33. ^ "Yüksek Riskli Değerlendirmede Öğrenci Denemelerinin Makine Puanlamasına Karşı Profesyoneller". HumanReaders.Org. Alındı 5 Nisan 2013.
  34. ^ "Araştırma Bulguları >> Yüksek Riskli Değerlendirmede Öğrenci Denemelerinin Makine Puanlamasına Karşı Profesyoneller". HumanReaders.Org. Alındı 5 Nisan 2013.
    - "Alıntı Yapılan Çalışmalar >> Yüksek Riskli Değerlendirmede Öğrenci Denemelerinin Makine Puanlamasına Karşı Profesyoneller". HumanReaders.Org. Alındı 5 Nisan 2013.
  35. ^ "Değerlendirme Teknolojileri", Measurement, Inc.