Tartışmalı makine öğrenimi - Adversarial machine learning

Kafanı karıştırmamak Üretken düşmanlık ağı.

Tartışmalı makine öğrenimi bir makine öğrenme aldatıcı girdi sağlayarak modelleri kandırmaya çalışan teknik.[1][2][3] En yaygın neden, bir makine öğrenimi modelinde arızaya neden olmaktır.

Makine öğrenimi tekniklerinin çoğu, eğitim ve test verilerinin aynı istatistiksel dağıtımdan oluşturulduğu belirli problem setleri üzerinde çalışmak üzere tasarlanmıştır (IID ). Bu modeller gerçek dünyaya uygulandığında, rakipler bu istatistiksel varsayımı ihlal eden veriler sağlayabilir. Bu veriler, belirli güvenlik açıklarından yararlanacak ve sonuçları tehlikeye atacak şekilde düzenlenebilir.[3][4]

Tarih

İçinde Kar Kazası (1992), yazar, düşmanca bir saldırıya açık olan teknoloji senaryoları sundu. İçinde Sıfır Tarih (2010), bir karakter, onu elektronik gözetlemeye görünmez kılacak şekilde dekore edilmiş bir tişört giyer.[5]

2004'te Nilesh Dalvi ve diğerleri şunu belirttiler: doğrusal sınıflandırıcılar kullanılan spam filtreleri basitçe yenilebilir "kaçınma "spam gönderenler, spam e-postalarına" iyi kelimeler "ekledikçe saldırılar. OCR -based filtreler.) 2006 yılında, Marco Barreno ve diğerleri, geniş bir saldırı sınıflandırmasını özetleyen "Makine Öğrenimi Güvenli Olabilir mi?" 2013'ün sonlarına doğru birçok araştırmacı, doğrusal olmayan sınıflandırıcıların (örneğin, Vektör makineleri desteklemek ve nöral ağlar ) düşmanlara karşı sağlam olabilir. 2012 yılında derin sinir ağları bilgisayarla görme sorunlarına hakim olmaya başladı; 2014'ten başlayarak, Christian Szegedy ve diğerleri, derin sinir ağlarının düşmanlar tarafından kandırılabileceğini gösterdiler.[6]

Son zamanlarda, gürültülerin etkisini ortadan kaldıran farklı çevresel kısıtlamalar nedeniyle, pratik dünyada düşman saldırılarının üretilmesinin daha zor olduğu gözlemlendi.[7][8] Örneğin, rakip bir görüntüdeki herhangi bir küçük dönüş veya hafif aydınlatma, düşmanlığı yok edebilir.

Örnekler

Örnekler şunları içerir: spam filtreleme, spam iletilerin "kötü" kelimelerin yanlış yazılması veya "iyi" kelimelerin eklenmesi yoluyla karıştırıldığı durumlarda;[9][10] saldırılar bilgisayar Güvenliği, içinde kötü amaçlı yazılım kodunu gizlemek gibi ağ paketleri veya imza tespitini yanlış yönlendirmek için; sahte biyometrik özelliklerin yasal bir kullanıcıyı taklit etmek için istismar edilebildiği biyometrik tanıma saldırıları;[11] ya da kullanıcıların zaman içinde güncellenen özelliklerine uyum sağlayan şablon galerilerini tehlikeye atmak.

Araştırmacılar, yalnızca bir pikseli değiştirerek derin öğrenme algoritmalarını kandırmanın mümkün olduğunu gösterdi.[12][13] Diğerleri 3 boyutlu baskı Google'ın nesne algılamasını yapmak için tasarlanmış bir dokuya sahip oyuncak bir kaplumbağa AI kaplumbağanın hangi açıdan bakıldığına bakılmaksızın bir tüfek olarak sınıflandırın.[14] Kaplumbağayı yaratmak, yalnızca ticari olarak satılan düşük maliyetli 3 boyutlu baskı teknolojisini gerektiriyordu.[15]

Bir köpeğin makine tarafından değiştirilmiş görüntüsünün hem bilgisayarlara hem de insanlara kedi gibi göründüğü gösterildi.[16] 2019'da yapılan bir araştırma, insanların makinelerin düşmanca görüntüleri nasıl sınıflandıracağını tahmin edebildiğini bildirdi.[17] Araştırmacılar, otonom bir aracın onu bir birleştirme veya hız sınırı işareti olarak sınıflandırmasına neden olacak şekilde bir dur işaretinin görünümünü bozmak için yöntemler keşfettiler.[3][18][19]

McAfee saldırıya uğradı Tesla eski Mobileye sistemi, hız limiti işaretine iki inçlik bir siyah bant şeridi ekleyerek hız sınırının 50 mil üzerinde sürmesini sağladı.[20][21]

Yüz tanıma sistemlerini veya araç plakası okuyucularını aldatmak için tasarlanmış gözlükler veya giysiler üzerindeki çekişmeli desenler, "gizli sokak giyimi" niş sektörüne yol açtı.[22]

Bir sinir ağına yapılan düşmanca bir saldırı, bir saldırganın hedef sisteme algoritmalar enjekte etmesine izin verebilir.[23] Araştırmacılar, iyi huylu görünen seste akıllı asistanlara komutları gizlemek için düşmanca ses girişleri de oluşturabilirler.[24]

Güvenlik uygulamalarında kümeleme algoritmaları kullanılır. Kötü amaçlı yazılım ve bilgisayar virüsü analiz, kötü amaçlı yazılım ailelerini tanımlamayı ve belirli algılama imzaları oluşturmayı amaçlar.[25][26]

Saldırı Yöntemleri

Taksonomi

Makine öğrenimi algoritmalarına yönelik (denetimli) saldırılar, üç ana eksende kategorize edilmiştir:[27] sınıflandırıcı üzerindeki etkisi, güvenlik ihlali ve bunların özgüllüğü.

  • Sınıflandırıcı etkisi: Bir saldırı, sınıflandırma aşamasını bozarak sınıflandırıcıyı etkileyebilir. Bu, güvenlik açıklarını belirlemek için bir keşif aşamasından önce gelebilir. Saldırganın yetenekleri, veri işleme kısıtlamalarının varlığı nedeniyle kısıtlanabilir.[28]
  • Güvenlik ihlali: Bir saldırı, meşru olarak sınıflandırılan kötü amaçlı veriler sağlayabilir. Eğitim sırasında sağlanan kötü niyetli veriler, yasal verilerin eğitimden sonra reddedilmesine neden olabilir.
  • Özgüllük: Hedeflenen bir saldırı, belirli bir izinsiz giriş / kesintiye izin vermeye çalışır. Alternatif olarak, ayrım gözetmeyen bir saldırı genel bir kargaşa yaratır.

Bu sınıflandırma, düşmanın hedefi, saldırıya uğrayan sistem bilgisi, girdi verilerini / sistem bileşenlerini manipüle etme yeteneği ve saldırı stratejisi hakkında açık varsayımlara izin veren daha kapsamlı bir tehdit modeline genişletildi.[29][30] Ana saldırı senaryolarından ikisi şunlardır:

Stratejiler

Kaçınma

Kaçınma saldırıları[29][30][31] en yaygın saldırı türüdür. Örneğin, spam gönderenler ve bilgisayar korsanları genellikle spam e-postaların içeriğini gizleyerek tespit edilmekten kaçmaya çalışır ve kötü amaçlı yazılım. Örnekler, tespit edilmekten kaçınmak için değiştirilir; yani meşru olarak sınıflandırılmak. Bu, eğitim verileri üzerindeki etkiyi içermez. Açık bir kaçınma örneği resim tabanlı spam istenmeyen posta içeriğinin, istenmeyen posta önleme filtreleri ile metin analizinden kaçınmak için ekli bir görüntünün içine yerleştirildiği. Başka bir kaçınma örneği, biyometrik doğrulama sistemlerine yapılan sahtekarlık saldırılarıdır.[11]

Zehirlenme

Zehirlenme, eğitim verilerinin düşmanca kirlenmesidir. Makine öğrenimi sistemleri, işlemler sırasında toplanan veriler kullanılarak yeniden eğitilebilir. Örneğin, izinsiz giriş tespit sistemleri (IDS'ler) genellikle bu tür veriler kullanılarak yeniden eğitilir. Bir saldırgan, işlem sırasında daha sonra yeniden eğitimi kesintiye uğratan kötü amaçlı örnekler enjekte ederek bu verileri zehirleyebilir.[29][30][27][32][33][34]

Model Hırsızlığı

Model çalma (model çıkarma olarak da adlandırılır), modeli yeniden yapılandırmak veya üzerinde eğitildiği verileri çıkarmak için bir kara kutu makine öğrenimi sistemini inceleyen bir rakibi içerir.[35] Bu, eğitim verileri veya modelin kendisi hassas ve gizli olduğunda sorunlara neden olabilir. Örneğin, model çalma, rakibin daha sonra kendi mali çıkarları için kullanabileceği özel bir hisse senedi alım satım modelini çıkarmak için kullanılabilir.

Belirli Saldırı Türleri

Makine öğrenimi sistemlerine karşı kullanılabilecek çok çeşitli farklı düşman saldırıları vardır. Bunların çoğu her ikisinde de çalışır derin öğrenme sistemler ve geleneksel makine öğrenimi modelleri gibi SVM'ler[36] ve doğrusal regresyon.[37] Bu saldırı türlerinin üst düzey bir örneği şunları içerir:

  • Tartışmalı Örnekler[38]
  • Trojan Saldırıları / Arka Kapı Saldırıları[39]
  • Modeli Ters Çevirme[40]
  • Üyelik Çıkarımı [41]

Tartışmalı Örnekler

Rakip örnekler, insanlara "normal" görünecek şekilde tasarlanmış, ancak bir makine öğrenimi modelinde yanlış sınıflandırmaya neden olan, özel olarak hazırlanmış girdiyi ifade eder. Genellikle, yanlış sınıflandırmaları ortaya çıkarmak için özel olarak tasarlanmış bir "gürültü" biçimi kullanılır. Aşağıda, literatürde muhalif örnekler oluşturmak için bazı güncel teknikler verilmiştir (hiçbir şekilde kapsamlı bir liste yoktur).

  • Hızlı Gradyan İşaret Yöntemi (FGSM)[42]
  • Öngörülen Gradyan İniş (PGD)[43]
  • Carlini ve Wagner (C&W) saldırısı[44]
  • Tartışmalı yama saldırısı[45]

Savunma

Proaktif silahlanma yarışının kavramsal temsili[30][26]

Araştırmacılar, makine öğrenimini korumak için çok adımlı bir yaklaşım önerdiler.[6]

  • Tehdit modellemesi - Saldırganların hedeflerini ve yeteneklerini hedef sisteme göre resmileştirin.
  • Saldırı simülasyonu - Saldırganın çözmeye çalıştığı optimizasyon problemini olası saldırı stratejilerine göre resmileştirin.
  • Saldırı etkisi değerlendirmesi
  • Karşı önlem tasarımı
  • Gürültü algılama (Kaçınma temelli saldırı için)[46]

Mekanizmalar

Kaçınma, zehirlenme ve gizlilik saldırılarına karşı bir dizi savunma mekanizması önerilmiştir:

  • Güvenli öğrenme algoritmaları[10][47][48]
  • Çoklu sınıflandırıcı sistemler[9][49]
  • AI tarafından yazılmış algoritmalar.[23]
  • Eğitim ortamını keşfeden AI'lar; örneğin, görüntü tanımada, sabit bir 2D görüntü kümesini pasif olarak taramak yerine, bir 3D ortamda aktif olarak gezinmek.[23]
  • Gizliliği koruyan öğrenim[30][50]
  • İçin merdiven algoritması Kaggle stil yarışmaları
  • Oyun teorik modelleri[51][52][53]
  • Eğitim verilerini temizleme
  • Tartışmalı eğitim[54]
  • Arka kapı algılama algoritmaları[55]

Yazılım

Temel olarak test ve araştırma için mevcut yazılım kitaplıkları.

  • AdversariaLib - kaçınma saldırılarının uygulanmasını içerir
  • AdLib - Yayınlanmış bir dizi kaçınma saldırısı ve savunmasının uygulamalarını içeren scikit tarzı bir arayüze sahip Python kütüphanesi
  • AlfaSVMLib - Destek Vektör Makinelerine Karşı Olumsuz Etiket Flip Saldırıları[56]
  • Destek Vektör Makinelerine Karşı Zehirlenme Saldırıları, ve Kümeleme Algoritmalarına Karşı Saldırılar
  • derin tente - Şu anda kullanarak derin sinir ağlarına saldıran derin öğrenme için Metasploit Tensorflow.[57] Bu çerçeve şu anda Python'un en son sürümleriyle uyumluluğu korumak için güncellenmektedir.
  • Cleverhans - Mevcut derin öğrenme modellerini bilinen saldırılarla karşılaştırmak için bir Tensorflow Kitaplığı
  • aptal kutusu - Düşman örnekler oluşturmak için Python Kitaplığı, birden çok saldırı uygular
  • SecML - Güvenli ve açıklanabilir makine öğrenimi için Python Kitaplığı - çok çeşitli makine öğrenimi ve saldırı algoritmalarının uygulanmasını, yoğun ve seyrek veri desteğini, çoklu işlemeyi, görselleştirme araçlarını içerir.
  • TrojAI - Truva atı algılamasına yönelik araştırma için geniş ölçekte arka kapılı ve truva atlı modeller oluşturmak için Python Kitaplığı
  • Tartışmalı Sağlamlık Araç Seti (ART) - Makine Öğrenimi Güvenliği için Python Kitaplığı
  • Advertorch - Başlıca işlevleri uygulamada uygulanan, rakip sağlamlık araştırmaları için Python araç kutusu PyTorch

Ayrıca bakınız

Referanslar

  1. ^ Kianpour, Mazaher; Wen, Shao-Fang (2020). "Makine Öğreniminde Zamanlama Saldırıları: Sanatın Durumu". Akıllı Sistemler ve Uygulamalar. Akıllı Sistemler ve Hesaplamadaki Gelişmeler. 1037. sayfa 111–125. doi:10.1007/978-3-030-29516-5_10. ISBN  978-3-030-29515-8.
  2. ^ Bengio, Samy; Goodfellow, Ian J .; Kurakin, Alexey (2017). "Büyük Ölçekte Tartışmalı Makine Öğrenimi". Google AI. arXiv:1611.01236. Bibcode:2016arXiv161101236K. Alındı 2018-12-13.
  3. ^ a b c Lim, Hazel Si Min; Taeihagh, Araz (2019). "AV'lerde Algoritmik Karar Verme: Akıllı Şehirler için Etik ve Teknik Kaygıları Anlamak". Sürdürülebilirlik. 11 (20): 5791. arXiv:1910.13122. Bibcode:2019arXiv191013122L. doi:10.3390 / su11205791. S2CID  204951009.
  4. ^ Goodfellow, Ian; McDaniel, Patrick; Papernot, Nicolas (25 Haziran 2018). "Makine öğrenimini rakip girdilere karşı sağlam hale getirme". ACM'nin iletişimi. 61 (7): 56–66. doi:10.1145/3134599. ISSN  0001-0782. Alındı 2018-12-13.CS1 bakimi: ref = harv (bağlantı)
  5. ^ Vincent, James (12 Nisan 2017). "Sihirli Yapay Zeka: bunlar bilgisayarları kandıran, kandıran ve flummox yapan optik illüzyonlardır". Sınır. Alındı 27 Mart 2020.
  6. ^ a b Biggio, Battista; Roli, Fabio (Aralık 2018). "Vahşi kalıplar: Rakip makine öğreniminin yükselişinden on yıl sonra". Desen tanıma. 84: 317–331. arXiv:1712.03141. doi:10.1016 / j.patcog.2018.07.023. S2CID  207324435.
  7. ^ Kurakin, Alexey; Goodfellow, Ian; Bengio, Samy (2016). "Fiziksel dünyada tartışmalı örnekler". arXiv:1607.02533 [cs.CV ].
  8. ^ Gupta, Kishor Datta, Dipankar Dasgupta ve Zahid Akhtar. "Kaçınma Temelli Karşı Saldırıların ve Hafifletme Tekniklerinin uygulanabilirlik sorunları." 2020 IEEE Sempozyum Serisi Hesaplamalı Zeka (SSCI). 2020.
  9. ^ a b Biggio, Battista; Fumera, Giorgio; Roli, Fabio (2010). "Karşıt ortamlarda sağlam sınıflandırıcı tasarımı için çoklu sınıflandırıcı sistemleri". Uluslararası Makine Öğrenimi ve Sibernetik Dergisi. 1 (1–4): 27–41. doi:10.1007 / s13042-010-0007-7. ISSN  1868-8071. S2CID  8729381.
  10. ^ a b Brückner, Michael; Kanzow, Christian; Scheffer Tobias (2012). "Tartışmalı Öğrenme Sorunları için Statik Tahmin Oyunları" (PDF). Makine Öğrenimi Araştırmaları Dergisi. 13 (Eylül): 2617–2654. ISSN  1533-7928.
  11. ^ a b Rodrigues, Ricardo N .; Ling, Lee Luan; Govindaraju, Venu (1 Haziran 2009). "Çok modlu biyometrik füzyon yöntemlerinin sahtekarlık saldırılarına karşı sağlamlığı" (PDF). Görsel Diller ve Bilgisayar Kullanımı Dergisi. 20 (3): 169–179. doi:10.1016 / j.jvlc.2009.01.010. ISSN  1045-926X.
  12. ^ Su, Jiawei; Vargas, Danilo Vasconcellos; Sakurai, Kouichi (2019). "Derin Sinir Ağlarını Kandırmak İçin Bir Piksel Saldırısı". Evrimsel Hesaplamaya İlişkin IEEE İşlemleri. 23 (5): 828–841. arXiv:1710.08864. doi:10.1109 / TEVC.2019.2890858. S2CID  2698863.
  13. ^ Su, Jiawei; Vargas, Danilo Vasconcellos; Sakurai, Kouichi (Ekim 2019). "Derin Sinir Ağlarını Kandırmak İçin Bir Piksel Saldırısı". Evrimsel Hesaplamaya İlişkin IEEE İşlemleri. 23 (5): 828–841. arXiv:1710.08864. doi:10.1109 / TEVC.2019.2890858. ISSN  1941-0026. S2CID  2698863.
  14. ^ "Tek piksel değişimi yapay zeka programlarını kandırır". BBC haberleri. 3 Kasım 2017. Alındı 12 Şubat 2018.
  15. ^ Athalye, Anish; Engstrom, Logan; Ilyas, Andrew; Kwok Kevin (2017). "Güçlü Tartışmalı Örneklerin Sentezlenmesi". arXiv:1707.07397 [cs.CV ].
  16. ^ "Yapay Zekada Çözülmesi Zor Bir Halüsinasyon Sorunu Var". KABLOLU. 2018. Alındı 10 Mart 2018.
  17. ^ Zhou, Zhenglong; Firestone, Chaz (2019). "İnsanlar düşmanca görüntüleri deşifre edebilir". Doğa İletişimi. 10: 1334. arXiv:1809.04120. Bibcode:2019NatCo..10.1334Z. doi:10.1038 / s41467-019-08931-6. PMID  30902973.
  18. ^ Jain, Anant (2019-02-09). "Düşman saldırılarla sinir ağlarını kırma - Veri Bilimine Doğru". Orta. Alındı 2019-07-15.
  19. ^ Ackerman, Evan (2017/08/04). "Hafif Sokak Tabelası Değişiklikleri Makine Öğrenimi Algoritmalarını Tamamen Kandırabilir". IEEE Spectrum: Teknoloji, Mühendislik ve Bilim Haberleri. Alındı 2019-07-15.
  20. ^ "Minik Bir Bant Parçası Tesla'yı 50 MPH Hızlandırmak İçin Kandırdı". Kablolu. 2020. Alındı 11 Mart 2020.
  21. ^ "Otonom Araçlar için Daha Güvenli Yollar Açmak için Model Hackleme ADAS". McAfee Blogları. 2020-02-19. Alındı 2020-03-11.
  22. ^ Seabrook, John (2020). "Gözetleme Çağı için Giyinme". The New Yorker. Alındı 5 Nisan 2020.
  23. ^ a b c Heaven, Douglas (Ekim 2019). "Derin öğrenme yapay zekalarını kandırmak neden bu kadar kolay?". Doğa. 574 (7777): 163–166. Bibcode:2019Natur.574..163H. doi:10.1038 / d41586-019-03013-5. PMID  31597977.
  24. ^ Hutson, Matthew (10 Mayıs 2019). "AI artık kendini konuşmada gizlenen kötü niyetli mesajlara karşı koruyabilir". Doğa. doi:10.1038 / d41586-019-01510-1. PMID  32385365.
  25. ^ D. B. Skillicorn. "Tartışmalı bilgi keşfi". IEEE Intelligent Systems, 24: 54–61, 2009.
  26. ^ a b B. Biggio, G. Fumera ve F. Roli. "Saldırı altındaki örüntü tanıma sistemleri: Tasarım sorunları ve araştırma zorlukları ". Int'l J. Patt. Recogn. Artif. Intell., 28 (7): 1460002, 2014.
  27. ^ a b Barreno, Marco; Nelson, Blaine; Joseph, Anthony D .; Tygar, J.D. (2010). "Makine öğreniminin güvenliği" (PDF). Makine öğrenme. 81 (2): 121–148. doi:10.1007 / s10994-010-5188-5. S2CID  2304759.
  28. ^ Sikos, Leslie F. (2019). Siber Güvenlikte AI. Intelligent Systems Referans Kitaplığı. 151. Cham: Springer. s. 50. doi:10.1007/978-3-319-98842-9. ISBN  978-3-319-98841-2.
  29. ^ a b c B. Biggio, G. Fumera ve F. Roli. "Saldırı altındaki desen sınıflandırıcıların güvenlik değerlendirmesi Arşivlendi 2018-05-18 de Wayback Makinesi ". Bilgi ve Veri Mühendisliği üzerine IEEE İşlemleri, 26 (4): 984–996, 2014.
  30. ^ a b c d e Biggio, Battista; Corona, Igino; Nelson, Blaine; Rubinstein, Benjamin I. P .; Maiorca, Davide; Fumera, Giorgio; Giacinto, Giorgio; Roli, Fabio (2014). "Zorlu Ortamlarda Destek Vektör Makinelerinin Güvenlik Değerlendirmesi". Destek Vektör Makineleri Uygulamaları. Springer Uluslararası Yayıncılık. s. 105–153. arXiv:1401.7727. doi:10.1007/978-3-319-02300-7_4. ISBN  978-3-319-02300-7. S2CID  18666561.
  31. ^ B. Nelson, B. I. Rubinstein, L. Huang, A. D. Joseph, S. J. Lee, S. Rao ve J. D. Tygar. "Dışbükey uyarıcı sınıflandırıcılardan kaçınmak için sorgu stratejileri ". J. Mach. Learn. Res., 13: 1293–1332, 2012
  32. ^ B. Biggio, B. Nelson ve P. Laskov. "Olumsuz etiket gürültüsü altında vektör makinelerini destekleyin ". Journal of Machine Learning Research - Proc. 3rd Asian Conf. Machine Learning, cilt 20, s. 97–112, 2011.
  33. ^ M. Kloft ve P. Laskov. "Çevrimiçi centroid anormallik tespitinin güvenlik analizi ". Makine Öğrenimi Araştırmaları Dergisi, 13: 3647–3690, 2012.
  34. ^ Moisejevs, Ilja (2019-07-15). "Makine Öğrenimine yönelik zehirlenme saldırıları - Veri Bilimine Doğru". Orta. Alındı 2019-07-15.
  35. ^ "Modern NLP sistemleri anlamsızca nasıl çalınır?". cleverhans-blog. 2020-04-06. Alındı 2020-10-15.
  36. ^ Biggio, Battista; Nelson, Blaine; Laskov, Pavel (2013-03-25). Destek Vektör Makinelerine Karşı "Zehirlenme Saldırıları". arXiv:1206.6389 [cs.LG ].
  37. ^ Jagielski, Matthew; Oprea, Alina; Biggio, Battista; Liu, Chang; Nita-Rotaru Cristina; Li, Bo (Mayıs 2018). "Makine Öğrenimini Yönetmek: Zehirlenme Saldırıları ve Gerileme Öğrenimine Karşı Önlemler". 2018 IEEE Güvenlik ve Gizlilik Sempozyumu (SP). IEEE: 19–35. arXiv:1804.00308. doi:10.1109 / sp. 2018.00057. ISBN  978-1-5386-4353-2. S2CID  4551073.
  38. ^ "Tartışmalı Örneklerle Makine Öğrenimine Saldırmak". OpenAI. 2017-02-24. Alındı 2020-10-15.
  39. ^ Gu, Tianyu; Dolan-Gavitt, Brendan; Garg, Siddharth (2019-03-11). "BadNets: Makine Öğrenimi Modeli Tedarik Zincirindeki Güvenlik Açıklarını Tanımlama". arXiv:1708.06733 [cs.CR ].
  40. ^ Veale, Michael; Binns, Reuben; Edwards, Lilian (2018-11-28). "Hatırlayan algoritmalar: model ters çevirme saldırıları ve veri koruma yasası". Felsefi İşlemler. Seri A, Matematiksel, Fiziksel ve Mühendislik Bilimleri. 376 (2133). arXiv:1807.04644. Bibcode:2018RSPTA.37680083V. doi:10.1098 / rsta.2018.0083. ISSN  1364-503X. PMC  6191664. PMID  30322998.
  41. ^ Shokri, Reza; Stronati, Marco; Song, Congzheng; Shmatikov, Vitaly (2017-03-31). "Makine Öğrenimi Modellerine Karşı Üyelik Çıkarım Saldırıları". arXiv:1610.05820 [cs.CR ].
  42. ^ Goodfellow, Ian J .; Shlens, Jonathon; Szegedy, Christian (2015-03-20). "Tartışmalı Örnekleri Açıklamak ve Kullanmak". arXiv: 1412.6572 [cs, stat].
  43. ^ Madry, Aleksander; Makelov, Aleksandar; Schmidt, Ludwig; Tsipras, Dimitris; Vladu, Adrian (2019-09-04). "Tartışmalı Saldırılara Dirençli Derin Öğrenme Modellerine Doğru". arXiv: 1706.06083 [cs, stat].
  44. ^ Carlini, Nicholas; Wagner, David (2017-03-22). "Sinir Ağlarının Sağlamlığını Değerlendirmeye Doğru". arXiv: 1608.04644 [cs].
  45. ^ Brown, Tom B .; Mané, Karahindiba; Roy, Aurko; Abadi, Martin; Gilmer Justin (2018-05-16). "Tartışmalı Yama". arXiv: 1712.09665 [cs].
  46. ^ Kishor Datta Gupta; Akhtar, Zahid; Dasgupta, Dipankar (2020). "Olumsuz Saldırıları Tespit Etmek İçin Görüntü İşleme Tekniğinin (IPT) Sırasını Belirleme". arXiv:2007.00337 [cs.CV ].
  47. ^ O. Dekel, O. Shamir ve L. Xiao. "Eksik ve bozuk özelliklerle sınıflandırmayı öğrenmek ". Makine Öğrenimi, 81: 149–178, 2010.
  48. ^ Liu, Wei; Chawla, Sanjay (2010). "Düzenli kayıp minimizasyonu yoluyla rakip modellerin madenciliği" (PDF). Makine öğrenme. 81: 69–83. doi:10.1007 / s10994-010-5199-2. S2CID  17497168.
  49. ^ B. Biggio, G. Fumera ve F. Roli. "Sert çoklu sınıflandırıcı sistemlerinden kaçının ". O. Okun ve G. Valentini, editörler, Denetlenen ve Denetlenmeyen Topluluk Yöntemleri ve Uygulamaları, Hesaplamalı Zeka Çalışmaları cilt 245, sayfalar 15–38. Springer Berlin / Heidelberg, 2009.
  50. ^ B. I. P. Rubinstein, P. L. Bartlett, L. Huang ve N. Taft. "Geniş bir işlev alanında öğrenme: svm öğrenimi için gizliliği koruyan mekanizmalar ". Gizlilik ve Gizlilik Dergisi, 4 (1): 65–100, 2012.
  51. ^ M. Kantarcıoğlu, B. Xi, C. Clifton. "Aktif Düşmanlara Karşı Sınıflandırıcı Değerlendirmesi ve Nitelik Seçimi". Veri Min. Knowl. Discov., 22: 291–335, Ocak 2011.
  52. ^ Chivukula, Aneesh; Yang, Xinghao; Liu, Wei; Zhu, Tianqing; Zhou, Wanlei (2020). "Varyasyonel Düşmanlarla Oyun Teorik Tartışmalı Derin Öğrenme". Bilgi ve Veri Mühendisliğinde IEEE İşlemleri: 1. doi:10.1109 / TKDE.2020.2972320. ISSN  1558-2191.
  53. ^ Chivukula, Aneesh Sreevallabh; Liu Wei (2019). "Birden Çok Düşmana Sahip Tartışmalı Derin Öğrenme Modelleri". Bilgi ve Veri Mühendisliğinde IEEE İşlemleri. 31 (6): 1066–1079. doi:10.1109 / TKDE.2018.2851247. ISSN  1558-2191. S2CID  67024195.
  54. ^ Goodfellow, Ian J .; Shlens, Jonathon; Szegedy, Christian (2015-03-20). "Tartışmalı Örnekleri Açıklamak ve Kullanmak". arXiv:1412.6572 [stat.ML ].
  55. ^ "TrojAI". www.iarpa.gov. Alındı 2020-10-14.
  56. ^ H. Xiao, B. Biggio, B. Nelson, H. Xiao, C. Eckert ve F. Roli. "Olumsuz etiket kontaminasyonu altında vektör makinelerini destekleyin ". Neurocomputing, Etiket Gürültüsü ile Öğrenmede Gelişmeler Üzerine Özel Sayı, Basında.
  57. ^ "cchio / derin tente". GitHub. Alındı 2016-08-08.

Dış bağlantılar