İnsan imaj sentezi - Human image synthesis

An image generated by StyleGAN, a generative adversarial network (GAN), that looks deceptively like a portrait of a young woman. This image was generated by an artificial intelligence based on an analysis of portraits.
Tarafından oluşturulan bir görüntü StyleGAN, bir üretken düşmanlık ağı (GAN), aldatıcı bir şekilde genç bir kadının portresine benziyor. Bu görüntü, portrelerin analizine dayanan bir yapay zeka tarafından oluşturuldu.
Bunda morph hedef animasyonu dördüncü sistem "ifadeleri" modelin geometrisinin deformasyonları olarak tanımlanmıştır. Ağız şeklini canlandırmak için bu dört ifadenin herhangi bir kombinasyonu kullanılabilir. İnsan benzeri bir modelin tamamını canlandırmak için benzer kontroller uygulanabilir.

İnsan imaj sentezi inandırıcı olmak için uygulanabilen teknolojidir ve hatta fotogerçekçi sunumlar[1][2] insan benzeri, hareketli ya da hareketsiz. Erken dönemden beri etkin bir şekilde var olmuştur. 2000'ler. Kullanan birçok film bilgisayarda oluşturulan görüntüler insan benzeri karakterlerin sentetik resimlerine sahip dijital olarak birleştirilmiş gerçek veya diğer simüle edilmiş film materyalinin üzerine. Sonuna doğru 2010'lar derin öğrenme yapay zeka uygulandı görüntüleri ve videoları sentezleyin eğitim aşaması tamamlandıktan sonra insan yardımına ihtiyaç duymadan insanlara benzeyen, eski okul 7D rotası büyük miktarda insan işi gerektiriyordu.

İnsan görüntü sentezinin zaman çizelgesi

Ana makaleler: Bilgisayar animasyonunun tarihi ve Film ve televizyonda bilgisayar animasyonunun zaman çizelgesi
BRDF'ye karşı yüzey altı saçılma dahil BSSRDF, yani Çift yönlü saçılma-yüzey yansıtma dağılım fonksiyonu
  • 1 Eylül'den itibaren 2019 Teksas senato tasarısı SB 751 Değişiklikler seçim yasası yürürlüğe girdi, adaylar içinde seçimler Adayların dijital benzerlerinin veya yapay sahtekarlıklarının yapılması ve dağıtılmasının suç olduğu seçimlere 30 günlük koruma süresi. Hukuk metni, hukukun konusunu "Gerçekte gerçekleşmeyen bir eylemi gerçekleştiren gerçek bir kişiyi tasvir ediyor gibi görünen, aldatma amacıyla oluşturulmuş bir video"[22]
  • Eylülde 2019 Yle, Fin kamu yayın kuruluşu, deneysel bir sonucu yayınlandı gazetecilik, bir derin sahte Başkanın ofisinde Sauli Niinistö Gelişen dezenformasyon teknolojisini ve bundan kaynaklanan sorunları vurgulamak amacıyla ana haber yayınında yer almaktadır.

Foto gerçekçiliğe yönelik temel atılım: yansıma yakalama

ESPER LightCage bir örnektir. küresel ışık sahne ile çoklu kamera kurulumu 7D yansıma modeline dönüştürmek için uygun küre etrafında.

1999'da Paul Debevec et al. USC, bilinen ilk yansıma yakalama son derece basit halleriyle insan yüzü üzerinde ışık sahne. Yöntemlerini ve sonuçlarını sundular SIGGRAPH 2000.[4]

Çift yönlü saçılma dağılım işlevi (BSDF) insan cildi benzerliği için her ikisini de gerektirir BRDF ve özel BTDF durumu ışık cilde girer, iletilir ve ciltten çıkar.

Bilimsel buluş, yeraltı ışık bileşeni (simülasyon modelleri içten hafifçe parlıyor) bu, yağdan havaya katmanından yansıyan ışığın kendi durumunu koruduğu bilgisi kullanılarak bulunabilir. polarizasyon ve yer altı ışığı polarizasyonunu kaybeder. Böylece sadece hareketli bir ışık kaynağı, hareketli video kamera, 2 polarizör ve son derece basit matematik yapan bir bilgisayar programı ile donatılmış ve fotogerçekçiliğe ulaşmak için gereken son parça elde edilmiştir.[4]

İnandırıcı bir sonuç için hem hafif yansıyan deriden (BRDF ) ve deri içinde (özel bir durum BTDF ) birlikte oluşturan BSDF yakalanmalı ve simüle edilmelidir.

Ele geçirmek

Elde tutulan üç boyutlu tarayıcı.

Sentez

Dijital benzerleri, yani karakterleri insan resimleri olarak aktarılabilecek kadar gerçekçi ve gerçekçi oluşturma sürecinin tamamı, fotogerçekçi olarak gerektirdiği için çok karmaşık bir iştir. modelleme, canlandırma, çapraz eşleme, ve işleme yumuşak vücut dinamikleri insan görünümünün.

Bir ile sentez aktör ve uygun algoritmalar güçlü kullanılarak uygulanır bilgisayarlar. Oyuncunun sentezdeki rolü, insanı taklit etmeye özen göstermektir. ifade hareketsiz resim sentezlemede ve ayrıca insan hareketinde sinema filmi sentezleme. Yasalarını simüle etmek için algoritmalara ihtiyaç vardır. fizik ve fizyoloji modelleri ve bunların görünümlerini, hareketlerini ve etkileşimlerini buna göre haritalamak.

Genellikle ikisi de fizik /fizyoloji temelli (yani iskelet animasyonu ) ve görüntü tabanlı modelleme ve işleme sentez kısmında kullanılmaktadır. Her iki yaklaşımı da kullanan hibrit modeller, gerçekçilik ve kullanım kolaylığı açısından en iyi sonuçları göstermiştir. Morph hedef animasyonu farklı yüz ifadelerinin modelin deformasyonları olarak tanımlandığı ve yüz ifadelerinin sezgisel olarak ayarlanmasına izin veren daha yüksek seviye kontrolü sağlayarak iş yükünü azaltır. Morph hedef animasyonu, modeli farklı tanımlanmış yüz ifadeleri veya vücut pozları arasında insan müdahalesine çok fazla ihtiyaç duymadan dönüştürebilir.

Kullanma deplasman haritalama Cildin ince detaylarıyla gerçekçi bir sonuç elde etmede önemli bir rol oynar. gözenekler ve kırışıklıklar 100 kadar küçük µm.

Makine öğrenimi yaklaşımı

2010'ların sonlarında, makine öğrenme ve daha doğrusu üretici düşmanlık ağları (GAN) tarafından kullanıldı NVIDIA rastgele ancak fotogerçekçi insan benzeri portreler üretmek için. Sistem adı StyleGAN, görüntü saklama web sitesinden 70.000 görüntüden oluşan bir veritabanı üzerinde eğitildi Flickr. Kaynak kodu tarihinde halka açıldı GitHub 2019 yılında.[28] Jeneratör ağının rastgele girdilerden elde edilen çıktıları bir dizi web sitesinde kamuya açık hale getirildi.[29][30]

Benzer şekilde 2018'den beri derin sahte teknoloji, GAN'ların aktörler arasında yüz değiştirmesine izin verdi; Sahte sesler yapma becerisiyle birleştiğinde, GAN'lar böylece ikna edici görünen sahte videolar oluşturabilir.[31]

Başvurular

Ana uygulamalar şu alanlara girer: Hazır Fotoğraflar, sentetik veri kümeleri, sanal sinematografi, bilgisayar ve video oyunları ve gizli dezenformasyon saldırılar.[32][33]

Ayrıca, bazı araştırmalar buna sahip olabileceğini öne sürüyor. terapötik etkiler gibi "psikologlar ve danışmanlar ayrıca kullanmaya başladı avatarlar sahip olan müşterilere tedavi sunmak fobiler, bir tarih travma, bağımlılıklar, Asperger Sendromu veya Sosyal anksiyete."[34] Kendinizin dijital benzeri bir avatarını izlemenin neden olduğu güçlü hafıza izi ve beyin aktivasyon etkileri, doppelgänger etkisi.[34] Doppelgänger etkisi, saldırının hedeflerine gizli dezenformasyon saldırısı maruz kaldığında iyileşebilir.

İlgili konular

konuşma sentezi 2016 yılında ses düzenleme ve oluşturma yazılımının tanıtımından bu yana gerçek bir insan sesinin kaydından tamamen ayırt edilemez olmaya aday Adobe Voco, bir prototipin bir parçası olması planlanıyor Adobe Creative Suite ve Derin Düşünce WaveNet bir prototip Google.[35]Diğer insanların seslerini çalma ve manipüle etme yeteneği bariz etik kaygıları ortaya çıkarır.[36]

2018'de Sinirsel Bilgi İşleme Sistemleri Konferansı (NeurIPS) araştırmacıları Google işi sundu 'Konuşmacı Doğrulamasından Öğrenmeyi Çok Konuşmacı Metinden Konuşmaya Sentezine Aktarın', hangi öğrenmeyi aktarır itibaren hoparlör doğrulaması metinden konuşmaya sentezini elde etmek için, bu sadece 5 saniyelik bir konuşma örneğinden neredeyse herkes gibi ses çıkarabilir (dinle). [37]

AI eğitimi için görüntü sağlamak, eğitim için kullanılan kişiler onay vermediğinden gizlilik sorununu gündeme getiriyor.[38]

Dijital ses benzeri teknoloji 2019'da olduğu gibi suçluların eline geçti Symantec araştırmacılar teknolojinin kullanıldığı 3 vakayı biliyordu suç.[39][40]

Bu, (2016 itibariyle) izin veren tekniklerin gerçek zamanın yakınında sahtecilik nın-nin Yüz ifadeleri Mevcut 2D videoda inandırıcı bir şekilde gösterilmiş olması dezenformasyon durumu üzerindeki stresi arttırmaktadır.[11]

Ayrıca bakınız

Referanslar

  1. ^ Ağız şekli kontrolü için fizik tabanlı kas modeli açık IEEE keşfetmek (üyelik gerektirir)
  2. ^ Sanal uzay telekonferansında gerçekçi 3D yüz animasyonu açık IEEE keşfetmek (üyelik gerektirir)
  3. ^ "Images de synthèse: palme de la longévité pour l'ombrage de Gouraud".
  4. ^ a b c Debevec, Paul (2000). "Bir insan yüzünün yansıtma alanını elde etmek". 27. Yıllık Bilgisayar grafikleri ve interaktif teknikler konferansının bildirileri - SIGGRAPH '00. ACM. s. 145–156. doi:10.1145/344779.344855. ISBN  978-1581132083. S2CID  2860203. Alındı 2017-05-24.
  5. ^ Pighin, Frédéric. "Siggraph 2005 Dijital Yüz Klonlama Kurs Notları" (PDF). Alındı 2017-05-24.
  6. ^ Bu TED konuşma videosunda 00:04:59 da görebilirsiniz biri gerçek bir kamerayla çekilen gerçek Emily ile diğeri de Emily'nin dijital benzeri olan iki klip, bir kamera simülasyonuyla çekilmiş - Hangisi söylemesi zor. Bruce Lawmen, USC ışık aşaması 6'yı hareketsiz konumda kullanarak tarandı ve ayrıca orada koşarken kaydedildi. koşu bandı. Bruce'un pek çok dijital benzeri, TED konuşma videosunun bitiş sekansına akıcı ve doğal bakarken koşarken görülüyor.
  7. ^ ReForm - Hollywood'un Dijital Klonları Yaratıyor (Youtube). Yaratıcılar Projesi. 2017-05-24.
  8. ^ Debevec, Paul. "Dijital Ira SIGGRAPH 2013 Gerçek Zamanlı Canlı". Alındı 2017-05-24.
  9. ^ "Başkan Barack Obama'nın 3 boyutlu bir portresinin taranması ve basılması". Güney Kaliforniya Üniversitesi. 2013. Alındı 2017-05-24.
  10. ^ Giardina, Carolyn (2015-03-25). "'Öfkeli 7 've Peter Jackson'ın Weta Dijital Paul Walker'ı Nasıl Yarattı? ". The Hollywood Reporter. Alındı 2017-05-24.
  11. ^ a b Thies, Justus (2016). "Face2Face: RGB Videoların Gerçek Zamanlı Yüz Yakalama ve Yeniden Canlandırması". Proc. Bilgisayarla Görme ve Örüntü Tanıma (CVPR), IEEE. Alındı 2017-05-24.
  12. ^ Suwajanakorn, Supasorn; Seitz, Steven; Kemelmacher-Shlizerman, Ira (2017), Sentezlemek Obama: Sesten Dudak Senkronizasyonu, Washington Üniversitesi, alındı 2018-03-02
  13. ^ Roettgers, Janko (2018/02/21). "Porno Yapımcıları Hollywood'un Deepfake Videolarını Kaldırmasına Yardımcı Olmayı Öneriyor". Çeşitlilik. Alındı 2018-02-28.
  14. ^ Takahashi, Dean (2018-03-21). "Epic Games, Siren demosuyla inanılmaz gerçek zamanlı dijital insan sergiliyor". VentureBeat. Alındı 2018-09-10.
  15. ^ Kuo, Lily (2018-11-09). "Dünyanın ilk AI haber sunucusu Çin'de tanıtıldı". Alındı 2018-11-09.
  16. ^ Hamilton, Isobel Asher (2018-11-09). "Çin, ilk yapay zeka haber sunucusu olduğunu iddia ettiği şeyi yarattı - burada iş başında izleyin". Alındı 2018-11-09.
  17. ^ Harwell, Drew (2018-12-30). "Sahte porno videolar, kadınları taciz etmek ve aşağılamak için silah haline getiriliyor: 'Herkes potansiyel bir hedef'". Washington post. Alındı 2019-03-14. Eylül [2018] 'de Google, yasak listesine "istemsiz sentetik pornografik görüntüler" ekledi
  18. ^ "NVIDIA Açık Kaynaklar Hiper Gerçekçi Yüz Üreticisi StyleGAN". Medium.com. 2019-02-09. Alındı 2019-10-03.
  19. ^ a b Paez, Danny (2019-02-13). "Bu Kişi Yok Yok 2019'un En İyi Tek Seferlik Web Sitesi". Ters (web sitesi). Alındı 2018-03-05.
  20. ^ "Yeni eyalet yasaları 1 Temmuz'da yürürlüğe giriyor".
  21. ^ a b "§ 18.2-386.2. Başkasına ait görüntülerin yasa dışı yayılması veya satışı; ceza". Virjinya. Alındı 2020-01-01.
  22. ^ "Bir seçimin sonucunu etkilemek amacıyla aldatıcı bir video uydurmak için cezai bir suçun oluşturulmasıyla ilgili". Teksas. 2019-06-14. Alındı 2020-01-02. Bu bölümde, "derin sahte video", aldatma amacıyla oluşturulan ve gerçekte gerçekleşmemiş bir eylemi gerçekleştiren gerçek bir kişiyi tasvir ediyor gibi görünen bir video anlamına gelir.
  23. ^ Johnson, R.J. (2019-12-30). "İşte 2020'de Yürürlüğe Girecek Yeni California Yasaları". KFI. iHeartMedia. Alındı 2020-01-01.
  24. ^ Mihalçik, Carrie (2019-10-04). "California yasaları, siyaset ve pornodaki derin sahteleri yıkmaya çalışıyor". cnet.com. CNET. Alındı 2019-10-14.
  25. ^ "Çin, yeni çevrimiçi içerik kurallarıyla sahte haberleri ve derin sahte haberleri ortadan kaldırmaya çalışıyor". Reuters.com. Reuters. 2019-11-29. Alındı 2019-12-08.
  26. ^ Statt, Nick (2019-11-29). "Çin, ifşa etmeden derin sahte veya sahte haberler yayınlamayı suç sayıyor". Sınır. Alındı 2019-12-08.
  27. ^ McGregor, Sean (2020-11-18). "AI Sistemleri Başarısız Olduğunda: AI Olay Veritabanına Giriş". partneronai.org. AI üzerinde ortaklık. Alındı 2020-11-21. Yinelenen yapay zeka hatalarından kaçınmak, geçmişteki hataların bilinmesini gerektirir. Bu nedenle bugün, akıllı sistemlerin güvenlik, adalet veya diğer gerçek dünya sorunlarına neden olduğu sistematik bir olay koleksiyonu sunuyoruz: AI Olay Veritabanı (AIID).
  28. ^ Senkronize edildi (2019-02-09). "NVIDIA Açık Kaynaklar Hiper Gerçekçi Yüz Üreticisi StyleGAN". Senkronize edildi. Alındı 2020-08-04.
  29. ^ StyleGAN genel vitrin web sitesi
  30. ^ Porter, Jon (2019-09-20). "Yapay zeka tarafından oluşturulmuş 100.000 ücretsiz vesikalık fotoğraf, stok fotoğraf şirketlerini bilgilendiriyor". Sınır. Alındı 2020-08-07.
  31. ^ "Deepfake Nedir?". PCMAG.com. Mart 2020. Alındı 8 Haziran 2020.
  32. ^ Harwell, Drew. "Arkadaşlık uygulamalarının kadınlara ihtiyacı var. Reklamverenlerin çeşitliliğe ihtiyacı var. Yapay zeka şirketleri bir çözüm sunuyor: Sahte insanlar". Washington Post. Alındı 2020-08-04.
  33. ^ Porter, Jon (2019-09-20). "Yapay zeka tarafından oluşturulmuş 100.000 ücretsiz vesikalık fotoğraf, stok fotoğraf şirketlerini bilgilendiriyor". Sınır. Alındı 2020-08-07.
  34. ^ a b Murphy, Samantha (2011). "Scientific American: Avatarınız, Kılavuzunuz" (.pdf). Scientific American / Stanford Üniversitesi. Alındı 2013-06-29.
  35. ^ "WaveNet: Ham Ses için Üretken Bir Model". Deepmind.com. 2016-09-08. Alındı 2017-05-24.
  36. ^ "Adobe Voco 'Ses için Photoshop' endişeye neden oluyor". BBC.com. BBC. 2016-11-07. Alındı 2016-07-05.
  37. ^ Jia, Ye; Zhang, Yu; Weiss, Ron J. (2018-06-12), "Konuşmacı Doğrulamasından Çok Konuşmacı Metinden Konuşmaya Sentezine Öğrenme Aktarımı", Sinirsel Bilgi İşleme Sistemlerindeki Gelişmeler, 31: 4485–4495, arXiv:1806.04558, Bibcode:2018arXiv180604558J
  38. ^ İş, Rachel Metz, CNN. "Resminiz çevrimiçiyse yüz tanıma yapay zekası eğitimi veriyor olabilir". CNN. Alındı 2020-08-04.
  39. ^ "Sahte sesler, siber dolandırıcıların nakit para çalmasına yardımcı oluyor'". bbc.com. BBC. 2019-07-08. Alındı 2020-04-16.
  40. ^ Drew, Harwell (2020-04-16). "Önce yapay zeka: Sesi taklit eden yazılımın büyük bir hırsızlıkta kullanıldığı bildiriliyor". washingtonpost.com. Washington Post. Alındı 2019-09-08.