OpenAI Five - OpenAI Five - Wikipedia

OpenAI Five bir adı makine öğrenme bir ekip olarak performans gösteren proje video oyun botları beşe beş rekabette insan oyunculara karşı oynamak video oyunu Dota 2. Sistem, OpenAI, bir Amerikan yapay zeka (AI) araştırma ve geliştirme şirketi, insanlığa fayda sağlayacak şekilde güvenli AI geliştirme misyonuyla kuruldu. OpenAI Five'ın ilk halka açık görünümü 2017'de gerçekleşti ve burada, oyunun profesyonel bir oyuncusuna karşı canlı bire bir oyunda gösterildi. Dendi, kim kaybetti. Ertesi yıl, sistem beş kişilik tam bir takım olarak performans gösterme noktasına geldi ve profesyonel takımlara karşı oynamaya ve onları yenme kabiliyetini göstermeye başladı.

Şirket kullanır Dota 2 gerçek dünyanın öngörülemezliğini ve sürekli doğasını yakalamak için genel amaçlı uygulamalı makine öğrenimi deneyi olarak. Ekip, oyunun karmaşık yapısının ve kazanmak için bir ekip olarak birlikte çalışmak zorunda kalmasına olan güçlü güveninin, oyunun özel olarak seçilmesinin ana nedenlerinden biri olduğunu belirtti. Proje için kullanılan algoritmalar, robotik bir eli kontrol etmek gibi diğer sistemlere de uygulandı. Proje ayrıca, insanlara karşı oynayan ve onları yenen diğer benzer yapay zeka vakalarıyla da karşılaştırıldı. Watson televizyon yarışma programında Jeopardy!, Koyu mavi içinde satranç, ve AlphaGo masa oyununda Git.

Tarih

Botlar için kullanılan algoritmaların geliştirilmesi Kasım 2016'da başladı. OpenAI kullanmaya karar verdi. Dota 2 popüler olması nedeniyle, rekabetçi bir beşe beş video oyunu canlı yayın platform Seğirme için yerel desteğe sahip olmak Linux ve bir uygulama programlama Arayüzü (API) mevcuttur.[1] Beş kişilik bir ekip olmadan önce, ilk halka açık gösteri Uluslararası 2017 Ağustos ayında, oyunun yıllık galası şampiyona turnuvası, burada Dendi, oyunun profesyonel bir Ukraynalı oyuncusu, canlı bire bir maçta bir OpenAI botuna karşı kaybetti.[2][3] Maçtan sonra CTO Greg Brockman, botun iki hafta boyunca kendine karşı oynayarak öğrendiğini açıkladı. gerçek zaman ve öğrenme yazılımının, "cerrah olmak gibi" karmaşık görevleri yerine getirebilen yazılımlar oluşturma yönünde bir adım olduğunu.[4][5] OpenAI sistemi çağırır "pekiştirmeli öğrenme "botlar, aylarca günde yüzlerce kez kendi kendilerine karşı oynayarak zamanla öğrendiklerinden, bir düşmanı öldürmek, kuleleri yıkmak gibi eylemler için ödüllendirildiler.[6][7][8]

Haziran 2018 itibariyle, botların yetenekleri beş kişilik tam bir takım olarak birlikte oynayacak şekilde genişledi ve amatör ve yarı profesyonel oyunculardan oluşan takımları yenmeyi başardı.[9][10][11][12] Şurada: Uluslararası 2018, OpenAI Five profesyonel takımlara karşı, biri Brezilya merkezli paiN Gaming'e ve diğeri all-star eski Çinli oyunculardan oluşan takım.[13][14] Botlar her iki maçı da kaybetmesine rağmen, OpenAI yine de başarılı bir girişim olduğunu düşünerek, en iyi oyunculardan bazılarına karşı oynamanın Dota 2 algoritmalarını gelecekteki oyunlar için analiz etmelerine ve ayarlamalarına olanak tanıdı.[15] Botların son halka açık gösterisi Nisan 2019'da gerçekleşti ve burada bir üçün en iyisi Uluslararası 2018 şampiyonlarına karşı seri OG canlı bir etkinlikte San Francisco.[16] Aynı ay, botlara karşı oynanabilecek halka açık dört günlük bir çevrimiçi etkinlik gerçekleşti.[17] Orada, 42.729 halka açık oyunda oynayan botlar, 4.075'i hariç hepsini kazandı.[18]

Mimari

Her OpenAI Five ağı, 1024 üniteli tek bir katman içerir LSTM[19] Dota geliştiricisinin API'sinden alınan mevcut oyun durumunu gözlemleyen. Sinir ağı, çeşitli olası eylem başlıkları aracılığıyla eylemler gerçekleştirir (insan verileri dahil değildir) ve her kafanın bir anlamı vardır. Örneğin, bir eylemi geciktirmek için işaretlerin sayısı, hangi eylemin seçileceği - birimin etrafındaki bir ızgarada bu eylemin X veya Y koordinatı. Ek olarak, işlem başlıkları bağımsız olarak hesaplanır. AI sistemi, dünyayı 20.000 sayılık bir liste olarak gözlemler ve sekiz numaralandırma değerinden oluşan bir liste yürüterek bir eylemde bulunur. Ayrıca, her eylemi nasıl kodlayacağını ve dünyayı nasıl gözlemleyeceğini anlamak için farklı eylemler ve hedefler seçer.[20]

OpenAI Five, "Hızlı" altyapı üzerinde genel amaçlı bir pekiştirmeli öğrenme eğitim sistemi olarak geliştirilmiştir. Hızlı, iki katmandan oluşur: binlerce makineyi döndürür ve birbirleriyle "konuşmalarına" yardımcı olur ve ikinci katman yazılımı çalıştırır. 2018 itibariyle, OpenAI Five, 256 üzerinde çalışan pekiştirmeli öğrenmede yaklaşık 180 yıllık oyun oynamıştı. GPU'lar ve 128.000 İşlemci çekirdekler[21] yeni geliştirilmiş bir politika gradyan yöntemi "Proksimal Politika Optimizasyonu" olarak adlandırıldı.[22][23]

Karşılaştırma Tablosu
OpenAI 1v1 botu (2017)OpenAI Five (2018)
CPU'lar60.000 CPU çekirdeği Microsoft Azure128.000 önceden boşaltılabilir CPU çekirdeği Google Bulut Platformu (GCP)
GPU'larAzure üzerinde 256 K80 GPUGCP'de 256 P100 GPU
Toplanan deneyim~ Günde 300 yıl~ Günde 180 yıl
Gözlem boyutu~ 3.3kB~ 36.8kB
Oyun saniyesine göre gözlem sayısı107.5
Parti boyutu8.388.608 gözlem1.048.576 gözlem
Dakikadaki parti sayısı~20~60

Diğer oyun AI sistemleriyle karşılaştırmalar

OpenAI Five'dan önce, diğer yapay zekâya karşı insan deneyleri ve sistemleri daha önce başarıyla kullanılmıştır. Jeopardy! ile Watson, satranç ile Koyu mavi, ve Git ile AlphaGo.[24][25][26] İnsan oyunculara karşı oynamak için AI sistemleri kullanan diğer oyunlarla karşılaştırıldığında, Dota 2 aşağıda açıklandığı gibi farklılık gösterir:

Uzun dönem görünümü: Botlar 30'da çalışıyor saniyedeki kare sayısı 45 dakikalık ortalama bir maç süresi için, bu da maç başına 80.000 tıklama ile sonuçlanır. OpenAI Five her dört kareyi gözlemleyerek 20.000 hareket üretir. Karşılaştırıldığında, satranç genellikle 40 hamleden önce biterken, Go 150 hamleden önce biter.[27]

Oyunun kısmen gözlemlenen durumu: Oyuncular ve müttefikleri haritayı yalnızca doğrudan çevrelerindeki görebilir. Geri kalanı bir Savaş'ın sisi düşman birimlerini ve hareketlerini gizleyen. Böylece oynamak Dota 2 bu eksik verilere dayanarak çıkarımlar yapmayı ve aynı zamanda rakiplerinin ne yapabileceğini tahmin etmeyi gerektirir. Karşılaştırıldığında, Satranç ve Go, rakip oyuncudan unsurları saklamadıkları için "tam bilgi oyunları" dır.[28][29]

Sürekli eylem alanı: Her oynanabilir karakter bir Dota 2 Kahraman olarak bilinen oyun, başka bir birimi veya konumu hedef alan düzinelerce eylem gerçekleştirebilir. OpenAI Five geliştiricileri, kahraman başına 170.000 olası eylem alanı sağlar. Oyunun kalıcı yönlerini saymadan, her işarette ortalama ~ 1.000 geçerli eylem vardır. Karşılaştırıldığında, satrançtaki ortalama eylem sayısı Go'da 35 ve 250'dir.[30]

Sürekli gözlem alanı: Dota 2 her takımda beş olmak üzere on kahraman ve düzinelerce bina ile birlikte büyük bir haritada oynanır. oyuncu olmayan Karakter (NPC) birimleri. OpenAI sistemi, bir insanın erişmesine izin verilen tüm bilgileri oluşturan 20.000 sayı olarak geliştiricilerin bot API'si aracılığıyla bir oyunun durumunu gözlemler. Bir satranç tahtası yaklaşık 70 liste olarak temsil edilirken, bir Go tahtasında yaklaşık 400 liste bulunur.[31]

Resepsiyon

OpenAI Five, yapay zeka, teknoloji ve video oyun topluluğunun genelinden kabul gördü. Microsoft kurucu Bill Gates zaferleri "takım çalışması ve işbirliği gerektirdiğinden" bunu "büyük bir anlaşma" olarak nitelendirdi.[32][33] Satranç oyuncusu Garry Kasparov, kim kaybetti Koyu mavi 1997'de AI, The International 2018'deki performanslarını kaybetmelerine rağmen, botların nihayetinde "oraya beklenenden daha erken ulaşacağını" belirtti.[34]

İle bir sohbette MIT Technology Review AI uzmanları ayrıca OpenAI Five sistemini önemli bir başarı olarak gördüler. Dota 2 "son derece karmaşık bir oyundu", dolayısıyla profesyonel olmayan oyuncuları yenmek bile etkileyiciydi.[35] PC Oyuncusu profesyonel oyunculara karşı elde ettikleri galibiyetlerin makine öğreniminde önemli bir olay olduğunu yazdı.[36] Tersine, Anakart her iki taraftaki basitleştirilmiş kahraman havuzları nedeniyle zaferin "temelde aldatma" olduğunu ve ayrıca botlara, kullanmak yerine API'ye doğrudan erişim izni verildiğini yazdı. Bilgisayar görüşü ekrandaki pikselleri yorumlamak için.[37] Sınır botların, şirketin pekiştirmeli öğrenmeye yaklaşımının ve yapay zeka hakkındaki genel felsefesinin "dönüm noktaları sağlamak" olduğunun kanıtı olduğunu yazdı.[38]

2019 yılında Derin Düşünce benzer bir botu açıkladı Starcraft II, AlphaStar. OpenAI Five gibi, AlphaStar da pekiştirmeli öğrenme ve kendi kendine oyun kullandı. Sınır "Bu tür bir yapay zeka araştırmasının amacı, sadece yapılabileceğini kanıtlamak için çeşitli oyunlarda insanları ezmek değil. Bunun yerine, gelişmiş yapay zeka yazılımının - yeterli zaman, çaba ve kaynakla - insanları en iyi şekilde kullanabileceğini kanıtlamaktır. hemen hemen her türlü rekabetçi bilişsel zorlukta, ister bir masa oyunu ister modern bir video oyunu. " DeepMind ve OpenAI zaferlerinin aynı zamanda pekiştirmeli öğrenmenin belirli kullanımlarının gücünün bir kanıtı olduğunu da eklediler.[39]

Referanslar

  1. ^ "OpenAI Five". openai.com/five. Arşivlendi 1 Eylül 2018 tarihinde orjinalinden. Alındı 10 Ekim 2018.
  2. ^ Savov, Vlad. "En sevdiğim oyun, katil AI botları ve Elon Musk hype tarafından işgal edildi". Sınır. Arşivlendi 26 Haziran 2018 tarihli orjinalinden. Alındı 25 Haziran 2018.
  3. ^ Frank, Blair Hanley. "OpenAI'nin botu, en iyi Dota 2 oyuncusunu o kadar kötü yener ki istifa eder". Venture Beat. Arşivlenen orijinal 12 Ağustos 2017 tarihinde. Alındı 12 Ağustos 2017.
  4. ^ "Dota 2". blog.openai.com. Arşivlendi 11 Ağustos 2017'deki orjinalinden. Alındı 12 Ağustos 2017.
  5. ^ "Dota 2 hakkında daha fazla bilgi". blog.openai.com. Arşivlendi 16 Ağustos 2017'deki orjinalinden. Alındı 16 Ağustos 2017.
  6. ^ Simonite, Tom. "En Büyük E-Spor Oyunlarından Birinde Botlar İnsanları Alt Edebilir mi?". Kablolu. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  7. ^ Kahn, Jeremy. "Elon Musk Tarafından Desteklenen Bir Bot, Video Oyun Dünyasında Yapay Zeka Atılımı Yaptı". Bloomberg. Arşivlendi 27 Haziran 2018 tarihli orjinalinden. Alındı 27 Haziran 2018.
  8. ^ Clifford, Catherine. "Bill Gates, Elon Musk destekli kâr amacı gütmeyen kuruluşun oyuncu botlarının yapay zeka için 'büyük kilometre taşı' olduğunu söylüyor." CNBC. Arşivlendi 28 Haziran 2018 tarihli orjinalinden. Alındı 29 Haziran 2018.
  9. ^ "OpenAI Five Benchmark". blog.openai.com. Arşivlendi 26 Ağustos 2018 tarihli orjinalinden. Alındı 25 Ağustos 2018.
  10. ^ Simonite, Tom. "En Büyük E-Spor Oyunlarından Birinde Botlar İnsanları Alt Edebilir mi?". Kablolu. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  11. ^ Vincent, James. "AI botları Dota 2'de insanları yenmek için günde 180 yıl eğitildi". Sınır. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  12. ^ Savov, Vlad. "OpenAI Dota 2 botları eski profesyonellerden oluşan bir takımı yendi". Sınır. Arşivlendi 7 Ağustos 2018 tarihinde orjinalinden. Alındı 7 Ağustos 2018.
  13. ^ Simonite, Tom. "Profesyonel Oyuncular, Elon Musk Destekli Yapay Zeka Robotlarını Şimdilik Savunuyor". Kablolu. Arşivlendi 24 Ağustos 2018 tarihli orjinalinden. Alındı 25 Ağustos 2018.
  14. ^ Quach, Katyanna. "Oyun bitti, makineler: İnsanlar video oyunları olimpiyatlarında OpenAI botlarını bir kez daha yendi". Kayıt. Arşivlendi 25 Ağustos 2018 tarihli orjinalinden. Alındı 25 Ağustos 2018.
  15. ^ "The International 2018: Sonuçlar". blog.openai.com. Arşivlendi 24 Ağustos 2018 tarihli orjinalinden. Alındı 25 Ağustos 2018.
  16. ^ Wiggers, Kyle. "OpenAI Five, profesyonel Dota 2 takımını iki kez yendi". Venture Beat. Arşivlendi 13 Nisan 2019 tarihinde orjinalinden. Alındı 13 Nisan 2019.
  17. ^ Statt, Nick. "OpenAI'nin Dota 2 AI Steamroll dünya şampiyonu e-spor takımını arka arkaya zaferlerle kazandı". Sınır. Arşivlendi 15 Nisan 2019 tarihinde orjinalinden. Alındı 15 Nisan 2019.
  18. ^ Wiggers, Kyle. "OpenAI'nin Dota 2 botu, herkese açık maçlarda oyuncuların% 99,4'ünü yendi". Venture Beat. Alındı 22 Nisan 2019.
  19. ^ "LSTM Ağlarını Anlamak". colah'ın blogu. Arşivlendi 1 Ağustos 2017'deki orjinalinden. Alındı 27 Ağustos 2015.
  20. ^ "OpenAI Five". blog.openai.com. 25 Haziran 2018. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  21. ^ "Yapay zeka araştırmacıları neden oyunlara bu kadar takıntılı?". KUVARS. Arşivlendi 4 Ağustos 2018 tarihli orjinalinden. Alındı 4 Ağustos 2018.
  22. ^ "OpenAI Five". blog.openai.com. 25 Haziran 2018. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  23. ^ Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec; Klimov, Oleg (2017). "Proksimal Politika Optimizasyon Algoritmaları". arXiv:1707.06347 [cs.LG ].
  24. ^ Gabbatt, Adam (17 Şubat 2011). "IBM Computer Watson, Jeopardy çatışmasını kazandı". Gardiyan. Arşivlendi 21 Eylül 2013 tarihinde orjinalinden. Alındı 17 Şubat 2011.
  25. ^ "Satranç büyükustası Garry Kasparov, makinelerin insanların rekabet etmesi imkansız olan seviyeye ulaştığında ne olacağı hakkında'". Business Insider. Arşivlendi 29 Aralık 2017'deki orjinalinden. Alındı 29 Aralık 2017.
  26. ^ "DeepMind'ın Go-oynayan yapay zekasının artık bizi yenmek için insan yardımına ihtiyacı yok". Eşik. 18 Ekim 2017. Arşivlendi 18 Ekim 2017'deki orjinalinden. Alındı 18 Ekim 2017.
  27. ^ "OpenAI Five". blog.openai.com. 25 Haziran 2018. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  28. ^ "OpenAI Five". blog.openai.com. 25 Haziran 2018. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  29. ^ "Yapay zeka algoritmalarından oluşan bir ekip, insanları karmaşık bir bilgisayar oyununda ezip geçti". MIT Tech İncelemesi. Alındı 25 Haziran 2018.
  30. ^ "OpenAI Five". blog.openai.com. 25 Haziran 2018. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  31. ^ "OpenAI Five". blog.openai.com. 25 Haziran 2018. Arşivlendi 25 Haziran 2018 tarihinde orjinalinden. Alındı 25 Haziran 2018.
  32. ^ "Bill Gates, Elon Musk destekli kar amacı gütmeyen kuruluşun oyuncu botlarının yapay zeka için 'büyük kilometre taşı' olduğunu söylüyor." CNBC. 28 Haziran 2018. Arşivlendi 28 Haziran 2018 tarihli orjinalinden. Alındı 28 Haziran 2018.
  33. ^ "Bill Gates, 'Dota 2' adlı video oyununda insanları yok etmek için bir ekipte çalışan botlar yapay zeka için 'büyük kilometre taşını' selamlıyor'". Business Insider. Arşivlendi 27 Haziran 2018 tarihli orjinalinden. Alındı 27 Haziran 2018.
  34. ^ "Gary Kasparov'un Twitter'ı". 24 Ağustos 2018. Alındı 24 Ağustos 2018.
  35. ^ "Yapay zeka algoritmalarından oluşan bir ekip, karmaşık bir bilgisayar oyununda insanları ezip geçti". MIT Tech İncelemesi. Alındı 25 Haziran 2018.
  36. ^ Park, Morgan (11 Ağustos 2018). "OpenAI Five, Dota 2 profesyonellerinden oluşan bir takımı nasıl parçaladı". PC Oyuncusu. Alındı 25 Mayıs 2020.
  37. ^ Gault, Matthew (17 Ağustos 2018). "OpenAI, Temelde Hile Yaptığı İçin 'Dota 2'de İnsanları Yeniyor". Yardımcısı. Alındı 25 Mayıs 2020.
  38. ^ Statt, Nick (13 Nisan 2019). "OpenAI'nin Dota 2 AI Steamroll dünya şampiyonu e-spor takımını arka arkaya zaferlerle kazandı". Sınır. Alındı 25 Mayıs 2020.
  39. ^ Statt, Nick (30 Ekim 2019). "DeepMind'ın StarCraft 2 AI'si artık tüm insan oyuncuların yüzde 99,8'inden daha iyi". Sınır. Alındı 25 Mayıs 2020.

Dış bağlantılar