Parmak takibi - Finger tracking

İkisinin parmak takibi piyanistler Aynı parçayı oynayan parmaklar (yavaş hareket, ses yok).[1]

Nın alanında mimik tanıma ve görüntü işleme, parmak takibi bir yüksek çözünürlük 1969'da geliştirilen, kullanıcının parmaklarının ardışık konumunu bilmek ve dolayısıyla nesneleri temsil etmek için kullanılan teknik 3 boyutlu Buna ek olarak, parmak izleme tekniği bilgisayarın bir aracı olarak kullanılır ve harici cihaz bilgisayarımızda, benzer şekilde tuş takımı ve bir fare.

Giriş

Parmak izleme sistemi, kullanıcının sanal verilerle etkileşime girdiği kullanıcı-veri etkileşimine odaklanmıştır. volumetrik Temsil etmek istediğimiz bir 3B nesnenin bu sistem, insan bilgisayar etkileşimi sorun. Amaç, aralarındaki iletişimi ve kullanımı sağlamaktır. mimik ve el hareketlerinin daha sezgisel olması için Parmak takip sistemleri oluşturulmuştur. Bu sistemler, her bir işaretleyicinin parmaklarının yönünü gerçek zamanlı olarak 3B ve 2B olarak izler ve etkileşim için sezgisel el hareketlerini ve jestleri kullanır.

İzleme türleri

Başta parmak izlemesi olan veya olmayanlar olmak üzere birçok seçenek vardır. arayüz.

Arayüz ile takip

Bu sistem çoğunlukla atalet ve optik kullanır hareket yakalama sistemleri.

Ataletsel hareket yakalama eldivenleri

Ataletsel hareket yakalama sistemleri, 3B alanda her bir parmak bölümünün dönüşünü okuyarak parmak hareketini yakalayabilmektedir. Bu rotasyonları uygulama kinematik zincir, tüm insan eli tıkanma ve kablosuz olmadan gerçek zamanlı olarak izlenebilir.

El ataletli hareket yakalama sistemleri, örneğin Synertial mocap eldivenler, küçük IMU tabanlı sensörler, her parmak segmentinde bulunur. Hassas yakalama, en az 16 sensörün kullanılmasını gerektirir. Parmak segmentlerinin geri kalanının interpole edildiği (proksimal segmentler) veya ekstrapole edildiği (distal segmentler) daha az sensörlü (13/7 sensör) mocap eldiven modelleri de vardır. Sensörler tipik olarak, sensörlerin kullanımını daha rahat hale getiren tekstil eldivene yerleştirilir.

Atalet sensörleri, her 3 yöndeki hareketi yakalayabilir, bu da parmak ve başparmak fleksiyonu, ekstansiyon ve abdüksiyonun tespit edilebileceği anlamına gelir.

El iskeleti

Atalet sensörleri yalnızca dönüşleri izlediğinden, uygun çıktı elde etmek için dönüşlerin bazı el iskeletine uygulanması gerekir. Kesin çıktı elde etmek için (örneğin parmak uçlarına dokunabilmek için), el iskeletinin gerçek ele uyacak şekilde uygun şekilde ölçeklendirilmesi gerekir. Bu amaçla elin manuel ölçümü veya otomatik ölçüm çıkarma kullanılabilir.

El pozisyon takibi

Parmak izlemenin yanı sıra, birçok kullanıcının konumsal izleme uzaydaki bütün el için. Bu amaçla birden fazla yöntem kullanılabilir:

  • Eylemsiz mokap sistemi kullanılarak tüm vücudun yakalanması (el iskeleti, vücut iskeleti kinematik zincirinin sonuna takılır). Avuç içi pozisyonu vücuttan belirlenir.
  • Optik mokap sistemi kullanılarak avuç içi (ön kol) pozisyonu yakalanıyor.
  • VR başlıklarında yaygın olarak kullanılan (örneğin HTC Vive Lighthouse) diğer konum izleme yöntemini kullanarak avuç içi (ön kol) konumunu yakalama.
Ataletsel hareket yakalama sistemlerinin dezavantajları

Atalet sensörlerinin parmak izleme ile bağlantılı iki ana dezavantajı vardır:

  • Elin uzaydaki mutlak konumunu yakalama sorunları.
  • Manyetik girişim
  • Metal malzemeler sensörlere müdahale etmek için kullanılır. Bu sorun temel olarak, eller genellikle metalden yapılmış farklı şeylerle temas halinde olduğu için fark edilebilir. Mevcut nesil hareket yakalama eldivenleri, manyetik parazitlere dayanabilir. Manyetik parazitlere karşı bağışıklık derecesi, üreticiye, fiyat aralığına ve mocap eldivende kullanılan sensör sayısına bağlıdır. Özellikle, gerilme sensörleri, manyetik girişimden tamamen etkilenmeyen silikon bazlı kapasitörlerdir.

Optik hareket yakalama sistemleri

işaretçilerin ve desenlerin konumunun 3D olarak izlenmesi gerçekleştirilir, sistem bunları tanımlar ve her bir işaretleyiciyi kullanıcının parmaklarının konumuna göre etiketler. koordinatlar Bu markörlerin etiketleri 3 boyutlu olarak diğer uygulamalarla gerçek zamanlı olarak üretilmektedir.

İşaretçiler

Bazıları optik sistemler Vicon veya ART gibi, işaretçiler aracılığıyla el hareketini yakalayabilir. Her elimizde her "ameliyat" parmağı için bir işaretimiz vardır. Her bir işaretleyiciyi yakalamaktan ve konumlarını ölçmekten üç adet yüksek çözünürlüklü kamera sorumludur. Bu, yalnızca kamera onları görebildiğinde üretilecektir. Genellikle yüzük veya bilezik olarak bilinen görsel işaretler, kullanıcı hareketini 3D olarak tanıma. Ek olarak, sınıflandırmanın gösterdiği gibi, bu halkalar bir arayüz görevi görür. 2D.

Etkileşim yöntemi olarak oklüzyon

Görsel kapatma, üç boyutta sanal bilginin daha gerçekçi bir bakış açısını sağlamak için çok sezgisel bir yöntemdir. Arayüzler daha doğal 3D etkileşim temel üzerinde teknikler 6.

İşaretçi işlevi

İşaretleyiciler aracılığıyla çalışır etkileşim noktaları, bunlar genellikle zaten ayarlanmış ve bölgeler hakkında bilgi sahibiyiz. Bu nedenle, her bir işaretleyiciyi her zaman takip etmek gerekli değildir; çok noktalılar, yalnızca bir işletim işaretçisi olduğunda aynı şekilde ele alınabilir. Bu tür işaretçileri bir etkileşim yoluyla tespit etmek için, ultrason kızılötesi sensörler. Pek çok göstericinin tek olarak ele alınabilmesi problemler çözülecektir. Kötü gibi zor koşullar altında faaliyet göstermeye maruz kaldığımız durumda aydınlatma, hareket bulanıklıkları, markörün malformasyonu veya tıkanıklığı. Sistem, bazı işaretçiler görünmese bile nesnenin izlenmesine izin verir. Tüm markörlerin uzamsal ilişkileri bilindiğinden, görünür olmayan markörlerin pozisyonları bilinen markörler kullanılarak hesaplanabilir. Sınır işaretçisi ve tahmini işaretleme yöntemleri gibi işaretçi tespiti için birkaç yöntem vardır.

  • Homer tekniği, doğrudan işleme ile ışın seçimini içerir: Bir nesne seçilir ve ardından konumu ve yönü, doğrudan ele bağlıymış gibi ele alınır.
  • Conner tekniği bir dizi 3B sunar aletler ile dolaylı bir etkileşime izin veren sanal nesneler aracı görevi gören sanal bir pencere öğesi aracılığıyla.
Verileri optik hareket yakalama sistemleriyle birleştirmek

Yakalama sırasındaki işaret tıkanması nedeniyle, izleme parmakları optik hareket yakalama sistemleri için en zor kısımdır (Vicon, Optitrack, ART, .. gibi) Optik mocap sistemleri kullanıcıları, çoğu işlem sonrası çalışmanın genellikle parmak yakalamasından kaynaklandığını iddia ediyor . Atalet mocap sistemleri (uygun şekilde kalibre edilmişse) çoğunlukla post-prosese ihtiyaç duymadığından, üst düzey mocap kullanıcıları için tipik kullanım, ataletli mocap sistemlerinden (parmaklar) gelen verileri optik mocap sistemleriyle (gövde + uzayda konum) birleştirmektir. .
Mocap verilerini birleştirme işlemi, eşleştirmeye dayanır zaman kodları atalet ve optik mocap sistem veri kaynağı için her çerçevenin. Bu şekilde herhangi bir 3. parti yazılım (örneğin MotionBuilder, Blender), kullanılan mocap yönteminden bağımsız olarak iki kaynaktan hareketler uygulayabilir.

Germe sensörü parmak takibi

Uzatma sensörlü hareket yakalama sistemleri, sensörler gerildiğinde, büküldüğünde, kesildiğinde veya basınca maruz kaldığında kapasitanstaki farklılıkları algılamak için esnek paralel plaka kapasitörleri kullanır. Esneme sensörleri genellikle silikon tabanlıdır, yani manyetik girişim, tıkanma veya konumsal kaymalardan (atalet sistemlerinde yaygın olarak) etkilenmezler. Bu sensörlerin sağlam ve esnek nitelikleri, yüksek doğrulukta parmak takibi sağlar ve StretchSense tarafından üretilen mocap eldivenlerinde bulunur.[2]

Belden kırmalı el takibi

Mafsallı el izleme, birçok yöntemden daha basit ve daha ucuzdur çünkü yalnızca birine ihtiyaç duyar kamera. Bu basitlik, daha az hassasiyetle sonuçlanır. Modellemede yeni etkileşimler için yeni bir temel sağlar; animasyon ve eklenen gerçekçilik. Parmakların konumuna göre belirlenmiş bir dizi renkten oluşan bir eldiven kullanır. Bu renk testi bilgisayarların görme sistemiyle sınırlıdır ve yakalama işlevi ve rengin konumuna bağlı olarak elin konumu bilinir.

Arayüzsüz izleme

Açısından görsel algı bacaklar ve eller, bir veya daha fazla serbestlik derecesiyle aralarından eklemlere bağlanan eklemli mekanizmalar, katı cisimler sistemi olarak modellenebilir. Bu model, el hareketini tanımlamak için daha küçük bir ölçeğe uygulanabilir ve tam bir vücut hareketini tanımlamak için geniş bir ölçeğe dayanabilir. Örneğin belirli bir parmak hareketi, olağan açılarından tanınabilir ve elin kameraya göre konumuna bağlı değildir.

Birçok izleme sistemi, bir dizi görüntünün verildiği ve bir değişim modelinin verildiği bir dizi tahmin problemine odaklanan bir modele dayanmaktadır, her fotoğraf için 3B konfigürasyonu tahmin ediyoruz. vektörler bir durum alanı, elin konumunu ve parmağın ekleminin açılarını kodlar. Her el konfigürasyonu, parmak ekleminin tıkanmasının sınırlarının saptanması yoluyla bir dizi görüntü üretir. Her bir görüntünün tahmini, ölçülen özelliklere daha iyi uyan durum vektörü bulunarak hesaplanır. Parmak eklemleri, avuç içlerinin sert gövde hareketinden daha fazla 21 duruma sahiptir; bu, tahminin maliyet hesaplamasının arttığı anlamına gelir. Teknik, her bir parmak eklem bağlantısının bir silindir olarak modellendiği etiketten oluşur. Eksenleri her eklemde yapıyoruz ve açıortay Bu eksenin, eklemin izdüşümüdür. Bu nedenle 3 DOF kullanıyoruz, çünkü sadece 3 derece hareket var.

Bu durumda, önceki ile aynıdır tipoloji Bu konuda çok çeşitli dağıtım tezi olduğu için. Dolayısıyla bu tekniği kullanacak kişinin amacına ve ihtiyacına göre adımlar ve tedavi tekniği farklılık göstermektedir. Her neyse, çok genel bir şekilde diyebiliriz ve çoğu sistemde aşağıdaki adımları gerçekleştirmelisiniz:

  • Arka plan çıkarma: Buradaki fikir, 5x5'lik bir Gauss filtresiyle yakalanan tüm görüntüleri birleştirmek ve ardından parazitli piksel verilerini azaltmak için ölçeklendirilmektir.
  • Segmentasyon: Bir ikili maske uygulaması ele ait pikselleri beyaz bir renkle temsil etmek ve siyah rengi ön plan cilt görüntüsüne uygulamak için kullanılır.
  • Bölge çıkarma: aralarındaki bir karşılaştırmaya dayalı olarak sol ve sağ el algılama.
  • Karakteristik çıkarma: parmak uçlarının konumu ve tepe mi yoksa çukur mu olduğunu tespit etmek. Noktaları, tepeleri veya vadileri sınıflandırmak için, bunlar genellikle xy düzleminde sözde vektörler olarak adlandırılan 3B vektörlere dönüştürülür ve ardından çapraz çarpımı hesaplar. Çapraz çarpımın z bileşeninin işareti pozitifse, noktanın bir tepe olduğunu ve çapraz çarpımın sonucunun negatif olması durumunda bir vadi olacağını düşünürüz.
  • İşaretle ve kıstırarak hareket tanıma: Görünen referans noktaları (parmak uçları) dikkate alınarak belirli bir hareket ilişkilendirilir.
  • Poz tahmini: Pozisyonlar arasındaki mesafeleri hesaplayan algoritmalar aracılığıyla ellerin pozisyonunu belirlemeyi içeren bir prosedür.

Diğer izleme teknikleri

Parmakların aktif takibini yapmak da mümkündür. Akıllı Lazer Tarayıcı, 2003-2004'te Tokyo Üniversitesi'nde geliştirilen, modifiye edilmiş bir lazer tarayıcı / projektör kullanan, işaretsiz bir parmak izleme sistemidir. Herhangi bir görüntü işlemeye ihtiyaç duymadan gerçek zamanlı olarak üç boyutlu koordinatları elde etme yeteneğine sahiptir (esasen, tüm görüş alanını sürekli taramak yerine tarama alanını çok dar bir pencereyle sınırlayan bir telemetre tarayıcıdır. tam olarak hedefin boyutu). Hareket tanıma bu sistemle kanıtlanmıştır. Örnekleme oranı çok yüksek olabilir (500 Hz), bu da filtrelemeye (Kalman gibi) ihtiyaç duyulmadan pürüzsüz yörüngelerin elde edilmesini sağlar.

Uygulama

Kesinlikle, parmak izleme sistemleri bir sanal gerçeklik. Ancak uygulaması profesyonel düzeye gitti 3D modelleme, bu durumda şirketler ve projeler doğrudan devrildi. Thussuch sistemleri, yüksek fiyatı ve karmaşıklığı nedeniyle tüketici uygulamalarında nadiren kullanılmıştır.Her durumda, ana amaç, bilgisayarın doğal diline veya etkileşimli hareketlere komutları yürütme görevini kolaylaştırmaktır.

Amaç, aşağıdaki fikir üzerine odaklanmıştır: Bilgisayarlar, doğal dil veya jest etkileşimi ile çalışma imkanı varsa, kullanım açısından daha kolay olmalıdır. Bu tekniğin ana uygulaması, Maya ve 3D StudioMax gibi yazılımların bu tür araçları kullandığı 3D tasarım ve animasyonu vurgulamaktır. Bunun nedeni, yürütmek istediğimiz talimatların daha doğru ve basit bir şekilde kontrol edilmesine izin vermektir. Bu teknoloji, bir bilgisayar kullanılarak gerçek zamanlı olarak 3 boyutlu olarak heykel, bina ve modellemenin en önemli olduğu birçok imkan sunuyor.

Ayrıca bakınız

Referanslar

  1. ^ Goebl, W .; Palmer, C. (2013). Balasubramaniam, Ramesh (ed.). "Vasıflı Müzik Performansında Temporal Kontrol ve El Hareketi Verimliliği". PLOS ONE. 8 (1): e50901. Bibcode:2013PLoSO ... 850901G. doi:10.1371 / journal.pone.0050901. PMC  3536780. PMID  23300946.
  2. ^ "Dünyanın önde gelen hareket yakalama eldiveni". StretchSense. Alındı 2020-11-24.


Dış bağlantılar