Hareketin yapısı - Structure from motion

Kafanı karıştırmamak hareketten yapı (psikofizik).

Hareketin yapısı (SfM)[1] bir fotogrametrik menzil görüntüleme yerel ile birleştirilebilen iki boyutlu görüntü dizilerinden üç boyutlu yapıları tahmin etme tekniği hareket sinyalleri. Alanlarında incelenir Bilgisayar görüşü ve görsel algı. Biyolojik vizyonda SfM, insanların (ve diğer canlı yaratıkların) hareketli bir nesnenin veya sahnenin yansıtılan 2B (retinal) hareket alanından 3B yapıyı kurtarabileceği fenomeni ifade eder.

Prensip

Dijital yüzey modeli otoyol değiş tokuş inşaat sahası
Gerçek fotoğraf x Doku rengi ile SfM x Basit gölgelendirici ile SfM. Python Photogrammetry Toolbox GUI ile yapılmıştır ve Blender with Cycles'da işlenmiştir.
Bezmiechowa havaalanı 3D dijital yüzey modeli 30 dakikalık uçuş sırasında toplanan verilerden çıkarıldı Pteryx İHA

İnsanlar çevrelerindeki üç boyutlu yapı hakkında birçok bilgiyi etrafta dolaşarak algılarlar. Gözlemci hareket ettiğinde etrafındaki nesneler, gözlemciden uzaklığına bağlı olarak farklı miktarlarda hareket eder. Bu olarak bilinir hareket paralaks ve bu derinlikten bilgi, çevrelerindeki dünyanın doğru bir 3B temsilini oluşturmak için kullanılabilir.[2]

Hareketten yapı bulmak, yapıdan yapı bulmaya benzer bir problem sunar. Stereo vizyon. Her iki durumda da, görüntüler ve yeniden yapılanma 3B nesnenin bulunması gerekiyor.

Bulmak yazışma görüntüler arasında, köşe noktaları (birden çok yönde degradelere sahip kenarlar) gibi özellikler bir görüntüden diğerine izlenir. En yaygın kullanılan özellik dedektörlerinden biri, ölçekle değişmeyen özellik dönüşümü (SIFT). Maksimumu bir Gaussluların farkı (KÖPEK) piramidi özellik olarak. SIFT'teki ilk adım, baskın bir gradyan yönü bulmaktır. Dönüşü değişmez hale getirmek için tanımlayıcı bu yöne uyacak şekilde döndürülür.[3] Diğer bir yaygın özellik algılayıcısı da SÖRF (hızlandırılmış sağlam özellikler).[4] SURF'te DOG, bir Hessen matrisi tabanlı blob algılayıcı. Ayrıca, gradyan histogramlarını değerlendirmek yerine, SURF gradyan bileşenlerinin toplamlarını ve bunların mutlak değerlerinin toplamını hesaplar.[5] Entegre görüntülerin kullanımı, özelliklerin yüksek algılama oranıyla son derece hızlı bir şekilde algılanmasını sağlar.[6] Bu nedenle, SIFT ile karşılaştırıldığında, SURF, özellik konumlarında daha az doğruluk dezavantajı olan daha hızlı bir özellik detektörüdür.[5]Son zamanlarda hareketten yapı için pratik hale getirilen bir başka özellik türü, genel eğrilerdir (örneğin, yerel olarak bir yönde degradelere sahip bir kenar), olarak bilinen bir teknolojinin parçası anlamsız SfM[7][8], nokta özellikleri yetersiz olduğunda yararlı, insan yapımı ortamlarda yaygın.[9]

Tüm görüntülerden tespit edilen özellikler daha sonra eşleştirilecektir. Bir görüntüden diğerine özellikleri izleyen eşleştirme algoritmalarından biri, Lukas – Kanade izci.[10]

Bazen bazı eşleşen özellikler yanlış eşleştirilir. Bu nedenle eşleşmeler de filtrelenmelidir. RANSAC (rastgele örnek fikir birliği), genellikle aykırı değer karşılıklarını kaldırmak için kullanılan algoritmadır. Fischler and Bolles'ın makalesinde, RANSAC, konum belirleme problemi (LDP), burada amaç, bir görüntü üzerine yansıtılan uzaydaki noktaları, bilinen konumlara sahip bir dizi yer işareti olarak belirlemektir.[11]

Zaman içindeki özellik yörüngeleri daha sonra 3D konumlarını ve kameranın hareketini yeniden yapılandırmak için kullanılır.[12]Geometrik bilginin (3B yapı ve kamera hareketi), özelliklere veya köşelere ara soyutlama olmaksızın doğrudan görüntülerden tahmin edildiği sözde doğrudan yaklaşımlarla bir alternatif verilir.[13]

Hareketten yapılandırmaya yönelik birkaç yaklaşım vardır. Artımlı SFM'de[14]kamera pozları çözülerek koleksiyona tek tek ekleniyor. Global SFM'de [15][16]tüm kameraların pozları aynı anda çözülür. Biraz ara bir yaklaşım çekirdek dışı SFM, birkaç kısmi yeniden yapılandırmanın hesaplandığı ve daha sonra küresel bir çözüme entegre edildiği.

Başvurular

Yerbilimleri

Hareketli fotogrametriden çoklu görüntü stereo yapısı, bir dizi dijital kameradan ve isteğe bağlı olarak bir yer kontrol noktası ağından elde edilen görüntüleri kullanarak hiper ölçekli yer şekli modelleri sağlar. Teknik, zamansal frekansta sınırlı değildir ve maliyetin bir kısmıyla karasal ve havadan lazer taramayla oluşturulanlarla yoğunluk ve doğruluk açısından karşılaştırılabilir nokta bulutu verileri sağlayabilir.[17][18][19]. Harekete dayalı yapı, karasal lazer taramanın ekipman taşınabilirliği ile sınırlı olduğu ve havadan lazer taramanın veri kaybına ve görüntü kısaltmasına neden olan arazi pürüzlülüğü tarafından sınırlandırıldığı uzak veya zorlu ortamlarda da yararlıdır. Teknik, nehirler gibi birçok ortamda uygulanmıştır.[20], badlands[21], kumlu sahil şeridi[22][23], fay bölgeleri[24], heyelanlar[25]ve mercan kayalığı ayarları[26]. SfM, büyük odun birikimi hacminin değerlendirilmesi için de başarıyla uygulanmıştır.[27] ve gözeneklilik[28] akarsu sistemlerinde ve süreksizliklerin yönelimi, kalıcılığı vb. gibi bazı özelliklerin belirlenmesi yoluyla kaya kütlelerinin karakterizasyonu için[29][30]. Dijital SLR'ler, kompakt dijital kameralar ve hatta akıllı telefonlar dahil olmak üzere çok çeşitli dijital kameralar kullanılabilir. Genel olarak, yine de, daha yüksek optik kaliteye sahip lensler içeren daha pahalı kameralarla daha yüksek doğruluk verileri elde edilecektir. Bu nedenle teknik, yüzey topografyasını benzeri görülmemiş ayrıntılarla karakterize etmek ve çok zamansal verilerle, yer yüzeyi işlemlerinin belirtisi olan yükseklik, konum ve hacimsel değişiklikleri tespit etmek için heyecan verici fırsatlar sunar. Hareketin yapısı, diğer dijital ölçme yöntemleri bağlamına yerleştirilebilir.

Kültürel Miras

Kültürel miras her yerde mevcuttur. Yapısal kontrolü, dokümantasyonu ve muhafazası insanlığın temel görevlerinden biridir (UNESCO ). Bu bakış açısına göre SfM, durumları doğru bir şekilde tahmin etmek, planlama ve bakım çalışmaları ve maliyetleri, kontrol ve restorasyon için kullanılır. Genellikle sahanın erişilebilirliği ve geleneksel ölçüm rutinlerinin (toplam istasyonlar gibi) kullanımına izin vermeyen invazif ölçüm sütunlarının kurulmasının imkansızlığı ile bağlantılı ciddi kısıtlamalar mevcut olduğundan, SfM, doğrudan etkileşim olmaksızın yapı için invaziv olmayan bir yaklaşım sağlar. yapı ve herhangi bir operatör arasında. Yalnızca nitel değerlendirmelere ihtiyaç duyulduğu için kullanım doğrudur. Anıtın acil yönetim ihtiyaçlarına cevap verecek kadar hızlıdır.[31]İlk operasyonel aşama, nesneden en iyi mesafe, odak uzaklığı, zemin örnekleme mesafesi (GSD) ve sensörün çözünürlüğü arasındaki ilişkinin kurulduğu fotogrametrik ölçümün doğru bir şekilde hazırlanmasıdır. Bu bilgilerle programlanmış fotoğraf çekimleri en az% 60'lık dikey üst üste binme kullanılarak yapılmalıdır (şekil 02).[32]

Ayrıca bakınız

daha fazla okuma

  • Jonathan L. Carrivick, Mark W. Smith, Duncan J. Quincey (2016). Yerbilimlerindeki Hareketten Yapı. Wiley-Blackwell. 208 sayfa. ISBN  978-1-118-89584-9
  • Richard Hartley ve Andrew Zisserman (2003). Bilgisayarla Görüde Çoklu Görünüm Geometrisi. Cambridge University Press. ISBN  978-0-521-54051-3.

Referanslar

  1. ^ S. Ullman (1979). "Yapının hareketten yorumlanması" (PDF). Londra Kraliyet Cemiyeti Bildirileri. 203 (1153): 405–426. Bibcode:1979RSPSB.203..405U. doi:10.1098 / rspb.1979.0006. hdl:1721.1/6298. PMID  34162. S2CID  11995230.
  2. ^ Linda G. Shapiro; George C. Stockman (2001). Bilgisayar görüşü. Prentice Hall. ISBN  978-0-13-030796-5.
  3. ^ D. G. Lowe (2004). "Ölçekle değişmeyen temel noktalardan ayırt edici görüntü özellikleri". International Journal of Computer Vision. 60 (2): 91–110. CiteSeerX  10.1.1.73.2924. doi:10.1023 / b: ziyaret edin.0000029664.99615.94. S2CID  221242327.
  4. ^ H. Bay; T. Tuytelaars ve L. Van Gool (2006). "Gezinme: Güçlü özellikleri hızlandırdı". 9. Avrupa Bilgisayarlı Görü Konferansı.
  5. ^ a b K. Häming ve G. Peters (2010). "Hareketten yapı yeniden yapılandırma boru hattı - kısa görüntü sekanslarına odaklanan bir araştırma". Kybernetika. 46 (5): 926–937.
  6. ^ Viola, P .; Jones, M. (2001). "Yükseltilmiş basit özellikler dizisi kullanarak hızlı nesne algılama". 2001 IEEE Bilgisayar Topluluğu Bilgisayarlı Görü ve Örüntü Tanıma Konferansı Bildirileri. CVPR 2001. Kauai, HI, ABD: IEEE Comput. Soc. 1: I – 511 – I-518. doi:10.1109 / CVPR.2001.990517. ISBN  978-0-7695-1272-3. S2CID  2715202.
  7. ^ Nurutdinova, Andrew; Fitzgibbon, Andrew (2015). "Hareketten Anlamsız Yapıya Doğru: Genel 3B eğrilerden 3B yeniden yapılandırma ve kamera parametreleri" (PDF). IEEE International Conference on Computer Vision (ICCV 2015) Bildirileri: 2363–2371. doi:10.1109 / ICCV.2015.272. ISBN  978-1-4673-8391-2. S2CID  9120123.
  8. ^ Fabbri, Ricardo; Giblin, Peter; Kimia Benjamin (2012). "Birinci Derece Eğri Diferansiyel Geometrisi Kullanarak Kamera Poz Tahmini" (PDF). Bilgisayar Bilimlerinde Ders Notları (ECCV 2012). Bilgisayar Bilimlerinde Ders Notları. 7575: 231–244. doi:10.1007/978-3-642-33765-9_17. ISBN  978-3-642-33764-2.
  9. ^ Apple, ARKIT ekibi (2018). "ARKit İzleme ve Algılamayı Anlama". WWDC.
  10. ^ B. D. Lucas ve T. Kanade. "Stereo görüşe bir uygulama ile yinelemeli bir görüntü kayıt tekniği". Ijcai81.
  11. ^ M.A. Fischler ve R. C. Bolles (1981). "Rastgele örnek konsensüsü: görüntü analizi ve otomatik haritacılık uygulamalarıyla model uydurma için bir paradigma". Commun. ACM. 24 (6): 381–395. doi:10.1145/358669.358692. S2CID  972888.
  12. ^ F. Dellaert; S. Seitz; C. Thorpe ve S. Thrun (2000). "Yazışma Olmadan Hareketten Yapı" (PDF). IEEE Bilgisayar Topluluğu Bilgisayarlı Görü ve Örüntü Tanıma Konferansı.
  13. ^ Engel, Jakob; Schöps, Thomas; Cremers Daniel (2014). "LSD-SLAM: Büyük Ölçekli Doğrudan Monoküler SLAM". Avrupa Bilgisayarla Görü Konferansı (ECCV) 2014 (PDF).
  14. ^ J.L. Schönberger ve J.M. Frahm (2016). "Hareketten Yapıya Bakış" (PDF). IEEE Bilgisayar Topluluğu Bilgisayarlı Görü ve Örüntü Tanıma Konferansı.
  15. ^ C. Tomasi ve T. Kanade (1992). "Yazım altındaki görüntü akışlarından şekil ve hareket: bir çarpanlara ayırma yöntemi". International Journal of Computer Vision. 9 (2): 137–154. CiteSeerX  10.1.1.131.9807. doi:10.1007 / BF00129684. S2CID  2931825.
  16. ^ V.M. Govindu (2001). "Hareket tahmini için iki görünüm kısıtlamalarının birleştirilmesi". IEEE Bilgisayar Topluluğu Bilgisayarlı Görü ve Örüntü Tanıma Konferansı. 2: II-218 – II-225. doi:10.1109 / CVPR.2001.990963. ISBN  0-7695-1272-0. S2CID  8252027.
  17. ^ Westoby, M. J .; Brasington, J .; Glasser, N. F .; Hambrey, M. J .; Reynolds, J.M. (2012-12-15). "'Hareketten Yapı 'fotogrametrisi: Yer bilimi uygulamaları için düşük maliyetli, etkili bir araç ". Jeomorfoloji. 179: 300–314. Bibcode:2012Geomo.179..300W. doi:10.1016 / j.geomorph.2012.08.021.
  18. ^ James, M.R .; Robson, S. (2012-09-01). "Bir kamera ile 3 boyutlu yüzeylerin ve topografyanın basit bir şekilde yeniden yapılandırılması: Doğruluk ve jeoloji uygulaması" (PDF). Jeofizik Araştırma Dergisi: Yer Yüzeyi. 117 (F3): F03017. Bibcode:2012JGRF..117.3017J. doi:10.1029 / 2011jf002289. ISSN  2156-2202.
  19. ^ Fonstad, Mark A .; Dietrich, James T .; Courville, Brittany C .; Jensen, Jennifer L .; Carbonneau, Patrice E. (2013-03-30). "Hareketten topografik yapı: fotogrametrik ölçümde yeni bir gelişme" (PDF). Toprak Yüzey Süreçleri ve Yer Şekilleri. 38 (4): 421–430. Bibcode:2013ESPL ... 38..421F. doi:10.1002 / esp.3366. ISSN  1096-9837.
  20. ^ Javernick, L .; Brasington, J .; Caruso, B. (2014). "Hareketten Yapı fotogrametrisi kullanarak sığ örgülü nehirlerin topografyasının modellenmesi". Jeomorfoloji. 213: 166–182. Bibcode:2014Geomo.213..166J. doi:10.1016 / j.geomorph.2014.01.006.
  21. ^ Smith, Mark William; Vericat, Damià (2015-09-30). "Deneysel arazilerden deneysel manzaralara: Hareketten Yapı fotogrametrisinden alt nemli kötü alanlarda topografya, erozyon ve birikme" (PDF). Toprak Yüzey Süreçleri ve Yer Şekilleri. 40 (12): 1656–1671. Bibcode:2015ESPL ... 40.1656S. doi:10.1002 / esp.3747. ISSN  1096-9837.
  22. ^ Goldstein, Evan B; Oliver, Amber R; deVries, Elsemarie; Moore, Laura J; Jass Theo (2015-10-22). "Düşük eğimli kıyı ortamlarında hareketten yapıdan elde edilen topografya için yer kontrol noktası gereksinimleri". PeerJ Hazır Baskılar. doi:10.7287 / peerj.preprints.1444v1. ISSN  2167-9843.
  23. ^ Mancini, Francesco; Dubbini, Marco; Gattelli, Mario; Stecchi, Francesco; Fabbri, Stefano; Gabbianelli, Giovanni (2013-12-09). "Topoğrafyanın Yüksek Çözünürlüklü Yeniden İnşası İçin İnsansız Hava Araçlarının (İHA) Kullanılması: Kıyı Ortamlarında Hareket Yaklaşımından Yapı". Uzaktan Algılama. 5 (12): 6880–6898. Bibcode:2013RemS .... 5,6880M. doi:10.3390 / rs5126880.
  24. ^ Johnson, Kendra; Nissen, Edwin; Saripalli, Srikanth; Okçu, J. Ramón; McGarey, Patrick; Scharer, Katherine; Williams, Patrick; Blisniuk, Kimberly (2014-10-01). "Harekete dayalı yapı ile ultra ince fay bölgesi topografyasının hızlı haritalanması". Jeosfer. 10 (5): 969–986. Bibcode:2014Geosp..10..969J. doi:10.1130 / GES01017.1.
  25. ^ Del Soldato, M .; Riquelme, A .; Bianchini, S .; Tomàs, R .; Di Martire, D .; De Vita, P .; Moretti, S .; Calcaterra, D. (2018/06/06). "Agnone heyelanının (Molise, güney İtalya) bir yüzyıllık evrimini araştırmak için çok kaynaklı veri entegrasyonu". Heyelanlar. 15 (11): 2113–2128. doi:10.1007 / s10346-018-1015-z. ISSN  1612-510X.
  26. ^ Bryson, Mitch; Duce, Stephanie; Harris, Dan; Webster, Jody M .; Thompson, Alisha; Vila-Concejo, Ana; Williams, Stefan B. (2016). "Bir mercan çakıl cayının jeomorfik değişiklikleri Uçurtma Hava Fotoğrafçılığı kullanılarak ölçülmüştür". Jeomorfoloji. 270: 1–8. Bibcode:2016Geomo.270 .... 1B. doi:10.1016 / j.geomorph.2016.06.018.
  27. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (2019-12-01). "Alandaki büyük odun (LW) birikimlerini değerlendirmek için Hareket fotogrametrisinden Yapının kullanılması". Jeomorfoloji. 346: 106851. Bibcode:2019Geomo.34606851S. doi:10.1016 / j.geomorph.2019.106851.
  28. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (2020). "Laboratuvarda Hareket fotogrametrisinden yapıyı kullanarak büyük ahşap (LW) 3B birikim haritalama ve değerlendirme". Hidroloji Dergisi. 581: 124430. Bibcode:2020JHyd..58124430S. doi:10.1016 / j.jhydrol.2019.124430.
  29. ^ Riquelme, A .; Cano, M .; Tomás, R .; Abellán, A. (2017/01/01). "Lazer Tarayıcı ve Fotogrametrik Nokta Bulutlarından Kaya Eğimi Süreksizlik Setlerinin Tanımlanması: Karşılaştırmalı Bir Analiz". Prosedür Mühendisliği. 191: 838–845. doi:10.1016 / j.proeng.2017.05.251. ISSN  1877-7058.
  30. ^ Jordá Bordehore, Luis; Riquelme, Adrian; Cano, Miguel; Tomás Roberto (2017/09/01). "Başarısız kaya şevlerinin kinematik kararlılık değerlendirmesinde kullanılan manuel ve uzaktan algılama alanı süreksizlik toplamasının karşılaştırılması" (PDF). Uluslararası Kaya Mekaniği ve Maden Bilimleri Dergisi. 97: 24–32. doi:10.1016 / j.ijrmms.2017.06.004. hdl:10045/67528. ISSN  1365-1609.
  31. ^ Guidi. G .; Beraldin, J.A .; Atzeni, C. Kültürel mirasın yüksek doğrulukta 3 boyutlu modellemesi: Donatello'nun dijitalleştirilmesi. IEEE Trans. Görüntü İşlemi. 2004, 13, 370–380
  32. ^ Kraus, K., 2007. Fotogrametri: Görüntü ve Lazer Taramalarından Geometri. Walter de Gruyter, 459 s. ISBN  978-3-11-019007-6

Dış bağlantılar

Yazılım

Ayrıca bakınız: Fotogrametri yazılımı ve Paket ayarı § Yazılım
Açık kaynaklı çözümler
  • Tüm ücretsiz Fotogrametri Araçlarını denemek[1]

C ++

Matlab

Python

Kapalı kaynaklı yazılım
  1. ^ pfalkingham (2016-09-14). "Tüm ücretsiz Fotogrametri deneniyor!". Dr Peter L. Falkingham. Alındı 2017-05-16.