Dizi DBMS - Array DBMS - Wikipedia

Dizi veritabanı yönetim sistemleri (dizi DBMS'leri) sağlamak veri tabanı özellikle için hizmetler diziler (olarak da adlandırılır tarama verileri ), yani: homojen veri öğeleri koleksiyonları (genellikle piksel, vokseller, vb.), bir, iki veya daha fazla boyuttan oluşan düzenli bir ızgara üzerinde oturuyor. Genellikle diziler sensör, simülasyon, görüntü veya istatistik verilerini temsil etmek için kullanılır. Bu tür diziler olma eğilimindedir Büyük veri, sık sık Terabayt ve yakında Petabayt boyutlarına kadar değişen tek nesnelerle; örneğin, günümüzün dünya ve uzay gözlem arşivleri tipik olarak günde Terabayt büyüyor. Dizi veritabanları, bu bilgi kategorisinde esnek, ölçeklenebilir depolama ve erişim sağlamayı amaçlamaktadır.

Dizilerdeki ögelerin öklid mahallesi
Dizilerdeki ögelerin öklid mahallesi

Genel Bakış

Standartla aynı tarzda veritabanı sistemleri Dizi DBMS'leri ölçeklenebilir, esnek depolama ve sınırsız boyutlu (kavramsal olarak) diziler üzerinde esnek erişim / manipülasyon sunar. Uygulamada diziler hiçbir zaman bağımsız görünmediği gibi, böyle bir dizi modeli normalde ilişkisel model gibi bazı genel veri modellerine gömülür. Bazı sistemler dizileri tablolara benzer şekilde uygular, bazıları dizileri ek bir öznitelik türü olarak sunar.

Dizilerin yönetimi, özellikle geleneksel veritabanı demetlerinin ve nesnelerinin tek bir veritabanı sayfasına iyi bir şekilde sığma eğiliminde olması nedeniyle yeni teknikler gerektirir - sunucuda bir disk erişim birimi, tipik olarak 4KB - dizi nesneleri kolayca birkaç ortama yayılabilirken. Dizi depolama yöneticisinin temel görevi, büyük dizilere ve alt dizilere hızlı erişim sağlamaktır. Bu amaçla, diziler ekleme sırasında sözde bölümlenir. fayans veya parçalar Daha sonra sorgu değerlendirmesi sırasında erişim birimleri olarak işlev gören uygun boyutta.

Dizi DBMS'leri teklifi sorgu dilleri verme beyan edici bu tür dizilere erişim, onları oluşturmaya, değiştirmeye, aramaya ve silmeye izin verir. Gibi, ör. SQL, gelişigüzel karmaşıklık ifadeleri, bir dizi çekirdek dizi işleminin üzerine inşa edilebilir. Veri ve sorgu modelinde yapılan uzantılar nedeniyle, Dizi DBMS'leri bazen NoSQL kategorisi, "sadece SQL değil" anlamında. Sorgu optimizasyon ve paralelleştirme başarmak için önemlidir ölçeklenebilirlik; aslında birçok dizi operatörü, her bir kutucuğu ayrı düğümler veya çekirdekler üzerinde işleyerek paralel değerlendirmeye uygun bir şekilde katkıda bulunur.

Array DBMS'lerin önemli uygulama alanları arasında Dünya, Uzay, Yaşam ve Sosyal bilimler ile ilgili ticari uygulamalar (ör. hidrokarbon araştırması endüstride ve OLAP iş). Meydana gelen çeşitlilik, örneğin 1-D çevresel sensör zaman serisi, 2-D uydu görüntüleri, 3-D x / y / t görüntü zaman serisi ve x / y / z jeofizik verilerinin yanı sıra coğrafi verilerde gözlemlenebilir. 4-D x / y / z / t iklim ve okyanus verileri bulunabilir.

Geçmiş ve durum

ilişkisel veri modeli Bugün geçerli olan, dizi paradigmasını doğrudan kümeler ve demetlerle aynı ölçüde desteklemiyor. ISO SQL dizi değerli bir öznitelik türünü listeler, ancak bu yalnızca tek boyutludur, hemen hemen hiç operasyonel destek içermez ve uygulama alanları Dizi DBMS'leri. Başka bir seçenek de başvurmaktır BLOB'lar ("ikili büyük nesneler") dosyalara eşdeğerdir: (kavramsal olarak) sınırsız uzunluktaki bayt dizeleri, ancak yine çok boyutlu alt küme oluşturma gibi herhangi bir sorgu dili işlevi yoktur.

BLOB'ların ötesine geçme konusunda ilk önemli çalışma PICDMS ile yapılmıştır.[1] Bu sistem, yordamsal ve uygun depolama desteği olmasa da 2-D dizi sorgu dilinin öncüsünü sunar.

Birden çok boyuta uygun ve cebir tabanlı bir semantiğe sahip ilk bildirim temelli sorgu dili tarafından yayınlanmıştır. Baumann ölçeklenebilir bir mimari ile birlikte.[2][3] 2-D ile sınırlandırılmış başka bir dizi veritabanı dili, Marathe ve Salem tarafından sunulmuştur.[4] Seminal teorik çalışma Libkin ve arkadaşları tarafından gerçekleştirilmiştir .;[5] NCRA adı verilen modellerinde, iç içe geçmiş ilişkisel hesabı çok boyutlu dizilerle genişletirler; sonuçlar arasında dizi sorgu karmaşıklığı analizine önemli katkılar vardır. 2-D ve 3-D uzamsal tarama verileri için uygun bir harita cebiri, Mennis ve arkadaşları tarafından yayınlanmıştır.[6]

Dizi DBMS uygulamaları açısından, Rasdaman sistem, tam sorgu desteği ile n-D dizileri arasında en uzun uygulama geçmişine sahiptir. Oracle GeoRaster SQL entegrasyonu olmasa da 2 boyutlu tarama haritalarının yığın halinde depolanmasını sağlar. TerraLib nesne-ilişkisel DBMS teknolojisini uzamsal-zamansal veri türlerini işleyecek şekilde genişleten açık kaynaklı bir GIS yazılımıdır; ana odak vektör verileri üzerindeyken, rasterler için de bazı destek var. 2.0 sürümünden başlayarak, PostGIS 2 boyutlu rasterler için tarama desteğini yerleştirir; özel bir işlev bildirim temelli tarama sorgu işlevi sunar. SciQL bir dizi sorgu dilidir ve MonetDB DBMS. SciDB dizi veritabanı desteği oluşturmak için daha yeni bir girişimdir. SciQL gibi diziler de rasdaman ve PostGIS'deki gibi yeni bir öznitelik türü yerine tablolara eşdeğer olarak görülür.

Özel durum için seyrek veri, OLAP veri küpleri iyi oluşturulmuştur; Hücre değerlerini konumlarıyla birlikte saklarlar - geçerli bilgiler taşıyan birkaç konum karşısında yeterli bir sıkıştırma tekniği - ve üzerlerinde SQL ile çalışırlar. Bu teknik yoğunlukta ölçeklenmediğinden, günümüzde çoğu hücrenin anlamlı bilgiler taşıdığı uydu görüntüleri gibi yoğun veriler için standart veritabanları kullanılmamaktadır; daha ziyade, tescilli geçici uygulamalar bilimsel veri yönetimi ve benzeri durumlarda hakimdir. Bu nedenle, Array DBMS'lerin belirli bir katkı yapabileceği yer burasıdır.

Genel olarak, Dizi DBMS'leri gelişmekte olan bir teknolojidir. Operasyonel olarak konuşlandırılmış sistemler varken, Oracle GeoRaster, PostGIS 2.0 ve Rasdaman, sorgu dili tasarımı ve biçimlendirmesi, sorgu optimizasyonu, paralelleştirme ve Dağıtılmış işlem ve genel olarak ölçeklenebilirlik sorunları. Ayrıca, bilimsel topluluklar hala dizi veritabanı teknolojisini kullanmakta isteksiz görünmekte ve uzmanlaşmış, tescilli teknolojiyi tercih etme eğilimindedir.

Kavramlar

Veritabanlarına diziler eklerken, kavramsal modellemeden (uygun operatörler gibi) depolama yönetimine (birden fazla medyayı kapsayan dizilerin yönetimi gibi) sorgu işlemeye (verimli işleme stratejileri gibi) kadar, veritabanı tasarımının tüm yönlerinin yeniden değerlendirilmesi gerekir.

Kavramsal modelleme

Resmen, bir dizi Bir bir (toplam veya kısmi) işlev tarafından verilir Bir: X → V nerede X, alan adı bir dbazıları için boyutlu tamsayı aralığı d> 0 ve V, aranan Aralık, bazı (boş olmayan) bir değer kümesidir; set gösteriminde bu, {(p,v) | p içinde X, v içinde V }. Her biri (p,v) içinde Bir bir dizi öğesini belirtir veya hücreve ortak gösterimi izleyerek yazıyoruz Bir[p] = v. Örnekler X dahil {0..767} × {0..1023} (için XGA boyutlu görüntüler), örnekler V 8 bit gri tonlamalı resimler için {0..255} ve standart için {0..255} × {0..255} × {0..255} dahil RGB görüntü.

Yerleşik veritabanı uygulamasının ardından, bir dizi sorgu dili beyan edici Bir dizi üzerinde yineleme, dizi işlemenin merkezinde yer aldığından, bildirimsellik bu yönden çok daha fazla odaklanır. Öyleyse şart, kavramsal olarak tüm hücrelerin aynı anda incelenmesi gerektiğidir - başka bir deyişle, sorgu, değerlendirme sırasında dizi hücreleri üzerinde herhangi bir açık yineleme dizisini zorlamaz. Her sorgu sonlu sayıda (sonlu zamanlı) adımdan sonra sona erdiğinde değerlendirme güvenliği sağlanır; yine, genel döngülerden ve özyinelemeden kaçınmak, bunu başarmanın bir yoludur. Aynı zamanda, açık döngü dizilerinden kaçınmak, çeşitli optimizasyon fırsatlarını açar.

Dizi sorgulama

Dizi sorgu operatörlerine örnek olarak, Rasdaman cebir ve sorgu dili, minimum dizi ilkelleri kümesi üzerinde bir ifade dili oluşturan hizmet edebilir. Jenerik çekirdek operatörlerle başlıyoruz ve ardından yaygın özel durumlar ve kısayollar sunuyoruz.

Marray operatör, belirli bir etki alanı kapsamında bir dizi oluşturur ve hücrelerini başlatır:

Marray indeks-Aralık-Şartnamedeğerler hücre-değer-ifade

nerede dizin aralığı belirtimi sonuç alanını tanımlar ve yineleme sırasını belirtmeden bir yineleme değişkenini ona bağlar. hücre değeri ifadesi etki alanının her yerinde değerlendirilir.

Misal: "Dizi A'nın köşe noktaları (10,20) ve (40,50) tarafından verilen kesikli kısmı."

Marray p içinde [10:20,40:50]değerler Bir[p]

Bu özel durum, saf alt küme, şu şekilde kısaltılabilir:

Bir[10:20,40:50]

Bu alt küme, dizinin boyutunu korur; dilimleri çıkararak boyutu küçültmek için dilimleme boyutunda tek bir nokta noktası değeri belirtilir.

Misal: "T = 100 konumunda x / y / t zaman serileri boyunca bir dilim, x ve y'deki tüm mevcut verileri alıyor."

Bir[*:*,*:*,100]

Joker karakter operatörü * dizinin geçerli sınırının kullanılacağını belirtir; boyut sınırlarının tanım zamanında açık bırakıldığı dizilerin, dizinin ömrü boyunca bu boyutlarda boyut değiştirebileceğini unutmayın.

Yukarıdaki örnekler basitçe orijinal değerleri kopyaladı; bunun yerine bu değerler değiştirilebilir.

Misal: "Her hücre değerine bir günlük () uygulanmış A dizisi."

Marray p içinde alan adı(Bir)değerler günlük( Bir[p] )

Bu şu şekilde kısaltılabilir:

günlük( Bir )

Denen bir ilke aracılığıyla indüklenen operasyonlar,[7] sorgu dili, hücre türünün sunduğu tüm işlemleri dizi düzeyinde de sunar. Bu nedenle, sayısal değerlerde tüm olağan tekli ve ikili aritmetik, üstel ve trigonometrik işlemler basit bir şekilde ve ayrıca standart Boole operatörleri kümesiyle kullanılabilir.

yoğunlaştırmak operatörü, hücre değerlerini, SQL toplamalarına benzer şekilde tek bir skaler sonuçta toplar. Uygulaması genel biçime sahiptir:

yoğunlaştırmak yoğunlaştırmak-opbitmiş indeks-Aralık-Şartnamekullanma hücre-değer-ifade

Olduğu gibi Marray önce dizin aralığı belirtimi yinelenecek etki alanını belirtir ve yineleme sırasını belirtmeden bir yineleme değişkenini ona bağlar. Aynı şekilde, hücre değeri ifadesi her alan konumunda değerlendirilir. yoğunlaştırma yan tümce, hücre değeri ifadelerini tek bir değerde birleştirmek için kullanılan toplama işlemini belirtir.

Misal: "A'daki tüm değerlerin toplamı"

yoğunlaştırmak +bitmiş p içinde sdom(Bir)kullanma Bir[p]

Bu işlemin kısaltması:

add_cells( Bir )

Aynı şekilde ve SQL toplamalarına benzer şekilde, sayma, ortalama, minimum, maksimum ve Boole nicelik belirteçleri dahil olmak üzere bir dizi başka kısaltma sağlanır.

Bir sonraki örnek, Marray ve yoğunlaştırmak histogram türeterek operatörler.

Misal: "8 bitlik gri tonlamalı görüntü A üzerinde bir histogram."

Marray Kova içinde [0:255]değerler count_cells( Bir = Kova )

Uyarılmış karşılaştırma, A = kova, ile aynı ölçüde bir Boolean dizisi oluşturur Bir. Toplama operatörü, oluşumlarını sayar doğru her değeri için Kova, daha sonra 1-D histogram dizisinin uygun dizi hücresine yerleştirilir.

Bu tür diller, döngüler kullanmadan analitik olarak ifade edilebilen istatistiksel ve görüntüleme işlemlerinin formüle edilmesine izin verir. Kanıtlandı[8] ilke olarak bu tür dizi dillerinin ifade gücünün sıralamalı ilişkisel sorgu dillerine eşdeğer olduğu.

Dizi depolama

Dizi depolaması, farklı boyutlara ve tipik olarak büyük boyutlara sahip dizileri barındırmalıdır. Temel bir görev, alt kümeleme sırasında disk erişimlerinin sayısını azaltmak için diskte uzamsal yakınlığı korumaktır. İç içe geçmiş listeler (veya 1-D diziler) olarak çok boyutlu dizilerin öykünmesinin bunu kendiliğinden başaramayacağını ve bu nedenle genel olarak ölçeklenebilir mimarilere yol açmayacağını unutmayın.

Genel olarak diziler, erişim birimini oluşturan alt dizilere bölünür. Tüm bölümlerin aynı boyutta olduğu (muhtemelen sınırlar dışında) düzenli bölümleme olarak adlandırılır kümeleme.[9] Her türlü bölümlemeyi destekleyerek eşit büyüklükteki bölümlere yönelik kısıtlamayı ortadan kaldıran bir genellemedir. döşeme.[10] Dizi bölümleme, dizi alt kümelerine erişimi önemli ölçüde iyileştirebilir: erişim modeline döşeme ayarlayarak, sunucu ideal olarak gerekli tüm verileri yalnızca bir disk erişimiyle alabilir.

Fayansların sıkıştırılması bazen ihtiyaç duyulan depolama miktarını önemli ölçüde azaltabilir. Ayrıca sonuçların iletimi için sıkıştırma yararlıdır, çünkü dikkate alınan ağlardaki büyük miktarlarda veri bant genişliği genellikle sınırlayıcı bir faktör oluşturur.

Sorgu işleme

Bir kutucuk tabanlı depolama yapısı, her bir kutucuk işleme stratejisi önerir. Rasdaman aranan karo akışı). Pratik olarak ilgili büyük bir sorgu sınıfı, kutucuktan sonra kutucuk yüklenerek değerlendirilebilir, böylece sunucuların ana belleğinin ötesinde büyüklükteki dizileri işlemesine olanak tanır.

Dizi sorgu optimizasyonu sırasında bir sorgunun daha verimli ancak eşdeğer bir sürüme dönüştürülmesi

Genellikle karmaşık sorgularla birlikte bilimsel / teknik uygulamalardaki çok büyük diziler nedeniyle optimizasyon, dizi sorgularını verimli hale getirmede merkezi bir rol oynar. Hem donanım hem de yazılım paralelleştirme uygulanabilir. Sezgisel optimizasyona bir örnek, "iki giriş görüntüsünün hücreye göre eklenmesinden kaynaklanan bir dizinin maksimum değeri, her bir giriş dizisinin maksimum değerlerinin eklenmesine eşdeğerdir" kuralıdır. Soldaki varyantı sağ el ifadesiyle değiştirerek, maliyetler üç (maliyetli) dizi geçişinden iki dizi geçişine ve bir (ucuz) skaler işleme kadar küçülür (SQL / MDA sorgu standardını kullanan Şekil'e bakın).

Uygulama alanları

Bazı fenomenlerin örneklendiği veya simüle edildiği birçok durumda - çoğu değilse de - sonuç, bir dizi olarak rahatlıkla depolanabilen, geri çağrılabilen ve iletilebilen rasterleştirilmiş bir veri kümesidir. Tipik olarak, dizi verileri, onları daha fazla açıklayan meta verilerle süslenir; örneğin, coğrafi olarak referans verilen görüntüler, coğrafi konumunu ve ifade edildiği koordinat referans sistemini taşıyacaktır.

Aşağıdakiler, büyük ölçekli çok boyutlu dizi verilerinin işlendiği temsili alanlardır:

  • Yer bilimleri: jeodezi / haritalama, uzaktan algılama, jeoloji, oşinografi, hidroloji, atmosfer bilimleri, kriyosfer bilimleri
  • Uzay bilimleri: Gezegen bilimleri, astrofizik (optik ve radyo teleskop gözlemleri, kozmolojik simülasyonlar)
  • Yaşam bilimleri: gen verileri, eş odaklı mikroskopi, CAT taramaları
  • Sosyal bilimler: istatistiksel veri küpleri
  • İş: OLAP, veri ambarlama

Bunlar yalnızca örneklerdir; genel olarak, diziler sıklıkla sensör, simülasyon, görüntü ve istatistik verilerini temsil eder. Gittikçe daha fazla uzamsal ve zaman boyutları, Öz satışlar ve ürünler gibi eksenler; bu tür soyut eksenlerin açıkça öngörüldüğü bir örnek [Open_Geospatial_Consortium | Open Geospatial Consortium] (OGC) kapsama modeli.

Standardizasyon

Birçok topluluk, aşağıdaki gibi veri alışverişi formatları oluşturmuştur: HDF, NetCDF, ve TIFF. Yer Bilimi topluluklarında fiili bir standart, OPeNDAP, bir veri taşıma mimarisi ve protokolü. Bu bir veritabanı spesifikasyonu olmasa da, kavramsal model ve istemci / sunucu uygulamaları gibi bir veritabanı sistemini karakterize eden önemli bileşenler sunar.

Bildirim temelli bir coğrafi tarama sorgu dili, Web Kapsamı İşleme Hizmeti (WCPS), tarafından standartlaştırılmıştır. Açık Jeo-uzamsal Konsorsiyum (OGC).

Haziran 2014'te SQL veritabanı standardını koruyan ISO / IEC JTC1 SC32 WG3, SQL'e yeni bir sütun türü olarak çok boyutlu dizi desteği eklemeye karar verdi,[11] ilk dizi desteğine dayanmaktadır. SQL'in 2003 sürümü. 2018 Sonbaharında kabul edilen yeni standart, ISO 9075 SQL Bölüm 15: MDA (Çok Boyutlu Diziler).

Dizi DBMS'lerin listesi

Ayrıca bakınız

Referanslar

  1. ^ Chock, M., Cardenas, A., Klinger, A .: Bir resim veritabanı yönetim sisteminin (PICDMS) veritabanı yapısı ve işleme yetenekleri. IEEE ToPAMI, 6 (4): 484–492, 1984
  2. ^ Baumann, S .: Çok Boyutlu Ayrık Verilerin Yönetimi Üzerine. VLDB Dergisi 4 (3) 1994, Uzamsal Veritabanı Sistemleri Özel Sayısı, s. 401–444
  3. ^ Baumann, S .: Uzay-Zamansal Veriler ve Ötesi için Veritabanı Dizisi Cebiri. Proc. NGITS'99, LNCS 1649, Springer 1999, s. 76-93
  4. ^ Marathe, A., Salem, K .: Dizileri işlemek için bir dil. Proc. VLDB'97, Atina, Yunanistan, Ağustos 1997, s. 46–55
  5. ^ Libkin, L., Machlin, R., Wong, L .: Çok boyutlu diziler için bir sorgu dili: tasarım, uygulama ve optimizasyon teknikleri. Proc. ACM SIGMOD’96, Montreal, Kanada, s. 228–239
  6. ^ Mennis, J., Viger, R., Tomlin, C.D .: Mekansal-Zamansal Analiz için Kübik Harita Cebir Fonksiyonları. Haritacılık ve Coğrafi Bilgi Bilimi 32 (1) 2005, s. 17–32
  7. ^ Ritter, G. and Wilson, J. and Davidson, J .: Image Algebra: An Overview. Bilgisayarla Görme, Grafik ve Görüntü İşleme, 49 (1) 1994, 297-336
  8. ^ Machlin, R .: İndeks Tabanlı Çok Boyutlu Dizi Sorguları: Güvenlik ve Eşdeğerlik. Proc. ACM PODS'07, Pekin, Çin, Haziran 2007, s. 175–184
  9. ^ Sarawagi, S., Stonebraker, M.: Büyük Çok Boyutlu Dizilerin Etkin Organizasyonu. Proc. ICDE'94, Houston, ABD, 1994, s. 328-336
  10. ^ Furtado, P., Baumann, S .: Keyfi Döşemeye Dayalı Çok Boyutlu Dizilerin Depolanması. Proc. ICDE'99, 23–26 Mart 1999, Sidney, Avustralya, s. 328–336
  11. ^ Chirgwin, R .: SQL, SQL / MDA özellikli NoSQL'in büyük veri kredisine karşı savaşır, The Register, 26 Haziran 2014