Bilgi çeşitliliği - Variation of information

İçinde olasılık teorisi ve bilgi teorisi, bilgi değişimi veya paylaşılan bilgi mesafesi iki küme arasındaki mesafenin bir ölçüsüdür (elemanların bölümleri ). İle yakından ilgilidir karşılıklı bilgi; aslında, karşılıklı bilgiyi içeren basit bir doğrusal ifadedir. Karşılıklı bilginin aksine, bilginin çeşitliliği gerçektir. metrik, itaat ettiği için üçgen eşitsizliği.[1][2][3]

Bilgi diyagramı arasındaki ilişkiyi gösteren bilgi entropileri, karşılıklı bilgi ve bilgi çeşitliliği.

Tanım

Diyelim ki iki tane var bölümler ve bir Ayarlamak ayrık alt kümeler, yani ve . İzin Vermek , , , . O zaman iki bölüm arasındaki bilgi değişimi şöyledir:

.

Bu eşdeğerdir paylaşılan bilgi mesafesi rastgele değişkenler arasında ben ve j tek tip olasılık ölçüsü ile ilgili olarak tarafından tanımlandı için .

Açık bilgi içeriği

Bu tanımı, bu metriğin bilgi içeriğini açıkça vurgulayan terimlerle yeniden yazabiliriz.

Bir kümenin tüm bölümlerinin kümesi bir kompakt oluşturur Kafes Kısmi sıranın iki işlemi tetiklediği yerde, buluşma ve birleşim maksimum nerede yalnızca bir bloğu olan bölümdür, yani tüm elemanlar bir arada gruplandırılmıştır ve minimum tüm unsurlardan oluşan bölüm tekil olarak. İki bölümün buluşması ve bir bloğun tüm çift kesişimlerinden oluşan bölümün anlaşılması kolaydır, , nın-nin ve bir, , nın-nin . Daha sonra bunu takip eder ve .

Bir bölümün entropisini tanımlayalım gibi

,

nerede . Açıkça, ve . Bir bölümün entropisi, bölümlerin kafesi üzerindeki monoton bir fonksiyondur. .

Sonra VI arasındaki mesafe ve tarafından verilir

.

Fark sözde metriktir bunu ima etmiyor . Tanımından , bu .

Eğer Hasse diyagramı her bölümden maksimuma bir kenar çiziyoruz ve verilen bölüm arasındaki VI mesafesine eşit bir ağırlık atayın ve , VI mesafesini temelde kenar ağırlıklarının maksimum farklarının ortalaması olarak yorumlayabiliriz

.

İçin yukarıda tanımlandığı gibi, iki bölümün ortak bilgisinin buluşmanın entropisiyle çakıştığını kabul eder.

ve bizde de var buluşmanın koşullu entropisiyle çakışır (kesişme) göre .

Kimlikler

Bilginin çeşitliliği tatmin edici

,

nerede ... entropi nın-nin , ve dır-dir karşılıklı bilgi arasında ve tek tip olasılık ölçüsü ile ilgili olarak . Bu şu şekilde yeniden yazılabilir:

,

nerede ... ortak entropi nın-nin ve veya

,

nerede ve ilgili koşullu entropiler.

Bilginin çeşitliliği, öğelerin sayısı açısından da sınırlandırılabilir:

,

Veya maksimum küme sayısına göre, :

Referanslar

  1. ^ P. Arabie, S.A. Boorman, S. A., "Bölümler arasındaki mesafe ölçümlerinin çok boyutlu ölçeklendirilmesi", Journal of Mathematical Psychology (1973), cilt. 10, 2, s. 148–203, doi: 10.1016 / 0022-2496 (73) 90012-6
  2. ^ W.H. Zurek, Nature, cilt 341, sayfa 119 (1989); W.H. Zurek, Fizik İnceleme A, cilt 40, p4731 (1989)
  3. ^ Marina Meila, "Bilgi Varyasyonuyla Kümelerin Karşılaştırılması", Learning Theory and Kernel Machines (2003), cilt. 2777, s. 173–187, doi:10.1007/978-3-540-45167-9_14, Bilgisayar Bilimleri Ders Notları, ISBN  978-3-540-40720-1

daha fazla okuma

Dış bağlantılar