Radyal temel fonksiyon ağı - Radial basis function network

Nın alanında matematiksel modelleme, bir radyal temel fonksiyon ağı bir yapay sinir ağı o kullanır radyal temel fonksiyonlar gibi aktivasyon fonksiyonları. Ağın çıktısı bir doğrusal kombinasyon girdilerin ve nöron parametrelerinin radyal temel fonksiyonları. Radyal tabanlı işlev ağlarının birçok kullanımı vardır: fonksiyon yaklaşımı, zaman serisi tahmini, sınıflandırma ve sistem kontrol. İlk olarak, Broomhead ve Lowe tarafından 1988 tarihli bir makalede formüle edildi. Kraliyet Sinyalleri ve Radar Kuruluşu.^[1]^[2]^[3]

Ağ mimarisi

Şekil 1: Radyal tabanlı fonksiyon ağının mimarisi. Bir giriş vektörü

{displaystyle x}

her biri farklı parametrelere sahip tüm radyal temel işlevlere girdi olarak kullanılır. Ağın çıktısı, radyal temel fonksiyonların çıktılarının doğrusal bir kombinasyonudur.

Radyal temelli işlev (RBF) ağları tipik olarak üç katmana sahiptir: bir giriş katmanı, doğrusal olmayan bir RBF etkinleştirme işlevine sahip gizli bir katman ve bir doğrusal çıktı katmanı. Girdi, gerçek sayıların bir vektörü olarak modellenebilir ${Mathbb {R} ^ {n}} {displaystyle mathbf {x}$ . Ağın çıktısı daha sonra giriş vektörünün skaler bir fonksiyonudur, ${displaystyle varphi: mathbb {R} ^ {n} o mathbb {R}}$ ve tarafından verilir

{displaystyle varphi (mathbf {x}) = toplam _ {i = 1} ^ {N} a_ {i} ho (|| mathbf {x} -mathbf {c} _ {i} ||)}

nerede ${displaystyle N}$ gizli katmandaki nöronların sayısıdır, ${displaystyle mathbf {c} _ {i}}$ nöronun merkez vektörüdür ${displaystyle i}$ , ve ${displaystyle a_ {i}}$ nöronun ağırlığı ${displaystyle i}$ doğrusal çıkış nöronunda. Yalnızca bir merkez vektörüne olan uzaklığa bağlı olan fonksiyonlar, bu vektöre göre radyal olarak simetriktir, dolayısıyla radyal temel fonksiyon adıdır. Temel formda, tüm girdiler her bir gizli nörona bağlanır. norm tipik olarak şu şekilde alınır Öklid mesafesi (rağmen Mahalanobis mesafesi örüntü tanıma ile daha iyi performans gösteriyor gibi görünüyor^[4]^[5]^{[editörlük ]}) ve radyal temel işlevi genellikle Gauss

{displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2 } ight]}

.

Gauss temel fonksiyonları, merkez vektörüne göre yereldir.

{displaystyle lim _ {|| x || o infty} ho (leftVert mathbf {x} -mathbf {c} _ {i} ightVert) = 0}

yani, bir nöronun parametrelerini değiştirmek, o nöronun merkezinden uzakta olan girdi değerleri için yalnızca küçük bir etkiye sahiptir.

Aktivasyon işlevinin şeklindeki belirli hafif koşullar göz önüne alındığında, RBF ağları evrensel yaklaşımlar bir kompakt alt kümesi ${displaystyle mathbb {R} ^ {n}}$ .^[6] Bu, yeterli sayıda gizli nörona sahip bir RBF ağının, kapalı, sınırlı bir küme üzerindeki herhangi bir sürekli işlevi keyfi bir hassasiyetle yaklaştırabileceği anlamına gelir.

Parametreler ${displaystyle a_ {i}}$ , ${displaystyle mathbf {c} _ {i}}$ , ve ${displaystyle eta _ {i}}$ aradaki uyumu optimize edecek şekilde belirlenir ${displaystyle varphi}$ ve veriler.

Şekil 2: Bir girdi boyutunda iki normalize edilmemiş radyal temel fonksiyon. Temel işlev merkezleri şurada bulunur:

{displaystyle c_ {1} = 0.75}

ve

{displaystyle c_ {2} = 3.25}

.

Normalleştirilmiş

Şekil 3: Bir girdi boyutunda iki normalleştirilmiş radyal temel fonksiyon (sigmoidler ). Temel işlev merkezleri şu adreste bulunur:

{displaystyle c_ {1} = 0.75}

ve

{displaystyle c_ {2} = 3.25}

.

Şekil 4: Bir girdi boyutunda üç normalleştirilmiş radyal temel fonksiyon. Ek temel işlevinin merkezinde

{displaystyle c_ {3} = 2,75}

Şekil 5: Bir girdi boyutunda dört normalleştirilmiş radyal temel fonksiyon. Dördüncü temel fonksiyonun merkezi

{displaystyle c_ {4} = 0}

. İlk temel işlevin (koyu mavi) yerelleştirildiğine dikkat edin.

Normalleştirilmiş mimari

Yukarıdakilere ek olarak normalleştirilmemiş mimari, RBF ağları olabilir normalleştirilmiş. Bu durumda eşleme

{displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} {frac {sum _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} - mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} }} = toplam _ {i = 1} ^ {N} a_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}

nerede

{displaystyle u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} {stackrel {mathrm {def}} {=}} {frac {ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}} {sum _ {j = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {j} ightVert {ig )}}}}

"normalleştirilmiş radyal temel fonksiyonu" olarak bilinir.

Normalleşme için teorik motivasyon

Stokastik veri akışı durumunda bu mimari için teorik gerekçelendirme vardır. Varsayalım stokastik çekirdek eklem olasılık yoğunluğu tahmini

{displaystyle Pleft (mathbf {x} kara yight) = {1 üzerinden N} toplam _ {i = 1} ^ {N}, ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert { ig)}, sigma {ig (} leftvert y-e_ {i} ightvert {ig)}}

ağırlıklar nerede ${displaystyle mathbf {c} _ {i}}$ ve ${displaystyle e_ {i}}$ verilerden örnekler ve çekirdeklerin normalleştirilmesini istiyoruz

{displaystyle int ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}, d ^ {n} mathbf {x} = 1}

ve

{displaystyle int sigma {ig (} leftvert y-e_ {i} ightvert {ig)}, dy = 1}

.

Girdi ve çıktı uzaylarındaki olasılık yoğunlukları

{displaystyle Pleft (mathbf {x} ight) = int Pleft (mathbf {x} kara yight), dy = {1 over N} toplam _ {i = 1} ^ {N}, ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}}

ve

Bir girdi verilen y'nin beklentisi ${displaystyle mathbf {x}}$ dır-dir

{displaystyle varphi left (mathbf {x} ight) {stackrel {mathrm {def}} {=}} Eleft (ymid mathbf {x} ight) = int y, Pleft (ymid mathbf {x} ight) dy}

nerede

{displaystyle Pleft (ymid mathbf {x} ight)}

verilen y'nin koşullu olasılığı ${displaystyle mathbf {x}}$ Koşullu olasılık, ortak olasılıkla ilişkilidir. Bayes teoremi

{displaystyle Pleft (ymid mathbf {x} ight) = {frac {Pleft (mathbf {x} kara yight)} {Pleft (mathbf {x} ight)}}}

hangi sonuç verir

{displaystyle varphi left (mathbf {x} ight) = int y, {frac {Pleft (mathbf {x} land yight)} {Pleft (mathbf {x} ight)}}, dy}

.

Bu olur

{displaystyle varphi left (mathbf {x} ight) = {frac {sum _ {i = 1} ^ {N} e_ {i} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}} {toplam _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}} = toplam _ {i = 1 } ^ {N} e_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}

entegrasyonlar yapıldığında.

Yerel doğrusal modeller

Mimariyi içerecek şekilde genişletmek bazen uygundur. yerel doğrusal modeller. Bu durumda mimariler, ilk sırada,

{displaystyle varphi left (mathbf {x} ight) = toplam _ {i = 1} ^ {N} sol (a_ {i} + mathbf {b} _ {i} cdot sol (mathbf {x} -mathbf {c} _ {i} ight) ight) ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}

ve

{displaystyle varphi left (mathbf {x} ight) = toplam _ {i = 1} ^ {N} sol (a_ {i} + mathbf {b} _ {i} cdot sol (mathbf {x} -mathbf {c} _ {i} ight) ight) u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}

normalize edilmemiş ve normalize edilmiş durumlarda sırasıyla. Buraya ${displaystyle mathbf {b} _ {i}}$ belirlenecek ağırlıklardır. Daha yüksek dereceden doğrusal terimler de mümkündür.

Bu sonuç yazılabilir

{displaystyle varphi left (mathbf {x} ight) = toplam _ {i = 1} ^ {2N} toplam _ {j = 1} ^ {n} e_ {ij} v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)}}

nerede

{displaystyle e_ {ij} = {egin {case} a_ {i}, & {mbox {if}} iin [1, N] b_ {ij} ve {mbox {if}} iin [N + 1,2N ] {vakaları}} sonlandır

ve

{displaystyle v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)} {stackrel {mathrm {def}} {=}} {egin {case} delta _ {ij} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} ve {mbox {if}} iin [1, N] left (x_ {ij} -c_ {ij} ight ) h {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} ve {mbox {if}} iin [N + 1,2N] end {case}}}

normalleştirilmemiş durumda ve

{displaystyle v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)} {stackrel {mathrm {def}} {=}} {egin {case} delta _ {ij} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} ve {mbox {if}} iin [1, N] left (x_ {ij} -c_ {ij} ight ) u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} ve {mbox {if}} iin [N + 1,2N] end {case}}}

normalleştirilmiş durumda.

Buraya ${displaystyle delta _ {ij}}$ bir Kronecker delta işlevi olarak tanımlandı

{displaystyle delta _ {ij} = {egin {case} 1, & {mbox {if}} i = j 0, & {mbox {if}} ieq jend {case}}}

.

Eğitim

RBF ağları tipik olarak giriş ve hedef değer çiftlerinden eğitilir ${displaystyle mathbf {x} (t), y (t)}$ , ${displaystyle t = 1, dots, T}$ iki aşamalı bir algoritma ile.

İlk adımda, merkez vektörler ${displaystyle mathbf {c} _ {i}}$ gizli katmandaki RBF işlevlerinden biri seçilir. Bu adım birkaç yolla gerçekleştirilebilir; merkezler bazı örneklerden rastgele örneklenebilir veya bunlar kullanılarak belirlenebilir. k-kümeleme anlamına gelir. Bu adımın denetimsiz.

İkinci adım, basitçe katsayıları olan doğrusal bir modele uyar ${displaystyle w_ {i}}$ bazı nesnel işlevlerle ilgili olarak gizli katmanın çıktılarına. En azından regresyon / fonksiyon tahmini için ortak bir amaç fonksiyonu, en küçük kareler fonksiyonudur:

{displaystyle K (mathbf {w}) {stackrel {mathrm {def}} {=}} toplam _ {t = 1} ^ {T} K_ {t} (mathbf {w})}

nerede

{displaystyle K_ {t} (mathbf {w}) {stackrel {mathrm {def}} {=}} {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig)} {ig]} ^ {2}}

.

Ağırlıklara olan bağımlılığı açıkça dahil ettik. En küçük kareler hedef fonksiyonunun optimum ağırlık seçimi ile en aza indirilmesi, uyum doğruluğunu optimize eder.

Düzgünlük ve doğruluk gibi birden çok hedefin optimize edilmesi gereken durumlar vardır. Bu durumda, düzenli hale getirilmiş bir amaç işlevini optimize etmek yararlıdır.

{displaystyle H (mathbf {w}) {stackrel {mathrm {def}} {=}} K (mathbf {w}) + lambda S (mathbf {w}) {stackrel {mathrm {def}} {=}} toplamı _ {t = 1} ^ {T} H_ {t} (mathbf {w})}

nerede

{displaystyle S (mathbf {w}) {stackrel {mathrm {def}} {=}} toplam _ {t = 1} ^ {T} S_ {t} (mathbf {w})}

ve

{displaystyle H_ {t} (mathbf {w}) {stackrel {mathrm {def}} {=}} K_ {t} (mathbf {w}) + lambda S_ {t} (mathbf {w})}

S optimizasyonunun düzgünlüğü en üst düzeye çıkardığı ve ${displaystyle lambda}$ olarak bilinir düzenleme parametre.

Üçüncü bir isteğe bağlı geri yayılım RBF ağının tüm parametrelerinin ince ayarını yapmak için adım gerçekleştirilebilir.^[3]

İnterpolasyon

RBF ağları bir işlevi enterpolasyon yapmak için kullanılabilir ${displaystyle y: mathbb {R} ^ {n} o mathbb {R}}$ bu fonksiyonun değerleri sonlu sayıda noktada bilindiğinde: ${displaystyle y (mathbf {x} _ {i}) = b_ {i}, i = 1, ldots, N}$ . Bilinen noktaları almak ${displaystyle mathbf {x} _ {i}}$ Radyal temel fonksiyonlarının merkezleri olmak ve temel fonksiyonların değerlerini aynı noktalarda değerlendirmek ${displaystyle g_ {ij} = ho (|| mathbf {x} _ {j} -mathbf {x} _ {i} ||)}$ ağırlıklar denklemden çözülebilir

{displaystyle left [{egin {matrix} g_ {11} & g_ {12} & cdots & g_ {1N} g_ {21} & g_ {22} & cdots & g_ {2N} vdots && ddots & vdots g_ {N1} & g_ {N2} & cdots & g_ {NN} end {matrix}} ight] left [{egin {matrix} w_ {1} w_ {2} vdots w_ {N} end {matrix}} ight] = sol [{egin {matrix} b_ {1} b_ {2} vdots b_ {N} son {matris}} ight]}

Yukarıdaki denklemdeki enterpolasyon matrisinin tekil olmadığı gösterilebilir, eğer noktalar ${displaystyle mathbf {x} _ {i}}$ farklıdır ve dolayısıyla ağırlıklar ${displaystyle w}$ basit doğrusal cebir ile çözülebilir:

{displaystyle mathbf {w} = mathbf {G} ^ {- 1} mathbf {b}}

nerede ${displaystyle G = (g_ {ij})}$ .

Fonksiyon yaklaşımı

Amaç katı enterpolasyon yapmak değil, bunun yerine daha genel ise fonksiyon yaklaşımı veya sınıflandırma optimizasyon biraz daha karmaşıktır çünkü merkezler için bariz bir seçim yoktur. Eğitim tipik olarak iki aşamada yapılır, önce genişliği ve merkezleri, ardından ağırlıkları sabitler. Bu, doğrusal olmayan gizli nöronların doğrusal çıkış nöronuna karşı farklı doğası dikkate alınarak doğrulanabilir.

Temel işlev merkezlerinin eğitilmesi

Temel işlev merkezleri, girdi örnekleri arasında rastgele örneklenebilir veya Ortogonal En Küçük Kare Öğrenme Algoritması ile elde edilebilir veya kümeleme merkezler olarak örnekler ve kümenin seçilmesi anlamına gelir.

RBF genişlikleri genellikle seçilen merkezler arasındaki maksimum mesafeyle orantılı olan aynı değere sabitlenir.

Doğrusal ağırlıklar için sözde ters çözüm

Merkezlerden sonra ${displaystyle c_ {i}}$ düzeltildi, çıktıdaki hatayı en aza indiren ağırlıklar doğrusal bir sözde ters çözüm:

{displaystyle mathbf {w} = mathbf {G} ^ {+} mathbf {b}}

,

girişleri nerede G noktalarında değerlendirilen radyal temel fonksiyonlarının değerleridir ${displaystyle x_ {i}}$ : ${displaystyle g_ {ji} = ho (|| x_ {j} -c_ {i} ||)}$ .

Bu doğrusal çözümün varlığı, çok katmanlı algılayıcı (MLP) ağlarından farklı olarak, RBF ağlarının açık bir küçültücüye (merkezler sabitlendiğinde) sahip olduğu anlamına gelir.

Doğrusal ağırlıkların gradyan iniş eğitimi

Başka bir olası eğitim algoritması dereceli alçalma. Gradyan iniş eğitiminde, ağırlıklar her adımda objektif fonksiyonun gradyanının tersi yönde hareket ettirilerek ayarlanır (böylece minimum objektif fonksiyonun bulunmasına izin verilir),

{displaystyle mathbf {w} (t + 1) = mathbf {w} (t) -u {frac {d} {dmathbf {w}}} H_ {t} (mathbf {w})}

nerede ${displaystyle u}$ bir "öğrenme parametresidir."

Doğrusal ağırlıkların çalıştırılması durumunda, ${displaystyle a_ {i}}$ algoritma olur

{displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}

normalleştirilmemiş durumda ve

{displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}

normalleştirilmiş durumda.

Yerel-doğrusal-mimariler için gradyan-iniş eğitimi

{displaystyle e_ {ij} (t + 1) = e_ {ij} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} v_ {ij} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}}

Doğrusal ağırlıkların projeksiyon operatörü eğitimi

Doğrusal ağırlıkların çalıştırılması durumunda, ${displaystyle a_ {i}}$ ve ${displaystyle e_ {ij}}$ algoritma olur

{displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {toplam _ {i = 1} ^ {N} ho ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}

normalleştirilmemiş durumda ve

{displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {toplam _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}

normalleştirilmiş durumda ve

{displaystyle e_ {ij} (t + 1) = e_ {ij} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {v_ {ij} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}} {toplam _ {i = 1} ^ {N} toplamı _ {j = 1} ^ {n} v_ {ij} ^ {2} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}}}}

yerel-doğrusal durumda.

Bir temel işlev için, projeksiyon operatörü eğitimi, Newton yöntemi.

Şekil 6: Lojistik harita zaman serileri. Lojistik haritanın tekrarlanan yinelemesi, kaotik bir zaman serisi oluşturur. Değerler sıfır ile bir arasındadır. Burada gösterilenler, bu bölümdeki örnekleri eğitmek için kullanılan 100 eğitim noktasıdır. Ağırlıklar c bu zaman serisinin ilk beş noktasıdır.

Örnekler

Lojistik harita

Radyal temel fonksiyonların temel özellikleri basit bir matematiksel harita ile gösterilebilir. lojistik harita birim aralığını kendisine eşleyen. Uygun bir prototip veri akışı oluşturmak için kullanılabilir. Lojistik harita keşfetmek için kullanılabilir fonksiyon yaklaşımı, zaman serisi tahmini, ve kontrol teorisi. Harita şu alandan çıktı: nüfus dinamikleri ve prototip oldu kaotik Zaman serisi. Tamamen kaotik rejimdeki harita,

{displaystyle x (t + 1) {stackrel {mathrm {def}} {=}} fleft [x (t) ight] = 4x (t) sol [1-x (t) ight]}

t bir zaman indeksidir. T + 1 anındaki x değeri, t anındaki x'in parabolik bir fonksiyonudur. Bu denklem, lojistik harita tarafından oluşturulan kaotik zaman serisinin temelindeki geometriyi temsil eder.

Bu denklemden zaman serisinin oluşturulması, ileri problem. Buradaki örnekler, ters problem; lojistik haritanın temelindeki dinamiklerin veya temel denklemin zaman serilerinin örneklerinden belirlenmesi. Amaç bir tahmin bulmaktır

{displaystyle x (t + 1) = fleft [x (t) ight] yaklaşık varphi (t) = varphi sol [x (t) ight]}

f için.

Fonksiyon yaklaşımı

Normalleştirilmemiş radyal temel fonksiyonları

Mimari

Şekil 7: Normalleştirilmemiş temel fonksiyonlar. Lojistik harita (mavi) ve eğitim setinden bir geçişten sonra lojistik haritaya (kırmızı) yaklaşma.

{displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} toplam _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} -mathbf {c } _ {i} ightVert {ig)}}

nerede

{displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta _ {i} leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2} ight] = exp sol [- eta _ {i} sol (x (t) -c_ {i} ight) ^ {2} ight]}

.

Giriş bir skaler yerine vektör girdi boyutu birdir. Temel fonksiyon sayısını N = 5 ve eğitim setinin boyutunu kaotik zaman serilerinin oluşturduğu 100 örnek olacak şekilde seçiyoruz. Ağırlık ${displaystyle eta}$ 5'e eşit bir sabit olarak alınır. ${displaystyle c_ {i}}$ zaman serilerinden beş örnektir. Ağırlıklar ${displaystyle a_ {i}}$ projeksiyon operatörü eğitimi ile eğitilmiştir:

{displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} x (t + 1) -varphi {ig (} mathbf {x} (t), mathbf {w} { ig)} {ig]} {frac {ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {toplam _ {i = 1} ^ {N} ho ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}

nerede öğrenme oranı ${displaystyle u}$ 0.3 olarak alınmıştır. Eğitim, 100 eğitim noktasından tek geçişle gerçekleştirilir. rms hatası 0.15.

Şekil 8: Normalleştirilmiş temel işlevler. Lojistik harita (mavi) ve eğitim setinden bir geçişten sonra lojistik haritaya (kırmızı) yaklaşma. Normalleştirilmemiş duruma göre gelişmeye dikkat edin.

Normalleştirilmiş radyal temel fonksiyonları

Normalleştirilmiş RBF mimarisi

{displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} {frac {sum _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} - mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} }} = toplam _ {i = 1} ^ {N} a_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}

nerede

{displaystyle u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} {stackrel {mathrm {def}} {=}} {frac {ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig )}}}}

.

Tekrar:

{displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2 } ight] = exp sol [- eta left (x (t) -c_ {i} ight) ^ {2} ight]}

.

Yine temel fonksiyonların sayısını beş, eğitim setinin boyutunu kaotik zaman serilerinin oluşturduğu 100 örnek olarak seçiyoruz. Ağırlık ${displaystyle eta}$ 6'ya eşit bir sabit olarak alınır. ${displaystyle c_ {i}}$ zaman serilerinden beş örnektir. Ağırlıklar ${displaystyle a_ {i}}$ projeksiyon operatörü eğitimi ile eğitilmiştir:

{displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} x (t + 1) -varphi {ig (} mathbf {x} (t), mathbf {w} { ig)} {ig]} {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {toplam _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}

nerede öğrenme oranı ${displaystyle u}$ yine 0,3 olarak alınmıştır. Eğitim, 100 eğitim noktasından tek geçişle gerçekleştirilir. rms hatası 100 örneklik bir test setinde 0.084, normalize edilmemiş hatadan daha küçüktür. Normalleştirme doğruluk artışı sağlar. Normalleştirilmiş temel işlevlerdeki doğruluk, girdi boyutluluğu arttıkça normalleştirilmemiş işlevlere göre daha da artar.

Şekil 9: Normalleştirilmiş temel işlevler. Lojistik harita (mavi) ve zamanın bir fonksiyonu olarak lojistik haritaya (kırmızı) yaklaşma. Yaklaşımın yalnızca birkaç zaman adımı için iyi olduğunu unutmayın. Bu, kaotik zaman serilerinin genel bir özelliğidir.

Zaman serisi tahmini

Zaman serisinin temel geometrisi, önceki örneklerde olduğu gibi tahmin edildikten sonra, yineleme yoluyla zaman serileri için bir tahmin yapılabilir:

{displaystyle varphi (0) = x (1)}

{displaystyle {x} (t) yaklaşık varphi (t-1)}

{displaystyle {x} (t ​​+ 1) yaklaşık varphi (t) = varphi [varphi (t-1)]}

.

Gerçek ve tahmini zaman serilerinin bir karşılaştırması şekilde gösterilir. Tahmini zamanlar serisi, tam x (0) bilgisiyle sıfır zamanında başlar. Daha sonra, birkaç zaman adımı için zaman serisi tahminini güncellemek için dinamiklerin tahminini kullanır.

Tahminin yalnızca birkaç zaman adımı için doğru olduğunu unutmayın. Bu, kaotik zaman serilerinin genel bir özelliğidir. Bu, kaotik zaman serilerinde ortak olan başlangıç koşullarına hassas bağımlılığın bir özelliğidir. Küçük bir başlangıç hatası zamanla büyür. Neredeyse aynı başlangıç koşullarına sahip zaman serilerinin sapmasının bir ölçüsü, Lyapunov üssü.

Kaotik bir zaman serisinin kontrolü

Şekil 10: Lojistik haritanın kontrolü. Sistemin 49 zaman adımında doğal olarak gelişmesine izin verilir. 50 zamanında kontrol açılır. Zaman serisi için istenen yörünge kırmızıdır. Kontrol altındaki sistem, temel dinamikleri öğrenir ve zaman serilerini istenen çıktıya yönlendirir. Mimari, zaman serisi tahmin örneğiyle aynıdır.

Lojistik haritanın çıktısının bir kontrol parametresi aracılığıyla manipüle edilebileceğini varsayıyoruz. ${displaystyle c [x (t), t]}$ öyle ki

{displaystyle {x} _ {} ^ {} (t + 1) = 4x (t) [1-x (t)] + c [x (t), t]}

.

Amaç, kontrol parametresini, zaman serisini istenen bir çıktıya yönlendirecek şekilde seçmektir. ${displaystyle d (t)}$ . Kontrol parametresini seçersek bu yapılabilir.

{displaystyle c _ {} ^ {} [x (t), t] {stackrel {mathrm {def}} {=}} -varphi [x (t)] + d (t + 1)}

nerede

{displaystyle y [x (t)] yaklaşık f [x (t)] = x (t + 1) -c [x (t), t]}

sistemin temelindeki doğal dinamiklere bir yaklaşımdır.

Öğrenme algoritması şu şekilde verilir:

{displaystyle a_ {i} (t + 1) = a_ {i} (t) + u varepsilon {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig )}} {toplam _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}

nerede

{displaystyle varepsilon {stackrel {mathrm {def}} {=}} f [x (t)] - varphi [x (t)] = x (t + 1) -c [x (t), t] -varphi [ x (t)] = x (t + 1) -d (t + 1)}

.

Ayrıca bakınız

Referanslar

^ Broomhead, D. S .; Lowe, David (1988). Radyal temel fonksiyonlar, çok değişkenli fonksiyonel enterpolasyon ve uyarlanabilir ağlar (Teknik rapor). RSRE. 4148.
^ Broomhead, D. S .; Lowe, David (1988). "Çok değişkenli işlevsel enterpolasyon ve uyarlanabilir ağlar" (PDF). Karmaşık Sistemler. 2: 321–355.
^ ^a ^b Schwenker, Friedhelm; Kestler, Hans A .; Palm, Günther (2001). "Radyal tabanlı işlev ağları için üç öğrenme aşaması". Nöral ağlar. 14 (4–5): 439–458. CiteSeerX 10.1.1.109.312. doi:10.1016 / s0893-6080 (01) 00027-2. PMID 11411631.
^ Beheim, Larbi; Zitouni, Adel; Belloir, Fabien (Ocak 2004). "Optimize edilmiş gizli nöron sayısı ile yeni RBF sinir ağı sınıflandırıcısı". CiteSeerX 10.1.1.497.5646.
^ İbrikçi, Turgay; Brandt, M.E .; Wang, Guanyu; Açıkkar, Mustafa (23–26 Ekim 2002). Mahalanobis mesafesi, protein ikincil yapıları üzerinde radyal temel fonksiyon ağı ile. İkinci Ortak 24. Yıllık Konferansı ve Biyomedikal Mühendisliği Derneği Yıllık Sonbahar Toplantısı Bildirileri. Tıp ve Biyoloji Mühendisliği Derneği, IEEE Yıllık Uluslararası Konferansı Bildirileri. 3. Houston, TX, USA (6 Ocak 2003'te yayınlandı). s. 2184–2185. doi:10.1109 / IEMBS.2002.1053230. ISBN 0-7803-7612-9. ISSN 1094-687X. | erişim-tarihi = gerektirir | url = (Yardım)
^ Park, J .; I.W. Sandberg (Yaz 1991). "Radyal Temel Fonksiyonlu Ağları Kullanan Evrensel Yaklaşım". Sinirsel Hesaplama. 3 (2): 246–257. doi:10.1162 / neco.1991.3.2.246. PMID 31167308. S2CID 34868087.

daha fazla okuma

J. Moody ve C. J. Darken, "Lokal olarak ayarlanmış işlem birimlerinin ağlarında hızlı öğrenme," Neural Computation, 1, 281-294 (1989). Ayrıca bakın Moody ve Darken'e göre radyal temel fonksiyon ağları
T. Poggio ve F. Girosi, "Yaklaşım ve öğrenme için ağlar, "Proc. IEEE 78 (9), 1484-1487 (1990).
Roger D. Jones, Y. C. Lee, C. W. Barnes, G.W. Flake, K. Lee, P. S. Lewis ve S. Qian ,?Sinir ağları ile fonksiyon yaklaşımı ve zaman serisi tahmini,? Uluslararası Sinir Ağları Ortak Konferansı Bildirileri, 17–21 Haziran, s. I-649 (1990).
Martin D. Buhmann (2003). Radyal Temel Fonksiyonlar: Teori ve Uygulamalar. Cambridge Üniversitesi. ISBN 0-521-63338-9.
Yee, Paul V. ve Haykin, Simon (2001). Düzenlenmiş Radyal Temel Fonksiyon Ağları: Teori ve Uygulamalar. John Wiley. ISBN 0-471-35349-3.
John R. Davies, Stephen V. Coggeshall, Roger D. Jones ve Daniel Schutzer, "Intelligent Security Systems" Freedman, Roy S., Flein, Robert A. ve Lederman, Jess, Editörler (1995). Sermaye Piyasalarında Yapay Zeka. Chicago: Irwin. ISBN 1-55738-811-3.CS1 bakimi: birden çok ad: yazarlar listesi (bağlantı)
Simon Haykin (1999). Sinir Ağları: Kapsamlı Bir Temel (2. baskı). Upper Saddle River, NJ: Prentice Hall. ISBN 0-13-908385-5.
S. Chen, C. F. N. Cowan ve P. M. Grant, "Radyal Temel Fonksiyon Ağları için Ortogonal En Küçük Kareler Öğrenme Algoritması ", Sinir Ağlarında IEEE İşlemleri, Cilt 2, Sayı 2 (Mart) 1991.

[1] Broomhead, D. S .; Lowe, David (1988). Radyal temel fonksiyonlar, çok değişkenli fonksiyonel enterpolasyon ve uyarlanabilir ağlar (Teknik rapor). RSRE. 4148.

[2] Broomhead, D. S .; Lowe, David (1988). "Çok değişkenli işlevsel enterpolasyon ve uyarlanabilir ağlar" (PDF). Karmaşık Sistemler. 2: 321–355.

[schwenker-3] Schwenker, Friedhelm; Kestler, Hans A .; Palm, Günther (2001). "Radyal tabanlı işlev ağları için üç öğrenme aşaması". Nöral ağlar. 14 (4–5): 439–458. CiteSeerX 10.1.1.109.312. doi:10.1016 / s0893-6080 (01) 00027-2. PMID 11411631.

[4] Beheim, Larbi; Zitouni, Adel; Belloir, Fabien (Ocak 2004). "Optimize edilmiş gizli nöron sayısı ile yeni RBF sinir ağı sınıflandırıcısı". CiteSeerX 10.1.1.497.5646.

[5] İbrikçi, Turgay; Brandt, M.E .; Wang, Guanyu; Açıkkar, Mustafa (23–26 Ekim 2002). Mahalanobis mesafesi, protein ikincil yapıları üzerinde radyal temel fonksiyon ağı ile. İkinci Ortak 24. Yıllık Konferansı ve Biyomedikal Mühendisliği Derneği Yıllık Sonbahar Toplantısı Bildirileri. Tıp ve Biyoloji Mühendisliği Derneği, IEEE Yıllık Uluslararası Konferansı Bildirileri. 3. Houston, TX, USA (6 Ocak 2003'te yayınlandı). s. 2184–2185. doi:10.1109 / IEMBS.2002.1053230. ISBN 0-7803-7612-9. ISSN 1094-687X. | erişim-tarihi = gerektirir | url = (Yardım)

[Park-6] Park, J .; I.W. Sandberg (Yaz 1991). "Radyal Temel Fonksiyonlu Ağları Kullanan Evrensel Yaklaşım". Sinirsel Hesaplama. 3 (2): 246–257. doi:10.1162 / neco.1991.3.2.246. PMID 31167308. S2CID 34868087.

[1]

[2]

[3]

[4]

[5]

[6]