Radial asosli funktsiya tarmog'i - Radial basis function network

Sohasida matematik modellashtirish, a radial asosli funktsiya tarmog'i bu sun'iy neyron tarmoq ishlatadigan radial asos funktsiyalari kabi faollashtirish funktsiyalari. Tarmoqning chiqishi a chiziqli birikma kirish va neyron parametrlarining radial asos funktsiyalari. Radial asosli funktsional tarmoqlar juda ko'p foydalanishga ega, shu jumladan funktsiyani yaqinlashtirish, vaqt qatorini bashorat qilish, tasnif va tizim boshqaruv. Ular birinchi bo'lib 1988 yilda chop etilgan tadqiqotchi Broomxed va Lou tomonidan, ikkala tadqiqotchi Qirol signallari va radiolokatsion tizim.^[1][2][3]

Tarmoq arxitekturasi

1-rasm: Radial asosli funktsiyalar tarmog'ining arxitekturasi. Kirish vektori ${displaystyle x}$ har biri har xil parametrlarga ega bo'lgan barcha radial asos funktsiyalariga kirish sifatida ishlatiladi. Tarmoqning chiqishi - bu radiusli asos funktsiyalaridan chiqadigan chiziqli kombinatsiya.

Radial bazaviy funktsiya (RBF) tarmoqlari odatda uchta qatlamga ega: kirish qatlami, chiziqli bo'lmagan RBF faollashtirish funktsiyasi bo'lgan yashirin qatlam va chiziqli chiqish qatlami. Kirish haqiqiy sonlar vektori sifatida modellashtirilishi mumkin ${displaystyle mathbf {x} in mathbb {R} ^ {n}}$. Tarmoqning chiqishi bu kirish vektorining skaler funktsiyasi, ${displaystyle varphi: mathbb {R} ^ {n} o mathbb {R}}$va tomonidan beriladi

${displaystyle varphi (mathbf {x}) = sum _ {i = 1} ^ {N} a_ {i} ho (|| mathbf {x} -mathbf {c} _ {i} ||)}$

qayerda ${displaystyle N}$ bu yashirin qatlamdagi neyronlarning soni, ${displaystyle mathbf {c} _ {i}}$ neyronning markaziy vektoridir ${displaystyle i}$va ${displaystyle a_ {i}}$ neyronning og'irligi ${displaystyle i}$ chiziqli chiqish neyronida. Faqatgina markaz vektoridan masofaga bog'liq bo'lgan funktsiyalar ushbu vektorga nisbatan radial nosimmetrikdir, shuning uchun radial asos funktsiyasi nomi berilgan. Asosiy shaklda barcha yozuvlar har bir yashirin neyron bilan bog'langan. The norma odatda deb qabul qilinadi Evklid masofasi (garchi Mahalanobis masofasi naqshni tanib olish bilan yaxshiroq ishlashi ko'rinadi^{[4][5][tahrir qilish ]}) va radial asos funktsiyasi odatda qabul qilinadi Gauss

${displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2 } kechasi]}$.

Gauss asos funktsiyalari shu ma'noda markaz vektoriga xosdir

${displaystyle lim _ {|| x || o infty} ho (leftVert mathbf {x} -mathbf {c} _ {i} ightVert) = 0}$

ya'ni bitta neyronning parametrlarini o'zgartirish ushbu neyronning markazidan uzoqda bo'lgan kirish qiymatlari uchun ozgina ta'sir ko'rsatadi.

RBF tarmoqlari aktivizatsiya funktsiyasi shaklidagi muayyan yumshoq sharoitlarni hisobga olgan holda universal taxminiy vositalar a ixcham pastki qismi ${displaystyle mathbb {R} ^ {n}}$.^[6] Bu shuni anglatadiki, etarlicha yashirin neyronlarga ega bo'lgan RBF tarmog'i o'zboshimchalik aniqligi bilan yopiq, chegaralangan to'plamdagi har qanday doimiy funktsiyani taxminiy ravishda bajarishi mumkin.

Parametrlar ${displaystyle a_ {i}}$, ${displaystyle mathbf {c} _ {i}}$va ${displaystyle eta _ {i}}$ orasidagi moslikni optimallashtiradigan tarzda aniqlanadi ${displaystyle varphi}$ va ma'lumotlar.

Shakl 2: Bitta kirish o'lchovida normallashtirilmagan ikkita radial asosli funktsiya. Asosiy funktsiya markazlari joylashgan ${displaystyle c_ {1} = 0.75}$ va ${displaystyle c_ {2} = 3.25}$.

Normallashtirilgan

Shakl 3: Bitta kirish o'lchamidagi ikkita normallashtirilgan lamel asos funktsiyalari (sigmasimonlar ). Asosiy funktsiya markazlari joylashgan ${displaystyle c_ {1} = 0.75}$ va ${displaystyle c_ {2} = 3.25}$.

Shakl 4: Bitta kirish o'lchovida uchta normallashtirilgan lamel asos funktsiyalari. Qo'shimcha asos funktsiyasi markazida joylashgan ${displaystyle c_ {3} = 2.75}$

Shakl 5: Bitta kirish o'lchovida to'rtta normalizatsiya qilingan radiusli asos funktsiyalari. To'rtinchi asos funktsiyasi markazga ega ${displaystyle c_ {4} = 0}$. Birinchi tayanch funktsiyasi (quyuq ko'k) mahalliylashtirilganligini unutmang.

Normallashtirilgan arxitektura

Yuqoridagilardan tashqari normalizatsiya qilinmagan arxitektura, RBF tarmoqlari bo'lishi mumkin normallashtirilgan. Bunday holda xaritalash

${displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} {frac {sum _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} - mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} }} = sum _ {i = 1} ^ {N} a_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

qayerda

${displaystyle u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} {stackrel {mathrm {def}} {=}} {frac {ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}} {sum _ {j = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {j} ightVert {ig )}}}}$

"normallashtirilgan radial asos funktsiyasi" sifatida tanilgan.

Normallashtirish uchun nazariy motivatsiya

Stoxastik ma'lumotlar oqimi holatida ushbu arxitektura uchun nazariy asoslar mavjud. Faraz qiling a stoxastik yadro qo'shma ehtimollik zichligi uchun taxminiylik

${displaystyle Pleft (mathbf {x} quruq tun) = {1 dan ortiq N} sum _ {i = 1} ^ {N}, ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert { ig)}, sigma {ig (} chapga y-e_ {i} ightvert {ig)}}$

og'irliklar qaerda ${displaystyle mathbf {c} _ {i}}$ va ${displaystyle e_ {i}}$ ma'lumotlar namunalari va biz yadrolarni normalizatsiya qilishni talab qilamiz

${displaystyle int ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}, d ^ {n} mathbf {x} = 1}$

va

${displaystyle int sigma {ig (} chapga y-e_ {i} ightvert {ig)}, dy = 1}$.

Kirish va chiqish bo'shliqlaridagi ehtimollik zichligi

${displaystyle Pleft (mathbf {x} ight) = int Pleft (mathbf {x} land yight), dy = {1 over N} sum _ {i = 1} ^ {N}, ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}}$

va

$ Y $ kutilgandan so'ng kirish kiritildi ${displaystyle mathbf {x}}$ bu

${displaystyle varphi chap (mathbf {x} ight) {stackrel {mathrm {def}} {=}} Eleft (ymid mathbf {x} ight) = int y, Pleft (ymid mathbf {x} ight) dy}$

qayerda

${displaystyle Pleft (ymid mathbf {x} ight)}$

berilgan y ning shartli ehtimoli ${displaystyle mathbf {x}}$.Shartli ehtimollik qo'shma ehtimollik bilan bog'liq Bayes teoremasi

${displaystyle Pleft (ymid mathbf {x} ight) = {frac {Pleft (mathbf {x} quruq tun)} {Pleft (mathbf {x} ight)}}}$

qaysi hosil beradi

${displaystyle varphi chap (mathbf {x} ight) = int y, {frac {Pleft (mathbf {x} quruq tun)} {Pleft (mathbf {x} ight)}}, dy}$.

Bu bo'ladi

${displaystyle varphi chap (mathbf {x} ight) = {frac {sum _ {i = 1} ^ {N} e_ {i} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}} = sum _ {i = 1 } ^ {N} e_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

integratsiya amalga oshirilganda.

Mahalliy chiziqli modellar

Ba'zan arxitekturani qo'shish uchun kengaytirish qulay mahalliy chiziqli modellar. Bunday holda, me'morchilik birinchi navbatda,

${displaystyle varphi chap (mathbf {x} ight) = sum _ {i = 1} ^ {N} chap (a_ {i} + mathbf {b} _ {i} cdot chap (mathbf {x} -mathbf {c}) _ {i} ight) ight) ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

va

${displaystyle varphi chap (mathbf {x} ight) = sum _ {i = 1} ^ {N} chap (a_ {i} + mathbf {b} _ {i} cdot chap (mathbf {x} -mathbf {c}) _ {i} ight) ight) u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

navbati bilan normallashmagan va normallashtirilgan holatlarda. Bu yerda ${displaystyle mathbf {b} _ {i}}$ aniqlanadigan og'irliklar. Yuqori darajali chiziqli atamalar ham mumkin.

Ushbu natija yozilishi mumkin

${displaystyle varphi chap (mathbf {x} ight) = sum _ {i = 1} ^ {2N} sum _ {j = 1} ^ {n} e_ {ij} v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)}}$

qayerda

${displaystyle e_ {ij} = {egin {case} a_ {i}, & {mbox {if}} iin [1, N] b_ {ij}, & {mbox {if}} iin [N + 1,2N ] end {case}}}$

va

${displaystyle v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)} {stackrel {mathrm {def}} {=}} {egin {case} delta _ {ij} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}, & {mbox {if}} iin [1, N] left (x_ {ij} -c_ {ij} ight ) ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}, & {mbox {if}} iin [N + 1,2N] end {case}}}$

normallashtirilmagan holatda va

${displaystyle v_ {ij} {ig (} mathbf {x} -mathbf {c} _ {i} {ig)} {stackrel {mathrm {def}} {=}} {egin {case} delta _ {ij} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}, & {mbox {if}} iin [1, N] left (x_ {ij} -c_ {ij} ight ) u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}, & {mbox {if}} iin [N + 1,2N] end {case}}}$

normalizatsiya qilingan holatda.

Bu yerda ${displaystyle delta _ {ij}}$ a Kronecker delta funktsiyasi sifatida belgilangan

${displaystyle delta _ {ij} = {egin {case} 1, & {mbox {if}} i = j 0, & {mbox {if}} ieq jend {case}}}$.

O'qitish

RBF tarmoqlari odatda kirish va maqsad qiymatlari juftlaridan o'rganiladi ${displaystyle mathbf {x} (t), y (t)}$, ${displaystyle t = 1, nuqta, T}$ ikki bosqichli algoritm bilan.

Birinchi bosqichda markaziy vektorlar ${displaystyle mathbf {c} _ {i}}$ yashirin qatlamdagi RBF funktsiyalari tanlangan. Ushbu qadam bir necha usul bilan amalga oshirilishi mumkin; markazlar tasodifiy ravishda ba'zi bir misollar to'plamidan olinishi yoki ular yordamida aniqlanishi mumkin k - klasterlash degani. Ushbu qadam ekanligini unutmang nazoratsiz.

Ikkinchi qadam oddiygina koeffitsientli chiziqli modelga mos keladi ${displaystyle w_ {i}}$ ba'zi bir ob'ektiv funktsiyalarga nisbatan yashirin qatlamning natijalariga. Hech bo'lmaganda regressiya / funktsiyani baholash uchun umumiy maqsad funktsiyasi eng kichik kvadrat funktsiyasidir:

${displaystyle K (mathbf {w}) {stackrel {mathrm {def}} {=}} sum _ {t = 1} ^ {T} K_ {t} (mathbf {w})}$

qayerda

${displaystyle K_ {t} (mathbf {w}) {stackrel {mathrm {def}} {=}} {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w}) {ig)} {ig]} ^ {2}}$.

Biz og'irliklarga bog'liqlikni aniq kiritdik. Og'irlikni maqbul tanlash bilan eng kichik kvadratik maqsad funktsiyasini minimallashtirish moslikning aniqligini optimallashtiradi.

Yumshoqlik va aniqlik kabi bir nechta maqsadlarni optimallashtirish kerak bo'lgan holatlar mavjud. Bunday holda muntazamlashtirilgan maqsad funktsiyasini optimallashtirish foydalidir

${displaystyle H (mathbf {w}) {stackrel {mathrm {def}} {=}} K (mathbf {w}) + lambda S (mathbf {w}) {stackrel {mathrm {def}} {=}} sum _ {t = 1} ^ {T} H_ {t} (mathbf {w})}$

qayerda

${displaystyle S (mathbf {w}) {stackrel {mathrm {def}} {=}} sum _ {t = 1} ^ {T} S_ {t} (mathbf {w})}$

va

${displaystyle H_ {t} (mathbf {w}) {stackrel {mathrm {def}} {=}} K_ {t} (mathbf {w}) + lambda S_ {t} (mathbf {w})}$

bu erda S optimallashtirish silliqlikni maksimal darajaga ko'taradi va ${displaystyle lambda}$ a nomi bilan tanilgan muntazamlik parametr.

Uchinchi ixtiyoriy orqaga targ'ib qilish RBF tarmog'ining barcha parametrlarini aniq sozlash uchun qadamni bajarish mumkin.^[3]

Interpolatsiya

RBF tarmoqlari funktsiyani interpolatsiya qilish uchun ishlatilishi mumkin ${displaystyle y: mathbb {R} ^ {n} o mathbb {R}}$ ushbu funktsiyaning qiymatlari cheklangan sonli nuqtalarda ma'lum bo'lganda: ${displaystyle y (mathbf {x} _ {i}) = b_ {i}, i = 1, ldots, N}$. Ma'lum fikrlarni hisobga olgan holda ${displaystyle mathbf {x} _ {i}}$ radial asos funktsiyalarining markazlari bo'lish va baz funktsiyalarning qiymatlarini bir xil nuqtalarda baholash ${displaystyle g_ {ij} = ho (|| mathbf {x} _ {j} -mathbf {x} _ {i} ||)}$ vaznlarni tenglamadan yechish mumkin

${displaystyle left [{egin {matrix} g_ {11} & g_ {12} & cdots & g_ {1N} g_ {21} & g_ {22} & cdots & g_ {2N} vdots && ddots & vdots g_ {N1} & g_ {N2} & cdots & g_ {NN} end {matrix}} ight] left [{egin {matrix} w_ {1} w_ {2} vdots w_ {N} end {matrix}} ight] = left [{egin {matrix} b_ {1} b_ {2} vdots b_ {N} end {matrix}} ight]}$

Ko'rsatish mumkinki, yuqoridagi tenglamadagi interpolyatsiya matritsasi, agar nuqta bo'lsa, yagona emas ${displaystyle mathbf {x} _ {i}}$ farq qiladi va shu tariqa og'irliklar ${displaystyle w}$ oddiy chiziqli algebra bilan echilishi mumkin:

${displaystyle mathbf {w} = mathbf {G} ^ {- 1} mathbf {b}}$

qayerda ${displaystyle G = (g_ {ij})}$.

Funktsiyani yaqinlashtirish

Agar maqsad qat'iy interpolatsiyani amalga oshirish emas, aksincha umumiyroq bo'lsa funktsiyani yaqinlashtirish yoki tasnif optimallashtirish biroz murakkabroq, chunki markazlar uchun aniq tanlov mavjud emas. Trening odatda ikki bosqichda amalga oshiriladi, avval kenglik va markazlarni, so'ngra og'irliklarni o'rnatadi. Lineer bo'lmagan yashirin neyronlarning chiziqli chiqish neyroniga nisbatan har xil xususiyatlarini hisobga olgan holda buni oqlash mumkin.

Bazaviy funktsiyalar markazlarini o'qitish

Bazis funktsiyalari markazlari tasodifiy kirish namunalari orasidan olinishi yoki Ortogonal Least Square Learning Algoritm tomonidan olinishi yoki topilishi mumkin. klasterlash namunalar va klasterni tanlash markazlarni anglatadi.

RBF kengliklari odatda bir xil qiymatga o'rnatiladi, bu tanlangan markazlar orasidagi maksimal masofaga mutanosibdir.

Chiziqli og'irliklar uchun psevdoinvers eritma

Markazlardan keyin ${displaystyle c_ {i}}$ aniqlandi, chiqindagi xatoni minimallashtiradigan og'irliklar chiziqli bilan hisoblanishi mumkin pseudoinverse echim:

${displaystyle mathbf {w} = mathbf {G} ^ {+} mathbf {b}}$,

yozuvlari qaerda G nuqtalarda baholanadigan radial asos funktsiyalarining qiymatlari ${displaystyle x_ {i}}$: ${displaystyle g_ {ji} = ho (|| x_ {j} -c_ {i} ||)}$.

Ushbu chiziqli echimning mavjudligi shuni anglatadiki, ko'p qatlamli perkeptron (MLP) tarmoqlardan farqli o'laroq, RBF tarmoqlari aniq minimizatorga ega (markazlar aniqlanganda).

Chiziqli og'irliklarning gradiyent tushish mashqlari

Yana bir mumkin bo'lgan ta'lim algoritmi gradiyent tushish. Gradient tushish mashg'ulotlarida og'irliklar har bir qadamda ularni maqsad funktsiyasi gradiyentiga qarama-qarshi yo'nalishda harakatlantirish yo'li bilan o'rnatiladi (shu bilan ob'ektiv funktsiya minimalini topishga imkon beradi),

${displaystyle mathbf {w} (t + 1) = mathbf {w} (t) -u {frac {d} {dmathbf {w}}} H_ {t} (mathbf {w})}$

qayerda ${displaystyle u}$ bu "o'rganish parametri" dir.

Chiziqli og'irliklarni mashq qilish uchun, ${displaystyle a_ {i}}$, algoritm bo'ladi

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}$

normallashtirilmagan holatda va

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}$

normalizatsiya qilingan holatda.

Mahalliy-chiziqli arxitekturalar uchun gradiyent-nasldan naslga o'tish mashg'ulotlari o'tkaziladi

${displaystyle e_ {ij} (t + 1) = e_ {ij} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} v_ {ij} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}}$

Lineer og'irliklarni proektsion operatorga tayyorlash

Chiziqli og'irliklarni mashq qilish uchun, ${displaystyle a_ {i}}$ va ${displaystyle e_ {ij}}$, algoritm bo'ladi

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

normallashtirilmagan holatda va

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

normalizatsiya qilingan holatda va

${displaystyle e_ {ij} (t + 1) = e_ {ij} (t) + u {ig [} y (t) -varphi {ig (} mathbf {x} (t), mathbf {w} {ig) } {ig]} {frac {v_ {ij} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}} {sum _ {i = 1} ^ {N} sum _ {j = 1} ^ {n} v_ {ij} ^ {2} {ig (} mathbf {x} (t) -mathbf {c} _ {i} {ig)}}}}$

mahalliy-chiziqli holatda.

Bitta asosli funktsiya uchun proektsionerlarni o'qitish kamayadi Nyuton usuli.

6-rasm: Logistik xaritaning vaqt qatorlari. Logistik xaritani takroriy takrorlash tartibsiz vaqt seriyasini keltirib chiqaradi. Qiymatlar noldan bittagacha yotadi. Ushbu bo'limdagi misollarni o'rgatish uchun ishlatiladigan 100 ta o'quv punktlari bu erda ko'rsatilgan. V vaznlari bu vaqt seriyasidagi dastlabki beshta ochko.

Misollar

Logistik xarita

Radial asos funktsiyalarining asosiy xossalarini oddiy matematik xarita bilan tasvirlash mumkin logistika xaritasi, bu birlik oralig'ini o'zida aks ettiradi. U qulay prototip ma'lumot oqimini yaratish uchun ishlatilishi mumkin. Logistik xaritani o'rganish uchun foydalanish mumkin funktsiyani yaqinlashtirish, vaqt qatorini bashorat qilish va boshqaruv nazariyasi. Xarita maydonidan kelib chiqqan aholi dinamikasi va prototipiga aylandi tartibsiz vaqt qatorlari. Xarita, to'liq tartibsiz rejimda, tomonidan berilgan

${displaystyle x (t + 1) {stackrel {mathrm {def}} {=}} fleft [x (t) ight] = 4x (t) left [1-x (t) ight]}$

bu erda t vaqt indeksidir. T ning + 1 vaqtidagi x ning qiymati t vaqtidagi x ning parabolik funktsiyasi. Ushbu tenglama logistika xaritasi tomonidan yaratilgan xaotik vaqt seriyasining asosiy geometriyasini aks ettiradi.

Ushbu tenglamadan vaqt seriyasini yaratish oldinga muammo. Bu erda keltirilgan misollar teskari muammo; logistik xaritaning asosiy dinamikasini yoki asosiy tenglamasini vaqt qatorlari namunalaridan aniqlash. Maqsad - taxminiy bahoni topish

${displaystyle x (t + 1) = fleft [x (t) ight] taxminan varphi (t) = varphi left [x (t) ight]}$

f uchun.

Funktsiyani yaqinlashtirish

Normallashtirilmagan radial asos funktsiyalari

Arxitektura

7-rasm: Normallashtirilmagan asosiy funktsiyalar. Logistik xarita (ko'k) va logistika xaritasiga yaqinlashish (qizil) mashg'ulotlar to'plamidan bir marta o'tgandan keyin.

${displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} sum _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} -mathbf {c } _ {i} ightVert {ig)}}$

qayerda

${displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta _ {i} leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2} ight] = exp left [- eta _ {i} left (x (t) -c_ {i} ight) ^ {2} ight]}$.

Kirish a bo'lganligi sababli skalar a o'rniga vektor, kirish o'lchovi bitta. Biz bazaviy funktsiyalar sonini N = 5 deb tanlaymiz va mashg'ulotlar to'plamining hajmini tartibsiz vaqt seriyasida hosil bo'lgan 100 ta namunaga tenglashtiramiz. Og'irligi ${displaystyle eta}$ 5 ga teng doimiy ravishda olinadi. Og'irliklar ${displaystyle c_ {i}}$ vaqt seriyasidan beshta namunadir. Og'irliklar ${displaystyle a_ {i}}$ proektsion operatorlar tayyorlash bo'yicha o'qitiladi:

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} x (t + 1) -varphi {ig (} mathbf {x} (t), mathbf {w} { ig)} {ig]} {frac {ho {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

qaerda o'rganish darajasi ${displaystyle u}$ 0,3 ga teng. Mashg'ulotlar 100 ta mashg'ulot punktlari orqali bitta o'tish orqali amalga oshiriladi. The rms xatosi 0,15 ga teng.

8-rasm: Normallashtirilgan bazaviy funktsiyalar. Logistik xarita (ko'k) va logistika xaritasiga yaqinlashish (qizil) mashg'ulotlar to'plamidan bir marta o'tgandan keyin. Normallashtirilmagan ish bo'yicha yaxshilanishga e'tibor bering.

Normallashtirilgan radial asos funktsiyalari

Normallashtirilgan RBF arxitekturasi

${displaystyle varphi (mathbf {x}) {stackrel {mathrm {def}} {=}} {frac {sum _ {i = 1} ^ {N} a_ {i} ho {ig (} leftVert mathbf {x} - mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} }} = sum _ {i = 1} ^ {N} a_ {i} u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)}}$

qayerda

${displaystyle u {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} {stackrel {mathrm {def}} {=}} {frac {ho {ig (} leftVert mathbf {x } -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig )}}}}$.

Yana:

${displaystyle ho {ig (} leftVert mathbf {x} -mathbf {c} _ {i} ightVert {ig)} = exp left [- eta leftVert mathbf {x} -mathbf {c} _ {i} ightVert ^ {2 } ight] = exp chap [- va chap (x (t) -c_ {i} ight) ^ {2} ight]}$.

Shunga qaramay, biz bazaviy funktsiyalar sonini beshta deb tanlaymiz va mashg'ulotlar to'plamining hajmini tartibsiz vaqt seriyasida hosil bo'lgan 100 ta namunaga tenglashtiramiz. Og'irligi ${displaystyle eta}$ 6 ga teng doimiy ravishda qabul qilinadi. Og'irliklar ${displaystyle c_ {i}}$ vaqt seriyasidan beshta namunadir. Og'irliklar ${displaystyle a_ {i}}$ proektsion operatorlar tayyorlash bo'yicha o'qitiladi:

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u {ig [} x (t + 1) -varphi {ig (} mathbf {x} (t), mathbf {w} { ig)} {ig]} {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}} {sum _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

qaerda o'rganish darajasi ${displaystyle u}$ yana 0,3 deb qabul qilinadi. O'quv mashg'ulotlari 100 ta o'quv punktlari orqali bitta o'tish orqali amalga oshiriladi. The rms xatosi 100 ta namunadan iborat test to'plamida 0,084, normallashtirilmagan xatodan kichikroq. Normalizatsiya aniqlikni yaxshilaydi. Odatda normalizatsiya qilingan bazis funktsiyalari bilan aniqlik normallashmagan funktsiyalarga nisbatan ko'proq oshadi, chunki kirish o'lchovliligi oshadi.

9-rasm: Normallashtirilgan bazaviy funktsiyalar. Logistik xarita (ko'k) va logistika xaritasiga yaqinlashish (qizil) vaqt funktsiyasi sifatida. Yaqinlashish faqat bir necha qadam uchun yaxshi ekanligini unutmang. Bu xaotik vaqt qatorlarining umumiy xarakteristikasi.

Vaqt seriyasini bashorat qilish

Vaqt seriyasining asosiy geometriyasi avvalgi misollarda bo'lgani kabi baholangandan so'ng, takroriy seriyalar uchun bashorat qilish mumkin:

${displaystyle varphi (0) = x (1)}$

${displaystyle {x} (t) taxminan varphi (t-1)}$

${displaystyle {x} (t ​​+ 1) taxminan varphi (t) = varphi [varphi (t-1)]}$.

Haqiqiy va taxminiy vaqt seriyasini taqqoslash rasmda keltirilgan. Hisoblangan vaqtlar qatori x (0) ni aniq bilgan holda noldan boshlanadi. Keyinchalik, bir necha vaqt bosqichlari uchun vaqt qatorlari bahosini yangilash uchun dinamikaning bahosidan foydalaniladi.

Hisob-kitob faqat bir necha vaqt qadamlar uchun aniq ekanligini unutmang. Bu xaotik vaqt qatorlarining umumiy xarakteristikasi. Bu xaotik vaqt qatorlari uchun umumiy bo'lgan dastlabki shartlarga sezgir bog'liqlikning xususiyati. Kichkina boshlang'ich xato vaqt bilan kuchaytiriladi. Taxminan bir xil boshlang'ich shartlarga ega bo'lgan vaqt qatorlarining farqlanish o'lchovi ma'lum Lyapunov eksponenti.

Xaotik vaqt seriyasini boshqarish

10-rasm: Logistik xaritani boshqarish. Tizimga 49 ta qadam davomida tabiiy ravishda rivojlanishiga ruxsat beriladi. Vaqtida 50 ta boshqaruv yoqilgan. Vaqt seriyasining kerakli traektoriyasi qizil rangga ega. Boshqariladigan tizim asosiy dinamikani o'rganadi va vaqt seriyasini kerakli natijaga etkazadi. Arxitektura vaqt qatorini taxmin qilish misoli bilan bir xil.

Logistik xaritaning natijasini boshqarish parametri orqali boshqarish mumkin deb hisoblaymiz ${displaystyle c [x (t), t]}$ shu kabi

${displaystyle {x} _ {} ^ {} (t + 1) = 4x (t) [1-x (t)] + c [x (t), t]}$.

Maqsad vaqt parametrlarini kerakli natijaga etkazadigan tarzda boshqarish parametrini tanlashdir ${displaystyle d (t)}$. Agar biz boshqarish parametrini tanlasak, buni amalga oshirish mumkin

${displaystyle c _ {} ^ {} [x (t), t] {stackrel {mathrm {def}} {=}} -varphi [x (t)] + d (t + 1)})$

qayerda

${displaystyle y [x (t)] taxminan f [x (t)] = x (t + 1) -c [x (t), t]}$

tizimning asosiy tabiiy dinamikasiga yaqinlashishdir.

Ta'lim algoritmi quyidagicha berilgan

${displaystyle a_ {i} (t + 1) = a_ {i} (t) + u varepsilon {frac {u {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig )}} {sum _ {i = 1} ^ {N} u ^ {2} {ig (} leftVert mathbf {x} (t) -mathbf {c} _ {i} ightVert {ig)}}}}$

qayerda

${displaystyle varepsilon {stackrel {mathrm {def}} {=}} f [x (t)] - varphi [x (t)] = x (t + 1) -c [x (t), t] -varphi [) x (t)] = x (t + 1) -d (t + 1)}$.

Shuningdek qarang

• Radial asos funktsiyasining yadrosi
• instansiya asosida o'rganish
• Situga moslashuvchan tabulyatsiya
• Bashoratli tahlil
• Xaos nazariyasi
• Ierarxik RBF
• Serebellar modeli artikulyatsiyasi tekshiruvi
• Bir zumda o'qitilgan neyron tarmoqlari

Adabiyotlar

Qo'shimcha o'qish

• J. Moody va C. J. Darken, "Mahalliy sozlangan protsessorlar tarmoqlarida tez o'rganish", Neural Computation, 1, 281-294 (1989). Shuningdek qarang Moody va Darken bo'yicha radial asosli funktsiyalar tarmoqlari
• T. Poggio va F. Jirosi "Yaqinlashish va o'rganish uchun tarmoqlar, "Proc. IEEE 78 (9), 1484-1487 (1990).
• Rojer D. Jons, Y. Li, C. V. Barns, G. V. Fleyk, K. Li, P. S. Lyuis va S. Qian,?Nerv tarmoqlari bilan funktsiyalarni yaqinlashtirish va vaqt qatorlarini prognoz qilish,? Neyron tarmoqlari bo'yicha xalqaro qo'shma konferentsiya materiallari, 17–21 iyun, p. I-649 (1990).
• Martin D. Buhmann (2003). Radial asos funktsiyalari: nazariya va amaliyot. Kembrij universiteti. ISBN  0-521-63338-9.
• Yee, Pol V. va Haykin, Simon (2001). Muntazam ravishda radial asosda ishlaydigan tarmoqlar: nazariya va qo'llanmalar. Jon Vili. ISBN  0-471-35349-3.
• Jon R. Devis, Stiven V. Koggeshall, Rojer D. Jons va Daniel Shutzer, "Intellektual xavfsizlik tizimlari" Fridman, Roy S., Flayn, Robert A. va Lederman, Jess, muharrirlar (1995). Kapital bozorlaridagi sun'iy aql. Chikago: Irvin. ISBN  1-55738-811-3.CS1 maint: bir nechta ism: mualliflar ro'yxati (havola)
• Simon Xeykin (1999). Neyron tarmoqlari: keng qamrovli asos (2-nashr). Yuqori Saddle River, NJ: Prentice Hall. ISBN  0-13-908385-5.
• S. Chen, C. F. N. Kovan va P. M. Grant, "Ortogonal eng kichkina kvadratchalar Radial asosli ishlaydigan tarmoqlar algoritmini o'rganish ", IEEE Transaction on Neural Network, Vol 2, No 2 (Mar) 1991 yil.