Sun'iy neyron tarmoqlari Biologiyadan parallellik

Chiziqli tarmoq

Fanda umume'tirof etilgan printsipga ko'ra, agar murakkabroq model oddiyroqdan yaxshiroq natija bermasa, ikkinchisiga ustunlik berish kerak. Xaritaga yaqinlashish nuqtai nazaridan, eng oddiy model chiziqli model bo'lib, unda moslama funktsiyasi giperplan bilan aniqlanadi. Tasniflash masalasida giperplane ikki sinfni ajratadigan tarzda joylashtiriladi (chiziqli diskriminant funksiya); regressiya masalasida giperplanet berilgan nuqtalardan o'tishi kerak. Chiziqli model odatda NxN matritsasi va N o'lchamdagi siljish vektori yordamida yoziladi.

Neyron tarmoqlar tilida chiziqli model oraliq qatlamlarsiz tarmoq bilan ifodalanadi, ular chiqish sathida faqat chiziqli elementlarni (ya’ni chiziqli faollashtirish funksiyasiga ega elementlarni) o‘z ichiga oladi. Og'irliklar matritsaning elementlariga, pollar esa siljish vektorining komponentlariga mos keladi. Ishlash vaqtida tarmoq aslida kirish vektorini og'irlik matritsasi bilan ko'paytiradi va keyin olingan vektorga egilish vektorini qo'shadi.
Chiziqli tarmoq siz yaratgan neyron tarmoqlar sifatini baholash uchun yaxshi mezondir. Ma'lum bo'lishicha, juda qiyin deb hisoblangan vazifani nafaqat neyron tarmoq, balki oddiy chiziqli usul bilan ham muvaffaqiyatli bajarish mumkin. Agar muammo juda ko'p ta'lim ma'lumotlariga ega bo'lmasa, unda murakkabroq modellardan foydalanishga hech qanday sabab yo'q. Boshiga

7. 
   Kohonen tarmog'i
   

Kohonen tarmoqlari boshqa barcha turdagi tarmoqlardan tubdan farq qiladi, boshqa barcha tarmoqlar nazorat ostidagi o'quv vazifalari uchun mo'ljallangan bo'lsa, Kohonen tarmoqlari asosan nazoratsiz o'rganish uchun mo'ljallangan.

Nazorat ostida o'qitishda, o'quv ma'lumotlarini tashkil etuvchi kuzatuvlar, kirish o'zgaruvchilari bilan birga, ularning mos keladigan chiqish qiymatlarini ham o'z ichiga oladi va tarmoq birinchisini ikkinchisiga o'tkazadigan xaritalashni qayta qurishi kerak. Nazoratsiz o'rganish holatida o'quv ma'lumotlari faqat kiritilgan o'zgaruvchilarning qiymatlarini o'z ichiga oladi.
Bir qarashda bu g'alati tuyulishi mumkin. Qanday qilib tarmoq hech qanday chiqish qiymatiga ega bo'lmasdan biror narsani o'rganishi mumkin? Javob shundaki, Kohonen tarmog'i ma'lumotlar strukturasini o'zi tushunishni o'rganadi.
Bunday tarmoqlarning mumkin bo'lgan qo'llanilishi tadqiqot ma'lumotlarini tahlil qilishdir. Kohonen tarmog'i ma'lumotlardagi klasterlarni tanib olishi va sinf yaqinligini o'rnatishi mumkin. Shunday qilib, foydalanuvchi neyron tarmoq modelini takomillashtirish uchun ma'lumotlar tuzilishi haqidagi tushunchasini yaxshilashi mumkin. Agar ma'lumotlarda sinflar tan olinsa, ular etiketlanishi mumkin, shundan so'ng tarmoq tasniflash muammolarini hal qilishi mumkin. Kohonen tarmoqlari sinflar allaqachon ko'rsatilgan tasniflash muammolarida ham qo'llanilishi mumkin - bu holda tarmoq turli sinflar o'rtasidagi o'xshashlikni aniqlay olishi afzalligi bo'ladi.
Yana bir mumkin bo'lgan dastur - yangi hodisalarni aniqlash. Kohonen tarmog'i o'quv ma'lumotlaridagi klasterlarni taniydi va barcha ma'lumotlarni u yoki bu klasterga tayinlaydi. Agar shundan so'ng tarmoq ma'lum namunalarning birortasiga o'xshamaydigan ma'lumotlar to'plamiga duch kelsa, u bunday to'plamni tasniflay olmaydi va shu bilan uning yangiligini ochib beradi.
Kohonen tarmog'i faqat ikkita qatlamga ega: kirish va chiqish, radial elementlardan tashkil topgan (chiqish qatlami topologik xarita qatlami deb ham ataladi). Topologik xaritaning elementlari ma'lum bir fazoda joylashgan - odatda ikki o'lchovli (bir o'lchovli Kohonen tarmoqlari ST Neural Networks paketida ham amalga oshiriladi).
Kohonen tarmog'i ketma-ket yaqinlashish usuli bilan o'qitiladi. Tasodifiy tanlangan boshlang'ich markaz joylashuvidan boshlab, algoritm asta-sekin o'quv ma'lumotlarini klasterlashni qo'lga kiritish uchun uni yaxshilaydi. Ba'zi jihatlari bo'yicha, bu qadamlar RBF va GRNN tarmoqlarida markazlarni joylashtirish uchun ishlatiladigan namuna tanlash va K-vosita algoritmlariga o'xshaydi va haqiqatan ham Kohonen algoritmi markazlarni ushbu turdagi tarmoqlarda joylashtirish uchun ishlatilishi mumkin. Biroq, bu algoritm boshqa darajada ishlaydi.
Yuqorida aytilganlarga qo'shimcha ravishda, takroriy o'qitish protsedurasi natijasida tarmoq shunday tashkil etilganki, kirish maydonida bir-biriga yaqin joylashgan markazlarga mos keladigan elementlar topologiyada bir-biriga yaqin joylashgan bo'ladi. xarita. Tarmoqning topologik qatlamini ikki o'lchovli panjara sifatida ko'rish mumkin, uni imkon qadar dastlabki ma'lumotlar strukturasini saqlab qolish uchun N o'lchovli kirish maydoniga joylashtirish kerak. Albatta, tekislikda N o'lchamli fazoni tasvirlashga urinish juda ko'p tafsilotlarni yo'qotadi; ammo, bu usul ba'zan foydalidir, chunki u foydalanuvchiga boshqa yo'l bilan tushunib bo'lmaydigan ma'lumotlarni tasavvur qilish imkonini beradi.
Koxonenning asosiy iterativ algoritmi birin-ketin bir qator davrlarni bosib o'tadi va har bir davrda u o'quv misollarining har birini qayta ishlaydi va keyin quyidagi algoritmni qo'llaydi:

• 
  G'olib neyronni tanlang (ya'ni kirish misoliga eng yaqin joylashgan);
  
• 
  G'olib neyronni ushbu kiritish misoliga ko'proq o'xshash qilib sozlang (neyronning oldingi markazi va mashg'ulot misolining vaznli yig'indisini olib).
  

Algoritm vaznli yig'indini hisoblashda asta-sekin kamayib boruvchi o'rganish tezligi omilidan foydalanadi, shuning uchun tuzatish har bir yangi davrda yanada nozikroq bo'ladi. Natijada, ushbu neyron g'olib bo'lgan kuzatuvlarni qoniqarli aks ettiruvchi ma'lum bir pozitsiyada markaziy pozitsiya o'rnatiladi.
Topologik tartiblash xususiyatiga algoritmda qo'shnichilik tushunchasidan qo'shimcha foydalanish orqali erishiladi. Qo'shni - bu g'olib neyronni o'rab turgan bir qator neyronlar. O'rganish tezligi singari, mahallaning o'lchami vaqt o'tishi bilan kamayadi, shuning uchun dastlab juda ko'p miqdordagi neyronlar unga tegishli (ehtimol, deyarli butun topologik xarita); eng oxirgi bosqichlarda mahalla nolga aylanadi (ya'ni, faqat eng ko'p yutgan neyrondan iborat). Aslida, Koxonenning algoritmida sozlash nafaqat g'olib neyronga, balki uning hozirgi qo'shnisidagi barcha neyronlarga ham qo'llaniladi.
Mahalladagi bu o'zgarish natijasi shundan iboratki, dastlab tarmoqning juda katta bo'limlari o'quv misollari tomon "tortib olinadi" va sezilarli darajada. Tarmoq topologik tartibning qo'pol strukturasini hosil qiladi, unda o'xshash kuzatuvlar topologik xaritada yaqin atrofdagi neyronlar guruhlarini faollashtiradi. Har bir yangi davr bilan, o'rganish tezligi va qo'shnilarning o'lchami pasayadi, bu esa xarita mintaqalaridagi tobora nozik farqlarni ochib beradi, bu esa oxir-oqibat har bir neyronning nozik sozlanishiga olib keladi. Ko'pincha mashg'ulotlar ataylab ikki bosqichga bo'linadi: yuqori o'rganish tezligi va katta mahallalar bilan qisqaroq bosqich va past o'rganish darajasi va nol yoki deyarli nolga teng bo'lgan uzoqroq bosqich.
Tarmoq ma'lumotlar strukturasini tanib olishga o'rgatilgandan so'ng, undan ma'lumotlarni tahlil qilish uchun vizualizatsiya vositasi sifatida foydalanish mumkin. Shuningdek, siz individual kuzatishlarni qayta ishlashingiz va bu holda topologik xarita qanday o'zgarishini ko'rishingiz mumkin - bu sizga klasterlarning biron bir mazmunli ma'noga ega yoki yo'qligini tushunishga imkon beradi (qoida tariqasida, qanday qilib aniqlanishini aniqlash uchun muammoning mazmunli ma'nosiga qaytishingiz kerak). kuzatishlar klasterlari bir-biriga bog'liq). Klasterlar aniqlangandan so'ng, topologik xaritaning neyronlari mazmunli teglar bilan belgilanadi (ba'zi hollarda individual kuzatishlar ham belgilanishi mumkin). Bu erda tasvirlangan shakldagi topologik xarita tuzilgandan so'ng, tarmoq kiritishiga yangi kuzatishlar yuborilishi mumkin. Agar g'olib neyron ilgari sinf nomi bilan belgilangan bo'lsa, tarmoq tasniflashni amalga oshiradi. Aks holda, tarmoq hech qanday qaror qabul qilmagan deb hisoblanadi.
Kohonen tarmoqlarida tasniflash muammolarini hal qilishda kirish chegarasi deb ataladigan narsa qo'llaniladi. Bunday tarmoqda neyronning faollashuv darajasi undan kirish misoligacha bo'lgan masofa bo'lganligi sababli, kirish chegarasi tanib olish sodir bo'ladigan maksimal masofa rolini o'ynaydi. Agar g'olib neyronning faollashuv darajasi ushbu chegaradan oshsa, tarmoq hech qanday qaror qabul qilmagan hisoblanadi. Shuning uchun, barcha neyronlar belgilangan va chegaralar kerakli darajada o'rnatilganda, Kohonen tarmog'i yangi hodisalarning detektori bo'lib xizmat qilishi mumkin (faqat unga oziqlangan holat barcha radial elementlardan sezilarli darajada farq qilsa, qaror qabul qilishning muvaffaqiyatsizligi haqida xabar beradi). ).
Kohonen tarmog'i g'oyasi inson miyasining ba'zi ma'lum xususiyatlariga o'xshashlik tufayli paydo bo'ldi. Miya po'stlog'i - bu ma'lum topologik xususiyatlarga ega (masalan, qo'l uchun mas'ul bo'lgan maydon qo'l harakati uchun mas'ul bo'lgan hududga tutashgan) katta tekis varaq (maydoni taxminan 0,5 kvadrat metr; u bosh suyagiga sig'ishi uchun buklangan). butun qo'l va shuning uchun inson tanasining butun tasviri doimiy ravishda ushbu ikki o'lchovli sirtga joylashtiriladi)

8.