Sun'iy neyron tarmoqlari Biologiyadan parallellik

Neyron tarmoq arxitekturasi

ANNni sun'iy neyronlar tugunlar bo'lgan og'irlikdagi ulanishlarga ega yo'naltirilgan grafik sifatida ko'rib chiqish mumkin. Ulanishlar arxitekturasidan kelib chiqib, ANN larni ikki sinfga (4-rasm) guruhlash mumkin: grafiklarda halqalar bo‘lmagan oldinga yo‘naltiriladigan tarmoqlar va takroriy tarmoqlar yoki qayta aloqa bog‘langan tarmoqlar.

Guruch. 4 - ANN ulanishlar arxitekturasi

Ko'p qatlamli perseptronlar deb ataladigan birinchi darajali tarmoqlarning eng keng tarqalgan oilasida neyronlar qatlamlarda joylashgan va qatlamlar o'rtasida bir yo'nalishli aloqalarga ega. Shaklda. 4-rasmda har bir sinfning tipik tarmoqlari ko'rsatilgan. Oldinga uzatish tarmoqlari ma'lum bir kirish uchun tarmoqning oldingi holatiga bog'liq bo'lmagan bitta chiqish qiymatlari to'plamini ishlab chiqaradigan ma'noda statikdir. Takroriy tarmoqlar dinamikdir, chunki teskari aloqa tufayli ulardagi neyronlarning kirishlari o'zgartiriladi, bu esa tarmoq holatining o'zgarishiga olib keladi.

4. 
   Neyron tarmoq uchun ma'lumotlar yig'ish
   

Agar muammo neyron tarmoq yordamida hal etilsa, u holda o'quv ma'lumotlarini yig'ish kerak. O'quv ma'lumotlar to'plami - bu kirish va chiqish o'zgaruvchilari qiymatlari ko'rsatilgan kuzatishlar to'plami. Qaysi o'zgaruvchilardan foydalanish va qancha (va qaysi) kuzatuvlarni to'plash kerakligini hal qilish kerak bo'lgan birinchi savol.

O'zgaruvchilarni tanlash (hech bo'lmaganda boshlang'ich) intuitiv ravishda amalga oshiriladi. Mavzu sohasidagi tajribangiz qaysi o'zgaruvchilar muhimligini aniqlashga yordam beradi.
Neyron tarmoqlar ma'lum cheklangan diapazonda joylashgan raqamli ma'lumotlar bilan ishlashi mumkin. Bu ma'lumotlar standart miqyosda bo'lmaganda, qiymatlar etishmayotganda va ma'lumotlar raqamli bo'lmaganda muammolarni keltirib chiqaradi.
Raqamli bo'lmagan ma'lumotlar bilan ishlash qiyinroq vazifadir. Ko'pincha raqamli bo'lmagan ma'lumotlar Jins = {Erkak, Ayol} tipidagi nominal o'zgaruvchilar ko'rinishida taqdim etiladi.
Masalan, biz neyron tarmog'ini ko'chmas mulk qiymatini baholashni o'rgatmoqchimiz. Uyning narxi ko'p jihatdan u shaharning qaysi hududida joylashganiga bog'liq. Shaharni o'z nomlari bilan bir necha o'nlab tumanlarga bo'lish mumkin va tumanni belgilash uchun nominal qiymatlarga ega o'zgaruvchini kiritish tabiiy ko'rinadi. Afsuski, bu holda neyron tarmoqni o'rgatish juda qiyin bo'ladi va buning o'rniga har bir tumanga ma'lum bir reytingni (ekspert baholari asosida) belgilash yaxshiroqdir.
Boshqa turdagi raqamli bo'lmagan ma'lumotlar raqamli shaklga aylantirilishi yoki ahamiyatsiz deb e'lon qilinishi mumkin. Sana va vaqt qiymatlari, agar kerak bo'lsa, ulardan boshlanish sanasini (vaqtini) ayirish orqali raqamli qiymatlarga aylantirilishi mumkin. Pul belgilarini aylantirish qiyin emas. Siz ixtiyoriy matn maydonlari (masalan, odamlarning familiyalari) bilan ishlay olmaysiz va ularni ahamiyatsiz qilishingiz kerak.
Tarmoqni o'rgatish uchun qancha kuzatish kerakligi haqidagi savol ko'pincha qiyin. Kerakli kuzatuvlar sonini tarmoq hajmi bilan bog'laydigan bir qator evristik qoidalar mavjud (ulardan eng oddiyi kuzatuvlar soni tarmoqdagi ulanishlar sonidan o'n barobar ko'p bo'lishi kerakligini aytadi). Aslida, bu raqam, shuningdek, neyron tarmog'i qayta ishlab chiqarishga intilayotgan xaritalashning (oldindan noma'lum) murakkabligiga bog'liq. O'zgaruvchilar soni ortib borishi bilan talab qilinadigan kuzatuvlar soni nochiziqli ravishda o'sib boradi, shuning uchun hatto juda kichik (masalan, ellik) o'zgaruvchilar soni bilan ham juda ko'p kuzatuvlar talab qilinishi mumkin. Ushbu qiyinchilik "o'lchovlilik la'nati" deb nomlanadi va biz bu haqda keyinroq ushbu bobda muhokama qilamiz.
Ko'pgina real muammolar uchun bir necha yuz yoki mingta kuzatishlar etarli. Ayniqsa, murakkab masalalar uchun undan ham kattaroq son talab qilinishi mumkin, lekin yuztadan kam kuzatuv yetarli bo'lgan (hatto arzimas) muammoga duch kelish juda kam uchraydi. Agar bu erda ko'rsatilganidan kamroq ma'lumot mavjud bo'lsa, unda siz tarmoqni o'rgatish uchun etarli ma'lumotga ega emassiz va siz qila oladigan eng yaxshi narsa ma'lumotlarga qandaydir chiziqli modelni moslashtirishga harakat qilishdir.

2. 
   Ta'lim
   

O'rganish qobiliyati miyaning asosiy xususiyatidir. ANN kontekstida o'quv jarayonini muayyan vazifani samarali bajarish uchun tarmoq arxitekturasi va ulanish og'irliklarini sozlash sifatida ko'rish mumkin. Odatda, neyron tarmoq mavjud o'quv majmuasiga asoslanib ulanish og'irliklarini sozlashi kerak. Og'irliklar takroriy sozlanganligi sababli tarmoq unumdorligi yaxshilanadi. Tarmoqlarning misollardan o'rganish qobiliyati mutaxassislar tomonidan ishlab chiqilgan muayyan operatsion qoidalar tizimiga amal qiladigan tizimlarga nisbatan ularni yanada jozibador qiladi.

O'quv jarayonini loyihalash uchun, birinchi navbatda, neyron tarmoq ishlaydigan tashqi muhit modeliga ega bo'lish - tarmoqda mavjud bo'lgan ma'lumotlarni bilish kerak. Ushbu model o'rganish paradigmasini belgilaydi. Ikkinchidan, tarmoqning vazn parametrlarini qanday o'zgartirish kerakligini tushunish kerak - sozlash jarayonini qanday o'rganish qoidalari boshqaradi. O'rganish algoritmi og'irliklarni sozlash uchun o'rganish qoidalaridan foydalanadigan protsedurani anglatadi.
Uchta ta'lim paradigmasi mavjud: "o'qituvchi bilan", "o'qituvchisiz" (o'z-o'zini o'rganish) va aralash. Birinchi holda, neyron tarmoq har bir kirish misoli uchun to'g'ri javoblarga (tarmoq chiqishi) ega. Og'irliklar tarmoq ma'lum to'g'ri javoblarga imkon qadar yaqin javoblarni ishlab chiqarishi uchun o'rnatiladi. Nazorat ostidagi ta'limning takomillashtirilgan versiyasi neyron tarmog'i chiqishining to'g'riligini faqat tanqidiy bahosi ma'lum, lekin to'g'ri chiqish qiymatlarining o'zi emas, deb taxmin qiladi. Nazoratsiz o'qitish o'quv majmuasining har bir misoliga to'g'ri javoblarni bilishni talab qilmaydi. Bu ichki ma'lumotlar strukturasini yoki ma'lumotlar tizimidagi namunalar orasidagi korrelyatsiyani ochib beradi, bu esa namunalarni toifalarga ajratish imkonini beradi. Aralashtirilgan ta'limda og'irliklarning bir qismi nazorat ostida o'rganish orqali aniqlanadi, qolgan qismi esa o'z-o'zini o'rganish orqali olinadi.
O'rganish nazariyasi misollardan o'rganish bilan bog'liq uchta asosiy xususiyatni ko'rib chiqadi: sig'im, namuna murakkabligi va hisoblash murakkabligi. Imkoniyat tarmoq qancha namunalarni eslab qolishi va unda qanday funktsiyalar va qarorlar chegaralarini shakllantirish mumkinligini anglatadi. Namuna murakkabligi tarmoqni umumlashtirish qobiliyatiga erishish uchun zarur bo'lgan o'quv misollari sonini aniqlaydi. Juda kam misollar tarmoqning "haddan tashqari o'qitilgan" bo'lishiga olib kelishi mumkin, bunda u o'quv to'plamidagi misollarda yaxshi ishlaydi, lekin bir xil statistik taqsimotga bog'liq bo'lgan test misollarida yomon ishlaydi. O'rganish qoidalarining 4 ta asosiy turi mavjud: xatolarni tuzatish, Boltsman mashinasi, Hebb qoidasi va raqobatbardosh o'rganish.

• 
  Xatolarni tuzatish qoidasi. Nazorat ostidagi ta'limda har bir kiritish misolida kerakli natija beriladi d . Haqiqiy tarmoq chiqishi y kerakli bilan mos kelmasligi mumkin. Trening davomida xatolarni tuzatish printsipi og'irliklarni o'zgartirish uchun signal ( d - y ) dan foydalanish, xatoning bosqichma-bosqich kamayishini ta'minlaydi. O'rganish faqat perseptron xato qilganda sodir bo'ladi. Ushbu o'rganish algoritmining turli xil modifikatsiyalari ma'lum.
  
• 
  Boltzmann mashg'ulotlari. Bu axborotning nazariy va termodinamik tamoyillaridan kelib chiqadigan stokastik o'rganish qoidasidir. Boltzmann treningining maqsadi og'irliklarni ko'rinadigan neyronlarning holati istalgan ehtimollik taqsimotini qondiradigan tarzda sozlashdir. Boltzmanni o'rganishni xatolarni tuzatishning maxsus holati sifatida ko'rib chiqish mumkin, bunda xato ikki rejimda holat korrelyatsiyasining farqlanishi sifatida tushuniladi.
  
• 
  Hebb qoidasi. Eng qadimgi ta'lim qoidasi Hebbian ta'lim postulatidir. Hebb quyidagi neyrofiziologik kuzatishlarga tayangan: agar sinapsning har ikki tomonidagi neyronlar bir vaqtda va muntazam ravishda yonib tursa, sinaptik aloqaning kuchi ortadi. Bu qoidaning muhim xususiyati shundaki, sinaptik vaznning o'zgarishi faqat ma'lum bir sinaps bilan bog'langan neyronlarning faolligiga bog'liq. Bu VLSI ilovalaridagi o'rganish zanjirlarini sezilarli darajada soddalashtiradi .
  
• 
  Raqobat orqali mashq qilish. Ko'p chiqish neyronlari bir vaqtning o'zida yonishi mumkin bo'lgan Hebbian ta'limidan farqli o'laroq, raqobatbardosh o'rganishda chiqish neyronlari bir-biri bilan raqobatlashadi. Bu hodisa g'olib hamma narsani oladi qoidasi sifatida tanilgan. Shunga o'xshash o'rganish biologik neyron tarmoqlarda sodir bo'ladi. Raqobat orqali o'rganish kirish ma'lumotlarini klasterlash imkonini beradi: shunga o'xshash misollar korrelyatsiya bo'yicha tarmoq bo'yicha guruhlanadi va bitta element sifatida taqdim etiladi.
  

Trening davomida faqat "yutuvchi" neyronning og'irliklari o'zgartiriladi. Ushbu qoidaning ta'siri tarmoqda saqlangan namunani (yutuvchi neyronning ulanish og'irliklari vektori) o'zgartirish orqali erishiladi, bunda u kirish misoliga biroz yaqinroq bo'ladi. Shaklda. 3-rasmda musobaqa usulidan foydalangan holda mashg'ulotning geometrik tasviri berilgan. Kirish vektorlari normallashtiriladi va shar yuzasidagi nuqtalar bilan ifodalanadi. Uch neyron uchun og'irlik vektorlari tasodifiy qiymatlar bilan ishga tushiriladi. Mashg'ulotdan so'ng ularning boshlang'ich va yakuniy qiymatlari rasmda X bilan belgilangan. mos ravishda 3a va 3b. Misollarning uchta guruhining har biri og'irlik vektori aniqlangan guruhning og'irlik markaziga sozlangan chiqish neyronlaridan biri tomonidan aniqlanadi.

Guruch. 5
Raqobat usulidan foydalangan holda mashg'ulotlarga misol: (a) mashg'ulotdan oldin; (b) mashg'ulotdan keyin.

Ko'rinib turibdiki, o'rganish tezligi parametri 0 bo'lmasa, tarmoq hech qachon o'rganishni to'xtatmaydi. Ba'zi kirish namunasi o'quv jarayonidagi keyingi iteratsiyalarda boshqa chiqish neyronini faollashtirishi mumkin. Bu kadrlar tayyorlash tizimining barqarorligi masalasini ko‘taradi. Agar o'qitish namunasidagi misollarning hech biri o'quv jarayonining cheklangan miqdordagi takrorlanishidan keyin o'z toifa a'zoligini o'zgartirmasa, tizim barqaror hisoblanadi. Barqarorlikka erishish usullaridan biri o'rganish tezligi parametrini 0 ga bosqichma-bosqich kamaytirishdir. Biroq, o'rganishni sun'iy ravishda inhibe qilish yangi ma'lumotlarga moslashish qobiliyati bilan bog'liq bo'lgan plastisiya deb ataladigan boshqa muammoni keltirib chiqaradi. Raqobatbardosh o'rganishning bu xususiyatlari barqarorlik-plastiklik dilemmasi deb nomlanadi.

1-jadvalda turli xil o'rganish algoritmlari va ular bilan bog'liq tarmoq arxitekturalari keltirilgan (ro'yxat to'liq emas). Oxirgi ustunda har bir algoritm qo'llanilishi mumkin bo'lgan vazifalar ro'yxati keltirilgan. Har bir o'rganish algoritmi ma'lum bir arxitektura tarmog'iga qaratilgan va cheklangan vazifalar sinfi uchun mo'ljallangan. Muhokama qilinganlardan tashqari, ba'zi boshqa algoritmlarni ham aytib o'tish kerak: Adaline va Madaline , chiziqli diskriminant tahlili, Sammon proyeksiyalari, asosiy komponentlar tahlili.



1-jadval - Algoritmlarni o'rganish va ular bilan bog'liq tarmoq arxitekturasi