Sun'iy neyron tarmoqlari Biologiyadan parallellik

Ko'p qatlamli perseptron ( MLP )

Bu, ehtimol, bugungi kunda eng ko'p ishlatiladigan tarmoq arxitekturasi. U Rumelhart va McClelland (1986) tomonidan taklif qilingan va neyron tarmoqlar bo'yicha deyarli barcha darsliklarda batafsil muhokama qilingan. Ushbu turdagi tarmoq yuqorida qisqacha tavsiflangan. Tarmoqning har bir elementi atama sifatida sozlangan o'z kirishlarining vaznli yig'indisini tuzadi va keyin ushbu elementning chiqish qiymatini ishlab chiqarish uchun ushbu faollashtirish qiymatini uzatish funktsiyasi orqali o'tkazadi. Elementlar to'g'ridan-to'g'ri signal uzatilishi bilan qatlam-qatlam topologiyasida tashkil etilgan. Bunday tarmoqni kirish-chiqish modeli sifatida osongina talqin qilish mumkin, unda vaznlar va chegaralar (biaslar) modelning erkin parametrlari hisoblanadi. Bunday tarmoq deyarli har qanday murakkablik darajasidagi funksiyani modellashtirishi mumkin, bunda qatlamlar soni va har bir qatlamdagi elementlar soni funksiyaning murakkabligini belgilaydi. Oraliq qatlamlar sonini va ulardagi elementlar sonini aniqlash MLPni loyihalashda muhim masala hisoblanadi.

Kirish va chiqish elementlarining soni muammoning shartlari bilan belgilanadi. Qaysi kirish qiymatlaridan foydalanish va qaysi birini ishlatmaslik haqida shubhalar paydo bo'lishi mumkin, bu masalaga keyinroq qaytamiz. Hozircha biz kirish o'zgaruvchilari intuitiv ravishda tanlangan va ularning barchasi muhim deb taxmin qilamiz. Ularda qancha oraliq qatlam va elementlardan foydalanish kerakligi haqidagi savol hali ham to'liq noaniq. Dastlabki taxmin sifatida biz bitta oraliq qatlamni olamiz va undagi elementlar sonini kirish va chiqish elementlari sonining yarmiga teng qilib belgilashimiz mumkin. Shunga qaramay, biz bu masalani keyinroq batafsilroq muhokama qilamiz.


3.1 Ko'p qatlamli perseptronlarni tayyorlash

Qatlamlar soni va ularning har biridagi elementlar soni aniqlangandan so'ng, tarmoq tomonidan ishlab chiqarilgan prognozdagi xatolikni minimallashtiradigan tarmoqning og'irliklari va chegaralari uchun qiymatlarni topish kerak. Bu o'rganish algoritmlari uchun. Yig'ilgan tarixiy ma'lumotlardan foydalanib, og'irliklar va chegaralar ushbu xatoni minimallashtirish uchun avtomatik ravishda o'rnatiladi. Asosan, bu jarayon tarmoq tomonidan amalga oshirilgan modelni mavjud o'quv ma'lumotlariga moslashtirishdir. Muayyan tarmoq konfiguratsiyasi uchun xato tarmoq orqali barcha mavjud kuzatuvlarni bajarish va haqiqiy chiqish qiymatlarini kerakli (maqsadli) qiymatlar bilan taqqoslash orqali aniqlanadi. Bunday farqlarning barchasi xato funktsiyasi deb ataladigan narsaga jamlanadi, uning qiymati tarmoq xatosi hisoblanadi. Xato funktsiyasi ko'pincha kvadrat xatolar yig'indisi sifatida qabul qilinadi, ya'ni. barcha kuzatishlar uchun chiqish elementlarining barcha xatolari kvadratga aylantirilganda va keyin yig'ilganda.

An'anaviy modellashtirishda (masalan, chiziqli modellashtirish) belgilangan xato uchun mutlaq minimumni ishlab chiqaradigan model konfiguratsiyasini algoritmik tarzda aniqlash mumkin. Neyron tarmoqlarning kattaroq (chiziqli bo'lmagan) modellashtirish imkoniyatlari uchun biz to'laydigan narx shundan iboratki, biz tarmoqni xatolarni minimallashtirish uchun sozlaganimizda, biz bundan ham kichikroq xatoga erisha olmasligimizga hech qachon ishonch hosil qila olmaymiz.
Xato yuzasi tushunchasi bu mulohazalarda juda foydali. Tarmoq og'irliklari va chegaralarining har biri (ya'ni, modelning erkin parametrlari; ularning umumiy soni N bilan belgilanadi) ko'p o'lchovli makonda bitta o'lchamga mos keladi. N+1 o'lchovi tarmoq xatosiga mos keladi. Og'irliklarning barcha mumkin bo'lgan kombinatsiyalari uchun mos keladigan tarmoq xatosi N+1 o'lchovli fazodagi nuqta bilan ifodalanishi mumkin va bunday nuqtalarning barchasi u erda ma'lum bir sirtni - xato sirtini hosil qiladi. Neyron tarmog'ini o'rgatishdan maqsad bu ko'p o'lchovli sirtdagi eng past nuqtani topishdir.
Xato funktsiyasi sifatida kvadratlar yig'indisiga ega chiziqli modelda, bu xato yuzasi paraboloid (kvadrik) bo'ladi - tekis sirt, shar yuzasining bir qismiga o'xshash, bitta minimumga ega. Bunday vaziyatda ushbu minimumni mahalliylashtirish juda oddiy.
Neyron tarmog'i holatida xato yuzasi ancha murakkab tuzilishga ega va bir qator noxush xususiyatlarga ega, xususan, u mahalliy minimallarga ega bo'lishi mumkin (ba'zi mahallalarda eng past nuqtalar, lekin global miqyosdan yuqorida joylashgan nuqtalar). minimal), tekis joylar, egar nuqtalari va uzun tor jarliklar.
Xato yuzasida global minimumning o'rnini analitik usullar bilan aniqlash mumkin emas, shuning uchun neyron tarmoqni o'rgatish mohiyatan xato sirtini o'rganishdan iborat. Og'irliklar va chegaralarning tasodifiy boshlang'ich konfiguratsiyasidan (ya'ni, xato yuzasidagi tasodifiy nuqta) boshlab, o'rganish algoritmi asta-sekin global minimumni topadi. Odatda, bu ma'lum bir nuqtada xato yuzasining gradientini (qiyalik) hisoblash va keyin bu ma'lumotlardan nishabdan pastga siljish uchun foydalanish orqali amalga oshiriladi. Oxir-oqibat, algoritm pastki nuqtada to'xtaydi, bu faqat mahalliy minimal bo'lishi mumkin (yoki omadingiz bo'lsa, global minimum).

4.