Sun'iy neyron tarmoqlari Biologiyadan parallellik

Ehtimoliy neyron tarmog'i

Ma'lumotlardan ehtimollik zichligini (pdf) baholash muammosi matematik statistikada uzoq tarixga ega va Bayes statistikasi sohasiga tegishli. Berilgan model uchun oddiy statistik ma'lumotlar bizga ma'lum bir natijaning ehtimoli qanday bo'lishini aytadi (masalan, o'rtacha olti martadan bittasi oltitaga tushadi). Bayes statistikasi savolni teskarisiga aylantiradi: modelning to'g'riligi mavjud ishonchli ma'lumotlar asosida baholanadi. Umuman olganda, Bayes statistikasi mavjud ma'lumotlarni hisobga olgan holda model parametrlarini taqsimlash ehtimoli zichligini baholashga imkon beradi. Xatoni minimallashtirish uchun, ehtimollik zichligi eng katta bo'lgan parametrlarga ega model tanlanadi.

Tasniflash masalasini yechishda siz har bir sinf uchun ehtimollik zichligini baholashingiz, turli sinflarga mansublik ehtimolini solishtirishingiz va eng ehtimoliyini tanlashingiz mumkin. Aslida, biz neyron tarmoqni tasniflash muammosini hal qilishga o'rgatganimizda aynan shunday bo'ladi - tarmoq ehtimollik zichligini aniqlashga (ya'ni, taxminiy) harakat qiladi.
Muammoga an'anaviy yondashuv mavjud ma'lumotlardan ehtimollik zichligi uchun smeta tuzishdir. Odatda zichlik ma'lum bir shaklga ega deb taxmin qilinadi (ko'pincha u normal taqsimotga ega). Shundan so'ng, model parametrlari baholanadi. Oddiy taqsimot ko'pincha ishlatiladi, chunki u holda model parametrlarini (o'rtacha va standart og'ish) analitik baholash mumkin. Biroq, savol shundaki, normallik farazi har doim ham oqlanmaydi.
Ehtimollik zichligini baholashning yana bir yondashuvi yadro baholariga asoslanadi. Bunday fikrni aytish mumkin: kuzatuv fazoning ma'lum bir nuqtasida joylashganligi, bu nuqtada ma'lum bir ehtimollik zichligi mavjudligini ko'rsatadi. Yaqin atrofdagi nuqtalarning klasterlari bu joylashuvdagi ehtimollik zichligi yuqori ekanligini ko'rsatadi. Kuzatishga yaqin joyda zichlik darajasiga ishonch ko'proq bo'ladi va undan uzoqlashgan sari ishonch pasayadi va nolga intiladi. Yadro smetatori usulida har bir kuzatishga mos keladigan nuqtaga oddiy funksiya joylashtiriladi, so‘ngra ularning barchasi qo‘shiladi va natijada umumiy ehtimollik zichligi bahosi olinadi. Ko'pincha Gauss funktsiyalari (qo'ng'iroq shakli bilan) yadro funktsiyalari sifatida qabul qilinadi. Agar etarli miqdordagi ta'lim misollari mavjud bo'lsa, unda bu usul haqiqiy ehtimollik zichligiga juda yaxshi yaqinlik beradi.
Yadro funksiyalaridan foydalangan holda ehtimollik zichligini yaqinlashtirish usuli ko'p jihatdan radial asosli funksiyalar usuliga o'xshaydi va shuning uchun biz tabiiy ravishda ehtimollik neyron tarmog'i (PNN) va umumlashtirilgan regressiya neyron tarmog'i (GRNN) tushunchalariga kelamiz. PNN tarmoqlari tasniflash muammolari uchun, GRNNlar esa regressiya muammolari uchun mo'ljallangan. Ushbu ikki turdagi tarmoqlar neyron tarmoq sifatida ishlab chiqilgan yadroga yaqinlashish usullarini amalga oshirishdir.
PNN tarmog'i kamida uchta qatlamga ega: kirish, radial va chiqish. Radial elementlar har bir mashg'ulot kuzatuvi uchun birma-bir olinadi. Ularning har biri ushbu kuzatuvga asoslangan Gauss funktsiyasini ifodalaydi. Har bir sinf bitta chiqish elementiga mos keladi. Har bir bunday element o'z sinfiga kiruvchi barcha radial elementlar bilan bog'langan va u boshqa barcha radial elementlar bilan nol aloqaga ega. Shunday qilib, chiqish elementi shunchaki o'z sinfiga tegishli barcha elementlarning javoblarini qo'shadi. Chiqish signallarining qiymatlari tegishli sinflarga tegishli bo'lish ehtimolining yadro baholariga mutanosib ravishda olinadi va ularni birlikka normallashtirish orqali biz sinflarga tegishli bo'lish ehtimolining yakuniy baholarini olamiz.
PNN tarmog'ining asosiy modeli ikkita modifikatsiyaga ega bo'lishi mumkin.
Birinchi holda, biz o'quv majmuasidagi sinflarning nisbati ularning butun o'rganilayotgan populyatsiyadagi nisbatlariga (yoki oldingi ehtimollar deb ataladigan) mos keladi deb taxmin qilamiz. Misol uchun, agar barcha odamlar orasida 2% kasal bo'lsa, unda kasallikni aniqlaydigan tarmoq uchun o'quv majmuasida 2% kasal bo'lishi kerak. Agar oldingi ehtimollar o'quv majmuasidagi nisbatlardan farq qilsa, tarmoq noto'g'ri natija beradi. Buni keyinchalik turli sinflar uchun tuzatish omillarini kiritish orqali hisobga olish mumkin (agar oldingi ehtimolliklar ma'lum bo'lsa).
Ikkinchi modifikatsiya varianti quyidagi fikrga asoslanadi. Tarmoq tomonidan ishlab chiqarilgan har qanday baholash shovqinli ma'lumotlarga asoslanadi va muqarrar ravishda individual tasniflash xatolariga olib keladi (masalan, ba'zi bemorlar butunlay normal test natijalariga ega bo'lishi mumkin). Ba'zida xatolarning ba'zi turlari boshqalarga qaraganda "qimmatroq" ekanligini hisobga olish tavsiya etiladi (masalan, agar sog'lom odamga kasal deb tashxis qo'yilsa, bu uning tekshiruvi uchun ortiqcha xarajatlarni keltirib chiqaradi, ammo hayotga xavf tug'dirmaydi; agar haqiqiy bemor aniqlanmagan, keyin bu o'limga olib kelishi mumkin). Bunday vaziyatda tarmoq ishlab chiqaradigan ehtimolliklarni tasniflash xatolarining nisbiy narxini aks ettiruvchi yo'qotish koeffitsientlari bilan ko'paytirish kerak.
Ehtimoliy neyron tarmog'i yagona boshqaruv o'rganish parametriga ega, uning qiymati foydalanuvchi tomonidan tanlanishi kerak - tekislash darajasi (yoki Gauss funktsiyasining og'ishi). RBF tarmoqlarida bo'lgani kabi, bu parametr qopqoqlar "ma'lum bir necha marta bir-biriga mos kelishi" uchun tanlanadi: juda kichik og'ishlarni tanlash "keskin" yaqinlashuvchi funktsiyalarga va tarmoqni umumlashtirishga qodir emasligiga olib keladi va agar og'ishlar bo'lsa juda katta, tafsilotlar yo'qoladi. Kerakli qiymatni eksperimental tarzda topish oson, uni boshqarish xatosi imkon qadar kichik bo'lishi uchun tanlash. Yaxshiyamki, PNN tarmoqlari silliqlash parametrini tanlashga juda sezgir emas.
PNN tarmoqlarining eng muhim afzalliklari shundan iboratki, chiqish ehtimoli (va shuning uchun izohlash osonroq) va tarmoq tezda o'rganadi. Bunday tarmoqni o'rgatishda vaqt deyarli faqat uni o'rgatish kuzatuvlarini kirish sifatida ta'minlashga sarflanadi va tarmoq imkon qadar tez ishlaydi.
Bunday tarmoqlarning muhim kamchiliklari ularning hajmidir. PNN tarmog'i aslida barcha o'quv ma'lumotlarini o'z ichiga oladi, shuning uchun u juda ko'p xotira talab qiladi va sekin bo'lishi mumkin.
PNNlar, ayniqsa, sinov tajribalari uchun foydalidir (masalan, qaysi kiritish o'zgaruvchilardan foydalanishni hal qilish kerak bo'lganda), chunki qisqa o'qitish vaqti sizga ko'p sonli sinov sinovlaridan tezda o'tishga imkon beradi.

5.