Sun'iy neyron tarmoqlari Biologiyadan parallellik

2.2 Qayta tayyorlash va umumlashtirish

Belgilangan yondashuv bilan bog'liq eng jiddiy qiyinchiliklardan biri shundaki, biz haqiqatan ham minimallashtirishimiz kerak bo'lgan noto'g'ri xatoni - tarmoqqa butunlay yangi kuzatuvlar kiritilganda kutish mumkin bo'lgan xatoni minimallashtirmoqdamiz. Boshqacha qilib aytganda, biz neyron tarmoq natijani yangi kuzatishlar uchun umumlashtirish qobiliyatiga ega bo'lishini xohlaymiz. Aslida, tarmoq o'quv majmuasidagi xatolikni minimallashtirishga o'rgatilgan va ideal va cheksiz katta o'quv majmuasi bo'lmaganda, bu avvalgisining xato yuzasida "haqiqiy" xatoni minimallashtirish bilan bir xil emas. hodisaning noma'lum modeli (Bishop, 1995).

Bu farq haddan tashqari o'rnatish yoki juda yaqin o'rnatish muammosida eng aniq namoyon bo'ladi. Ushbu hodisani neyron tarmog'i uchun emas, balki polinomlar yordamida yaqinlashish misolidan foydalanib ko'rsatish osonroq bo'ladi - va hodisaning mohiyati mutlaqo bir xil.
Ko'phad (yoki ko'phad) mustaqil o'zgaruvchining faqat doimiylari va butun sonidan iborat ifodadir. Mana misollar:

y=2x+3
y=3x2+4x+1

Ko'phadlar grafiklari turli shakllarga ega bo'lishi mumkin va polinom darajasi qanchalik baland bo'lsa (demak, unda qancha atamalar mavjud bo'lsa), bu shakl shunchalik murakkab bo'lishi mumkin. Agar bizda ba'zi ma'lumotlar mavjud bo'lsa, biz unga polinom egri chizig'ini (modelni) moslashtirish maqsadini qo'yishimiz va shu bilan mavjud munosabatlar uchun tushuntirish olishimiz mumkin. Bizning ma'lumotlarimiz shovqinli bo'lishi mumkin, shuning uchun biz eng yaxshi model barcha mavjud nuqtalardan aniq o'tadigan egri chiziq bilan berilgan deb taxmin qila olmaymiz. Past tartibli ko'phad ma'lumotlarga mos keladigan darajada moslashuvchan bo'lmasligi mumkin, yuqori tartibli ko'phad esa juda moslashuvchan bo'lishi mumkin va ma'lumotlarga to'liq amal qiladi, lekin haqiqiy munosabatlar shakliga hech qanday aloqasi bo'lmagan burilish shaklini oladi. (rasmga qarang).

6-rasm – Polinom grafigi

Neyron tarmog'i ham xuddi shunday qiyinchilikka duch keladi. Og'irligi ko'proq bo'lgan tarmoqlar murakkabroq funktsiyalarni modellashtiradi va shuning uchun haddan tashqari moslashishga moyil. Kichkina vaznli tarmoq mavjud qaramlikni modellashtirish uchun etarlicha moslashuvchan bo'lmasligi mumkin. Misol uchun, oraliq qatlamlari bo'lmagan tarmoq aslida muntazam chiziqli funktsiyani modellashtiradi.

Tarmoq uchun "to'g'ri" murakkablik darajasini qanday tanlash mumkin? Deyarli har doim murakkabroq tarmoq kichikroq xatoga olib keladi, lekin bu modelning yaxshi sifatini ko'rsatmasligi mumkin, aksincha, haddan tashqari mos keladi.
Javob o'zaro tekshirish mexanizmidan foydalanishdir. Biz ba'zi o'quv kuzatuvlarini saqlab qo'yamiz va ularni orqaga tarqalish algoritmini o'rgatishda foydalanmaymiz. Buning o'rniga, algoritm ishlayotganda, ular natijani mustaqil ravishda kuzatish uchun ishlatiladi. Ishning boshida o'quv va nazorat to'plamlarida tarmoq xatosi bir xil bo'ladi (agar ular sezilarli darajada farq qilsa, ehtimol barcha kuzatuvlarni ikkita to'plamga bo'lish heterojen bo'lgan). Tarmoq o'rganishi bilan mashg'ulot xatosi tabiiy ravishda kamayadi va mashg'ulot haqiqiy xato funktsiyasini kamaytirar ekan, test to'plamidagi xato ham kamayadi. Agar nazorat xatosi pasayishni to'xtatsa yoki hatto ko'paya boshlasa, bu tarmoq ma'lumotlarga juda yaqinroq yaqinlasha boshlaganligini va mashg'ulotlarni to'xtatish kerakligini ko'rsatadi. O'quv jarayonida haddan tashqari aniq yaqinlashishning bunday hodisasi haddan tashqari moslashish deb ataladi. Agar bu sodir bo'lsa, odatda yashirin elementlar va/yoki qatlamlar sonini kamaytirish tavsiya etiladi, chunki tarmoq bu vazifa uchun juda kuchli. Agar, aksincha, tarmoq mavjud qaramlikni modellashtirish uchun etarlicha boy bo'lmagan bo'lsa, unda qayta tayyorlash katta ehtimol bilan sodir bo'lmaydi va ikkala xato - o'qitish va sinovdan o'tkazish - kichiklikning etarli darajasiga etib bormaydi.
Mahalliy minimal va tarmoq hajmini tanlash bilan bog'liq tavsiflangan muammolar, amaliyotda neyron tarmoqlar bilan ishlashda, qoida tariqasida, ko'p sonli turli xil tarmoqlar bilan tajriba o'tkazishga, ba'zan ularning har birini bir necha marta o'qitishga (shuning uchun) olib keladi. mahalliy minimallar tomonidan adashmaslik uchun) va olingan natijalarni taqqoslash. Natija sifatining asosiy ko'rsatkichi - nazorat xatosi. Shu bilan birga, umumiy ilmiy printsipga muvofiq, unga ko'ra, boshqa narsalar teng bo'lsa, boshqaruv xatolari taxminan teng bo'lgan ikkita tarmoqdan oddiyroq modelga ustunlik berish kerak, kichikroqni tanlash mantiqan.
Takroriy tajribalar o‘tkazish zarurati shunday holatga olib keladiki, boshqaruv majmuasi model tanlashda asosiy rol o‘ynay boshlaydi, ya’ni u o‘quv jarayonining bir qismiga aylanadi. Bu uning model sifatining mustaqil mezoni sifatidagi rolini zaiflashtiradi - ko'p sonli tajribalar bilan boshqaruv to'plamida yaxshi natija beradigan "muvaffaqiyatli" tarmoqni tanlash xavfi mavjud. Yakuniy modelga to'g'ri ishonchlilikni berish uchun ular ko'pincha (hech bo'lmaganda o'quv ma'lumotlari hajmi imkon berganda) buni amalga oshiradilar: ular yana bittasini - kuzatuvlarning sinov to'plamini zahiraga oladilar. Yakuniy model ushbu to'plamdagi ma'lumotlar bo'yicha sinovdan o'tkaziladi va o'quv va nazorat to'plamlarida erishilgan natijalar o'quv jarayonining artefaktlari emas, balki haqiqiy ekanligini ta'minlaydi. Albatta, o'z rolini yaxshi o'ynash uchun test majmuasidan faqat bir marta foydalanish kerak: agar u o'quv jarayonini sozlash uchun qayta ishlatilsa, u aslida nazorat majmuasiga aylanadi.