Sun'iy neyron tarmoqlari Biologiyadan parallellik

2.1 Orqaga tarqalish algoritmi

Neyron tarmog'ini o'qitish algoritmining eng mashhur versiyasi orqaga tarqalish algoritmi deb ataladi. Konjugat gradient usuli va Levenberg-Marquard usuli kabi zamonaviy ikkinchi tartibli algoritmlar mavjud bo'lib, ular ko'p masalalarda (ba'zan kattalik tartibida) sezilarli darajada tezroq ishlaydi. Orqaga tarqalish algoritmi eng oson tushuniladi va ba'zi hollarda u ma'lum afzalliklarga ega. Biz buni hozir tasvirlab beramiz va keyinroq ilg'or algoritmlarni ko'rib chiqamiz. Ushbu algoritmning evristik modifikatsiyalari ham ishlab chiqilgan bo'lib, ular muammolarning ma'lum sinflari uchun yaxshi ishlaydi - tez tarqalish (Fahlman, 1988) va xususiyatga ega Delta-delta (Jacobs, 1988).

Orqaga tarqalish algoritmida xato sirtining gradient vektori hisoblanadi. Ushbu vektor ma'lum bir nuqtadan sirt bo'ylab eng qisqa tushish yo'nalishini ko'rsatadi, shuning uchun agar biz "biroz" bo'ylab harakat qilsak, xato kamayadi. Bunday qadamlarning ketma-ketligi (pastki qismga yaqinlashganda sekinlash) oxir-oqibat minimal bir turga yoki boshqasiga olib keladi. Bu erda ma'lum bir qiyinchilik - qancha qadamlar qo'yish kerakligi haqidagi savol.
Katta qadam uzunligi bilan konvergentsiya tezroq bo'ladi, lekin yechim ustidan sakrab o'tish yoki (agar xato yuzasi ayniqsa murakkab shaklga ega bo'lsa) noto'g'ri yo'nalishga o'tish xavfi mavjud. Neyron tarmog'ini o'rgatishda ushbu hodisaning klassik misoli - algoritm tik yonbag'irli tor jar bo'ylab juda sekin harakatlanib, bir tomondan ikkinchisiga sakrab o'tadigan vaziyat. Aksincha, kichik bir qadam sizni to'g'ri yo'nalishga olib kelishi mumkin, ammo bu juda ko'p takrorlashni talab qiladi. Amalda, qadam o'lchami qiyalikning tikligiga mutanosib ravishda olinadi (shunday qilib algoritm minimalga yaqin sekinlashadi), o'rganish tezligi deb ataladigan ba'zi bir doimiy. O'rganish tezligini to'g'ri tanlash muayyan vazifaga bog'liq va odatda empirik tarzda amalga oshiriladi; bu konstanta ham vaqtga bog'liq bo'lishi mumkin, algoritm davom etganda kamayib boradi.
Odatda bu algoritm impuls (yoki inersiya) atamasini kiritish uchun o'zgartiriladi. Bu atama belgilangan yo'nalishda taraqqiyotga yordam beradi, shuning uchun bir xil yo'nalishda bir nechta qadamlar qo'yilgan bo'lsa, algoritm "tezlikni oshiradi", bu (ba'zan) mahalliy minimaldan qochishga, shuningdek, tekis joylardan tezroq o'tishga imkon beradi.
Shunday qilib, algoritm iterativ ishlaydi va uning bosqichlari odatda davrlar deb ataladi. Har bir davrda barcha o'quv kuzatuvlari o'z navbatida tarmoqning kirishiga yuboriladi, tarmoqning chiqish qiymatlari maqsadli qiymatlar bilan taqqoslanadi va xatolik hisoblab chiqiladi. Xato qiymati, shuningdek, xato sirtining gradienti og'irliklarni sozlash uchun ishlatiladi, shundan so'ng barcha qadamlar takrorlanadi. Tarmoqning dastlabki konfiguratsiyasi tasodifiy tanlanadi va o'quv jarayoni ma'lum davrlar o'tganda yoki xato ma'lum bir kichiklik darajasiga yetganda yoki xato kamayishni to'xtatganda (foydalanuvchi kerakli to'xtashni tanlashi mumkin) to'xtaydi. holat).