Rekurrent to’rlar Reja

Rekurrent to’rlar
Reja:

1. 
   Takroriy neyron tarmoqlar nima?
   
2. 
   Takroriy neyron tarmoqlarning turlari
   
3. 
   Takroriy neyron tarmoqlarining asossiz samaradorligi
   
4. 
   Xulosa
   

Takroriy neyron tarmoqlar nima?
Takroriy neyron tarmoq (RNN) - bu ketma-ket ma'lumotlar yoki vaqt seriyasi ma'lumotlaridan foydalanadigan sun'iy neyron tarmoq turi. Ushbu chuqur o'rganish algoritmlari odatda ordinal yoki vaqtinchalik muammolar uchun ishlatiladi, masalan, tilni tarjima qilish, tabiiy tilni qayta ishlash (nlp), nutqni aniqlash va tasvirga sarlavha qo'yish; ular Siri, ovozli qidiruv va Google Translate kabi mashhur ilovalarga kiritilgan. Oldinga va konvolyutsion neyron tarmoqlari (CNN) singari, takroriy neyron tarmoqlar o'rganish uchun o'quv ma'lumotlaridan foydalanadi. Ular o'zlarining "xotirasi" bilan ajralib turadi, chunki ular joriy kirish va chiqishga ta'sir qilish uchun oldingi kirishlardan ma'lumot oladi. An'anaviy chuqur neyron tarmoqlari kirish va chiqishlar bir-biridan mustaqil deb hisoblansa-da, takroriy neyron tarmoqlarning chiqishi ketma-ketlikdagi oldingi elementlarga bog'liq. Kelajakdagi hodisalar ma'lum ketma-ketlikning natijasini aniqlashda ham foydali bo'lsa-da, bir tomonlama takrorlanuvchi neyron tarmoqlar o'zlarining bashoratlarida bu hodisalarni hisobga olmaydilar.
Keling, RNNlarni tushuntirishda bizga yordam berish uchun kimdir kasal bo'lganida tez-tez ishlatiladigan "ob-havo ostida his qilish" kabi idiomani olaylik. Idioma ma'noga ega bo'lishi uchun u aniq tartibda ifodalanishi kerak. Natijada, takrorlanuvchi tarmoqlar idiomadagi har bir so'zning o'rnini hisobga olishlari kerak va ular bu ma'lumotlardan ketma-ketlikdagi keyingi so'zni bashorat qilish uchun foydalanadilar.
Takroriy tarmoqlarning yana bir ajralib turadigan xususiyati shundaki, ular tarmoqning har bir qatlami bo'ylab parametrlarni almashadilar. Oldinga yo'naltirilgan tarmoqlar har bir tugun bo'ylab turli og'irliklarga ega bo'lsa-da, takroriy neyron tarmoqlar tarmoqning har bir qatlamida bir xil vazn parametrlarini bo'lishadi. Ya'ni, bu og'irliklar hali ham o'rganishni kuchaytirish uchun orqaga tarqalish va gradient tushish jarayonlarida sozlanadi.
Takroriy neyron tarmoqlar gradientlarni aniqlash uchun vaqt bo'yicha orqaga tarqalish (BPTT) algoritmidan foydalanadi, bu ma'lumotlar ketma-ketligiga xos bo'lganligi sababli an'anaviy orqaga tarqalishdan biroz farq qiladi. BPTT printsiplari an'anaviy orqaga tarqalish bilan bir xil bo'lib, bu erda model chiqish qatlamidan kirish qatlamigacha bo'lgan xatolarni hisoblash orqali o'zini o'zi o'rgatadi. Ushbu hisob-kitoblar bizga modelning parametrlarini mos ravishda moslashtirish va moslashtirish imkonini beradi. BPTT an'anaviy yondashuvdan farq qiladi, chunki BPTT har bir bosqichda xatolarni yig'adi, oldinga uzatish tarmoqlari esa xatolarni yig'ishga hojat yo'q, chunki ular har bir qatlam bo'ylab parametrlarni baham ko'rmaydi.
Ushbu jarayon orqali RNNlar portlovchi gradientlar va yo'qolgan gradientlar deb nomlanuvchi ikkita muammoga duch kelishadi. Bu masalalar xato egri chizig'i bo'ylab yo'qotish funktsiyasining qiyaligi bo'lgan gradientning o'lchami bilan belgilanadi. Gradient juda kichik bo'lsa, u kichikroq bo'lishda davom etadi va vazn parametrlari ahamiyatsiz bo'lguncha yangilanadi, ya'ni 0 Bu sodir bo'lganda, algoritm endi o'rganmaydi. Portlash gradientlari gradient juda katta bo'lganda paydo bo'lib, beqaror modelni yaratadi. Bunday holda, model og'irliklari juda katta bo'ladi va ular oxir-oqibat NaN sifatida ifodalanadi. Ushbu muammolarni hal qilishdan biri neyron tarmog'idagi yashirin qatlamlar sonini kamaytirish, RNN modelidagi ba'zi murakkabliklarni bartaraf etishdir.¹
1 -rasm (Neyron tarmoqlarni tekshirish)
An'anaviy mashinani o'rganish va poydevor modellari tomonidan quvvatlanadigan yangi generativ AI qobiliyatlarini birlashtirgan yangi korporativ studiya.
Takroriy neyron tarmoqlarning turlari
O ldinga uzatish tarmoqlari bitta kirishni bitta chiqish bilan taqqoslaydi va biz yuqoridagi diagrammalarda takrorlanuvchi neyron tarmoqlarni shu tarzda tasvirlagan bo'lsak-da, ular aslida bunday cheklovga ega emas. Buning o'rniga,
2-rasm (Umumiy faollashtirish funktsiyalari)
ularning kirish va chiqishlari uzunligi bo'yicha farq qilishi mumkin va turli xil RNN turlari musiqa yaratish, hissiyotlarni tasniflash va mashina tarjimasi kabi turli xil foydalanish holatlari uchun ishlatiladi.
Neyron tarmoqlarini o'rganish maqolasida muhokama qilinganidek, faollashtirish funktsiyasi neyronni faollashtirish kerakligini aniqlaydi. Chiziqli bo'lmagan funktsiyalar odatda ma'lum neyronning chiqishini 0 va 1 yoki -1 va 1 orasidagi qiymatga aylantiradi.

3-rasm (RNN arxitekturalari)

Ikki tomonlama takrorlanuvchi neyron tarmoqlari (BRNN): Bular RNN ning variantli tarmoq arxitekturasidir. Bir yo'nalishli RNNlar hozirgi holat haqida bashorat qilish uchun faqat oldingi kirishlardan olinishi mumkin bo'lsa-da, ikki tomonlama RNNlar uning aniqligini oshirish uchun kelajakdagi ma'lumotlarni oladi. Agar biz ushbu maqolaning boshida "ob-havo ostida his qilish" misoliga qaytsak, model ketma-ketlikdagi oxirgi so'z "ob-havo" ekanligini bilsa, ushbu iboradagi ikkinchi so'z "ostida" ekanligini yaxshiroq taxmin qilishi mumkin.
Uzoq qisqa muddatli xotira (LSTM) : Bu mashhur RNN arxitekturasi boʻlib, u Sepp Xochreyter va Yurgen Shmidxuber tomonidan yoʻqolib borayotgan gradient muammosiga yechim sifatida taqdim etilgan. Oz qog’ozlarida (havola IBMdan tashqarida joylashgan), ular uzoq muddatli bog'liqlik muammosini hal qilish uchun ishlaydi. Ya'ni, agar joriy bashoratga ta'sir qiluvchi oldingi holat yaqin o'tmishda bo'lmasa, RNN modeli hozirgi holatni aniq bashorat qila olmasligi mumkin. Misol tariqasida aytaylik, biz kursiv bilan yozilgan quyidagi so'zlarni bashorat qilmoqchi edik: “Elis yong'oqlarga allergiyasi bor. U yeryong‘oq yog‘ini yeya olmaydi ”. Yong'oq allergiyasining konteksti bizga eyish mumkin bo'lmagan oziq-ovqat tarkibida yong'oq borligini taxmin qilishga yordam beradi. Biroq, agar bu kontekst bir necha jumladan oldin bo'lsa, RNN ma'lumotni ulashni qiyinlashtiradi yoki hatto imkonsiz qiladi. Buni bartaraf etish uchun LSTM-larda neyron tarmoqning yashirin qatlamlarida uchta eshik - kirish eshigi, chiqish eshigi va unutish eshigi mavjud bo'lgan "hujayralar" mavjud. Ushbu eshiklar tarmoqdagi chiqishni bashorat qilish uchun zarur bo'lgan ma'lumotlar oqimini boshqaradi. Misol uchun, agar "u" kabi jins olmoshlari oldingi jumlalarda bir necha marta takrorlangan bo'lsa, siz buni hujayra holatidan chiqarib tashlashingiz mumkin.
Gated recurrent units (GRU): Ushbu RNN varianti LSTM-larga o'xshaydi, chunki u RNN modellarining qisqa muddatli xotira muammosini hal qilish uchun ham ishlaydi. "Hujayra holati" ma'lumotlarini tartibga solish o'rniga, u yashirin holatlardan foydalanadi va uchta eshik o'rniga ikkita - qayta o'rnatish va yangilash eshigi mavjud. LSTM ichidagi eshiklarga o'xshab, qayta o'rnatish va yangilash shlyuzlari qancha va qaysi ma'lumotni saqlashni nazorat qiladi.²
Takroriy neyron tarmoq (RNN) sun'iy neyron tarmog'ining ikkita keng turidan biri bo'lib, uning qatlamlari orasidagi ma'lumotlar oqimining yo'nalishi bilan tavsiflanadi. Bir yo'nalishli oldinga yo'naltirilgan neyron tarmog'idan farqli o'laroq, bu ikki yo'nalishli sun'iy neyron tarmoq bo'lib, u ba'zi tugunlardan chiqish bir xil tugunlarga keyingi kirishga ta'sir qilish imkonini beradi. Ularning kirishlarning ixtiyoriy ketma-ketligini qayta ishlash uchun ichki holat (xotira) dan foydalanish qobiliyati ularni qismlarga ajratilmagan, bogʻlangan qoʻl yozuvini aniqlash yoki nutqni aniqlash kabi vazifalarga qoʻllash imkonini beradi. "Takrorlanuvchi neyron tarmoq" atamasi cheksiz impulsli javobga ega bo'lgan tarmoqlar sinfiga ishora qilish uchun ishlatiladi, "konvolyutsion neyron tarmoq" esa cheklangan impulsli javob sinfini anglatadi. Tarmoqlarning ikkala klassi ham vaqtinchalik dinamik xatti-harakatlarni namoyish etadi. Cheklangan impulsli takrorlanuvchi tarmoq yo'naltirilgan siklik grafik bo'lib, uni yo'naltirish va qat'iy oldinga yo'naltirilgan neyron tarmoq bilan almashtirish mumkin, cheksiz impulsli takroriy tarmoq esa yo'naltirilgan siklik grafik bo'lib, uni yo'naltirib bo'lmaydi.
Qo'shimcha saqlangan holatlar va tarmoq tomonidan to'g'ridan-to'g'ri nazorat ostida saqlash cheksiz impulsli va chekli impulsli tarmoqlarga qo'shilishi mumkin. Saqlash, shuningdek, vaqt kechikishlarini o'z ichiga olgan yoki qayta aloqa halqalari bo'lsa, boshqa tarmoq yoki grafik bilan almashtirilishi mumkin. Bunday boshqariladigan holatlar eshikli holat yoki eshikli xotira deb ataladi va uzoq qisqa muddatli xotira tarmoqlari (LSTM) va eshikli takrorlanuvchi birliklarning bir qismidir. Bu, shuningdek, Feedforward Neural Network (FNN) deb ataladi. Takrorlanuvchi neyron tarmoqlar nazariy jihatdan Turing tugallangan va kirishlarning ixtiyoriy ketma-ketligini qayta ishlash uchun ixtiyoriy dasturlarni ishga tushirishi mumkin.