O. S. Rayimjonova M. G. Tillaboyev sh. U. Ergashev



Yüklə 3,09 Mb.
Pdf görüntüsü
səhifə40/53
tarix13.12.2023
ölçüsü3,09 Mb.
#149125
1   ...   36   37   38   39   40   41   42   43   ...   53
РАҚАМЛИ техника merged

Kontekst vektori 
: Kodlovchi tomonidan taqdim etilgan asl hujjatning 
kodlangan ko'rinishi. 
2.
Yaratilgan ketma-ketlik 
: Xulosa sifatida allaqachon yaratilgan so'z yoki 
so'zlar ketma-ketligi. 
Kontekst vektori oddiy kodlovchi-dekoder arxitekturasida bo'lgani kabi qattiq 
uzunlikdagi kodlash yoki diqqat mexanizmi bilan filtrlangan yanada ifodali shakl 
bo'lishi mumkin. 
Yaratilgan ketma-ketlik kichik tayyorgarlik bilan ta'minlanadi, masalan, so'zlarni 
joylashtirish orqali har bir yaratilgan so'zning taqsimlangan ko'rinishi. 
Har bir t bosqichida dekoder (bir qatlamli bir yo'nalishli LSTM) oldingi so'zni o'z 
ichiga olgan so'zni oladi (trening davomida bu ma'lumotnoma xulosasining oldingi 
so'zi; sinov paytida bu dekoder tomonidan chiqarilgan oldingi so'z) 
Aleksandr Rush va boshqalar buni faqat diagrammada ko'rsatadilar, bunda 


dastlabki hujjat, 
ad 
- manba hujjatning ichki ko'rinishini ta'minlovchi kodlovchi va 
y - 
avval yaratilgan so'zlar ketma-ketligi . 


111 
3.4.1-rasm.Kodlovchi-dekoder arxitekturasi o'zgaruvchan sonli kirishlar sxemasi. 
Bir vaqtning o'zida so'zlarni yaratish uchun model umumiy so'zlarning maksimal 
soni hosil bo'lgunga qadar yoki ketma-ketlikning maxsus belgisiga erishilgunga 
qadar ishlashini talab qiladi. 
Jarayon birinchi so'zni yaratish uchun modelni maxsus ketma-ketlik belgisi 
bilan ta'minlash orqali boshlanishi kerak. 
Dekoder kirish matnining oxirgi so'zi kiritilgandan so'ng yaratilgan yashirin 
qatlamlarni kirish sifatida oladi. Birinchidan, ketma-ketlik oxiri belgisi kirish 
sifatida kiritiladi, yana belgilarni taqsimlangan tasvirga aylantirish uchun 
joylashtirish qatlamidan foydalaniladi. [...]. Har bir so'zni yaratgandan so'ng, keyingi 
so'zni yaratishda xuddi shu so'z kirish sifatida kiritiladi. 
Ramesh Nallapati va boshqalar . GRU takroriy neyron tarmog'i yordamida 
chiqish ketma-ketligini yaratish. 
Dekoder kodlovchi bilan bir xil yashirin holat o‘lchamiga ega bo‘lgan bir yo‘nalishli 
GRU-RNN dan iborat. 
Manba matnini o'qish 
Matnni umumlashtirish muammosiga qarab, ushbu arxitekturani qo'llashda 
moslashuvchanlik mavjud. 
Ko'pgina tadqiqotlar enkoderdagi bir yoki bir nechta asl jumlalarga qaratilgan
ammo bu har doim ham shunday emas. 


112 
Masalan, kodlovchi manba hujjatni turli o'lchamdagi bo'laklarga o'qish va kodlash 
uchun sozlanishi mumkin: 

Taklif. 

Paragraf. 

Sahifa. 

Hujjat. 
Xuddi shunday, dekoder har bir bo'lakni yig'ish yoki kodlangan bo'laklarni jamlash 
va kengroq xulosa chiqarish uchun sozlanishi mumkin. 
Yo'lda ba'zi ishlar amalga oshirildi, bu erda Aleksandr Rush va boshqalar . so'z va 
jumla darajasida diqqat bilan ierarxik kodlovchi modeldan foydalaning. 
Ushbu model ikkita manba tomonidagi ikki yo'nalishli RNN yordamida, biri so'z 
darajasida, ikkinchisi esa jumlalar darajasida muhim ahamiyatga ega bo'lgan bu 
tushunchani egallashga qaratilgan. Diqqat mexanizmi bir vaqtning o'zida ikkala 
darajada ham ishlaydi 
Amalga oshirish modellari 
Keras chuqur o'rganish kutubxonasida matnni umumlashtirish uchun Encoder-
Decoder arxitekturasini qanday amalga oshirishni ko'rib chiqamiz . 
Umumiy model 
o'rnatilgan kirishga ega enkoderni va undan keyin asl hujjatning belgilangan 
uzunlikdagi tasvirini yaratadigan yashirin LSTM qatlamini o'z ichiga oladi. 
Dekoder oxirgi yaratilgan so'zning ko'rinishi va o'rnatilishini o'qiydi va natijada 
olingan xulosadagi har bir so'zni yaratish uchun ushbu kirishlardan foydalanadi. 


113 
3.4.2- rasm.Keras model struktura sxemasi. 
Keras model chiqishi avtomatik ravishda modelga kirish sifatida kiritiladigan 
rekursiv tsikllarga ruxsat bermaydi. 
Bu shuni anglatadiki, yuqorida tavsiflangan modelni Kerasda to'g'ridan-to'g'ri 
amalga oshirib bo'lmaydi ( lekin TensorFlow kabi yanada moslashuvchan tizimda 
amalga oshirilishi mumkin ). 
Kerasda amalga oshirishimiz mumkin bo'lgan uchta model variantini ko'rib 
chiqamiz . 
Muqobil 1: bir martalik model 
Birinchi muqobil model butun chiqish ketma-ketligini bir martada yaratishdir. 
Ya'ni, dekoder chiqish ketma-ketligini yaratish uchun faqat kontekst vektoridan 
foydalanadi 


114 
3.4.3- rasm.Keras model struktura sxemasi. 
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi . 
Ushbu model dekoderga katta yuk yuklaydi. 
Dekoderda ketma-ket chiqish ketma-ketligini yaratish uchun etarli kontekst 
bo'lmasligi mumkin, chunki u so'zlar va ularning tartibini tanlashi kerak. 


115 
Muqobil 2: rekursiv model A 
Ikkinchi muqobil model - bitta so'z bashoratini yaratadigan va uni rekursiv 
chaqiradigan modelni ishlab chiqish. 
Ya'ni, dekoder keyingi so'zni yaratish uchun kontekst vektoridan va kiritishdan oldin 
yaratilgan barcha so'zlarning taqsimlangan ko'rinishidan foydalanadi. 
Til modeli hozirgacha yaratilgan so'zlar ketma-ketligini talqin qilish uchun 
ishlatilishi mumkin, bu ketma-ketlikda keyingi so'zni yaratish uchun asl hujjat 
ko'rinishi bilan birlashtirish uchun ikkinchi kontekst vektorini ta'minlaydi. 
Xulosa oldindan yaratilgan so'z qo'shilgan (yoki aniqrog'i, mashg'ulot paytida 
kutilgan oldingi so'z) bilan modelni rekursiv chaqirish orqali hosil qilinadi. 
Dekoderga keyingi so'zni talqin qilish va chiqarish uchun kengroq kontekstni 
ta'minlash uchun kontekst vektorlari jamlanishi yoki bir-biriga qo'shilishi mumkin. 
3.4.4- rasm.Rekursiv model A sxemasi


116 
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi . 
Bu yaxshiroq, chunki dekoderga avval yaratilgan so'zlar va asl hujjatdan keyingi 
so'zni yaratish uchun kontekst sifatida foydalanish imkoniyati beriladi. 
Bu chiqish ketma-ketligini yaratishda iloji boricha izohlash uchun birlashma 
operatsiyasi va dekoderga yuklaydi. 
3-muqobil: rekursiv model B 
Ushbu uchinchi variantda kodlovchi manba hujjatning kontekst vektorining tasvirini 
yaratadi. 
Ushbu hujjat ishlab chiqarilgan chiqish ketma-ketligining har bir bosqichida 
dekoderga beriladi. Bu dekoderga chiqish ketma-ketligidagi so'zlarni yaratish uchun 
ishlatilgan bir xil ichki holatni yaratishga imkon beradi, shuning uchun u ketma-
ketlikda keyingi so'zni yaratishga tayyor bo'ladi. 
Keyinchalik bu jarayon takrorlanadi, maksimal uzunlik yoki ketma-ketlikning oxiri 
belgisi hosil bo'lgunga qadar, chiqish ketma-ketligidagi har bir so'z uchun model 
qayta-qayta chaqiriladi. 


117 
3.4.5- rasm.Rekursiv model B sxemasi
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi . 
Multipleksatorlar. 

Yüklə 3,09 Mb.

Dostları ilə paylaş:
1   ...   36   37   38   39   40   41   42   43   ...   53




Verilənlər bazası müəlliflik hüququ ilə müdafiə olunur ©genderi.org 2024
rəhbərliyinə müraciət

    Ana səhifə