Kontekst vektori
: Kodlovchi tomonidan taqdim etilgan asl hujjatning
kodlangan ko'rinishi.
2.
Yaratilgan ketma-ketlik
: Xulosa sifatida allaqachon yaratilgan so'z yoki
so'zlar ketma-ketligi.
Kontekst vektori oddiy kodlovchi-dekoder arxitekturasida bo'lgani kabi qattiq
uzunlikdagi kodlash yoki diqqat mexanizmi bilan filtrlangan yanada ifodali shakl
bo'lishi mumkin.
Yaratilgan ketma-ketlik kichik tayyorgarlik bilan ta'minlanadi, masalan, so'zlarni
joylashtirish orqali har bir yaratilgan so'zning taqsimlangan ko'rinishi.
Har bir t bosqichida dekoder (bir qatlamli bir yo'nalishli LSTM) oldingi so'zni o'z
ichiga olgan so'zni oladi (trening davomida bu ma'lumotnoma xulosasining oldingi
so'zi; sinov paytida bu dekoder tomonidan chiqarilgan oldingi so'z)
Aleksandr Rush va boshqalar buni faqat diagrammada ko'rsatadilar, bunda
x
-
dastlabki hujjat,
ad
- manba hujjatning ichki ko'rinishini ta'minlovchi kodlovchi va
y -
avval yaratilgan so'zlar ketma-ketligi .
111
3.4.1-rasm.Kodlovchi-dekoder arxitekturasi o'zgaruvchan sonli kirishlar sxemasi.
Bir vaqtning o'zida so'zlarni yaratish uchun model umumiy so'zlarning maksimal
soni hosil bo'lgunga qadar yoki ketma-ketlikning maxsus belgisiga erishilgunga
qadar ishlashini talab qiladi.
Jarayon birinchi so'zni yaratish uchun modelni maxsus ketma-ketlik belgisi
bilan ta'minlash orqali boshlanishi kerak.
Dekoder kirish matnining oxirgi so'zi kiritilgandan so'ng yaratilgan yashirin
qatlamlarni kirish sifatida oladi. Birinchidan, ketma-ketlik oxiri belgisi kirish
sifatida kiritiladi, yana belgilarni taqsimlangan tasvirga aylantirish uchun
joylashtirish qatlamidan foydalaniladi. [...]. Har bir so'zni yaratgandan so'ng, keyingi
so'zni yaratishda xuddi shu so'z kirish sifatida kiritiladi.
Ramesh Nallapati va boshqalar . GRU takroriy neyron tarmog'i yordamida
chiqish ketma-ketligini yaratish.
Dekoder kodlovchi bilan bir xil yashirin holat o‘lchamiga ega bo‘lgan bir yo‘nalishli
GRU-RNN dan iborat.
Manba matnini o'qish
Matnni umumlashtirish muammosiga qarab, ushbu arxitekturani qo'llashda
moslashuvchanlik mavjud.
Ko'pgina tadqiqotlar enkoderdagi bir yoki bir nechta asl jumlalarga qaratilgan,
ammo bu har doim ham shunday emas.
112
Masalan, kodlovchi manba hujjatni turli o'lchamdagi bo'laklarga o'qish va kodlash
uchun sozlanishi mumkin:
•
Taklif.
•
Paragraf.
•
Sahifa.
•
Hujjat.
Xuddi shunday, dekoder har bir bo'lakni yig'ish yoki kodlangan bo'laklarni jamlash
va kengroq xulosa chiqarish uchun sozlanishi mumkin.
Yo'lda ba'zi ishlar amalga oshirildi, bu erda Aleksandr Rush va boshqalar . so'z va
jumla darajasida diqqat bilan ierarxik kodlovchi modeldan foydalaning.
Ushbu model ikkita manba tomonidagi ikki yo'nalishli RNN yordamida, biri so'z
darajasida, ikkinchisi esa jumlalar darajasida muhim ahamiyatga ega bo'lgan bu
tushunchani egallashga qaratilgan. Diqqat mexanizmi bir vaqtning o'zida ikkala
darajada ham ishlaydi
Amalga oshirish modellari
Keras chuqur o'rganish kutubxonasida matnni umumlashtirish uchun Encoder-
Decoder arxitekturasini qanday amalga oshirishni ko'rib chiqamiz .
Umumiy model
o'rnatilgan kirishga ega enkoderni va undan keyin asl hujjatning belgilangan
uzunlikdagi tasvirini yaratadigan yashirin LSTM qatlamini o'z ichiga oladi.
Dekoder oxirgi yaratilgan so'zning ko'rinishi va o'rnatilishini o'qiydi va natijada
olingan xulosadagi har bir so'zni yaratish uchun ushbu kirishlardan foydalanadi.
113
3.4.2- rasm.Keras model struktura sxemasi.
Keras model chiqishi avtomatik ravishda modelga kirish sifatida kiritiladigan
rekursiv tsikllarga ruxsat bermaydi.
Bu shuni anglatadiki, yuqorida tavsiflangan modelni Kerasda to'g'ridan-to'g'ri
amalga oshirib bo'lmaydi ( lekin TensorFlow kabi yanada moslashuvchan tizimda
amalga oshirilishi mumkin ).
Kerasda amalga oshirishimiz mumkin bo'lgan uchta model variantini ko'rib
chiqamiz .
Muqobil 1: bir martalik model
Birinchi muqobil model butun chiqish ketma-ketligini bir martada yaratishdir.
Ya'ni, dekoder chiqish ketma-ketligini yaratish uchun faqat kontekst vektoridan
foydalanadi
114
3.4.3- rasm.Keras model struktura sxemasi.
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi .
Ushbu model dekoderga katta yuk yuklaydi.
Dekoderda ketma-ket chiqish ketma-ketligini yaratish uchun etarli kontekst
bo'lmasligi mumkin, chunki u so'zlar va ularning tartibini tanlashi kerak.
115
Muqobil 2: rekursiv model A
Ikkinchi muqobil model - bitta so'z bashoratini yaratadigan va uni rekursiv
chaqiradigan modelni ishlab chiqish.
Ya'ni, dekoder keyingi so'zni yaratish uchun kontekst vektoridan va kiritishdan oldin
yaratilgan barcha so'zlarning taqsimlangan ko'rinishidan foydalanadi.
Til modeli hozirgacha yaratilgan so'zlar ketma-ketligini talqin qilish uchun
ishlatilishi mumkin, bu ketma-ketlikda keyingi so'zni yaratish uchun asl hujjat
ko'rinishi bilan birlashtirish uchun ikkinchi kontekst vektorini ta'minlaydi.
Xulosa oldindan yaratilgan so'z qo'shilgan (yoki aniqrog'i, mashg'ulot paytida
kutilgan oldingi so'z) bilan modelni rekursiv chaqirish orqali hosil qilinadi.
Dekoderga keyingi so'zni talqin qilish va chiqarish uchun kengroq kontekstni
ta'minlash uchun kontekst vektorlari jamlanishi yoki bir-biriga qo'shilishi mumkin.
3.4.4- rasm.Rekursiv model A sxemasi
116
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi .
Bu yaxshiroq, chunki dekoderga avval yaratilgan so'zlar va asl hujjatdan keyingi
so'zni yaratish uchun kontekst sifatida foydalanish imkoniyati beriladi.
Bu chiqish ketma-ketligini yaratishda iloji boricha izohlash uchun birlashma
operatsiyasi va dekoderga yuklaydi.
3-muqobil: rekursiv model B
Ushbu uchinchi variantda kodlovchi manba hujjatning kontekst vektorining tasvirini
yaratadi.
Ushbu hujjat ishlab chiqarilgan chiqish ketma-ketligining har bir bosqichida
dekoderga beriladi. Bu dekoderga chiqish ketma-ketligidagi so'zlarni yaratish uchun
ishlatilgan bir xil ichki holatni yaratishga imkon beradi, shuning uchun u ketma-
ketlikda keyingi so'zni yaratishga tayyor bo'ladi.
Keyinchalik bu jarayon takrorlanadi, maksimal uzunlik yoki ketma-ketlikning oxiri
belgisi hosil bo'lgunga qadar, chiqish ketma-ketligidagi har bir so'z uchun model
qayta-qayta chaqiriladi.
117
3.4.5- rasm.Rekursiv model B sxemasi
Funktsional API yordamida Kerasda ushbu yondashuv uchun namuna kodi .
Multipleksatorlar.
Dostları ilə paylaş: |