Mirzo ulug`bek nomidagi o`zbekiston milliy universiteti jizzax filiali

3.Yashirin Markov modeli
Yashirin Markov modeli bu Markov zanjiri bo'lib, uning holati faqat qisman kuzatilishi mumkin. Boshqacha qilib aytganda, kuzatuvlar tizimning holati bilan bog'liq, ammo ular odatda holatni aniq aniqlash uchun etarli emas. Yashirin Markov modellari uchun bir nechta taniqli algoritmlar mavjud. Masalan, kuzatishlar ketma-ketligini hisobga olgan holda, Viterbi algoritmi vaziyatlarning eng mos keladigan ketma-ketligini, oldinga yo'naltirilgan algoritm kuzatishlar ketma-ketligining ehtimolligini va Baum-Welch algoritmi boshlang'ich ehtimolliklarni, o'tishni taxmin qiladi. funktsiyasi va yashirin Markov modelining kuzatuv funktsiyasi.
Umumiy foydalanishlardan biri nutqni tanib olishdir, bu erda kuzatilgan ma'lumotlar nutq audio to'lqin shakli, yashirin holat esa so'zlashuv matni. Ushbu misolda Viterbi algoritmi nutq audiosi berilgan, ehtimol so'zlashuv so'zlarining ketma-ketligini topadi.
4.Markov qaror qabul qilish jarayoni
Markovning qaror qabul qilish jarayoni bu Markov zanjiri bo'lib, unda davlat o'tishlari joriy holatga va tizimga tatbiq etiladigan harakat vektoriga bog'liq. Odatda, Markovning qaror qabul qilish jarayoni kutilayotgan mukofotlarga nisbatan biron bir foydali dasturni maksimal darajada oshiradigan harakatlar siyosatini hisoblash uchun ishlatiladi. U mustahkamlashni o'rganish bilan chambarchas bog'liq bo'lib, qiymatni takrorlash va tegishli usullar bilan hal qilinishi mumkin.
5. Markovning qaror qabul qilish jarayoni qisman kuzatilmoqda
Qisman kuzatiladigan Markovning qaror qabul qilish jarayoni (POMDP) ​​- bu tizimning holati faqat qisman kuzatiladigan Markovning qaror qabul qilish jarayoni. POMDP-lar NP-ning to'liq ekanligi ma'lum, ammo so'nggi yaqinlashuv texnikasi ularni turli xil dasturlarda, masalan, oddiy agentlarni yoki robotlarni boshqarish uchun foydali qildi.
6. Markov tasodifiy maydoni
Markov tasodifiy maydoni yoki Markov tarmog'i Markov zanjirining ko'p o'lchovli umumlashtirilishi deb hisoblanishi mumkin. Markov zanjirida holat faqat avvalgi holatga bog'liq bo'ladi, Markov tasodifiy maydonida har bir holat bir nechta yo'nalishdagi istalgan qo'shnilariga bog'liq. Markov tasodifiy maydoni tasodifiy o'zgaruvchilar maydoni yoki grafigi sifatida tasavvur qilinishi mumkin, bu erda har bir tasodifiy o'zgaruvchining taqsimlanishi u bog'langan qo'shni o'zgaruvchilarga bog'liq. Aniqrog'i, grafadagi har qanday tasodifiy o'zgaruvchining qo'shma taqsimoti grafadagi ushbu tasodifiy o'zgaruvchini o'z ichiga olgan barcha kliklarning "klik potensiallari" ning mahsuloti sifatida hisoblanishi mumkin. Muammoni Markov tasodifiy maydoni sifatida modellashtirish foydalidir, chunki u grafadagi har bir tepalikdagi qo'shma taqsimotlarni shu tarzda hisoblashi mumkin.