Katta ma’lumotlarni qayta ishlash texnologiyalari va usullari «Big Data»

KATTA MA’LUMOTLARNI QAYTA ISHLASH TEXNOLOGIYALARI VA USULLARI
«Big Data» atamasi «katta ma’lumotlar» degan ma’noni bildirib, uni birinchi marta 2008-yilda «Nature» jurnalining muharriri Klifford Linch ishlatgan. U dunyoda axborot hajmlarining jadal sur’atlarda o‘sishi haqida gapirib, faqatgina yangi vositalar va yanada ilg‘or texnologiyalar ularni o‘zlashtirishga yordam berishini ta’kidlagan.
Linch «katta ma’lumotlar»ga sutkasiga 150 Gb hajmda bo‘lgan har qanday ko‘rinishdagi ma’lumotlar tegishli deb hisoblaydi, ammo hanuzgacha ma’lumotlarni yagona o‘lchov birligi mavjud emas.
Dunyoda raqamlangan ma’lumotlar hajmi tinimsiz o‘sib bormoqda.
IBC kompaniyasining ma’lumotlariga qaraganda, 2003 yilda 5 eksabayt (1 eksabayt = 1 milliard gigabayt) ma’lumot yig‘ilgan. 2015-yil may oyiga qadar dunyoda yig‘ilgan ma’lumotlar hajmi 6,5 zettabaytdan oshgan bo‘lsa, 2020-yilda insoniyat 40-44 zettabayt raqamli ma’lumot hosil qilgan.
«Big Data» – bu juda tez sur’atlarda o‘sib borayotgan katta hajmdagi tizimli va tizimsiz raqamli ma’lumotlar to‘plami. «Big Data» biznes jarayonlarini optimallashtirish va avtomatlashtirish, to‘plangan ma’lumotlarga asoslangan eng samarali qarorlarni qabul qilinishini ta’minlash maqsadida axborotni saqlash va qayta ishlashning innovatsion usullarini o‘z ichiga oladi.
«Katta ma’lumotlar» tushunchasi o‘zi nisbatan yangi bo‘lsa-da, aslida uning kelib chiqishi birinchi ma’lumotlar markazlari va relyasion ma’lumotlar bazalarini ishlab chiqish boshlangan 1960-1970-yillarga to‘g‘ri keladi.
2005-yilda odamlar Facebook, YouTube va boshqa onlayn xizmatlar foydalanuvchilari qancha ma’lumot ishlab chiqarayotganini tushuna boshladilar. Shu yili Hadoop (katta ma’lumotlarni saqlash va tahlil qilish uchun maxsus yaratilgan ochiq kodli platforma) ishlab chiqildi.
2011-yilga qadar katta ma’lumotlar tahlili faqat ilmiy-statistik tadqiqotlar doirasida amalga oshirilgan, ammo 2012-yilning boshiga kelib ma’lumotlar hajmining katta ko‘lamda o‘sishi sababli ularni tizimlashtirish va amalda qo‘llash ehtiyoji tug‘ildi.
2014-yildan boshlab, katta ma’lumotlarga amaliy muhandislik va IT mutaxassislar tayyorlaydigan dunyoning yetakchi oliy o‘quv yurtlari ye’tibor qaratishdi. Keyin Microsoft, IBM, Oracle, YEMC, undan keyin esa Google, Apple, Facebook va Amazon kabi yirik korporatsiyalar qo‘shildi. Bugungi kunda katta ma’lumotlar yirik kompaniyalar va davlat idoralari tomonidan turli sohalarda ishlatilmoqda.
Barcha yig‘ilgan Big Data ma’lumotlari olingan manbalarga qarab tasniflanishi mumkin. AQShning Gartner kompaniyasi «katta ma’lumotlar»ga kiritilgan ma’lumotlarning quyidagi tasnifini taklif qiladi: