Xülasə Big Data mənbələrinin əsas hissəsini təşkil edən

Verilənlərin  toplanması

. 

VX-nin  yaradılmasında  məqsəd 

ayrı-ayrı  verilənlərin  emal  sistemlərində  yığılmış  verilənlərin 

təmizlənməsi,  razılaşdırılması,  inteqrasiya  edilməsi  və 

analizdə  istifadə  üçün  rahat  formaya  gətirilməsidir  (şəkil  1).

 

---

“Big data: imkanları, multidissiplinar problemləri və perspektivləri” I respublika elmi-praktiki konfransı 

Bakı şəhəri, 25 fevral 2016-cı il

 

 

33 

 

VX-də  nəzərdə  tutulur  ki,  informasiya  operativ  informasiya 

bazasından çıxarılır, lazımi şəklə çevrilir, yoxlanılır və  yalnız 

bundan  sonra  sistemə  yüklənilir.  Yəni,  VX-də  verilənlərin 

hazırlanması  texnologiyası  bir-biri  ilə  əlaqəli  üç  mərhələdən 

ibarətdir [30]: 

1. Verilənlərin toplanması (Data Acquisition). 

2. Verilənlərin təmizlənməsi (Data Cleaning). 

3. Verilənlərin aqreqatlaşdırılması (Data 

Consolidation). 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Şəkil 1. Ənənəvi analizdə verilənlərin xəzinəyə toplanması  

Sadalanan  əməliyyatlar  dövriliklə  yerinə  yetirilir.  Lakin 

BV-lərlə  iş  zamanı  müxtəlif  mənbələrdən  girişə  daxil  olan 

verilənlərin  analizini  təmin  etmək  üçün  belə  dövrilük  həmişə 

mümkün  deyil.  İnformasiyanın  toplanması  ilə  onun  analiz 

üçün  əlçatanlığı  arasındakı  müddət  VX-nin  qurulması  zamanı 

əməliyyatların  yerinə  yetirilməsinə  lazım  olan  vaxtdan  kiçik 

ola  bilər.  Belə  məsələyə  nümunə  kimi  sosial  şəbəkələrdə  tez 

yayılan  informasiyanın  və  onun  mənbələrinin  müəyyən 

edilməsi,  fəal  istifadəçilərin  təyin

 

edilməsi,  neqativ  ifadələrin 

aşkarlanması  və  ya  konfidensial  informasiyanın  sızması 

faktlarının aşkarlanması  məqsədilə  monitorinqi  göstərilə  bilər 

[31].  

Məlumdur ki, bütün bu hadisələr daha tez aşkarlanmalı və 

neytrallaşdırılmalıdır.  Lakin  burada  verilənlərin  qeyri-formal 

təsviri  movcuddur  ki,  onların  da  emalı  üçün  mətnlərin 

intellektual  analizi  alqoritmləri  tələb  olunur.  Məsələn,  sosial 

şəbəkələrin  monitorinqi  məsələsində  girişə  istifadəçilərin 

ifadələri, şərhlər, qoyulmuş qiymətlər, fotoşəkillər və s. verilir. 

Aydındır  ki,  məşhur  sosial  şəbəkələrin  monitorinqini  çoxlu 

sayda  istifadəçilərlə  keçirmək  olar.  Həm  də  aydındır  ki, 

istifadəçilərin  çox  olması  və  onların  yüksək  fəallığı 

səbəbindən  bu  məsələnin  həlli  qeyri-formal  şəkildə  təsvir 

edilən  böyük  həcmli  verilənlərin  yığım  və  emalını  nəzərdə 

tutur  [32].  VX-də  verilənlərin  ilkin  emalı  zamanı  (məsələn, 

uyğunsuzluqların  axtarışında)  xəzinənin  əvvəl  yığılmış 

tərkibinin  (verilənlərinn)  istifadə  edilməsi  nəzərdə  tutulur  ki, 

bu isə BV-lərlə iş zamanı çətin yerinə yetirilir. Yəni, problem 

ondadır ki, bu verilənlər həmişə paylanır, həm də təkcə analiz 

üçün  deyil,  yiğim  üçün  rahat  olur.  Məsələn,  əgər  söhbət 

telekommunikasiya  sistemlərindən  gedirsə,  onda  verilənlər 

regional serverlərdə toplanır (şəkil 2). 

Beləlıklə,  aparılan  təhlillər  göstərir  ki,  ənənəvi  VX-lərdə 

bütün  verilənlər  həmişə  vahid  məntiqi  blokdan  keçir,  burada 

onlar  konvertasiya  olunur,  yoxlanılır,  təmizlənir,  yüklənir  və 

bu əməliyyatların yerinə yetirilməsi vaxtı nadir hallarda bütün 

qalan  sistemlər  üçün  vacib  olur.  Lakin  BV-nin  emalı  zamanı 

belə  vahid  blok  ola  bilməz.  Qeyd  etmək  lazımdır  ki,  hələ  ki, 

intensiv girişli verilənlər axınına malik məsələlər çox deyil və 

paylanmış,  lakin  məntiqi  vahid  sistem  şəklində  yığım, 

təmizləmə,  çevirmə  və  yükləmə  bloku  reallaşdırmaq 

mümkündür. 

 

Şəkil 2. Böyük verilənlərin analizi