Xülasə Big Data mənbələrinin əsas hissəsini təşkil edən
Yüklə 0,7 Mb. Pdf görüntüsü
|
- Bu səhifədəki naviqasiya:
- “Big data: imkanları, multidissiplinar problemləri və perspektivləri” I respublika elmi-praktiki konfransı Bakı şəhəri, 25 fevral 2016-cı il
- – prediktiv analitika ; – imitasiya modelləşdirilməsi ;
| Lokal
VB-lər Server
Verilənlərin toplanması Operativ verilənlər bazası Analizator Yığma, təmizləmə, aqreqatlaşdırma Verilənlər Xəzinəsi
“Big data: imkanları, multidissiplinar problemləri və perspektivləri” I respublika elmi-praktiki konfransı Bakı şəhəri, 25 fevral 2016-cı il
34
- bura müəllmlə və müəllimsiz təlim, həmçinin kollektiv təlim (Ensemble learning), baza modelləri əsasında kompleks proqnozlar almaq üçün statistik analiz və ya maşın təlimi əsasında qurulan modellərdən istifadə daxildir; – süni neyron şəbəkələri, şəbəkə analizi, optimallaşdırma, o cümlədən genetik alqoritmlər ; – obrazların tanınması ; – prediktiv analitika ; – imitasiya modelləşdirilməsi ; – fəza verilənlərinin analizi (
) - verilənlərdə topoloji, həndəsi və coğrafi informasiyadan istifadə edən metodlar; – statistik analiz, buna nümunə A/B testləşməsi və zaman sıralarının analizi göstərilir;
- nəticələrin alınması, sonrakı analiz, ilkin verilənlər kimi istifadə üçün informasiyanın şəkillər, diaqramlar, interaktiv imkanlardan və animasiyadan istifadə etməklə təqdimatı. BV üzərində çoxölçülü əməliyyat aparmaq üçün klassik B- ağaclardan başlamış bütün mövcud metodların tətbiqi yararlıdır. Bu gün ənənəvi VX-lər verilənlərin analizi alətlərinin təxminən eyni dəstini təqdim edirlər [33-35]. BV- lərdə sadalanan metodları işləməyə imkan verən, operativ yaddaşda terabaytlarla informasiyanı analitik emal edən məhsullar da yaranmışdır, məsələn, SAP HANA, Greenplum Chorus, Oracle Exalytics, Oracle Exadata, Aster Data nCluster.
Bundan başqa, Netezza, Teradata, Greenplum və s. şirkətlərinin ənənəvi relyasion verilənlərinin idarə edilməsi sistemi əsasında terabaytlar və ekzabaytlarla verilənləri səmərəli emal edən proqram-aparat alətləri vardır. Belə həllərin potensial imkanlarını başa düşmək üçün həmin metodların əsasında olan alqoritmlərə baxmaq, həmçinin onların BV-nin emalına açar olan mümkün paralel hesablamalar üçün yolları analiz etmək lazımdır. Bu zaman verilənlərin konkret paylanmış emalı texnologiyalarına bağlanmamalı, yalnız BV üçün xarakterik olan əsas parametrləri (sürət, müxtəliflik, həcm və s.) nəzərə almaq lazımdır. İstənilən VBİS-lərin iş sürətinə təsir edən mühüm faktor giriş/çıxış əməliyyatlarının sayı və yaradılmış indekslərin effektivliyidir. Beləliklə, BV-lərlə işləyərkən məsələnin həllində ilk addım kimi emal olunacaq verilənlərin formatına, analizin tipinə, tətbiq olunan emal metodlarına, eyni zamanda məqsədli sistemin alacağı, yükləyəcəyi, emal və analiz edəcəyi, saxlayacağı verilənlərin mənbələrinə görə təsnifatlandırmaq tövsiyə olunur. NƏT
İ CƏ
Verilənlərin həcminin artması, onların real vaxtda analizinin zəruriliyi Big Data Analytics məsələsini effektiv həll etməyə imkan verən alətlərin yaradılması və tətbiqini tələb edir. Big Data Analytics vasitələrini və biznes-analitika texnologiyalarını əsasən İT nəhəngləri istifadə edirlər. Bu da biznes-analitikanın müəssisələrdə istifadəsinin aşağı mədəniyyətindən və biznes-istifadəçi tərəfindən mövcud analiz metodlarının qavrama çətinliyindən irəli gəlir. Bunu nəzərə alaraq bəzi şirkətlərin (məsələn, Information Builders) analitikləri tərəfindən real vaxt rejimində istənilən mənbədən daxil olan verilənlərlə işləməyə imkan verən, istifadədə ən sadə qiymətləndirilən məhsul təklif edirlər. Big Data sadə düşüncə deyil, gələn texniki inqilabın simvoludur. BV-lərlə analitik iş zəruriliyi İT-sənayesini tamam dəyişəcək yeni proqram və aparat platformalarının yaranmasını stimullaşdırır. Artıq bu gün böyük həcmli verilənlərin analizi üçün ən qabaqcıl metodlar təmin edilir: süni neyron şəbəkələri – bioloji neyron şəbəkəlrinin təşkili və funksiyası prinsipi üzrə qurulmuş modellər, prediktiv analitika, statistika, Natural Language Processing metodları və s. Həmçinin kraudsorsinq, A/B testləşmə, sentiment analiz və ekspertləri cəlbedən metodlardan istifadə edilir. Nəticələrin vizuallaşdırılması üçün məlum metodlar, məsələn, bulud teqləri və ən yeni Clustergram, History Flow və Spatial Information Flow istifadə edilir. BV texnologiyası tərəfindən Google File System, Cassandra, HBase, Lustre və ZFS paylanmış fayl sistemləri, MapReduce və Hadoop proqram konstruksiyaları və digər qərarlar dəstəklənir. Ekspertlərin qiymətlərinə görə, BV-nin təsiri altında ən çox transformasiyaya istehsalat, səhiyyə, ticarət, inzibati idarəetmə uğrayacaqdır.
ƏDƏBİYYAT [1]
Miniwatts Marketing Group, Worldwide Internet Market Research, www.miniwatts.com [2]
The digital universe in 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East. Study report, IDC, December 2012. www.emc.com/leadership/digital-universe [3]
http://www.idc.com [4]
Data Science Central, The online resource for Big Data practitioners, www.datasciencecentral.com [5]
Big data: The next frontier for innovation, competition, and productivity. Analyst report,
McKinsey Global
Institute, May
2011. http://www.mckinsey.com [6]
2012, vol.16, No. 3, p. 4-6. [7]
What is big data? - Bringing big data to the enterprise, 2013. http://www-01.ibm.com [8]
Laney D. 3D Data Management: Controlling Data Volume, Velocity and Variety. Technical report, META Group, Inc (now Gartner, Inc.), February 2001. http://blogs.gartner.com [9]
системы, 2008, № 8, с. 36-39. [10]
InfoSphere Platform: Big Data Analytics, 2013, http://www- 01.ibm.com/software [11]
Jacobs A. The pathologies of big data, Communications of the ACM. 2009, vol. 52. No. 8, р. 36-44. [12]
Вахрамеев Кирилл. СУБД для анализа Больших Данных, Открытые системы, 2011, № 10, с. 26-29. [13]
Babu S., Herodotou H. Massively Parallel Databases and MapReduce Systems3, Foundations and Trends in Databases, 2013, vol. 5, No.1, p. 1-104. [14]
Vignesh Prajapati, Big Data Analytics with R and Hadoop, Publisher: Packt Publishing Ltd, 2013, p. 238. [15]
Черняк Леонид. Большие Данные – новая теория и практика, Открытые системы, 2011, № 10, с. 18-25. [16]
Черняк Леонид. Свежий взгляд на Большие Данные, Открытые системы, 2013, № 7, с. 48-51. [17]
Krish Krishnan. Data Warehousing in the Age of Big Data. 1st Edition, Morgan Kaufmann Publishers Inc. San Francisco, USA, 2013, p. 370.
|