МОНИТОРИНГ ПРЕДПРИЯТИЙ КЛАСТЕРА

KATTA HAJMLI MA’LUMOTLAR AFZALLIKLARI VA KAMCHILIKLARI

Israil Tojimamatov

Farg‘ona Davlat Universiteti Matematika va infarmatika fakulteti Amaliy matematka va infarmatika kafedrasi o‘qituvchisi.

Abdurahmonov Doniyorbek,

Farg‘ona Davlat Universiteti  Amaliy matematika va infarmatika yo‘nalishi talabasi

G‘aniqo‘ziyev Baxodir

Farg‘ona Davlat Universiteti  Amaliy matematika va infarmatika yo‘nalishi talabasi

Abstrakt. Ushbu maqolada katta hajmli ma’lumotlar afzalliklari va kamchiliklari  haqida ma'lumotlar keltirilgan.

Kalit so‘zlar. Big data, Bilokcheyn, Dark data, Hadoop.

Katta maʼlumotlar tahlili tashkilotlarga oʻz maʼlumotlaridan foydalanishda va undan yangi imkoniyatlarni aniqlashda foydalanishda yordam beradi. Bu, o‘z navbatida, biznesning oqilona harakatlanishiga, samaraliroq operatsiyalarga, yuqori daromad va baxtli mijozlarga olib keladi. IIA tadqiqot direktori Tom Davenport o‘zining "Katta kompaniyalardagi Big Data" hisobotida katta ma'lumotlardan qanday foydalanishini tushunish uchun 50 dan ortiq biznes bilan suhbatlashdi. U quyidagi yo‘llar bilan qiymatga ega ekanligini aniqladi:

         Xarajatlarni kamaytirish. Hadoop va bulutga asoslangan analitik kabi katta ma'lumotlar texnologiyalari katta hajmdagi ma'lumotlarni saqlashda sezilarli xarajat afzalliklarini keltirib chiqaradi - bundan tashqari ular biznesni yuritishning yanada samarali usullarini aniqlashlari mumkin.

         Tezroq, yaxshiroq qaror qabul qilish. Hadoop tezligi va xotiradagi tahlillar, yangi ma'lumotlar manbalarini tahlil qilish qobiliyati bilan korxonalar ma'lumotni darhol tahlil qilishlari va o‘rganganlari asosida qarorlar qabul qilishlari mumkin.
         Yangi mahsulotlar va xizmatlar. Mijozlarning ehtiyojlari va qoniqishini tahlil qilish orqali o‘lchash qobiliyati bilan mijozlarga ular xohlagan narsani berish kuchi keladi. Davenportning ta'kidlashicha, katta ma'lumotlar tahlili bilan ko‘proq kompaniyalar mijozlar ehtiyojlarini qondirish uchun yangi mahsulotlarni yaratmoqda.

Big Data platformalari. Katta hajmli ma’lumotlar platformalari tizimga yuqori tezlikda va keng navlarda keladigan aql bovar qilmaydigan hajmdagi ma'lumotlarni qayta ishlash uchun maxsus ishlab chiqilgan. Ushbu katta hajmli ma’lumotlar platformalari odatda turli xil serverlar, ma'lumotlar bazalari va biznes razvedka vositalaridan iborat bo‘lib, ular ma'lumotlar olimlariga tendentsiyalar va naqshlarni topish uchun ma'lumotlarni manipulyatsiya qilish imkonini beradi. Katta maʼlumotlar mohiyatiga koʻra tushunchaga ega boʻlish uchun har bir atributni batafsil koʻrib chiqish foydali boʻladi.

Hajm. Katta hajmli ma'lumotlar (Big Data) o‘lchami juda ulkandir. An'anaviy ma'lumotlar megabayt, gigabayt va terabayt kabi tanish o‘lchamlarda o‘lchansa-da, katta hajmli ma’lumotlar petabayt va zettabaytlarda saqlanadi.

Masshtabdagi farqning ulkanligini tushunish uchun Berkeley Axborot maktabidagi ushbu taqqoslashni ko‘rib chiqing: bir gigabayt HD formatidagi yetti daqiqali videoga teng, bir zettabayt esa 250 milliard DVDga teng. Bu aysbergning faqat uchi. EMC hisobotiga ko‘ra, raqamli olam har ikki yilda ikki baravar o‘sib boradi va 2020 yilda 44 trillion zettabaytga yetgan.

Katta hajmli ma’lumotlar ushbu turdagi ma'lumotlarni qayta ishlash arxitekturasini ta'minlaydi. Saqlash va qayta ishlash bo‘yicha tegishli yechimlarsiz, tushunchalar tagiga yetish qiyinchilik tug‘dirardi.

Tezlik. Uni yaratish tezligidan tortib, tahlil qilish uchun zarur bo‘lgan vaqtgacha, katta hajmli ma’lumotlar haqida hamma narsa tez. Ba'zilar buni yong‘in shlangidan ichishga urinish deb ta'riflashgan. Kompaniyalar va tashkilotlar ushbu ma'lumotlardan real vaqt rejimida foydalanish va undan tushunchalar yaratish qobiliyatiga ega bo‘lishi kerak, aks holda bu unchalik foydali emas. Haqiqiy vaqtda ishlov berish qaror qabul qiluvchilarga tezkorlik bilan harakat qilish imkonini beradi, bu esa ularga raqobatda ustunlik beradi.

Ma'lumotlarning ba'zi shakllari ommaviy qayta ishlanishi va vaqt o‘tishi bilan dolzarb bo‘lib qolishi mumkin bo‘lsa-da, katta hajmli ma’lumotlarning aksariyati klipda tashkilotlarga oqib tushadi va eng yaxshi natijalar uchun darhol harakat qilishni talab qiladi. Sog‘liqni saqlash qurilmalaridan olingan sensor ma'lumotlari ajoyib misoldir. Sog‘liqni saqlash ma'lumotlarini bir zumda qayta ishlash qobiliyati foydalanuvchilar va shifokorlarga hayotni saqlab qolishi mumkin bo‘lgan ma'lumotlarni taqdim etishi mumkin.

Turli xillik. Barcha katta hajmli ma’lumotlarning taxminan 95% tuzilmagan, ya'ni ular oddiy, an'anaviy modelga osongina mos kelmaydi. Elektron pochta va videolardan tortib ilmiy va meteorologik ma'lumotlargacha bo‘lgan hamma narsa katta hajmli ma’lumotlar oqimini tashkil qilishi mumkin, ularning har biri o‘ziga xos atributlarga ega.

2019 yilda tushunish va eng muhimi, axborot massivlari bilan ishlashning ahamiyati o‘n yillik boshiga nisbatan 4-5 barobar oshdi. Katta ma'lumotlarning kichik va o‘rta biznes sohalariga integratsiyalashuvi, startaplar katta nisbatda bo‘ldi:

Bulutli saqlash. Onlayn makonda ma'lumotlarni saqlash va ular bilan ishlash texnologiyalari kichik va o‘rta biznes uchun ko‘plab muammolarni hal qilishi mumkin: ma'lumotlar markaziga xizmat ko‘rsatishdan ko‘ra bulutni sotib olish arzonroq, xodimlar masofadan ishlashi mumkin va ofis kerak emas. .

Chuqur o‘rganish, sun'iy intellekt. Analitik mashinalar inson miyasini taqlid qiladi, ya'ni sun'iy neyron tarmoqlardan foydalaniladi. O‘rganish katta hajmdagi ma'lumotlar asosida mustaqil ravishda amalga oshiriladi.

Dark Data - kompaniya to‘g‘risidagi raqamlashtirilmagan ma'lumotlarni to‘plash va saqlash, ular biznesni rivojlantirishda muhim rol o‘ynamaydi, lekin ular texnik va qonunchilik rejalarida zarur.

Blokcheyn. Internet tranzaktsiyalarini soddalashtirish, bu operatsiyalarning narxini pasaytirish.

O‘z-o‘ziga xizmat ko‘rsatish tizimlari - 2016 yildan boshlab kichik va o‘rta biznes uchun maxsus platformalar joriy etildi, ularda siz mustaqil ravishda ma'lumotlarni saqlashingiz va tartibga solishingiz mumkin.

    BIG DATA KAMCHILIKLARI

Katta ma'lumotlar bilan bog‘liq eng katta muammo - uni qayta ishlash narxi. Bu qimmat uskunalar va katta hajmdagi ma'lumotlarga xizmat ko‘rsatishga qodir bo‘lgan malakali mutaxassislarga ish haqi xarajatlarini o‘z ichiga olishi mumkin. Shubhasiz, ma'lumotlar miqdori oshgani sayin minimal ishlashni yo‘qotmaslik uchun uskunani muntazam yangilab turish kerak bo‘ladi.

Ikkinchi muammo yana qayta ishlanishi kerak bo‘lgan katta hajmdagi ma'lumotlar bilan bog‘liq. Agar, masalan, tadqiqot 2-3 emas, balki ko‘p sonli natijalarni bersa, ob'ektiv bo‘lib qolish va umumiy ma'lumotlar oqimidan faqat har qanday hodisaning holatiga haqiqiy ta'sir ko‘rsatadiganlarini tanlash juda qiyin.

Katta ma'lumotlarning maxfiyligi muammosi. Aksariyat mijozlarga xizmat ko‘rsatuvchi provayderlar ma'lumotlardan onlayn foydalanishga o‘tishlari bilan kiberjinoyatchilarning navbatdagi nishoniga aylanish juda oson. Hech qanday onlayn tranzaktsiyalarsiz shaxsiy ma'lumotlarni oddiy saqlash ham bulutli saqlash mijozlari uchun nomaqbul oqibatlarga olib kelishi mumkin.

Axborotni yo‘qotish muammosi. Ehtiyot choralari oddiy bir martalik ma'lumotlarni zaxiralash bilan cheklanib qolmaslikni, balki saqlashning kamida 2-3 zaxira nusxasini yaratishni talab qiladi. Biroq, hajm oshgani sayin, ortiqcha ish bilan bog‘liq qiyinchiliklar o‘sib bormoqda - va IT mutaxassislari ushbu muammoning maqbul echimini topishga harakat qilmoqdalar.

Katta maʼlumotlardan unchalik kam foydalanilmayotganining sabablaridan biri katta maʼlumotlar va katta maʼlumotlar texnologiyalari ham koʻp muammolarni keltirib chiqaradi. Bir tadqiqot shuni ko‘rsatdiki, katta ma'lumotlar loyihalarining 55 foizi hech qachon tugallanmagan. Ushbu topilma ikkinchi so‘rovda takrorlandi, natijada mahalliy yirik ma'lumotlar loyihalarining aksariyati muvaffaqiyatli emas.

Masshtablilik. Katta ma'lumotlar bilan talab bo‘yicha kattalashtirish va pasaytirish juda muhim. Ko‘pgina tashkilotlar katta ma'lumotlar loyihasi qanchalik tez o‘sishi va rivojlanishini hisobga olmaydilar. Qo‘shimcha resurslarni qo‘shish uchun loyihani doimiy ravishda to‘xtatib turish ma'lumotlarni tahlil qilish vaqtini qisqartiradi. Katta ma'lumotlarning ish yuklari ham tez sur'atda bo‘ladi, bu esa resurslarni qaerga taqsimlash kerakligini oldindan aytishni qiyinlashtiradi. Ushbu katta ma'lumotlar muammosining darajasi yechimga qarab farq qiladi. Bulutdagi yechim mahalliy yechimga qaraganda ancha oson va tezroq masshtablanadi.

Iste'dodning etishmasligi: korxonalar ma'lumotlarning etishmasligini his qilmoqdalar. Nafaqat ma'lumotlar bo‘yicha olimlarning etishmasligi, balki katta ma'lumotlar loyihasini muvaffaqiyatli amalga oshirish uchun qimmatli tushunchalarni aniqlash uchun etarli miqdordagi domen bilimiga ega bo‘lgan ishlab chiquvchilar, ma'lumotlar bo‘yicha olimlar va tahlilchilarning murakkab jamoasi talab qilinadi. Ko‘pgina yirik ma'lumotlar sotuvchilari o‘zlarining ta'lim resurslarini taqdim etish yoki boshqaruvning asosiy qismini ta'minlash orqali bu katta ma'lumotlar muammosini engishga intilishadi.

Hadoop qiyin. Hadoop va uning atrofidagi vositalar ekotizimining katta hajmdagi tuzilgan va tuzilmagan ma'lumotlar bilan ishlash qobiliyati maqtovga sazovor bo‘lsa-da, dasturiy ta'minotni boshqarish yoki ishlatish oson emas. Texnologiya nisbatan yangi bo‘lganligi sababli, ko‘plab ma'lumotlar mutaxassislari Hadoopni qanday boshqarishni bilishmaydi. Bundan tashqari, Hadoop ko‘pincha qo‘llab-quvvatlash uchun keng ichki resurslarni talab qiladi va ko‘plab kompaniyalar o‘z resurslarining katta qismini hal qilmoqchi bo‘lgan haqiqiy katta ma'lumotlar muammosiga emas, balki texnologiyaga bag‘ishlaydilar. Yuqorida aytib o‘tilgan so‘rovda respondentlarning 73% katta ma'lumotlar platformasini tushunish katta ma'lumotlar loyihasining eng muhim muammosi ekanligini ta'kidladi.

FOYDALANILGAN ADABIYOTLAR:

1.     Kh.T.Murodilov, & U.Q.Toshmatov. (2023). CREATING MAPS OF AGRICULTURE AND CLUSTERS BY USING GEOINFORMATION SYSTEMS. Innovative Development in Educational Activities, 2(6), 464–470. https://doi.org/10.5281/zenodo.7787159

2.     Мирзакаримова Г. М. Қ., Муродилов Х. Т. Ў. Понятие о бонитировки балла почв и её главное предназначение //Central Asian Research Journal for Interdisciplinary Studies (CARJIS). – 2022. – Т. 2. – №. 1. – С. 223-229.

3.     O‘G‘Li, Murodilov Hasanboy Tolibjon. "Market transformation for sustainable rural housing." Достижения науки и образования 7 (48) (2019): 30-31.

Скачано с www.znanio.ru