Статья на тему: "Технология больших данных"

Абдыкаримова   Алия   Тлеулиевна,   старший   преподаватель   кафедры Информационных технологий Жетысуского государственного университета   И. им.   8   771   495   17   72,  _10021980@  mail   aliya       Жансугурова,  .  ru    г.   Талдыкорган, ТЕХНОЛОГИЯ БОЛЬШИХ ДАННЫХ Аннотация: В статье рассматриваются понятие Big Data и история возникновения данной технологии, также подробно описываются основные методы анализа и обработки данных и  новые технологии анализа больших данных. Также в статье приводятся примеры использования   Big Data в Казахстане. Түйіндеме:  Мақалада  Big  Data  түсінігі мен берілген технологияның тарихы, сонымен қатар мәліметтерді өңдеу мен талдаудың негізгі әдістері және   көлемді   талдаудың   жаңа   технологиялары қарастырылады. Сонымен қатар мақалада Big Data­ны Қазақстанда қолдану мысалдары келтіріледі.    мәліметтерді Abstract:  The article covers the principles of the Big Data technology and the   history   of   its   development.     Also   main   methods   of   data   analysis   and processing   are   given   together   with   the   new   technologies   of   the   Big   Data analysis. The article also provides the examples of using Big Data in Kazakhstan В 2008 году Клиффорд Линч в журнале Nature опубликовал статью, в которой затронул развитие будущего науки с использованием технологии работы с большим объемом информации. После этого, было еще несколько публикаций   по   данной   теме   и   только   потом,   пресса   стала   использовать такое понятие как Big Data. Технология больших данных вошла не только в научно­исследовательскую деятельность и коммерцию, а также и во многие сферы человеческой жизни, где требуется эффективная система хранения и манипулирования информацией. Big   Data –   это   не   просто   большое   количество   данных,   а   также технологии их эффективной обработки и использования, различные методы быстрого поиска необходимой информации в огромном потоке информации [1].  Обработка   большого   потока   данных   для   любых   систем   всегда оставалась важной и актуальной проблемой. Так как информация в нашем современном мире накапливается в любой сфере человеческой жизни. В   2010   году   начали   решать   данную   проблему,   стали   выпускать программные   продукты,   которые   должны   были   помочь   в   обработке больших данных. Уже в 2011 году крупные компании, такие как Oracle, Microsoft, IBM успешно начали использовать технологию Big data. Многие вузы внесли в образовательные программы данную технологию как отдельный предмет.   Основные методы анализа и обработки данных показаны на рисунке 1. Краудсорси нг Машинное  обучение  Сетевой  анализ методы  анализа и  обработки  данных  А/В­ тестирован ие Прогнозна я  аналитика Глубинны й анализ  Рисунок 1. Методы анализа и обработки данных. 1. Методы класса или глубинный анализ (Data Mining). Data Mining (переводится как «раскопка данных»  или «добыча») – совокупность   методов   для   обнаружения   в   ранее   неизвестных  данных информацию,   которая   необходима   или  может   быть   использована   при принятии решений, также методы Data Mining применимы для проведения автоматического анализа данных. 2. Краудсорсинг.   Используя   данный   метод   можно   получить информацию из нескольких источников 3. А/В­тестирование. В данном методе  одна совокупность элементов сравнивается с другой совокупностью элементов с разными данными, далее выявляют,  у какой совокупности элементов показатели больше. Благодаря тому, что Big Data содержит большое количество данных, за счет этого  можно проводить большое число итераций и с каждой из них приближаясь к максимально достоверному результату.  4. Прогнозная аналитика. Прогнозная   аналитика   еще   называют     предсказательной, предикативной   ­   данный   метод   анализа   данных   направлен   на прогнозирование будущего поведения объектов и субъектов. Специалисты работающие в данной области заранее предугадывают как будет вести себя объект, для того чтобы принять наиболее выгодное в этой   ситуации   решение.  Прогнозная   аналитика   базируется   на   методах машинного обучения [2]. 5. Машинное обучение (искусственный интеллект). Машинное   обучение   применяется   в   автоматизированном   алгоритмов, интеллектуальном   анализе   данных   с   использованием   программных   решений   и   математических   методов.  Основывается   на эмпирическом анализе информации и последующем построении алгоритмов самообучения систем. Сетевой анализ. 6. Метод сетевого анализа используется, когда необходимо разобраться в   связях,   возникающие   между   подсистемами.   Данный   метод   помогает определить   взаимоотношения   между   отдельными   структурами   и компонентами.  С   каждым   годом   актуальность   анализа   больших   объемов   данных растет. Если же ранее Big data был доступен только большим организациям, то     на   данный   момент   благодаря   новым   технологиям   анализ   больших данных стал доступен и представителям малых и средних структур. Ниже на технологии. показаны рисунке данные   2         Искусственный  интеллект и Deep  Learning .  Облачные  хранилища Техноло гии Blockchain Dark Data Рисунок 2. Новые технологии анализа больших данных. Технологии по обработке Big Data   зашли и на казахстанский рынок. Правительство   Казахстана,   ведет   большую   работу   в   области информационных   технологий,   запуская   различные   государственные программы, такие как  Цифровой Казахстан, smart city и т.п. Одним   из   крупных   заказчиков   в Казахстане   по обработке   больших данных  является  государство.  Ведь  для  того  чтобы  иметь  контроль  над информацией   и  быть   конкурентоспособным,  необходимо   обрабатывать   и использовать   накопившиеся   за   многие   годы   данные.   Например,   в   сфере медицины ввелся электронный паспорт здоровья, который образует единую базу   данных,  база   министерства   образования   и науки   интегрирована с базами   других   госорганов   на платформе   eGov,   в   сфере   бизнеса необходима обработка больших данных и т.д.[3] Данные являются двигателем современного цифрового мира. Сейчас очень   много   новых   возможностей,   которые   раньше   трудно   было   даже представить.  Технологические   инновации   будут  играть  ключевую   роль   в анализе   гигантских   объемов   доступной   информации   и   извлечении максимальной пользы из нее [4].    1. Чугреев В. Л., Баданин Д. А. Использование прогнозной аналитики в информационно­аналитических   системах   поддержки   принятия решений // Молодой ученый. — 2016. — №6. — С. 49­52. — URL https://moluch.ru/archive/110/27127/ (дата обращения: 13.12.2018). 2. Соколова,   А.   Как   устроен   рынок   big   data   в   России   [Электронный ресурс]. — Режим доступа: http://rusbase.com/howto/big­data­in­russia/  3. https://kursiv.kz/news/hi­tech/2017­08/v­mire­nastupaet­epokha­big­data 4. kapital.kz/tehnology/71257/big­data­v­kazahstane­o­krupnom­zakazchike­ kadrah­i­perspektivah.html