Пропустить команды ленты
Пропустить до основного контента
SharePoint

Skip Navigation Linksabout

О подразделении


Big Data в аналитике


Под Big Data  (Большими данными) понимается определенный массив данных, объем и разнородность которого выходит за рамки типовых для отдельных отраслей возможностей специализированного программного обеспечения сбора, хранения, управления и анализа подобных данных.

В качестве источников Больших данных могут выступать непрерывно поступающие данные с измерительных устройств и детекторов, потоки сообщений из социальных сетей, метеорологические данные, данные дистанционного зондирования земли, потоки данных о местонахождении абонентов сетей сотовой связи, устройств аудио- и видеорегистрации. Массовое повсеместное распространение выше перечисленных источников и стоящих за ними технологий послужило развитием таких сфер, как научно-исследовательская деятельность, государственное управление, бизнес-сектор, социальные исследования. ​

data.jpg

Техническая революция 1980-х годов сделала доступным гигантский объем данных. Нарастающий объем разнородной информации подтолкнул развитие методов хранения, передачи и обработки, так начала формироваться парадигма Больших данных. Важнейшим условием успешного развития российской экономики становится возможность фиксировать и анализировать массивы и потоки информации. Существует точка зрения, что страны, которые овладеют наиболее эффективными методами работы с Большими данными (Big Data), ждет новая индустриальная революция.


growth.jpg


Так, в октябре 2014 года Европейская Комиссия и Big Data Value Association запустили совместный проект по исследованиям и инновациям в области Больших данных с бюджетом в 1 трлн. евро на период 2015-2020 гг., потому что ЕС считает, что к 2020 г. данные технологии будут способствовать повышению ВВП ЕС на 1,9%, что эквивалентно приросту ВВП ЕС за год.  

Направление Big Data концентрирует усилия в организации хранения, обработки и анализа огромных массивов данных. У России с ее колоссальным научным и образовательным потенциалом есть все шансы занять достойное место среди тех национальных экономик, где извлечение полезных знаний из больших объемов данных различной природы поставлено на службу индустриальному прогрессу.

Необходимость изучения и использования аналитических данных, а также методов и инструментов, используемых для преобразования, хранения, анализа, моделирования информации заключается в возможности развития аналитики точных прогнозов, поведенческого маркетинга, экспертных систем, базирующихся на когнитивных вычислениях Big Data.


Ключевые методики статистического анализа, компьютерных технологий, прикладной математики  и экономики первоначально использовались для работы с небольшими данными, но теперь их адаптируют к большим объемам. К ним относятся:

  • инструменты сбора, очистки, преобразования, хранения данных (Data fusion/Data integration),
  • глубокий анализ данных, включающий кластерный анализ, регрессионный анализ, нейронные сети (Data mining),
  • прогнозирование временных рядов, оптимизационные алгоритмы, моделирование и симуляция,
  • алгоритмы обработки текста (категоризация, сентимент-анализ) и аудио/видео контента,
  • ​отчетность/BI (статические отчеты, OLAP, инструментальные панели, интерактивная визуализация).