Если бы вас попросили назвать самую сексуальную профессию XXI века, какую бы вы назвали? Певец, актёр, бизнесмен? Что бы вы ни придумали, вариант гарвардского бизнес обзора однозначно вас удивит... В этой статье поговорим о Big Data Analyst, который заслужил верхнюю строчку в гарвардском топе.   

   

 

ДАННЫЕ: БОЛЬШИЕ И МАЛЕНЬКИЕ

Для начала, а кто-то вообще слышал, что это за такие big данные? Нет, это не видео на пару терабайт. Это петабайты (!) абсолютно разношерстных данных. Более того, это такие данные, которые и на одном сервере-то не помещаются. Вот поэтому и big.

Усугубляет ситуацию и различные типы этих данных. Здесь может быть всё что угодно: от результатов серьезных исследований до вкусовых предпочтений в чипсах вашего соседа и вас самих. 

Чем же занимается Big Data Analyst в таком случае? Предлагаю вам вспомнить момент из сказки “Золушка”, когда мачеха высыпала из мисок на пол разные зерна и заставила девушку перебрать всю эту горку. Аналитик больших данных в данном случае - это та же Золушка, но определить, классифицировать и структурировать нужно уже не зерна, а данные. Огромные данные. Для чего? Двигаемся к следующему вопросу. 

 

 

КОМУ И ЗАЧЕМ НУЖНЫ BIG ДАННЫЕ?

Бизнесу. Большому и маленькому. Но преимущественно, конечно, большому. И под этим словом не подразумевается лишь области связанные с финансами. Бизнес в наше время - это практически всё вокруг. И медицина, и наука, и продовольствие, и многое другое. 

Слышали ли когда-нибудь фразу о том, что современный человек в день воспринимает такое количество информации, которое не могли и представить себе люди прошлого? А теперь только представьте, с какими тоннами данных сталкиваются вычислительные системы! Но, видите ли, от этих огромных потоков данных нет особой пользы, если их нельзя структурировать, проанализировать,  сделав полезные выводы. 

Например: перед вами огромный супермаркет, в котором находится множество разнообразных продуктов. Допустим, вы зашли просто за хлебом, а через 30 минут вышли с целой тележкой всякой всячины. Как же так получилось? Ответ в расстановке товаров. Специалисты собрали, а главное - проанализировали информацию о покупках всех клиентов: от вида продукта, до времени приобретения и размера упаковки. Полученная информация и дала возможность составить такой план расстановки, который позволил увеличить прибыль в несколько раз. Теперь понимаете, зачем так нужны специалисты по Big Data? И это лишь самый простой и топорный пример...    

  

 

ЧТО ДОЛЖЕН ЗНАТЬ И УМЕТЬ BIG DATA ANALYST? 

Для начала, стоит отметить, что в Big Data есть два основных направления: инженеры Big Data и аналитики Big Data, однако на практике чаще всего все сводится к  аналитике. 

Аналитик больших данных отвечает за их анализ, выявляет взаимосвязи и строит модели. 

Классический рабочий поток такого специалиста выглядит примерно так: 

  1. сбор и структуризация данных, которых, как мы помним, огромное количество;
  2. проведение анализа разной направленности;
  3. разработка наиболее эффективного бизнес-решения.

 

КАКИЕ ЖЕ ЗНАНИЯ И УМЕНИЮ ПОМОГАЮТ BIG DATA АНАЛИТИКУ в его непростой, но очень важной работе? Готовьтесь к довольно большому списку…

 

 

  1. Глубокие знания в математике, а конкретно: методов статистического анализа данных, владение навыками построения математических моделей, нейронных сетей, байесовских сетей, кластеризации, проведение регрессионного, факторного, дисперсионного, корреляционного анализа и т.д.
  2. Знание языков программирования (преимущество Python).
  3. Навыки в машинном обучении.
  4. Владение статистическими инструментами SPSS, R, MATLAB, SAS Data Miner, Tableau;
  5. Навык быстрого изучения новой предметной области;
  6. Умение извлекать данные из различных источников, преобразовывать их и загружать в аналитическую базу данных (ETL);
  7. Умение работать в Hadoop;
  8. Глубокое знание SQL;
  9. Английский язык, куда уж без него в IT.

BIG DATA И ХНУРЭ: КАК ОБСТОЯТ ДЕЛА? 

Студент нашего университета, кафедры Системотехники, Дмитрий Чернышев в 2019 году принял участие в качестве представителя от Украины в «Big Data Training School for Life Science» - школе Big Data по грантовой программе COST, к которой ХНУРЭ присоединился в 2018 году. К слову, всё это происходило в Греции на базе афинского университета. 

 

 

Самым интересным было то, что Дмитрий был единственным студентом, принимающим участие в этом мероприятии. Все остальные на момент участия уже имели статус аспирантов.
Сама же работа Димы, которая была представлена в рамках школы Big Data, была посвящена обработке медицинских изображений с целью ранней диагностики пневмонии. Действительно впечатляет, вы так не думаете? 

Помимо кафедры Системотехники базовые знания для освоения Big Data подаются в таких образовательных программах, как: «Информационные системы и технологии», «Информационные технологии управления», «Искусственный интеллект», «Информационные системы в медицине»«Компьютерные науки и технологии», «Информатика»

Итак, теперь по окончанию этой статьи вы определенно знаете две вещи: какая всё-таки самая сексуальная профессия по версии Гарвардского обзора и как, конце концов, в нее попасть. Но помните главный лозунг этой статьи: большие данные - это большая ответственность!

Карина Темчур 

 

Популярні статті

Читати далі