Если бы вас попросили назвать самую сексуальную профессию XXI века, какую бы вы назвали? Певец, актёр, бизнесмен? Что бы вы ни придумали, вариант гарвардского бизнес обзора однозначно вас удивит... В этой статье поговорим о Big Data Analyst, который заслужил верхнюю строчку в гарвардском топе.
ДАННЫЕ: БОЛЬШИЕ И МАЛЕНЬКИЕ
Для начала, а кто-то вообще слышал, что это за такие big данные? Нет, это не видео на пару терабайт. Это петабайты (!) абсолютно разношерстных данных. Более того, это такие данные, которые и на одном сервере-то не помещаются. Вот поэтому и big.
Усугубляет ситуацию и различные типы этих данных. Здесь может быть всё что угодно: от результатов серьезных исследований до вкусовых предпочтений в чипсах вашего соседа и вас самих.
Чем же занимается Big Data Analyst в таком случае? Предлагаю вам вспомнить момент из сказки “Золушка”, когда мачеха высыпала из мисок на пол разные зерна и заставила девушку перебрать всю эту горку. Аналитик больших данных в данном случае - это та же Золушка, но определить, классифицировать и структурировать нужно уже не зерна, а данные. Огромные данные. Для чего? Двигаемся к следующему вопросу.
КОМУ И ЗАЧЕМ НУЖНЫ BIG ДАННЫЕ?
Бизнесу. Большому и маленькому. Но преимущественно, конечно, большому. И под этим словом не подразумевается лишь области связанные с финансами. Бизнес в наше время - это практически всё вокруг. И медицина, и наука, и продовольствие, и многое другое.
Слышали ли когда-нибудь фразу о том, что современный человек в день воспринимает такое количество информации, которое не могли и представить себе люди прошлого? А теперь только представьте, с какими тоннами данных сталкиваются вычислительные системы! Но, видите ли, от этих огромных потоков данных нет особой пользы, если их нельзя структурировать, проанализировать, сделав полезные выводы.
Например: перед вами огромный супермаркет, в котором находится множество разнообразных продуктов. Допустим, вы зашли просто за хлебом, а через 30 минут вышли с целой тележкой всякой всячины. Как же так получилось? Ответ в расстановке товаров. Специалисты собрали, а главное - проанализировали информацию о покупках всех клиентов: от вида продукта, до времени приобретения и размера упаковки. Полученная информация и дала возможность составить такой план расстановки, который позволил увеличить прибыль в несколько раз. Теперь понимаете, зачем так нужны специалисты по Big Data? И это лишь самый простой и топорный пример...
ЧТО ДОЛЖЕН ЗНАТЬ И УМЕТЬ BIG DATA ANALYST?
Для начала, стоит отметить, что в Big Data есть два основных направления: инженеры Big Data и аналитики Big Data, однако на практике чаще всего все сводится к аналитике.
Аналитик больших данных отвечает за их анализ, выявляет взаимосвязи и строит модели.
Классический рабочий поток такого специалиста выглядит примерно так:
- сбор и структуризация данных, которых, как мы помним, огромное количество;
- проведение анализа разной направленности;
- разработка наиболее эффективного бизнес-решения.
КАКИЕ ЖЕ ЗНАНИЯ И УМЕНИЮ ПОМОГАЮТ BIG DATA АНАЛИТИКУ в его непростой, но очень важной работе? Готовьтесь к довольно большому списку…
- Глубокие знания в математике, а конкретно: методов статистического анализа данных, владение навыками построения математических моделей, нейронных сетей, байесовских сетей, кластеризации, проведение регрессионного, факторного, дисперсионного, корреляционного анализа и т.д.
- Знание языков программирования (преимущество Python).
- Навыки в машинном обучении.
- Владение статистическими инструментами SPSS, R, MATLAB, SAS Data Miner, Tableau;
- Навык быстрого изучения новой предметной области;
- Умение извлекать данные из различных источников, преобразовывать их и загружать в аналитическую базу данных (ETL);
- Умение работать в Hadoop;
- Глубокое знание SQL;
- Английский язык, куда уж без него в IT.
BIG DATA И ХНУРЭ: КАК ОБСТОЯТ ДЕЛА?
Студент нашего университета, кафедры Системотехники, Дмитрий Чернышев в 2019 году принял участие в качестве представителя от Украины в «Big Data Training School for Life Science» - школе Big Data по грантовой программе COST, к которой ХНУРЭ присоединился в 2018 году. К слову, всё это происходило в Греции на базе афинского университета.
Самым интересным было то, что Дмитрий был единственным студентом, принимающим участие в этом мероприятии. Все остальные на момент участия уже имели статус аспирантов.
Сама же работа Димы, которая была представлена в рамках школы Big Data, была посвящена обработке медицинских изображений с целью ранней диагностики пневмонии. Действительно впечатляет, вы так не думаете?
Помимо кафедры Системотехники базовые знания для освоения Big Data подаются в таких образовательных программах, как: «Информационные системы и технологии», «Информационные технологии управления», «Искусственный интеллект», «Информационные системы в медицине», «Компьютерные науки и технологии», «Информатика».
Итак, теперь по окончанию этой статьи вы определенно знаете две вещи: какая всё-таки самая сексуальная профессия по версии Гарвардского обзора и как, конце концов, в нее попасть. Но помните главный лозунг этой статьи: большие данные - это большая ответственность!
Карина Темчур