Якби вас попросили назвати найсексуальнішу професію XXI століття, яку б ви назвали? Співак, актор, бізнесмен? Що б ви не придумали, варіант гарвардського бізнес-огляду однозначно вас здивує... У цій статті поговоримо про Big Data Analyst, який заслужив верхню сходинку в гарвардському топі.
Понад 10 років тому в Harvard Business Review вийшла стаття «Data Scientist: The Sexiest Job of the 21st Century», в якій топменеджер стверджував, що Big Data Analyst — професія, що привертає «абсолютно приголомшливих і надзвичайно розумних людей, оскільки в якій ще сфері можна бути частково детективом, частково новатором і, залежно від того, на кого ви працюєте, частково міжнародним шпигуном», але інформація досі актуальна.
«До того ж ця робота поєднує в собі хорошу оплату і справу, внесок у яку легко оцінити». Заманливо?
Для початку, а хтось взагалі чув, що це за такі Big дані? Ні, це не відео на пару терабайт. Це петабайти (!) абсолютно різношерстих даних. Ба більше, це такі дані, які й на одному сервері-то не поміщаються. Ось тому й big.
Погіршує ситуацію і різні типи цих даних. Тут може бути все що завгодно: від результатів серйозних досліджень до смакових вподобань у чіпсах вашого сусіда і вас самих.
Чим же займається Big Data Analyst у такому разі?
Пропоную вам згадати момент із казки «Попелюшка», коли мачуха висипала з мисок на підлогу різні зерна і змусила дівчину перебрати всю цю гірку. Аналітик великих даних у цьому випадку — це та сама Попелюшка, але визначити, класифікувати й структурувати потрібно вже не зерна, а дані. Величезні дані. Для чого? Рухаємося до наступного питання.
Кому і навіщо потрібні Big дані?
Бізнесу. Великому і маленькому. Але переважно, звісно, великому. І під цим словом не маються на увазі лише галузі, пов'язані з фінансами. Бізнес у наш час — це практично все навколо. І медицина, і наука, і продовольство, і багато іншого.
Чи чули коли-небудь фразу про те, що сучасна людина в день сприймає таку кількість інформації, яку не могли й уявити собі люди минулого? А тепер тільки уявіть, з якими тоннами даних стикаються обчислювальні системи! Але, бачте, від цих величезних потоків даних немає особливої користі, якщо їх не можна структурувати, проаналізувати, зробивши корисні висновки.
Наприклад: перед вами величезний супермаркет, у якому знаходиться безліч різноманітних продуктів. Припустімо, ви зайшли просто по хліб, а через 30 хвилин вийшли з цілим візком усілякої всячини. Як же так вийшло? Відповідь у розставлюванні товарів. Фахівці зібрали, а головне — проаналізували інформацію про покупки всіх клієнтів: від виду продукту, до часу придбання і розміру упаковки. Отримана інформація і дала можливість скласти такий план розставлення, який дозволив збільшити прибуток у кілька разів. Тепер розумієте, навіщо так потрібні фахівці з Big Data? І це лише найпростіший і незграбний приклад...
Що має знати та вміти Big Data Analyst?
Для початку, варто зазначити, що у Big Data є два основні напрямки: інженери Big Data та аналітики Big Data, однак на практиці найчастіше все зводиться до аналітики.
Аналітик великих даних відповідає за їхній аналіз, виявляє взаємозв'язки та будує моделі.
Класичний робочий потік такого фахівця виглядає приблизно так:
- збір і структуризація даних, яких, як ми пам'ятаємо, величезна кількість;
- проведення аналізу різної спрямованості;
- розробка найефективнішого бізнес-рішення.
Які ж знання та вміння допомагають Big Data аналітику в його непростій, але дуже важливій роботі? Готуйтеся до досить великого списку...
- Глибокі знання в математиці, а конкретно: методів статистичного аналізу даних, володіння навичками побудови математичних моделей, нейронних мереж, байєсівських мереж, кластеризації, проведення регресійного, факторного, дисперсійного, кореляційного аналізу тощо.
- Знання мов програмування (перевага Python).
- Навички в машинному навчанні.
- Володіння статистичними інструментами SPSS, R, MATLAB, SAS Data Miner, Tableau.
- Навичка швидкого вивчення нової предметної області.
- Уміння витягувати дані з різних джерел, перетворювати їх і завантажувати в аналітичну базу даних (ETL).
- Уміння працювати в Hadoop.
- Глибоке знання SQL.
- Англійська мова, куди вже без неї в IT.
Отже, тепер по закінченню цієї статті ви напевне знаєте дві речі: яка все-таки найсексуальніша професія за версією Гарвардського огляду та як, зрештою, стати фахівцем в Data Science. Але пам'ятайте, що великі дані — це велика відповідальність!
Карина Темчур
