Где студент может начать работу над пилотными проектами в области компьютерного зрения? Какой уровень подготовки необходим, чтобы стать участником летней школы в компании It-Jim? На эти и другие вопросы ответит Дарина Песина, главный операционный директор компании It-Jim.
Компьютерное зрение везде: от распознавания отпечатков пальцев и лица в вашем смартфоне до применений в беспилотных автомобилях, медицинской диагностике и приложениях дополненной реальности.
Почему в компании It-Jim увлечены исследованиями и разработками в области компьютерного зрения (CV – computer vision)?
- На наш взгляд, компьютерное зрение - едва ли не самое увлекательное направление AI(искусственного интеллекта).
Изображение является наиболее популярным способом представления данных, легко воспринимается и интерпретируется человеком. Изображения формируются на большом количестве устройств: от оптической камеры и радара до ИК или КТ установок. Необычайно интересно применять знания в обработке визуальной информации с физическими и биологическими особенностями сенсоров для ее получения.
Представьте себе ситуацию: вы постоянно занимаетесь интересными и нетривиальными, часто сложными задачами, которые не похожи друг на друга и решают проблемы в совершенно разных индустриях, от здравоохранения до спортивной аналитики и беспилотных автомобилей. При этом практическая ценность видна сразу и уровень абстракции минимален.
Какие особенности работы в области CV: больше – работы с данными или с нейросетями?
- В большинстве случаев больше работы с данными, так как клиенты часто приходят со своими индивидуальными задачами, для которых не всегда есть готовый датасет. Но в некоторых случаях кроме специфических данных приходится еще и разрабатывать или "настраивать" специфические модели нейросетей, например, для максимизации точности или адаптации под запуск на портативном устройстве.
Для успешной карьеры в области CV какие необходимы знания?
- Если коротко, то вам однозначно понадобятся понимание цифровой обработки изображений и знание основных библиотек для классического CV (OpenCV и Numpy для Python) и ML/DL (TensorFlow, Keras, PyTorch).
Если говорить о математике, то для работы в области CV/ML она вам точно понадобится: в первую очередь, линейная алгебра, матанализ и теория вероятностей. Хорошая новость в том, что университетских знаний достаточно. Шпаргалка по возможным математическим областям, которые могут быть использованы в задачах CV, достаточно полно представлена в статье "Roadmap of Mathematics for Deep Learning" в блоге towardsdatascience.com.
Наконец, еще один "маст-хэв" - это английский язык. Типичная задача для CV инженера - это разобраться со статьей, написанной на английском, и реализовать предложенный в ней алгоритм.
Какие языки программирования востребованы для CV инженера?
Однозначно, Python и С++. Для прототипирования и в исследовательских целях лучше подходит пайтон в силу простоты его использования, написания кода, доступности огромной библиотеки различных модулей и визуализации результатов. Кроме того, основные ML фреймворки в первую очередь разрабатываются под пайтон.
С ++ имеет свои сильные стороны и сферы применения. В первую очередь, он востребован на этапе выпуска (production), когда стоит задача интеграции алгоритмов в реальные embedded устройства, их запуска на мобильном телефоне, вычисления на реальных серверах, то есть в тех случаях, где на первый план выходят такие критерии как оптимизация, быстродействие, совместимость со специфическим средой выполнения и т.д.
Какие софт скиллы необходимы для успешной карьеры?
Софт скиллы, которые необходимы для успешной карьеры в CV, ничем не отличаются от тех, которые полезны в любой другой профессии. Поэтому чем более развитыми у вас будут коммуникативные навыки, способность работать в команде и решать конфликты, менеджмент времени, умение проводить презентации, уровень самоорганизации, лидерские качества, желание саморазвития, адаптивность, умение себя мотивировать, исследовательские навыки, эмоциональный интеллект, тем стремительнее будет ваша карьера.
Как начать практиковаться в области CV?
- Безусловно, наличие портфолио поможет при устройстве на работу. Начать его наполнять можно с помощью небольших проектов на биржах фриланса, участия в хакатонах, стажировках, тематических школах или в соревнованиях на Kaggle.
Мы в этом году на постоянной основе запускаем trainee программу: у нас на сайте теперь всегда есть пул пилотных проектов, над которыми можно поработать под нашим менторством. Каждый проект рассчитан не более, чем на 2 месяца полной занятости. Выбирайте, что вам ближе, - и к нам. Интересный и значимый слот в портфолио вам гарантирован.
Какие книги рекомендуете для самостоятельного изучения? Телеграм-каналы?
Книги:
"Digital Image Processing", Rafael Gonzalez and Richard Wood
"Computer Vision: Algorithms and Applications", Richard Szeliski
"Multipleviewgeometry", RichardHartley
"Глубокоеобучение. Погружение в мир нейронных сетей", Сергей Николенко
"The DeepLearning book", Ian Goodfellow and YoshuaBengio and Aaron Courville
"Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow", AurélienGéron
Телеграм-каналы:
Бесплатные ресурсы для самостоятельного изучения DataScience и NeuralNetworks?
- Недавний курс Яна ЛеКунна в Университете Нью-Йорка дает обзор новейших методик глубокого изучения и доступен как в видео, так и в текстовом формате. Советуем также видео-лекции от Стенфордского университета: по компьютерному зрению (включая DL) и конволюционным нейронным сетям для визуального распознавания. И, конечно, классический курс Эндрю Ына по машинному обучению на курсере.
Важно ли участвовать в студенческих хакатонах по направлению CV? Как это может пригодиться в дальнейшей карьере?
Это хороший опыт и возможность понять, как вы работаете с командой в достаточно экстремальных условиях над нетривиальной задачей, еще и под давлением очень ограниченного времени. В таких ситуациях проявляются не только хард, но и софт скиллы: лидерство, навыки презентации. Справитесь ли с давлением? Сможете ли вложиться в установленные сроки? Успеете ли довести задачу до конца? Часто компании-спонсоры хакатонов берут команды, показавшие лучшие результаты, под свое крыло. Поэтому проявить себе ярко на хакатоне - это неплохой способ ускорить свою карьеру.
Есть ли в It- Jim стажировки и школы? Могут ли в них принимать участие студенты?
- Да! Начиная с 2019 года, мы дважды в год проводим образовательные мероприятия: летнюю школу и зимнюю стажировку. Первая - это полноценный курс по компьютерному зрению длительностью 2 месяца, за которые мы рассказываем как классические подходы, так и алгоритмы машинного/глубокого обучения для задач компьютерного зрения.
Во время зимней стажировки участники в течение месяца работают над пилотными проектами под менторством наших специалистов. На обе программы мы проводим отбор, обязательно оценивая уровень программирования, математической подготовки, английского, мотивацию и наличие минимального опыта решения тематических задач. Если в 2019 мы получили около 20 заявок, то в этом году - уже более 160, и порядка 100 из них были от студентов. После летних школ несколько студентов остались у нас работать и делают магистерские работы уже под нашим руководством.
Три совета мечтающим об исследованиях и разработках в области CV?
Постоянно читайте тематические блоги, например, medium.com, towardsdatascience.com или блоги FacebookAI, GoogleAI, OpenAI; ищите возможность поработать в компании, которая занимается разработками в области CV - это не только коммерческий опыт, но, в первую очередь, перенимание опыта у специалистов; и подавайте заявку к нам на trainee программу.
Беседу вела Рита Казьмина
