Data Engineer в VK Видео Москва

VK Видео — это один из самых крупных сервисов потокового видео в России. Ежедневно им пользуются десятки миллионов людей, и перед нами стоит амбициозная задача — стать видеосервисом №1 в РФ.

Мы ищем сильных DWH-инженеров, которые помогут построить удобное и качественное хранилище данных на большом кластере размером сотни петабайт для анализа поведения пользователей и обучения моделей.

Задачи:

• разрабатывать и поддерживать процессы по обработке и поставке данных для команд аналитики и ML;
• выявлять и собирать требования к существующим и новым данным с последующим формированием конкретного заказа в команду разработки;
• сопровождать выполнение заказов по поставке данных на всех этапах, уточняя требования и проверяя результат.

Требования:

• у вас есть опыт работы DWH-инженером;
• вы уже работали с экосистемой Hadoop, в частности с Airflow, Spark и HDFS;
• умеете составлять сложные SQL-запросы;
• программируете на Python и разбираетесь в парадигме MapReduce;
• умеете работать с Git и разрабатывать код в команде из нескольких человек;
• знаете основы работы с операционными системами на базе Unix/Linux;
• можете быстро разобраться в плохо формализованной задаче, сформулировать её и выделить главное;
• способны вести несколько проектов одновременно и самостоятельно расставлять приоритеты.

Будет плюсом:

• опыт работы с ClickHouse, Superset, Jupyter;
• базовые навыки в машинном обучении.