Data Engineer
Приглашаем Вас на работу на должность Data Engineer зарплата Полная занятость Режим гибкого рабочего времени
Расширенное описание |
|
|---|---|
Вакансия |
Data Engineer |
Зарплата |
|
Организация |
КНОПКА |
Адрес организации |
г Москва |
Адрес трудоустройства
Регион: Москва МО
Дополнительная информация по адресу: г Москва
Должностные обязанности
Наш департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. У нас в команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель. Ищем опытного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных. У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайт. Задачи: проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных; участвовать в развитии системы для создания и использования ML-моделей; исследовать и интегрировать в продукт новые источники данных; создавать витрины признаков для ML-моделей. Требования: знание алгоритмов и структур данных; умение писать качественный, поддерживаемый код на Scala, Python, SQL; опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive); знакомство с Git, Linux, Docker; опыт работы с терминалом по SSH. Будет плюсом: умение использовать Luigi, Airflow, Kafka; опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml; знание Java и нюансов JVM; понимание классических ML-моделей, задач и методов DS.
Данные по вакансии
Специальность: Data Engineer
Профобласть: Информационные технологии, телекоммуникации, связь
Режим работы: Полная занятость
Характер работы: Режим гибкого рабочего времени
Источник информации: Вакансия интернет ресурса
Требования к соискателю
Образование: Не указано
Опыт работы (лет): от 0
Информация
Дата: 2024-12-18
Введите требуемое название профессии и выберите населенный пункт
Специальное предложение