Data Engineer Москва

Регион: Москва МО

Дополнительная информация по адресу: г Москва, Центральный федеральный округ,Москва

Наша команда занимается генеративной аналитикой и исследованиями того, как лучше решать существующие задачи с помощью RAG. Вы будете: заниматься поиском и внедрением передовых подходов к работе с данными с использованием ИИ. Исследовать, как применение передовых фреймворков для работы с RAG и LLM в целом влияет на результат. Создавать и поддерживать эффективные ETL-пайплайны, чтобы поставлять в систему свежие данные для работы с ними с помощью RAG. Предлагать улучшения и варианты оптимизации существующей инфраструктуры, чтобы работать еще быстрее и с бóльшим количеством данных. Обязанности разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи, связанные с RAG применять машинное обучение и искусственный интеллект для улучшения результатов работы, поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых. Требования умение проектировать DWH, Data Lake, Data Management Platform опыт построения и развития высоконагруженных систем, разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+) продвинутый уровень владения Python и SQL опыт работы с движками для распределенной обработки данных (Spark, Trino) опыт работы с очередями сообщений (Kafka, RabbitMQ), с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica) базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом. . Условия комфортный современный офис рядом с м. Кутузовская гибридный формат работы ежегодный пересмотр зарплаты, годовая премия корпоративный спортзал и зоны отдыха система обучения для профессионального и карьерного развития расширенный полис ДМС с первого дня работы и страхование для семьи программа ипотеки для сотрудников бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ вознаграждение за рекомендацию друзей в команду Сбера.

Специальность: Data Engineer

Профобласть: Информационные технологии, телекоммуникации, связь

Режим работы: Полная занятость

Характер работы: Сменная работа

Источник информации: Вакансия интернет ресурса

Образование: Не указано

Дата: 2025-10-16