Фон компании

Middle Data Engineer в Локализацию (команда Рекомендаций)

Зарплата не указана
Москва
Требуемый опыт: от 1 года до 3 лет
График: 5/2
О вакансии:
Команда строит платформу данных для ML-специалистов и продуктовых аналитиков отдела рекомендательных систем. Закрывает полный цикл: от забора данных до развития хранилищ.

Ищем инженера, который будет строить платформу вместе с нами - не просто перекладывать данные между базами! Наш стек: Greenplum, Hadoop/HDFS, Iceberg, Trino, Airflow,Apache Kafka, Spark, ClickHouse.

Вам предстоит:
  • Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ);
  • Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище);
  • Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование);
  • Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы;
  • Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных.

Формат работы — удаленный формат.

Вы нам подойдете, если:
  • Уверенно владеете Python в контексте DE (2+ года);
  • Имеете глубокие знания SQL (оконные функции, оптимизация запросов, explain-планы);
  • Имеете опыт работы с оркестраторами данных (у нас Airflow);
  • Имеете опыт с Hadoop (Spark / YARN / HDFS);
  • Имеете опыт с MPP-системами (Greenplum).
Требуемые навыки
Greenplum
PySpark
Spark
Python
SQL
Apache Airflow
iceberg

О компании

avatar_rwb
RWB (Wildberries & Russ)
6915 отзывов

В RWB (Wildberries & Russ) можно работать над продуктами и сервисами, которыми каждый день пользуются миллионы людей. Мы объединяем технологии, e-commerce, рекламу и другие направления, создавая проекты, которые заметны далеко за пределами одной индустрии💜

RWB – международная технологическая группа компаний, созданная в результате объединения Wildberries и Russ. Сегодня мы работаем в 11 странах и развиваем более 40 продуктов и сервисов. Wildberries занимает лидирующие позиции в российском e-commerce, а Russ – в сегменте наружной рекламы.

Найдите своё направление

В RWB работают специалисты с самым разным опытом и профессиональным бэкграундом. Можно развиваться в разработке, аналитике, дизайне и контенте, управлении продуктами и проектами, информационной безопасности, инженерии, закупках и логистике, а также в других бизнес-направлениях.

Нас объединяет желание создавать новое и видеть результат своей работы. Здесь важно не просто выполнять задачи, а понимать, зачем они нужны пользователям и бизнесу.

Здесь можно влиять на результат

Мы ищем людей, которым важно быть заметными в своей профессии, предлагать идеи и отвечать за результат. Масштаб RWB позволяет работать над задачами, связанными с миллионами пользователей, большими технологическими системами и продуктами, которые продолжают развиваться.

При этом большая компания – это не только масштаб. Для тех, кому важны стабильность и уверенность, мы создаём прочную основу для работы и дальнейшего профессионального развития.

Учитесь и пробуйте новое

В RWB можно развиваться внутри своего направления, осваивать новые инструменты и работать с современными технологиями в e-commerce и рекламе. На карьерном сайте компания отдельно подчёркивает возможности для профессионального и личного роста.

Команды работают над разными продуктами и сервисами, поэтому внутри большой экосистемы можно находить новые задачи и направления, не ограничиваясь одной профессиональной траекторией.

Мы здесь, чтобы творить

Так звучит одна из ключевых идей карьерного бренда RWB. Для нас работа – это возможность создавать продукты, технологии и решения, которые становятся частью повседневной жизни миллионов людей.

Если вам хочется решать масштабные задачи, развиваться вместе с сильной командой и видеть реальный результат своей работы – выбирайте подходящую вакансию и присоединяйтесь к RWB💜

*Демонстрационный профиль — компания ещё не зарегистрирована