Tech Lead Data engineer
до 500 000 ₽ за месяц, до вычета налоговНаша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C - централизованное и эталонное место хранения данных. Мы ищем сильного инженера данных для работы с крупными распределенными системами. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink. Вам предстоит работать с высоконагруженными системами, потоковой обработкой и участвовать в построении единого хранилища данных компании.
Обязанности
- разработка и оптимизация витрин данных: Проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum. Обеспечение высокой производительности и отказоустойчивости пайплайнов.
- потоковая обработка данных (RT и NRT): Разработка и поддержка стриминговых пайплайнов. Построение NRT пайплайнов обработки данных из Kafka в Apache Iceberg (Kafka2Iceberg) и RT пайплайнов между Kafka (Kafka2Kafka) с использованием Apache Flink и Spark Structured Streaming.
Архитектура данных:
- активное участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse данных для обеспечения
- разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg (оптимизация партиционирования, compaction, time travel).
Инженерные практики:
- реализация механизмов инкрементальной загрузки данных для минимизации времени обработки и нагрузки на источники
- разработка и документирование API (на Java или Scala) для доступа к данным витрин и сервисам семантического слоя
Производительность и качество:
- глубокая оптимизация Spark-приложений, включая использование векторного движка Gluten/Velox для ускорения рабочих нагрузок
- разработка решений для сверки и контроля качества данных (Data Quality) с использованием Spark и Python.
DevOps и CI/CD: Внедрение разработанных решений в продуктовую среду. Настройка пайплайнов сборки и деплоя в Jenkins, управление зависимостями задач в Oozie или современных оркестраторах.
Коммуникация: Взаимодействие с внутренними бизнес заказчиками для уточнения и согласования требований, презентация доработок сервиса.
Требования
- уверенное владение языками: SQL, Java (или Scala), Python (как вспомогательный для ad-hoc анализа и DQ).
- глубокое понимание экосистемы Apache Hadoop (HDFS, YARN) и опыт работы с ней в продакшене.
- опыт разработки пайплайнов на Apache Spark (Core, SQL, Structured Streaming) уровня не ниже middle.
- опыт работы с потоковыми данными: Apache Kafka (как источник/приемник) и хотя бы одним фреймворком стриминговой обработки (Apache Flink или Spark Streaming).
- понимание форматов хранения данных (Parquet, ORC, Avro) и современных подходов к управлению Data Lakehouse (обязательно знание Apache Iceberg).
- опыт оптимизации производительности Apache Spark (настройка ресурсов, устранение перекосов данных, работа с memory, оптимизация shuffle).
Будет большим плюсом:
- опыт внедрения промышленных пайплайнов пакетной передачи данных.
- опыт внедрения промышленных пайплайнов потоковой передачи данных.
- опыт внедрения Gluten/Velox или аналогичных векторизованных движков.
- навыки сборки и развертывания Doker-образов приложений.
Условия
- офисный формат работы (м Кутузовская ул. Поклонная 3)
- годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- регулярные митапы и развитое DS-community
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбер.
О компании
💚🚀 Хотите работать в компании, где каждый день создаются новые технологии и возможности? Добро пожаловать в Сбер! Здесь можно развиваться в своей профессии, осваивать новые направления, работать над масштабными задачами и строить карьеру вместе с сильной командой.
Сбер — место для развития
Мы создаём продукты и сервисы, которыми каждый день пользуются миллионы людей. Развиваем технологии, запускаем новые проекты и постоянно ищем решения, которые делают жизнь клиентов проще.
За большими продуктами стоят люди — разработчики, аналитики, менеджеры, специалисты по продажам, финансам, маркетингу, клиентскому сервису и десятки других профессиональных команд.
Поэтому в Сбере можно найти работу в самых разных направлениях. Неважно, начинаете вы карьеру или уже являетесь опытным специалистом, — у нас есть возможности для профессионального роста.
Работа в Сбере — это возможности
Мы хотим, чтобы каждый сотрудник мог развиваться и раскрывать свой потенциал. Поэтому большое внимание уделяем обучению, новым знаниям и профессиональному росту.
Вы можете углубляться в своей специальности, осваивать новые компетенции или пробовать себя в другом направлении. Развитие не ограничивается одной должностью — карьерный путь может меняться вместе с вашими интересами и целями.
Учитесь новому каждый день
Технологии и профессии постоянно меняются, поэтому учиться новому особенно важно. Мы создаём возможности для развития профессиональных и личных навыков, чтобы сотрудники могли уверенно справляться с современными задачами и двигаться дальше.
Внутри компании можно получать новые знания, обмениваться опытом с коллегами и развивать экспертизу на реальных проектах.
Работайте над задачами, которые имеют значение
В Сбере много разных команд и проектов. Здесь можно заниматься технологиями, создавать цифровые продукты, развивать клиентские сервисы, работать с данными, финансами, маркетингом, продажами и другими направлениями.
Каждая команда решает свои задачи, а общий результат складывается из работы людей с разной экспертизой.
Расти можно вместе с командой
Мы ценим инициативу, профессионализм и желание развиваться. Нам важно, чтобы сотрудники могли влиять на результат своей работы, предлагать идеи и брать на себя новые задачи.
С опытом появляются новые возможности: можно развиваться как эксперт, становиться руководителем или переходить в другое направление внутри компании.
Найдите работу в Сбере
Ищете первую работу? Хотите сменить профессию? Уже являетесь опытным специалистом и ищете масштабные проекты для развития? Посмотрите актуальные вакансии Сбера и выберите направление, которое подходит именно вам.
💚 Выбирайте профессию.
🚀 Развивайтесь.
✨ Создавайте новое вместе с нами.
Сбер — место, где есть возможности для роста и развития.
*Демонстрационный профиль — компания ещё не зарегистрирована
