ML-инженер (Online RL) / Post-Training LLM
Зарплата не указанаМы развиваем GigaChat и ищем сильного ML-инженера в команду online RL. Это роль для человека, который умеет доводить исследовательские идеи до работающих решений: проектировать и запускать эксперименты, строить надёжные пайплайны обучения и добиваться реального роста качества модели.
Нам нужен не просто исполнитель задач, а инженер с сильным исследовательским мышлением, который способен самостоятельно разбираться в сложных проблемах, предлагать новые идеи и решения и нести ответственность за результат
Обязанности
Разрабатывать и улучшать методы online RL
Реализовывать и дорабатывать подходы post-training и online RL.
Проектировать и проводить эксперименты: формулировать гипотезы, подбирать конфигурации, анализировать результаты не только на уровне метрик, но и на уровне причин.
Разбираться, почему модель стала лучше или хуже, насколько устойчив результат и можно ли его масштабировать на другие домены и типы задач.
Следить за state-of-the-art: читать статьи, воспроизводить результаты, адаптировать лучшие подходы под наши задачи и инфраструктуру.
Строить и развивать инфраструктуру обучения
Разрабатывать и поддерживать пайплайны online RL: от генерации rollout'ов и сбора reward-сигналов до обновления весов модели.
Обеспечивать воспроизводимость экспериментов: версионирование данных, конфигов, чекпоинтов, контроль деградаций.
Оптимизировать throughput и эффективность использования GPU: distributed training, параллелизм, профилирование узких мест.
Выстраивать связку между моделью, средами исполнения, верификаторами и reward-моделями так, чтобы новые идеи можно было быстро проверять.
Работать с данными и системой оценки качества
Участвовать в проектировании и реализации reward-сигналов: rule-based верификаторы, reward-модели, LLM-as-a-judge, execution-based проверки.
Строить и улучшать пайплайны подготовки данных: фильтрация, дедупликация, балансировка, контроль утечек.
Анализировать ошибки модели, выявлять систематические слабые места и формировать целевые обучающие выборки для их устранения.
Работать в сильной команде
Тесно взаимодействовать с исследователями, другими инженерами, командами данных и инфраструктуры.
Брать на себя ответственность за целые куски системы: от идеи до результата в проде.
Делиться знаниями, участвовать в код-ревью, помогать поднимать общую планку качества.
Требования
Отличное владение Python и PyTorch.
Практический опыт в LLM post-training: RLHF, online RL, DPO или смежных направлениях.
Опыт проведения ML-экспериментов от начала до конца: постановка гипотезы → реализация → анализ → выводы.
Понимание distributed training: Data Parallel, FSDP, DeepSpeed или аналоги.
Умение писать чистый, надёжный, production-ready код.
Способность разбираться в сложных системах и самостоятельно находить и устранять узкие места.
Будет плюсом
Опыт работы с reward-моделями, process reward models, LLM-as-a-judge.
Опыт построения сред исполнения, sandboxes и верификаторов для code- или STEM-задач.
Опыт работы с large-scale inference и оптимизацией генерации (vLLM, Sglang и т.д.).
Понимание современных open-source стеков для обучения LLM (Verl, Megatron, TRL и др.).
Публикации, open-source вклад или сильный прикладной track record.
Условия
Сильные и сложные задачи на переднем крае развития русскоязычных LLM.
Прямое влияние на качество модели: результаты твоей работы видны в бенчмарках и в продукте.
Команду сильных инженеров и исследователей, у которых есть чему поучиться.
Возможность совмещать инженерную и исследовательскую работу.
Конкурентную компенсацию, премии и расширенный соцпакет.
О компании
💚🚀 Хотите работать в компании, где каждый день создаются новые технологии и возможности? Добро пожаловать в Сбер! Здесь можно развиваться в своей профессии, осваивать новые направления, работать над масштабными задачами и строить карьеру вместе с сильной командой.
Сбер — место для развития
Мы создаём продукты и сервисы, которыми каждый день пользуются миллионы людей. Развиваем технологии, запускаем новые проекты и постоянно ищем решения, которые делают жизнь клиентов проще.
За большими продуктами стоят люди — разработчики, аналитики, менеджеры, специалисты по продажам, финансам, маркетингу, клиентскому сервису и десятки других профессиональных команд.
Поэтому в Сбере можно найти работу в самых разных направлениях. Неважно, начинаете вы карьеру или уже являетесь опытным специалистом, — у нас есть возможности для профессионального роста.
Работа в Сбере — это возможности
Мы хотим, чтобы каждый сотрудник мог развиваться и раскрывать свой потенциал. Поэтому большое внимание уделяем обучению, новым знаниям и профессиональному росту.
Вы можете углубляться в своей специальности, осваивать новые компетенции или пробовать себя в другом направлении. Развитие не ограничивается одной должностью — карьерный путь может меняться вместе с вашими интересами и целями.
Учитесь новому каждый день
Технологии и профессии постоянно меняются, поэтому учиться новому особенно важно. Мы создаём возможности для развития профессиональных и личных навыков, чтобы сотрудники могли уверенно справляться с современными задачами и двигаться дальше.
Внутри компании можно получать новые знания, обмениваться опытом с коллегами и развивать экспертизу на реальных проектах.
Работайте над задачами, которые имеют значение
В Сбере много разных команд и проектов. Здесь можно заниматься технологиями, создавать цифровые продукты, развивать клиентские сервисы, работать с данными, финансами, маркетингом, продажами и другими направлениями.
Каждая команда решает свои задачи, а общий результат складывается из работы людей с разной экспертизой.
Расти можно вместе с командой
Мы ценим инициативу, профессионализм и желание развиваться. Нам важно, чтобы сотрудники могли влиять на результат своей работы, предлагать идеи и брать на себя новые задачи.
С опытом появляются новые возможности: можно развиваться как эксперт, становиться руководителем или переходить в другое направление внутри компании.
Найдите работу в Сбере
Ищете первую работу? Хотите сменить профессию? Уже являетесь опытным специалистом и ищете масштабные проекты для развития? Посмотрите актуальные вакансии Сбера и выберите направление, которое подходит именно вам.
💚 Выбирайте профессию.
🚀 Развивайтесь.
✨ Создавайте новое вместе с нами.
Сбер — место, где есть возможности для роста и развития.
*Демонстрационный профиль — компания ещё не зарегистрирована
