LLM Data Evaluation Engineer
Зарплата не указанаМы помогаем государству проводить disrupt госуправления через внедрение AI/GenAI и ускорять национальное развитие AI/GenAI, организуем одно из крупнейших в мире профильных мероприятий – AIJourney, объединяем бизнес, государство и международное научное сообщество, чтобы обеспечить GenAI-трансформацию страны.
Обязанности
• cтроить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты
• проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами
• оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги
• калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки
• строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры
• готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов.
Требования
• от 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами
• опыт построения с нуля системы оценки качества LLM или RAG
• знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность)
• опыт оценки агентных систем или многошаговых сценариев
• прикладная статистика: доверительные интервалы, значимость различий, размер выборки
• опыт обработки реальных документов в продакшене, включая OCR
• Python на уровне production-кода, уверенный SQL
• оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги).
Будет плюсом:
• работа с юридическими, нормативными или канцелярскими текстами на русском языке
• классический NLP: NER, классификация, извлечение сущностей
• опыт с русскоязычными бенчмарками
• работа с персональными данными по 152-ФЗ
• Elasticsearch, OpenSearch, векторные базы данных.
Условия
- гибридный формат работы (м Кутузовская)
- ежегодный пересмотр зарплаты, годовой бонус
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.
О компании
💚🚀 Хотите работать в компании, где каждый день создаются новые технологии и возможности? Добро пожаловать в Сбер! Здесь можно развиваться в своей профессии, осваивать новые направления, работать над масштабными задачами и строить карьеру вместе с сильной командой.
Сбер — место для развития
Мы создаём продукты и сервисы, которыми каждый день пользуются миллионы людей. Развиваем технологии, запускаем новые проекты и постоянно ищем решения, которые делают жизнь клиентов проще.
За большими продуктами стоят люди — разработчики, аналитики, менеджеры, специалисты по продажам, финансам, маркетингу, клиентскому сервису и десятки других профессиональных команд.
Поэтому в Сбере можно найти работу в самых разных направлениях. Неважно, начинаете вы карьеру или уже являетесь опытным специалистом, — у нас есть возможности для профессионального роста.
Работа в Сбере — это возможности
Мы хотим, чтобы каждый сотрудник мог развиваться и раскрывать свой потенциал. Поэтому большое внимание уделяем обучению, новым знаниям и профессиональному росту.
Вы можете углубляться в своей специальности, осваивать новые компетенции или пробовать себя в другом направлении. Развитие не ограничивается одной должностью — карьерный путь может меняться вместе с вашими интересами и целями.
Учитесь новому каждый день
Технологии и профессии постоянно меняются, поэтому учиться новому особенно важно. Мы создаём возможности для развития профессиональных и личных навыков, чтобы сотрудники могли уверенно справляться с современными задачами и двигаться дальше.
Внутри компании можно получать новые знания, обмениваться опытом с коллегами и развивать экспертизу на реальных проектах.
Работайте над задачами, которые имеют значение
В Сбере много разных команд и проектов. Здесь можно заниматься технологиями, создавать цифровые продукты, развивать клиентские сервисы, работать с данными, финансами, маркетингом, продажами и другими направлениями.
Каждая команда решает свои задачи, а общий результат складывается из работы людей с разной экспертизой.
Расти можно вместе с командой
Мы ценим инициативу, профессионализм и желание развиваться. Нам важно, чтобы сотрудники могли влиять на результат своей работы, предлагать идеи и брать на себя новые задачи.
С опытом появляются новые возможности: можно развиваться как эксперт, становиться руководителем или переходить в другое направление внутри компании.
Найдите работу в Сбере
Ищете первую работу? Хотите сменить профессию? Уже являетесь опытным специалистом и ищете масштабные проекты для развития? Посмотрите актуальные вакансии Сбера и выберите направление, которое подходит именно вам.
💚 Выбирайте профессию.
🚀 Развивайтесь.
✨ Создавайте новое вместе с нами.
Сбер — место, где есть возможности для роста и развития.
*Демонстрационный профиль — компания ещё не зарегистрирована
