Senior/Lead QA Engineer (AI/LLM Products)
Зарплата не указанаМы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов.
Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.
Чем предстоит заниматься:
- функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
- разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
- тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
- оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
- анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
- автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
- тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг
- ведение тестовой документации, баг-репортов, участие в приёмке фич
- взаимодействие с разработчиками и ML-инженерами при разборе дефектов.
От кандидатов ждем:
- опыт в тестировании от 5 лет (ручное + автоматизация)
- практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
- понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
- уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
- понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
- python на базовом уровне для автотестирования: умение написать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами
- умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями.
Будет плюсом:
- продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля
- опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки)
- понимание RAG-архитектур
- опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.
Мы предлагаем:
- офисный формат работы на период испытательного срока, далее возможен гибридный формат
- ежегодный пересмотр зарплаты
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте (для Junior позиций)
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка СберПрайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера.
О компании
💚🚀 Хотите работать в компании, где каждый день создаются новые технологии и возможности? Добро пожаловать в Сбер! Здесь можно развиваться в своей профессии, осваивать новые направления, работать над масштабными задачами и строить карьеру вместе с сильной командой.
Сбер — место для развития
Мы создаём продукты и сервисы, которыми каждый день пользуются миллионы людей. Развиваем технологии, запускаем новые проекты и постоянно ищем решения, которые делают жизнь клиентов проще.
За большими продуктами стоят люди — разработчики, аналитики, менеджеры, специалисты по продажам, финансам, маркетингу, клиентскому сервису и десятки других профессиональных команд.
Поэтому в Сбере можно найти работу в самых разных направлениях. Неважно, начинаете вы карьеру или уже являетесь опытным специалистом, — у нас есть возможности для профессионального роста.
Работа в Сбере — это возможности
Мы хотим, чтобы каждый сотрудник мог развиваться и раскрывать свой потенциал. Поэтому большое внимание уделяем обучению, новым знаниям и профессиональному росту.
Вы можете углубляться в своей специальности, осваивать новые компетенции или пробовать себя в другом направлении. Развитие не ограничивается одной должностью — карьерный путь может меняться вместе с вашими интересами и целями.
Учитесь новому каждый день
Технологии и профессии постоянно меняются, поэтому учиться новому особенно важно. Мы создаём возможности для развития профессиональных и личных навыков, чтобы сотрудники могли уверенно справляться с современными задачами и двигаться дальше.
Внутри компании можно получать новые знания, обмениваться опытом с коллегами и развивать экспертизу на реальных проектах.
Работайте над задачами, которые имеют значение
В Сбере много разных команд и проектов. Здесь можно заниматься технологиями, создавать цифровые продукты, развивать клиентские сервисы, работать с данными, финансами, маркетингом, продажами и другими направлениями.
Каждая команда решает свои задачи, а общий результат складывается из работы людей с разной экспертизой.
Расти можно вместе с командой
Мы ценим инициативу, профессионализм и желание развиваться. Нам важно, чтобы сотрудники могли влиять на результат своей работы, предлагать идеи и брать на себя новые задачи.
С опытом появляются новые возможности: можно развиваться как эксперт, становиться руководителем или переходить в другое направление внутри компании.
Найдите работу в Сбере
Ищете первую работу? Хотите сменить профессию? Уже являетесь опытным специалистом и ищете масштабные проекты для развития? Посмотрите актуальные вакансии Сбера и выберите направление, которое подходит именно вам.
💚 Выбирайте профессию.
🚀 Развивайтесь.
✨ Создавайте новое вместе с нами.
Сбер — место, где есть возможности для роста и развития.
*Демонстрационный профиль — компания ещё не зарегистрирована
