Senior LLM Inference Backend Engineer
Зарплата не указанаО команде:
Наша команда обеспечивает доступность нейросетей для тысяч пользователей одновременно. Мы сопровождаем и улучшаем production-платформу для хостинга LLM: ее надежность, производительность и масштабирование. Кроме того, мы создаём прикладные AI-продукты на базе LLM. Ищем опытного инженера, которому интересно работать и с платформенной частью, и с продуктовой.
Чем предстоит заниматься:
- Инфраструктура и высоконагруженный инференс (Platform Engineering):
- Проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей: скалирование, балансировка и приоритизация запросов, пользовательские лимиты;
- Оптимизация производительности: кэширование, батчинг, etc.;
- Надежность и observability: обеспечение SLA и предотвращение регрессий;
- Оценка и внедрение новых LLM.
- Продуктовая разработка (LLM Application):
- Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review;
- Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом/состоянием;
- Интеграции: встраивание AI-сервисов в корпоративную среду (API, БД, legacy-системы).
- Исследования и прототипирование (R&D):
- Проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена;
- Исследование новых технологий и подходов для улучшения продуктов.
Мы ждем от будущего члена команды:
- Экспертиза в Python & Backend:
- Опыт разработки на Python (5+ лет), знание стандартов: typing, асинхронность, паттерны проектирования;
- Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами.
- Архитектура и надежность (Production):
- Опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты;
- Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок.
- Глубокие знания LLM & Inference:
- Опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание их внутренней работы;
- Опыт настройки инференса под highload: latency/throughput, управление GPU-ресурсами;
- Опыт построения решений с tool/function calling: MCP, guardrails, борьба с галлюцинациями.
Дополнительно приветствуем:
- Насмотренность в применении AI агентов, мультиагентных систем, оркестрации инструментов;
- Понимание основных метрик качества LLM решений, опыт проведения A/B-тестов и офлайн-оценки: eval-сеты, human eval, etc;
- Опыт Lua-разработки;
- Опыт разработки и интеграции MCP.
Москва, Рочдельская улица, 15с1
О компании
Мы создаем технологии, которые становятся основой современной IT-инфраструктуры. YADRO разрабатывает и производит серверы, системы хранения данных, коммутаторы, телекоммуникационное оборудование, микропроцессоры и программные решения. Сегодня в нашей команде более 9 000 человек, большинство из них — инженеры. ⚙️
Здесь много инженерных задач
У нас работают разработчики C/C++, Go и Python, системные и DevOps-инженеры, специалисты по тестированию, схемотехнике, микроэлектронике, архитектуре и информационной безопасности. Отдельные команды занимаются разработкой микросхем на архитектуре RISC-V, телекоммуникационными решениями и операционной системой KVADRA.
Но возможности есть не только в разработке. В YADRO открыты позиции в производстве, поддержке и сервисе, продажах, финансах, HR, закупках, управлении проектами и других бизнес-направлениях. 📊
Можно расти в своей специализации
Мы создаем условия для профессионального развития: доступны внутреннее обучение, лекции экспертов, участие в конференциях, изучение английского и внешние образовательные программы. Инженер может развиваться как технический специалист, архитектор или руководитель команды.
Для студентов и начинающих специалистов есть стажировки и вакансии. Присоединиться к YADRO можно уже со второго курса профильного вуза и постепенно получать практический опыт в реальных технических проектах. 🎓
Гибкий формат и забота о сотрудниках
В зависимости от должности доступны офисный, гибридный и удаленный форматы работы. У нас есть офисы в Москве, Санкт-Петербурге и Нижнем Новгороде, а также производственные площадки в Московской области.
Сотрудникам предоставляется ДМС со стоматологией с первого дня, льготные условия страхования близких, консультации психологов и юристов. Также действуют программы обучения, поддержки спорта и творчества и корпоративная программа лояльности. 🧑💻
Если вам интересны разработка, электроника, микроэлектроника, телеком, производство или IT-инфраструктура, выбирайте направление и знакомьтесь с актуальными вакансиями YADRO.
*Демонстрационный профиль — компания ещё не зарегистрирована
