Senior LLM Inference Backend Engineer

#senior #удаленка #гибрид

YADRO
Senior LLM Inference Backend Engineer
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид

☑️ Чем предстоит заниматься
-Инфраструктура и высоконагруженный инференс (Platform Engineering):
-Проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей: скалирование, балансировка и приоритизация запросов, пользовательские лимиты
-Оптимизация производительности: кэширование, батчинг, etc.
-Надежность и observability: обеспечение SLA и предотвращение регрессий
-Оценка и внедрение новых LLM
-Продуктовая разработка (LLM Application):
-Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review
-Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом/состоянием
-Интеграции: встраивание AI-сервисов в корпоративную среду (API, БД, legacy-системы)
-Исследования и прототипирование (R&D):
-Проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена
-Исследование новых технологий и подходов для улучшения продуктов

☑️ Наши пожелания к кандидатам
-Экспертиза в Python & Backend:
-Опыт разработки на Python (5+ лет), знание стандартов: typing, асинхронность, паттерны проектирования
-Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами
-Архитектура и надежность (Production):
-Опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты
-Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок
-Глубокие знания LLM & Inference:
-Опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание их внутренней работы
-Опыт настройки инференса под highload: latency/throughput, управление GPU-ресурсами
-Опыт построения решений с tool/function calling: MCP, guardrails, борьба с галлюцинациями

Контакты: контакт скрыт

🔥 Подписаться на наши каналы / контакт скрыт / контакт скрыт