Бэкенд-разработчик в команду LLM Gateway

Бэкенд-разработчик в команду LLM Gateway
Москва, офис

Наша команда развивает LLM Gateway — единую точку доступа к языковым моделям в Авито. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, управлять лимитами, видеть стоимость каждого запроса и отслеживать поведение моделей в продакшене.

Какие задачи вас ждут:
— развивать LLM Gateway для Авито, чтобы создавать продукты с LLM было быстро и удобно;
— автоматизировать выдачу и настройку доступов к моделям;
— развивать управление потреблением LLM: рассчитывать стоимость LLM-вызова, настраивать бюджетные лимиты для клиентов и приоритеты;
— развивать динамическую балансировку трафика между LLM-моделями;
— определять SLA платформы и методику его расчёта, настраивать мониторинг и алёрты, поддерживать SLA;
— интегрироваться с платформой инференса, автоматизировать развёртывание моделей и открывать к ним доступ для пользователей в инфраструктуре Авито;
— тесно взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии.

Мы ждём, что вы:
— имеете опыт технического лидерства в крупных направлениях с высокой степенью неопределённости: собирали требования, планировали работы, декомпозировали задачи, отвечали за реализацию и отслеживали результаты;
— имеете опыт поддержки критической высоконагруженной инфраструктуры: настраивали мониторинг и алёрты, участвовали в дежурствах 24/7;
— программировали на Python или Go от 5 лет;
— имеете опыт в MLOps или LLMOps: разворачивали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями;
— понимаете основы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT;
— умеете работать с задачами высокой неопределённости и выстраивать коммуникацию с командами.

Будет здорово, если вы:
— работали с LLM API и LLM Gateway, например LiteLLM;
— создавали внутренние платформенные решения;
— работали с системами мониторинга LLM, например Langfuse, Opik и другими;
— создавали и поддерживали админки для внутренних пользователей;
— работали с Kubernetes и GPU;
— работали с DWH, например ClickHouse и Trino.

Работа у нас — это:
— расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
— сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких;
— корпоративный спорт: групповые тренировки, велбиинг-приложение;
— спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;
— компенсация питания.


Понравилась вакансия?
💚 — да
🌚 — нет


———

🖤 Разместить вакансию
💙 контакт скрыт
🐢 контакт скрыт
💚 контакт скрыт
🧑‍💻 контакт скрыт
🫶 контакт скрыт
💜 контакт скрыт