AI/LLM Engineer в GenAI Evaluation

🟢 AI/LLM Engineer в GenAI Evaluation
‌
💰 Оплата: не указана, опыт 3-6 лет
⏰ Занятость: полная, график 5/2
💵 Формат: удалённо, гибрид или офис
‌
🛠 Что делать:
-Выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development
-Разрабатывать сервис для массового тестирования GenAI-решений: от запросов к LLM до сложных агентов
-Создавать внутренние бенчмарки по HR-домену для оценки open-source LLM
-Проектировать метрики качества и валидационные пайплайны, настраивать observability
-Организовывать человеческую разметку и разрабатывать LLM-as-Judge
-Готовить лучшие практики и инструкции для продуктовых команд
‌
✅ Требования:
-Уверенный Python, опыт production-ready ML/GenAI-сервисов
-Опыт систем оценки качества ML/GenAI: offline-метрики, regression testing, human evaluation, A/B
-Опыт валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость)
-Опыт с DeepEval, LangFuse, MLflow, LangSmith и аналогами
-Опыт с LLM API, RAG, агентами, LangChain/LangGraph
-Опыт FastAPI, asyncio и векторных баз (Milvus, Qdrant, FAISS, pgvector)
‌
⭐ Будет плюсом:
-Знание Java
-Опыт обучения и инференса open-source LLM
‌
🔗 Откликнуться: [контакт скрыт)
#вакансия #LLM #AI #удаленка