Senior NLP/LLM Engineer (Quality Evaluation / RAG)

#вакансия #fulltime #remote #senior #nlp #mlengineer #llm #rag #pytorch #transformers

Компания Centicore💙 находится в поисках Senior NLP/LLM Engineer (Quality Evaluation / RAG).

Мы занимаемся продуктовой и платформенной разработкой под ключ для крупных заказчиков. В рамках проекта команда развивает решение автоматической оценки качества работы операторов: новые направления, модели и повышенные требования к качеству.

Формат работы: Удаленка по РФ
Вилка: 370–400k на руки (в зависимости от опыта и пожеланий кандидата)
Уровень: Middle+/Senior

🔷 Требования:

Опыт в машинном обучении и NLP от 2 лет (Middle+) / от 4 лет (Senior)
Понимание архитектур и опыт работы с моделями GPT, BERT и аналогами
Уверенное владение Python и ML-стеком (PyTorch, transformers) на уровне кастомных циклов обучения и инференса
Опыт вывода NLP-моделей в прод и оптимизации (качество/латентность/стоимость)
Опыт построения RAG-пайплайнов (retrieval, reranking, vector DB и т.д.)
Знание основ работы с большими данными и опыт обработки (Spark, Hadoop)
Базовые инженерные навыки: bash, git, docker

🔷 Обязанности:

- Обучение и улучшение моделей для оценки работы операторов
- Каскадная гибридная оценка: segmentation + retrieval/RAG + rules+DL + LLM-judge, агрегирование в финальные оценки и объяснения
- Построение воспроизводимых пайплайнов
- Системно искать ошибки, формировать гипотезы, быстро проверять, доводить до прироста качества
- Разметка и данные (в связке с командой аналитики): выбор стратегии - сэмплинг, активное обучение, контроль качества разметки, сложные кейсы и гайдлайны.
- Прод: совместно с MLE/MLOPS доводить модели до прода, с командой аналитики следить за деградацией метрик, мониторинг метрик качества и дрейфа, планировать переобучение

💌 Для откликов и вопросов — писать в лс @ktvsk_d
Будем рады знакомству! ❤️