Руководитель аналитики приёмки моделей в команду Alice AI

🔎 Руководитель аналитики приёмки моделей в команду Alice AI

Алиса — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Наша команда развивает качество ключевой LLM-технологии компании: мы работаем над тем, чтобы модели становились умнее, полезнее и надёжнее.

Какие задачи вас ждут:

• Приёмка моделей
Вы будете полностью вести приёмку новых версий моделей: определять, какие замеры нужны для конкретного релиза, запускать оценки, объединять результаты и готовить заключение о качестве модели.

• Развитие системы метрик
Вы станете развивать систему метрик, которая покажет реальное качество моделей. Вам нужно будет определить обязательные сигналы, объединить разные оценки в общую картину, рассчитать статистическую значимость и научиться отличать настоящие изменения от случайного шума.

• Работа с данными и инструментами приёмки
Вы будете отвечать за оценочные наборы — определять их состав, следить за покрытием важных сценариев, управлять версиями и обеспечивать воспроизводимость замеров. Также вам предстоит развивать инструментарий: создавать автоматические оценщики на базе LLM (LLM-as-a-judge) и применять гибридные методы.

• Управление командой и процессами
Вы соберёте команду аналитиков приёмки, будете распределять направления работы, наставничать и планировать ресурсы.

Мы ждём, что вы:

• Управляли командой аналитиков не менее двух лет
• Любите работать с данными и умеете извлекать из них практический результат
• Знаете матстат и тервер
• Умеете писать код на Python и знаете алгоритмы
• Умеете формулировать обоснованное заключение и защищать его перед заказчиками в условиях неполных данных

Почему у нас хорошо:
Мы предоставляем полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия. Это не все бонусы — полный список тут.

📩 Откликайтесь на вакансию на нашем сайте

#aliceai #ml #llm #python #аналитика