Аналитик-разработчик в LLM Блендер

❣️ Аналитик-разработчик в LLM Блендер

В Поиске Яндекса, помимо обычных ссылок на веб-страницы, есть тематические блоки: картинки, видео, ответ нейросети от Алисы, калькулятор, курс валют и др. Мы делаем офлайн-метрику, основанную на LLM-разметке релевантности тематических блоков запросам по инструкции.

Какие задачи вас ждут:

• Улучшение офлайн-метрики ранжирования
Вы будете исследовать и оцифровывать проблемы в метрике и итоговом ранжировании, придумывать способы исправления проблем.

• Сбор бенчмарка ранжирования
Офлайн-метрика замеряет качество поиска, но нужно замерять качество и метрики! Именно для этого нужен бенчмарк — набор эталонных оценок ранжирования. Его сбор — во многом продуктовая задача, ведь бенчмарк задаёт эталонное ранжирование.

• Построение и поддержка аналитических моделей в оценке качества Поиска
Команда отвечает ещё и за процессы офлайн-оценки качества поиска: приёмки новых ML-моделей ранжирования, сбор «корзин» (запросов для оценки качества) и дашбордов мониторинга качества. Потребуется решать множество важных продуктовых и аналитических вопросов.

Мы ждём, что вы:
• Имеете опыт руководства или менторства в аналитике
• Умеете выстраивать стабильные и прозрачные рабочие процессы
• Обладаете глубокими знаниями математики

📩 Откликайтесь на вакансию на нашем сайте

#поиск_с_алисой_ai #аналитика #гибрид #офис