Инженер качества AI-агента

🟢 Инженер качества AI-агента [Uklad AI]
‌
⏰ Занятость: полная, график 5/2, 9-18 или 10-19 МСК, опыт 1-3 года
💵 Формат: удалённо
‌
🛠 Что делать:
-Анализировать качество работы AI-агентов: изучать диалоги, находить ситуации с неудачным выполнением задач
-Находить причины ошибок: почему агент не вызвал инструмент, неправильно выбрал последовательность действий
-Вносить изменения в код, отвечающий за выбор инструментов и выполнение задач
-Писать тесты, проверять качество агента до/после изменений
-Работать с метриками качества, отслеживать динамику ошибок
-Развивать систему автоматической оценки (AI-судья)
-Работать напрямую с основателем над приоритетами продукта
‌
✅ Требования:
-Опыт разработки на TypeScript или Node.js, умение читать и менять backend-код
-SQL и базы данных, анализ логов и статистики
-Понимание LLM и AI-агентов: Tool Calling, выбор инструментов моделью
-Опыт написания автотестов и проверки качества систем
-Умение измерять эффект изменений через метрики
-Будет плюсом: опыт с LLM-as-a-Judge/Evals, PostgreSQL, SQLite
‌
🔗 контакт скрыт

#вакансия #aiagent #qa #удаленка