Задачи:
— Полное ведение приёмки новых версий моделей: определение необходимых замеров, запуск оценок, объединение результатов и подготовка заключения о качестве модели.
— Развитие системы метрик для оценки реального качества моделей: определение обязательных сигналов, объединение разных оценок, расчет статистической значимости, отличение настоящих изменений от случайного шума.
— Работа с данными и инструментами приёмки: определение состава оценочных наборов, контроль покрытия важных сценариев, управление версиями, обеспечение воспроизводимости замеров.
— Развитие инструментов: создание автоматических оценщиков на базе LLM (LLM-as-a-judge), применение гибридных методов.
— Управление командой и процессами: формирование команды аналитиков приёмки, распределение направлений работы, наставничество, планирование ресурсов.
Требования:
— Опыт управления командой аналитиков не менее двух лет.
— Умение работать с данными и извлекать из них практический результат.
— Знание математической статистики и теории вероятностей.
— Навыки программирования на Python и знание алгоритмов.
— Умение формулировать обоснованные заключения и защищать их перед заказчиками в условиях неполных данных.
Условия:
— Ежегодные медицинские чекапы, йога и психотерапия.
— Другие бонусы, полный список которых доступен по ссылке https://yandex.ru/jobs/pages/benefits.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.