Senior Аналитик эффективности ML

Задачи: — Формулировать заказ для ML на языке продукта, определяя, какой показ, экран или шаг CJM модель должна улучшить и какая метрика это докажет; — Развивать систему A/B-тестирования доработок моделей в разных модулях СуперАппа; — Развивать мониторинг моделей на продакшене, включая качество выдачи, долю трафика под моделью, сдвиг микса показов, деградацию по сегментам и расхождение офлайна с продом; — Анализировать причины просадки моделей: данные, фичи, смена трафика, конфликт моделей, сезонность; — Вести очередь задач в ML, разделяя задачи, приносящие деньги и улучшающие путь клиента, от исследований и устаревших задач; — Фиксировать эффект каждой раскатки в общей картине распределения показов, чтобы избежать ухудшения других сценариев. Требования: — Опыт продуктовой аналитики от 4 лет, опыт с аналитикой ML от 2 лет в областях ранжирования, рекомендаций, таргетинга или распределения трафика; — Умение быть заказчиком ML-команды с чёткой постановкой задач, метрикой успеха и принятием решения без передачи ответственности; — Практика проведения A/B-тестов на продакшене с учётом дизайна, мощности, пересечений, новизны и долговременного эффекта; — Владение SQL и Python на уровне проверки витрин моделей и дашбордов мониторинга; — Понимание границ офлайн-метрик моделей и продуктовых метрик, таких как CTR, конверсия CJM и доходность показов. Будет плюсом: — Опыт работы в супераппе или маркетплейсе с несколькими моделями, делящими показы; — Навыки построения контура мониторинга с алертами на деградацию, срезами по экранам и сегментам, регулярным разбором с ML; — Умение сравнивать модели с простыми правилами и оставлять правило, если эффект совпадает. Результат через полгода: — Наличие короткого списка задач от продукта для ML и единый контур тестирования каждой раскатки; — Видимость живости моделей и их эффекта на путь клиента и доходность показов.