ML Engineer / Data Scientist

Задачи: – Исследовать и прототипировать новые методы контроля качества данных на наших данных. – Проектировать ML- и статистические контроли для выявления аномалий, дрейфа распределений, деградации свежести данных, нарушений сезонных паттернов и нетипичных комбинаций метрик. – Строить базовые ожидания по DQ-метрикам: row_count, null_rate, unique_count, свежесть данных, доли категорий. – Подбирать подходящие методы под конкретную задачу: от простых правил и статистических проверок до ML-моделей. – Валидировать контроли без готовой разметки: проверять их на исторических данных, использовать синтетические аномалии, shadow mode и анализ ложных срабатываний. – Интегрировать решения в production-пайплайны: Airflow, PySpark, Hive/Hadoop. – Настраивать алертинг для операционных команд и сопровождать решения в production. Требования: – Опыт в ML / Data Science от 3 лет. – Уверенное владение Python (pandas, numpy, scikit-learn) и SQL. – Ключевой стек: Python, SQL, Airflow, PySpark, Hadoop/Hive, MLflow. – Сильная база по математической статистике и классическому машинному обучению: линейные модели, деревья, бустинги. – Опыт с методами выявления аномалий и/или обнаружения дрейфа данных. – Опыт работы с временными рядами. – Опыт вывода моделей в production, их мониторинга и версионирования. – Понимание, где действительно нужен ML, а где достаточно правила, SQL-проверки или статистического базового контроля. – Критично: Знание ML + Airflow.