Middle Data Engineer (СберAds)

Задачи: — Проектировать и разрабатывать новые, а также поддерживать существующие data pipeline’и в облачной среде — Заниматься тюнингом и оптимизацией производительности пайплайнов, включая написание эффективного кода, работу с "горячими" точками и распределённые вычисления — Настраивать мониторинг, алертинг и участвовать в создании дашбордов для отслеживания здоровья данных — Внедрять и развивать практики Data Quality и DataOps — Поддерживать и развивать техническую документацию Требования: — Опыт работы от 3 лет (обязательно) — Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения, знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы) — Опыт промышленной разработки на Scala от 2 лет или уверенный Python/PySpark при готовности работать с Scala-ядром — Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач — Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов — Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач — Уверенная работа с Git, понимание принципов CI/CD для данных Будет плюсом: — Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink — Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi) — Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в Kubernetes) — Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги) — Базовое понимание ML-процессов (как модели потребляют данные, feature store)