Senior Data Engineer

Задачи: – Обеспечить сквозную доставку одного или нескольких приоритетных доменов данных в Azure Databricks. – Разработка и создание конвейеров обработки данных уровня Medallion (Bronze/Silver/Gold) с использованием декларативных конвейеров Lakeflow, Auto Loader, Structured Streaming и Delta Lake с кластеризацией Liquid. – Зарегистрировать отобранные данные в каталоге Unity с указанием правильных тегов, масок, фильтров строк, происхождения и политик доступа. – Внедрить контрольные точки качества данных на границе между «серебряным» и «золотым» уровнями и уточнить правила совместно с экспертами в данной области. – Упаковка и развертывание проектов с использованием Databricks Asset Bundles через Azure DevOps CI/CD. – Разрабатывать автоматизированные тесты и документацию. – Начать работать на уровне ИИ как соавтора уже сегодня, а затем перейти к ИИ как оркестратору, используя Claude Code, Databricks Assistant, GitHub Copilot и инструменты агента, подключенные к MCP, для ускорения повторяющихся этапов сборки, тестирования и развертывания конвейера. Требования: – Более 6 лет опыта работы в области проектирования данных, из которых как минимум последние три года — с использованием Databricks в производственной среде. – Обширный практический опыт работы с архитектурой Medallion/Lakehouse, Delta Lake, Unity Catalog, декларативными конвейерами Lakeflow и пакетами ресурсов Databricks. – Уверенное владение Python, PySpark и SQL, умение диагностировать проблемы производительности в больших рабочих нагрузках с помощью Spark UI и Photon. – Реальный опыт работы в производственной среде с потоковой обработкой данных (Kafka Structured Streaming, Auto Loader) и использованием алгоритмов CDC. – Опыт внедрения систем обеспечения качества данных в масштабах предприятия (Great Expectations или аналогичные), а также опыт в области отслеживания происхождения данных, каталогизации и контроля доступа. – CI/CD на платформах данных с использованием Azure DevOps или GitHub Actions, с инфраструктурой как кодом (Terraform или аналогичные решения). – Свободное владение рабочим английским языком.