Tech Lead Data Lakehouse Engineer в Корпоративное хранилище

Задачи: — Проектировать и развивать Data Lakehouse платформу; — Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino; — Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake; — Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana; — Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm); — Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт. Требования: — Практический опыт построения Data Lakehouse платформ или крупных Data Platform решений; — Опыт проектирования DLH с нуля; — Глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов; — Хорошее понимание принципов работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий); — Опыт работы с Trino и понимание принципов распределенного выполнения запросов; — Опыт работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов. Условия: — Обучение и развитие: языковые клубы, корпоративный университет, программы развития управленческих навыков; — Корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога; — Клубы по интересам: спикеры, футбол, йога, шахматы и др.; — Условия для сочетания карьеры и заботы о семье, гибкий подход, проекты для детей сотрудников; — Скидки и партнерские программы на обучение, страхование, покупки; — Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников. Формат работы: полный рабочий день, можно удалённо.