Проектирование, разработка и сопровождение ETL/ELT-пайплайнов;
Разработка потоков загрузки и трансформации данных между источниками, DWH/Data Lake/Lakehouse и витринами;
Оптимизация SQL-запросов, структур БД и производительности пайплайнов;
Работа с большими объемами данных, форматами хранения и слоями raw / processed / curated;
Поддержка продуктивных процессов: мониторинг, разбор инцидентов, актуализация документации.
Опыт работы Data Engineer от 3 лет Middle, 5 лет senior;
Уверенный SQL: сложные запросы, CTE, оконные функции, оптимизация, работа с DDL/DML;
Опыт разработки и сопровождения ETL/ELT-пайплайнов в продакшене;
Опыт работы со стеком Big Data / DWH / Lakehouse: Spark, Hadoop, Kafka, S3/S3-like, Airflow;
Опыт работы с реляционными и аналитическими БД: PostgreSQL / Greenplum / ClickHouse / Oracle / MySQL;
Опыт обработки больших объемов данных, работы с форматами Parquet / ORC / Avro;
Уверенный Python, опыт разработки трансформаций и автоматизации обработки данных;
Опыт работы с Git, Jira/Confluence, понимание CI/CD.
Будет плюсом:
Опыт работы в банковском контуре или enterprise;
Опыт с Trino / Presto, Apache Iceberg, Delta Lake, Hudi;
Опыт с CDC и Batch-интеграциями;
Опыт работы с NiFi, dbt, Cosmos, Flink;
Опыт оптимизации Spark: partitioning, shuffle, broadcast joins.
Неизбежное развитие профессиональных навыков;
Работу над высоконагруженными активно развивающимся сервисами с ветвистой бизнес-логикой и множеством инженерных вызовов;
Возможность предложить и реализовать свою идею, как улучшить сервис, или новую функциональность;
Работа в аккредитованной IT-компании;
Возможность работать удаленно;
Бонусная программа HolyRelax;
Конкурентоспособная ЗП.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.