Задачи:
— Развитие DWH и Data Lake с участием в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse
— Разработка и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python
— Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow
— Проектирование и поставка агрегированных данных для продуктовой и бизнес-аналитики в Apache Superset
— Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы)
— Контроль качества данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL
Требования:
— Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет
— Уверенное владение SQL: сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN)
— Опыт работы с Apache Airflow: разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов
— Практика работы с PostgreSQL, ClickHouse, S3-совместимыми хранилищами (Parquet/ORC)
— Уверенный Python: написание чистого, структурированного кода для обработки данных
— Базовое понимание подготовки данных для BI-инструментов, в частности Apache Superset
— Навыки работы с Git, Docker и Linux-окружением
— Будет плюсом опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ), dbt, инструментами валидации данных (Great Expectations, Pandera), настройкой дашбордов и семантического слоя в Apache Superset, а также понимание логистического или B2B SaaS-домена
Условия:
— Полная занятость, график 5/2
— Формат работы: удалённо, гибрид или офис
Зарплаты и спрос: Дата-инженер
Сейчас в каталоге 599 вакансий по этому направлению, удалённо можно работать в 41%.
Зарплата здесь не указана. Медиана по направлению: 245 000 ₽ в месяц. У половины вакансий от 160 000 ₽ до 298 000 ₽ (вакансий с вилкой: 39).
Навыки этой вакансии, которые чаще всего просят по направлению: Python (37%), SQL (35%), Airflow (25%), Kafka (14%), PostgreSQL (14%), Spark (13%), ClickHouse (11%), Git (11%). В скобках доля вакансий направления.