Задачи:
– Разработка и рефакторинг ETL/ELT пайплайнов на pyspark;
– Разработка и поддержка OLAP движков Starrocks/Clickhouse;
– Поддержка текущих пайплайнов на Greenplum и Hadoop;
– Миграция с HDFS на S3;
– Оптимизация spark-приложений.
Требования:
– Опыт работы с Python от 3 лет;
– Глубокое знание SQL и опыт работы с большими данными;
– Опыт работы с Apache Airflow;
– Опыт проектирования и разработки ETL/ELT процессов;
– Опыт работы с колоночными БД (ClickHouse);
– Знание принципов построения Data Warehouse и Data Lake;
– Понимание разницы между OLTP/OLAP системами;
– Уверенная работа c linux и git;
– Понимание процессов ci/cd.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.