Задачи:
– Развивать платформу данных;
– Разрабатывать и оптимизировать ETL/ELT-процессы;
– Работать с batch- и streaming-пайплайнами;
– Развивать модели данных и хранилище;
– Повышать производительность и надежность платформы;
– Настраивать мониторинг, алертинг и контроль качества данных;
– Автоматизировать эксплуатационные процессы;
– Участвовать в технических ревью и развитии инженерных практик команды.
Требования:
– Уверенное владение Python и SQL;
– Опыт работы с Spark, Clickhouse, Hadoop, Kafka, Greenplum, S3 (Ceph, Minio);
– Опыт написания DAG-ов для Airflow;
– Опыт работы с Docker и K8S;
– Навыки работы с Linux;
– Навыки работы с Git.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.