Задачи: — разработка и сопровождение ETL/ELT-пайплайнов на Python и Apache Airflow — оптимизация SQL-запросов в Greenplum — построение потоковой обработки в Apache Kafka — интеграция данных из баз данных, REST API и файловых систем — разработка REST API и микросервисов на FastAPI — проектирование структур данных, витрин и моделей DWH — оптимизация обработки больших объёмов данных — настройка мониторинга и логирования — обеспечение качества и целостности данных Требования: — опыт работы дата-инженером от 3 лет — уверенное знание Python и продвинутого SQL, включая сложные запросы, оконные функции, CTE и оптимизацию — практический опыт с Greenplum или PostgreSQL, Apache Airflow, Apache Kafka и FastAPI — понимание архитектуры DWH, ETL/ELT и принципов построения дата-пайплайнов — опыт работы с Git и Linux Условия: — ДМС — внешнее обучение — компенсация фитнеса — скидки и бонусы от компаний холдинга
Загружаем…