Senior Data Engineer

Задачи: – Разработка и оптимизация ETL-процессов с использованием Python и SQL. – Разработка и внедрение масштабируемых конвейеров обработки данных для обработки различных источников данных. – Работа с реляционными базами данных (например, PostgreSQL, Oracle) для обеспечения эффективного хранения и извлечения данных. – Оптимизация SQL-запросов и скриптов Python для повышения производительности и удобства сопровождения. – Внедрение надежной обработки ошибок, ведение журналов и мониторинг для конвейеров обработки данных. – Взаимодействие с межфункциональными командами для интеграции и управления источниками данных. Требования: – Более 5 лет опыта в области проектирования данных. – Навыки работы с Python и SQL на экспертном уровне – умение писать эффективный, масштабируемый и поддерживаемый код. – Обширный опыт в проектировании ETL-процессов и работе с большими массивами данных. – Глубокое понимание оптимизации производительности баз данных и оптимизации запросов. – Опыт работы с моделированием данных и проектированием схем. – Знание решений для облачного хранения данных (Azure, AWS или GCP). – Высокие навыки решения проблем и способность работать самостоятельно. – Желательно: опыт работы с PySpark, оркестраторами и знание CI/CD для автоматизации процесса развертывания. Условия: – Полностью удаленная позиция с гибкими условиями работы.