AWS Data Engineer

Задачи: — Стриминг и обработка исходных данных с мейнфрейм и устаревших систем, загрузка в AWS S3. — Проектирование и реализация ETL/ELT процессов с использованием AWS Glue. — Проведение сверки данных, проверок качества и валидации для обеспечения точности и надежности данных. — Кураторство и трансформация данных, предоставление чистых наборов данных через AWS Aurora и RDS (PostgreSQL). — Управление хранилищем S3, включая политики хранения данных, стратегии архивирования и управление жизненным циклом. — Автоматизация рабочих процессов и управление деплойментом с помощью GitHub и CI/CD на базе GitHub Actions. — Использование AI-инструментов для повышения продуктивности инженерии и автоматизации рабочих процессов с данными. Требования: — Опыт работы в Data Engineering не менее 5 лет, создание и доставка конвейеров данных, ETL/ELT процессов или платформенных решений. — Практический опыт работы с AWS Glue для проектирования и реализации ETL/ELT процессов. — Глубокие знания AWS сервисов: S3, RDS/Aurora, Glue. — Опыт построения и поддержки потоковых конвейеров данных с использованием Kafka. — Опыт реализации сверки данных, проверок качества и процессов валидации. — Владение управлением репозиториями GitHub и автоматизацией CI/CD с помощью GitHub Actions. — Опыт использования AI-инструментов для автоматизации рабочих процессов и повышения продуктивности. — Способность самостоятельно брать ответственность за результаты и доводить задачи до завершения с минимальным контролем. — Опыт работы с данными мейнфрейм или интеграции с устаревшими системами будет плюсом. — Знакомство с MongoDB или другими NoSQL базами данных будет плюсом. Условия: — Оплата $65 в час на основе W2. — Полностью удаленная работа.