Задачи:
— Стриминг и обработка исходных данных с мейнфрейм и устаревших систем, загрузка в AWS S3.
— Проектирование и реализация ETL/ELT процессов с использованием AWS Glue.
— Проведение сверки данных, проверок качества и валидации для обеспечения точности и надежности данных.
— Кураторство и трансформация данных, предоставление чистых наборов данных через AWS Aurora и RDS (PostgreSQL).
— Управление хранилищем S3, включая политики хранения данных, стратегии архивирования и управление жизненным циклом.
— Автоматизация рабочих процессов и управление деплойментом с помощью GitHub и CI/CD на базе GitHub Actions.
— Использование AI-инструментов для повышения продуктивности инженерии и автоматизации рабочих процессов с данными.
Требования:
— Опыт работы в Data Engineering не менее 5 лет, создание и доставка конвейеров данных, ETL/ELT процессов или платформенных решений.
— Практический опыт работы с AWS Glue для проектирования и реализации ETL/ELT процессов.
— Глубокие знания AWS сервисов: S3, RDS/Aurora, Glue.
— Опыт построения и поддержки потоковых конвейеров данных с использованием Kafka.
— Опыт реализации сверки данных, проверок качества и процессов валидации.
— Владение управлением репозиториями GitHub и автоматизацией CI/CD с помощью GitHub Actions.
— Опыт использования AI-инструментов для автоматизации рабочих процессов и повышения продуктивности.
— Способность самостоятельно брать ответственность за результаты и доводить задачи до завершения с минимальным контролем.
— Опыт работы с данными мейнфрейм или интеграции с устаревшими системами будет плюсом.
— Знакомство с MongoDB или другими NoSQL базами данных будет плюсом.
Условия:
— Оплата $65 в час на основе W2.
— Полностью удаленная работа.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.