Devops engineer (Data)

Задачи: — Проектировать, внедрять и поддерживать DevOps инструменты для data pipeline и data платформ. — Поддерживать и автоматизировать ETL процессы (например, Spark, Airflow). — Создавать и управлять мониторингом и наблюдаемостью качества данных (DBT), data pipeline и систем хранения. — Внедрять и поддерживать инфраструктуру хранения данных на AWS (S3, EC2, сеть). — Интегрировать и поддерживать Project Nessie как транзакционный каталог для Data Lakes с семантикой, похожей на Git. — Тесно сотрудничать с Data Engineers для обеспечения плавного деплоя, версионирования и масштабирования data jobs и pipeline. — Автоматизировать деплой и CI/CD процессы с использованием GitLab CI/CD. — Обеспечивать лучшие практики безопасности при работе с чувствительными данными. — Писать автоматизацию инфраструктуры на Python, Bash, Ansible. — Документировать системы, pipeline и DevOps процессы. Требования: — Опыт 5+ лет в DevOps / IT Ops / DataOps с практическим опытом работы с инфраструктурой, связанной с данными. — Глубокие знания Linux (сеть, настройка ядра, оптимизация производительности). — Практический опыт работы с Airflow, ClickHouse, DBT, Spark и Project Nessie. — Солидные знания AWS сервисов (S3, EC2, IAM, сеть). — Владение скриптингом и автоматизацией (Python, Bash, Ansible). — Опыт работы с CI/CD пайплайнами (GitLab). — Опыт работы с мониторинговыми стеками (Prometheus, Grafana, ELK). — Знакомство с контейнеризацией и оркестрацией (Docker, Kubernetes). — Понимание концепций управления данными. — Сильные коммуникативные навыки и проактивный подход. Плюсом будет: — Опыт работы с потоковой обработкой данных в реальном времени. — Знание инфраструктуры как кода (Terraform). — Знакомство с безопасностью в data engineering (IAM, шифрование, контроль доступа). — Опыт работы с высокопроизводительными системами или в торговой среде.