Задачи:
— Проектирование, внедрение и поддержка DevOps-инструментов для дата-пайплайнов и платформ.
— Поддержка и автоматизация ETL-воркфлоу (например, Spark, Airflow).
— Создание и управление мониторингом и наблюдаемостью качества данных (DBT), дата-пайплайнов и систем хранения.
— Внедрение и поддержка инфраструктуры хранения данных на AWS (S3, EC2, сеть).
— Интеграция и поддержка Project Nessie как транзакционного каталога для Data Lakes с семантикой, похожей на Git.
— Тесное взаимодействие с Data Engineers для обеспечения плавного деплоя, версионирования и масштабирования дата-задач и пайплайнов.
— Автоматизация деплоя и CI/CD процессов с использованием GitLab CI/CD.
— Обеспечение лучших практик безопасности при работе с чувствительными данными.
— Написание автоматизации инфраструктуры на Python, Bash, Ansible.
— Документирование систем, пайплайнов и DevOps-процессов.
Требования:
— Опыт 5+ лет в DevOps / IT Ops / DataOps с практическим опытом работы с инфраструктурой, связанной с данными.
— Глубокие знания Linux (сеть, настройка ядра, оптимизация производительности).
— Практический опыт работы с Airflow, ClickHouse, DBT, Spark и Project Nessie.
— Солидные знания AWS (S3, EC2, IAM, сеть).
— Владение скриптингом и автоматизацией (Python, Bash, Ansible).
— Опыт работы с CI/CD пайплайнами (GitLab).
— Опыт с мониторинговыми стеками (Prometheus, Grafana, ELK).
— Знакомство с контейнеризацией и оркестрацией (Docker, Kubernetes).
— Понимание концепций управления данными.
— Сильные коммуникативные навыки и проактивный подход.
Желательно:
— Опыт работы с потоковой обработкой данных в реальном времени.
— Знание инфраструктуры как кода (Terraform).
— Знакомство с безопасностью в дата-инжиниринге (IAM, шифрование, контроль доступа).
— Опыт работы с высокопроизводительными системами или в торговой среде.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.