- Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR). - Владение Terraform (или Ansible) для автоматизации инфраструктуры.
Требования:
Инфраструктура и Cloud:
— Опыт развертывания и настройки managed-кластеров Spark (Yandex Data Proc, Google Dataproc, AWS EMR).
— Владение Terraform (или Ansible) для автоматизации инфраструктуры.
— Настройка сетевого взаимодействия (VPC, VPN, Security Groups) между Greenplum и Spark.
— Опыт работы с Docker и Kubernetes (если Spark запускается на K8s).
Big Data стек:
— Понимание архитектуры Greenplum и способов выгрузки данных (gpfdist, PXF, JDBC).
— Знание архитектуры Spark (Driver, Executor, History Server), умение управлять ресурсами кластера.
— Настройка оркестрации пайплайнов (Apache Airflow).
— Работа с форматами данных (Parquet, ORC, Avro).
Мониторинг и CI/CD:
— Настройка мониторинга и логирования для Spark-джобов (Prometheus, Grafana, ELK).
— Настройка CI/CD для деплоя Spark-приложений (GitLab CI, Jenkins).
Языки и утилиты:
— Python (PySpark) или Scala — для написания инфраструктурных скриптов и отладки.
— Bash-скриптинг
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
47/100
Слабая вакансия
Оценка от Job Hunters AI
DevOps Middle; компания не названа; понятные задачи.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Компания не названа
Работодатель не указан ни в тексте, ни в полях.
Из объявления
DevOps Middle … Ставка: до 1700, с НДС … Локация: РФ