Описание вакансии
Задачи:
— Проектирование и администрирование CI/CD пайплайнов в GitLab CI / Jenkins для полного жизненного цикла DWH: моделирование, разработка, тестирование, деплой, эксплуатация витрин и загрузочных процедур.
— Разработка скриптов автоматизации на Bash и Python для загрузки, трансформации данных, проверки качества и оптимизации запросов.
— Контейнеризация компонентов DWH-ландшафта с использованием Docker, оркестрация в Kubernetes, настройка Helm-чартов и стратегий развертывания и масштабирования.
— Управление инфраструктурой как код с помощью Terraform и Ansible: описание сетевой и серверной конфигурации, баз данных, очередей сообщений и сервисов DWH-ландшафта, поддержка единообразия сред, настройка ресурсов, резервирование, обновления и патчи, контроль доступности и производительности.
— Администрирование гибридного ландшафта с Arenadata Cluster Manager (ADCM): установка, настройка и управление data-сервисами компании.
— Настройка и поддержка Apache Airflow для оркестрации ETL/ELT процессов.
— Администрирование инструментов ETL/ELT: Apache NiFi, Trino.
— Работа с Arenadata Streaming (ADS) на базе Apache Kafka и Apache NiFi для потоковой обработки данных в режиме реального времени.
— Администрирование Apache Iceberg для больших хранилищ данных.
— Работа с S3-совместимыми хранилищами.
— Реализация механизмов контроля качества данных: валидаторы, тесты данных, контроль историчности, аудит загрузок, data lineage в рамках CI/CD и эксплуатационных пайплайнов.
— Настройка систем мониторинга Prometheus и построение дашбордов Grafana для DWH: метрики загрузок, задержки, объёмы, производительность запросов, использование ресурсов, алерты по SLA/SLO.
— Внедрение централизованного логирования и наблюдаемости (Elasticsearch/Logstash/Kibana или альтернативные стеки): трассировка ETL пайплайнов, корреляция событий и аналитика инцидентов.
— Автоматизация типовых операционных процедур: ротация логов, очистка временных таблиц, реиндексация, анализ планов выполнения запросов, пересчёт агрегатов.
— Управление доступом, настройка SSL/шифрования, обновление и патчинг компонентов.
— Обеспечение аутентификации, авторизации и применения протоколов шифрования.
Требования:
— Высшее техническое / ИТ образование.
— Опыт работы в роли DevOps-инженера от 2 лет.
— Уверенное знание Linux и Bash.
— Опыт написания скриптов автоматизации на Python.
— Опыт работы с системами контроля версий (Git), понимание Gitflow.
— Опыт работы с CI/CD системами (GitLab CI, Jenkins или аналоги).
— Понимание подходов: pipeline stages, artifacts, caching.
— Опыт работы с Docker, понимание принципов контейнеризации.
— Понимание работы реляционных СУБД (MS SQL Server или PostgreSQL).
— Знание принципов работы REST API.
— Знание сетевых взаимодействий: TCP/IP, DNS, VPN, Firewalls.
— Понимание основ аутентификации, авторизации и протоколов шифрования.
Будет преимуществом:
— Опыт работы с Kubernetes и Helm.
— Опыт работы с Terraform, Ansible.
— Опыт работы с Apache Airflow, Kafka, NiFi, Trino, Iceberg.
— Опыт работы с Prometheus, Grafana, ELK.
— Понимание методологии Data Vault 2.0.
— Опыт работы с Big Data стеком (Hadoop, Greenplum, ClickHouse) или продуктами Arenadata.
— Опыт использования принципов GitOps.
— Опыт работы с Low-Code платформами и инструментами кодогенерации.
— Опыт работы с BI-серверами и инструментами визуализации.
Условия:
— Участие в инновационных, амбициозных проектах и задачах.
— Возможность профессионального развития и роста.
— Внутрикорпоративная культура, наполненная традициями.
— Трудоустройство в полном соответствии с ТК РФ.
— Добровольное медицинское страхование согласно внутренней Политике Банка.
— Корпоративные скидки на товары и услуги партнеров в городах присутствия.
— Место работы в шаговой доступности от ст. м Кожуховская.
— График работы: пятидневная рабочая неделя (пн-чт с 9:00 до 18:00, в пятницу с 9:00 до 16:45); формат работы обсуждается индивидуально.
— Условия оплаты обсуждаются индивидуально.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.