Проект: команда развивает аналитические продукты и сервисы для внутренних пользователей и внешних клиентов Экосистемы банка. В рамках направления участвуют в развитии внутреннего продукта – Корпоративное хранилище данных на платформах Hadoop и Greenplum. Данные используются аналитиками банка для управленческой отчетности, моделирования, data science и автоматизированных процессов. Используются данные внутренних систем банка и внешних источников (Единый государственный реестр ЮЛ/ИП, база арбитражных дел, портал госзакупок и др.).
Используемые инструменты: Hadoop, Greenplum, Oozie, Airflow, Nifi, Bash, Scala, Spark, Hive, Git, Jenkins, SonarQube.
Требования: опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL).
Задачи:
— разработка ETL потоков на платформе Hadoop (Scala + Spark SQL);
— поиск возможностей оптимизации, повышение скорости расчёта и эффективности использования вычислительных ресурсов;
— повышение стабильности работы приложений, анализ типовых ошибок и рисков, развитие системы логирования для промышленной эксплуатации, участие в решении инцидентов;
— развитие системы контроля качества и автотестов.
Условия:
— возможность участия в интересном проекте;
— профессиональный и карьерный рост в компании;
— опыт работы в команде профессионалов;
— уровень заработной платы обсуждается индивидуально;
— формат работы офисный/гибридный в Москве;
— перспективы профессионального развития в России и зарубежных представительствах.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
60/100
Средняя вакансия
Оценка от Job Hunters AI
Разработка ETL на Scala и Hadoop с современным стеком и гибридным форматом, но без конкретики по зарплате и условиям оплаты.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Зарплата не указана
Уровень заработной платы не указан, только что он обсуждается индивидуально.
Из объявления
Уровень заработной платы обсуждается индивидуально.