Разработчик Scala (Hadoop)

Проект: команда развивает аналитические продукты и сервисы для внутренних пользователей и внешних клиентов Экосистемы банка. В рамках направления участвуют в развитии внутреннего продукта – Корпоративное хранилище данных на платформах Hadoop и Greenplum. Данные используются аналитиками банка для управленческой отчетности, моделирования, data science и автоматизированных процессов. Используются данные внутренних систем банка и внешних источников (Единый государственный реестр ЮЛ/ИП, база арбитражных дел, портал госзакупок и др.). Используемые инструменты: Hadoop, Greenplum, Oozie, Airflow, Nifi, Bash, Scala, Spark, Hive, Git, Jenkins, SonarQube. Требования: опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL). Задачи: — разработка ETL потоков на платформе Hadoop (Scala + Spark SQL); — поиск возможностей оптимизации, повышение скорости расчёта и эффективности использования вычислительных ресурсов; — повышение стабильности работы приложений, анализ типовых ошибок и рисков, развитие системы логирования для промышленной эксплуатации, участие в решении инцидентов; — развитие системы контроля качества и автотестов. Условия: — возможность участия в интересном проекте; — профессиональный и карьерный рост в компании; — опыт работы в команде профессионалов; — уровень заработной платы обсуждается индивидуально; — формат работы офисный/гибридный в Москве; — перспективы профессионального развития в России и зарубежных представительствах.