Разработчик Hadoop

Задачи: — разработка и поддержка Big Data на крупном проекте; — разработка и сопровождение ETL-процессов и потоковых пайплайнов на Spark (Java/Scala); — интеграция с источниками и хранилищами данных: HDFS, Hive, HBase, Oracle, Postgres, Kafka, ClickHouse; — написание SQL-запросов; — оптимизация производительности Spark job’ов и процессов загрузки/выгрузки; — участие в проектировании архитектуры и внедрение лучших практик разработки под Big Data; — оптимизация производительности на уровне кластера (тюнинг Spark, partitioning, broadcasting). Требования: — опыт коммерческой разработки на Java и Scala: 5+ лет опыта разработки, из них 2–3 года в Big Data; — практический опыт работы с Apache Spark; — знание экосистемы Hadoop (HDFS, Hive, HBase); — опыт работы с Kafka; — хорошее знание SQL; — опыт работы с реляционными СУБД; — уверенное владение Linux; — глубокое понимание Spark internals (RDD/DataFrame API, shuffle, Catalyst Optimizer); — опыт оптимизации производительности; — понимание принципов распределённых систем (HDFS, Zookeeper, YARN); — опыт взаимодействия с бизнес-заказчиками/аналитиками (умение переводить требования в архитектуру решения). Условия: — гибкие форматы работы: возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ; — пятидневная рабочая неделя (пн.–чт. с 09:00 до 18:00, пт. с 09:00 до 16:45); — конкурентная заработная плата по результатам собеседования, а также премии за эффективную работу и достигнутые результаты; — официальное трудоустройство с полным соблюдением требований ТК РФ, включая оплачиваемые отпуска с дополнительной выплатой 50% от оклада после 11 месяцев работы и выплату зарплаты дважды в месяц; — компенсация больничного листа до 7 дней с сохранением полной оплаты; — добровольное медицинское страхование (ДМС) после испытательного срока с широким перечнем медицинских учреждений, включая стоматологию; — возмещение до 50% затрат на занятия спортом; — профессиональное обучение и сертификация за счет компании; — организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов; — партнерские программы по изучению иностранных языков и развитию профессиональных навыков от Skyeng и Skillbox; — доступ к корпоративной библиотеке на платформе Alpina Digital; — возможность взять 5 дополнительных оплачиваемых выходных дней в течение календарного года для сотрудников, проработавших более 11 месяцев.