Data Engineer

Задачи: -Проводить аналитику новых источников, реплику автоматизированных систем (АС) с использованием Hadoop и Spark. -Разрабатывать витрины данных. -Строить прототипы и передавать их в разработку с применением SQL. -Поддерживать и дорабатывать текущий функционал в соответствии с новыми требованиями. -Формировать проверки контроля качества данных. Требования: -Уверенное знание SQL (HQL), включая оконные функции, multiple join, CTE и оптимизацию. -Опыт работы с Hadoop, HDFS, Hive, YARN, Spark, понимание физического расположения данных в Hadoop и партиционирования таблиц. -Опыт работы с большими данными (от 10 миллионов записей в партиции). -Опыт работы с банковскими данными и общее понимание банковских продуктов. Условия работы: полная занятость, офис в Москве.