В компании 2ГИС формируется новая корпоративная дата-платформа, целью которой является создание стандартизированного решения для работы с данными, объединяющего лучшие наработки и отказ от устаревших технологий. В рамках этой задачи предстоит разработать MVP платформы и инфраструктуру для загрузки и трансформации данных, а также перенести существующие пайплайны с Hadoop/HDFS на современную архитектуру, включающую S3, Kafka, Spark и ClickHouse. Работа предполагает обработку больших объёмов данных и управление высоконагруженными Kafka-топиками, создание отказоустойчивых пайплайнов для обработки и доставки данных. Важной частью деятельности станет участие в архитектурных решениях, внедрение лучших практик по хранению, мониторингу и обеспечению качества данных, а также проектирование витрин данных для продуктовой и управленческой аналитики (OLAP). Кроме того, необходимо сопровождать миграцию BI-отчётов, таких как DataLens и Power BI, на новую платформу. Работа выполняется удалённо на полной занятости, условия оплаты обсуждаются на собеседовании.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.