-На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих.
Задачи:
— Поддержка и развитие инфраструктуры на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных.
— Описание и загрузка данных новых продуктов холдинга.
— Масштабирование инфраструктуры, запуск потокового получения данных, увеличение количества подключенных источников.
— Развитие ETL и Reverse ETL процессов, работа с качеством данных, развитие Data Catalog и Data Lineage.
— Разработка и доработка ETL-процессов в Airflow.
— Подключение новых источников данных.
— Создание и доработка витрин данных.
— Оптимизация SQL-запросов в GreenPlum и PostgreSQL.
— Работа с большими объемами данных.
— Развитие процессов контроля качества данных.
Требования:
— Самостоятельность, убедительность, амбициозность, лидерские качества или умение эффективно работать без управления.
— Опыт работы с данными от 1 года.
— Отличное знание SQL, включая JOIN, оконные функции, процедуры.
— Навыки профилирования и оптимизации запросов, понимание плана выполнения.
— Знание принципов работы реляционных баз данных и архитектуры DWH: ODS, DDS, DM.
— Практический опыт работы с Airflow и ETL-процессами.
— Базовые знания Python.
— Знание Linux и умение работать с командной строкой.
— Опыт работы с Git.
— Понимание принципов работы Docker.
— Опыт работы с большими данными (>100 GB).
— Опыт работы с DataHub.
Условия:
— Полная занятость.
— Возможность удалённой работы.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
67/100
Средняя вакансия
Оценка от Job Hunters AI
Data инженер; зарплата не указана; понятные задачи; гибкий формат.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Зарплата не указана
В объявлении отсутствует информация о размере и структуре оплаты труда.