Задачи:
— Проектирование интеграционных ETL процессов по загрузке данных из источников в Lakehouse
— Определение источников и анализ данных в них
— Написание прототипа select-запроса на отбор данных с использованием SparkSQL
— Разработка документации (FSD, спецификации таблиц)
— Определение критериев приёмки
— Постановка задач на команду разработки
— Приёмка результата
Требования:
— Уверенное владение SQL, преимущественно диалекты Oracle и PostgreSQL, знание CTE и умение писать сложные запросы, включая DML
— Знание SparkSQL, умение писать SELECT-запросы и анализировать планы запросов
— Понимание структуры DWH и владение одной из методологий построения DWH
— Обязательный опыт работы с DWH
— Понимание процессов ETL/ELT
— Навыки системного анализа и ведения технической документации
— Навыки работы с Jira и Confluence или аналогичными инструментами
Будет плюсом:
— Опыт работы с Greenplum или другой MPP базой данных
— Знание Python
— Опыт работы с Apache Airflow
— Знание PL/SQL или PgPL/SQL
Условия:
— Полная занятость, график 5/2
— Формат работы: удалённо
Контакт для отклика: hr@bellintegrator.ru
Зарплаты и спрос: Дата-инженер
Сейчас в каталоге 522 вакансии по этому направлению, удалённо можно работать в 42%.
Зарплата здесь не указана. Медиана по направлению: 245 000 ₽ в месяц. У половины вакансий от 160 000 ₽ до 290 000 ₽ (вакансий с вилкой: 37).
Навыки этой вакансии, которые чаще всего просят по направлению: Python (38%), SQL (35%), Airflow (25%). В скобках доля вакансий направления.
Автоотклики