Задачи:
- проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов
- разрабатывать программный код и проводить его тестирование
- реализовывать кастомные трансформации данных
- проектировать и создавать прототипы и витрины данных
- разрабатывать процедуры на языке PL/pgSQL
- проводить анализ производительности существующих систем
- оптимизировать SQL-запросы и структуры баз данных
- участвовать в масштабировании и повышении производительности систем
- развивать архитектуру DWH
- анализировать и выбирать оптимальные технологии, инструменты и методологии
- создавать и актуализировать базу знаний для пользователей хранилища данных
- сопровождать и мониторить информационные системы в своей зоне ответственности
Требования:
- знание принципов построения хранилищ данных и архитектуры DWH
- понимание принципов работы MPP-систем
- практический опыт работы с экосистемой Hadoop:
- HDFS
- YARN
- Apache Spark
- Apache Kafka
- Apache NiFi
- Sqoop
- Flume
- уверенное знание SQL, включая DDL и DML
- опыт анализа и оптимизации сложных SQL-запросов
- опыт разработки на PL/pgSQL
- практический опыт работы с Greenplum или отличное знание PostgreSQL
- опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter
- понимание процессов проектирования потоков, преобразования и загрузки данных
- опыт сопровождения и мониторинга информационных систем
- навыки ведения проектной и технической документации
- опыт работы с Git, Jira и Confluence
Будет плюсом:
- опыт проектирования высоконагруженных хранилищ данных
- опыт масштабирования MPP- и Hadoop-систем
- участие в проектах по развитию крупных корпоративных DWH
- опыт построения сложных ETL/ELT-процессов и витрин данных
Зарплаты и спрос: Дата-инженер
Сейчас в каталоге 677 вакансий по этому направлению, удалённо можно работать в 39%.
Зарплата здесь не указана. Медиана по направлению: 245 000 ₽ в месяц. У половины вакансий от 160 000 ₽ до 290 000 ₽ (вакансий с вилкой: 41).
Навыки этой вакансии, которые чаще всего просят по направлению: SQL (34%), Kafka (13%), PostgreSQL (13%), Spark (13%), Git (11%). В скобках доля вакансий направления.