Задачи:
— Автоматизация резервного копирования данных Hadoop.
Требования:
— Практический опыт разработки и сопровождения процессов обработки данных на Apache Flink, включая работу с потоками данных, состоянием задач, checkpoint/savepoint, обработкой ошибок и перезапуском заданий.
— Опыт работы с экосистемой Hadoop, особенно с HDFS: организация хранения данных, работа с файлами и каталогами, понимание распределённого хранения и отказоустойчивости.
— Опыт разработки пайплайнов данных, настройки расписаний и зависимостей, контроля успешности выполнения.
— Уверенное владение SQL и одним из языков разработки пайплайнов: Python, Java или Scala.
— Понимание принципов резервного копирования и восстановления данных, включая целостность копий, повторный запуск после сбоя, контроль пропущенных и дублирующихся данных.
— Опыт диагностики ошибок обработки данных по логам и метрикам, поиск причин сбоев и оптимизация производительности пайплайнов.
— Опыт работы с Git, участие в code review и ведение технической документации.
Желательно:
— Опыт работы с Hive и другими компонентами Hadoop.
— Опыт интеграции Flink с Kafka и источниками данных в Hadoop.
— Опыт работы с Apache Airflow, Spark, S3-совместимыми хранилищами.
— Опыт настройки мониторинга и алертинга в Grafana и Prometheus.
Условия:
— Удалённая работа.
— Готовность оформления на 0,5 к заказчику.
Локация: РФ. Занятость: фулл тайм.
Зарплаты и спрос: Дата-инженер
Сейчас в каталоге 525 вакансий по этому направлению, удалённо можно работать в 42%.
Зарплата здесь не указана. Медиана по направлению: 245 000 ₽ в месяц. У половины вакансий от 160 000 ₽ до 290 000 ₽ (вакансий с вилкой: 37).
Навыки этой вакансии, которые чаще всего просят по направлению: Python (38%), SQL (36%), Airflow (26%), Kafka (15%), Spark (13%), Git (11%). В скобках доля вакансий направления.
Автоотклики