Data Engineer (ETL-миграция)

Задачи: — Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum); — Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код; — Написание и оптимизация SQL для витрин данных и ETL-процессов; — Разработка DAG-ов в Airflow; — Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы); — Разработка Spark-джобов (PySpark) для больших объемов; — Интеграция с Kafka для потоковой передачи; — Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик; — Разбор инцидентов по качеству данных и ошибкам загрузки; — Code review. Требования: — Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек); — Глубокий SQL: оконные функции, сложные джойны, иерархические запросы; — Оптимизация SQL для highload (партиционирование, индексы, explain plans); — Oracle (PL/SQL) и PostgreSQL; — Greenplum и/или Clickhouse; — Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow; — Hadoop (HDFS) и Hive; — Мониторинг ETL: Grafana/Prometheus или Victoria Metrics; — Опыт работы с биллинговыми системами (желательно телеком-домен). Желательно: — Потоковая обработка: Kafka Streams / Spark Streaming; — Informatica PowerCenter (понимание мигрируемой системы); — Бинарные форматы хранения в Hadoop; — Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL; — Patroni для кластеризации PostgreSQL/Greenplum; — S3-хранилища; — КриптоПро или защищенные каналы передачи данных. Гражданство, локация РФ. Формат работы: удаленный.