Data Engineer (ETL-миграция)

Проект: Телекоммуникации Занятость: полная Локация: РФ Гражданство: РФ Формат: Удаленно Роль: Data Engineer (ETL-миграция) Локация: РФ, удаленно График: МСК ± 2 Гражданство: РФ Обязательно: - Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек); - Глубокий SQL: оконные функции, сложные джойны, иерархические запросы; - Оптимизация SQL для highload (партиционирование, индексы, explain plans); - Oracle (PL/SQL) и PostgreSQL; - Greenplum и/или Clickhouse; - Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow; - Hadoop (HDFS) и Hive; - Мониторинг ETL: Grafana/Prometheus или Victoria Metrics; - Опыт работы с биллинговыми системами (телеком-домен). Желательно: - Потоковая обработка: Kafka Streams / Spark Streaming; - Informatica PowerCenter (понимание мигрируемой системы); - Бинарные форматы хранения в Hadoop; - Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL; - Patroni для кластеризации PostgreSQL/Greenplum; - S3-хранилища; - КриптоПро или защищенные каналы передачи данных. Задачи: - Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum); - Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код; - Написание и оптимизация SQL для витрин данных и ETL-процессов; - Разработка DAG-ов в Airflow; - Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы); - Разработка Spark-джобов (PySpark) для больших объемов; - Интеграция с Kafka для потоковой передачи; - Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик; - Разбор инцидентов по качеству данных и ошибкам загрузки; - Code review. Ключевые компетенции для отбора: миграция ETL-систем, SQL (оконные функции, оптимизация), Oracle PL/SQL, PostgreSQL, Greenplum, Clickhouse, Apache Spark (PySpark), NiFi, Airflow, Kafka, Hadoop, Hive, Grafana/Prometheus, биллинг, телеком.