- Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum); - Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
Задачи:
— Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
— Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
— Написание и оптимизация SQL для витрин данных и ETL-процессов;
— Разработка DAG-ов в Airflow;
— Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
— Разработка Spark-джобов (PySpark) для больших объемов;
— Интеграция с Kafka для потоковой передачи;
— Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
— Разбор инцидентов по качеству данных и ошибкам загрузки;
— Code review.
Требования:
— Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
— Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
— Оптимизация SQL для highload (партиционирование, индексы, explain plans);
— Oracle (PL/SQL) и PostgreSQL;
— Greenplum и/или Clickhouse;
— Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
— Hadoop (HDFS) и Hive;
— Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
— Опыт работы с биллинговыми системами (желательно телеком-домен).
Будет плюсом:
— Потоковая обработка: Kafka Streams / Spark Streaming;
— Informatica PowerCenter (понимание мигрируемой системы);
— Бинарные форматы хранения в Hadoop;
— Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
— Patroni для кластеризации PostgreSQL/Greenplum;
— S3-хранилища;
— КриптоПро или защищенные каналы передачи данных.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Понятные задачи
Задачи подробно описаны: миграция ETL-системы, перенос бизнес-логики, написание и оптимизация SQL, разработка DAG-ов, настройка пайплайнов, разработка Spark-джобов, интеграция с Kafka, мониторинг и разбор инцидентов.
Из объявления
- Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum); … - Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код; … - Написание и оптимизация SQL для витрин данных и ETL-процессов;