Cohere is looking for a Senior Staff Data Engineer to lead the data platform, governance, reliability, and agentic analytics program.
Задачи:
— Руководство платформой данных, управлением данными, обеспечением надежности и программой агентной аналитики.
Требования:
— Опыт работы с Looker, Airflow, IAM, dbt, API, Terraform, AI, Cloud Run, BigQuery.
Условия:
— Гибридный формат работы в Торонто.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
61/100
Средняя вакансия
Оценка от Job Hunters AI
Senior Staff Data Engineer; зарплата не указана; понятные задачи; гибкий формат.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Зарплата не указана
В описании и полях отсутствуют сведения о зарплате, что не позволяет оценить финансовые условия работы.
Удалённоsenior🕹 Список обязанностей: — Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum) — Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код — Написание и оптимизация SQL для витрин данных и ETL-процессов — Разработка DAG-ов в Airflow — Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы) — Разработка Spark-джобов (PySpark) для больших объемов — Интеграция с Kafka для потоковой передачи — Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик — Разбор инцидентов по качеству данных и ошибкам загрузки — Code review 🕹 Требования к кандидату: — Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек) — Глубокий SQL: оконные функции, сложные джойны, иерархические запросы — Оптимизация SQL для highload (партиционирование, индексы, explain plans) — Oracle (PL/SQL) и PostgreSQL — Greenplum и/или Clickhouse — Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow — Hadoop (HDFS) и Hive — Мониторинг ETL: Grafana/Prometheus или Victoria Metrics — Опыт работы с биллинговыми системами (желательно телеком-домен) — Как преимущество: Потоковая обработка: Kafka Streams / Spark Streaming — Как преимущество: Informatica PowerCenter (понимание мигрируемой системы) — Как преимущество: Бинарные форматы хранения в Hadoop — Как преимущество: Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL — Как преимущество: Patroni для кластеризации PostgreSQL/Greenplum — Как преимущество: S3-хранилища — Как преимущество: КриптоПро или защищенные каналы передачи данных 🕹 Примерный уровень ЗП: 250 000 - 270 000 на руки 🕹 Условия работы: — Полная занятость — Удаленный формат работы — Оформление только как ИП — Локация: РФ, часовой пояс МСК ± 3ч 🕹 Контакты: @marinori86