Senior Big Data Engineer (Data Platform)

Задачи: — Разрабатывать и совершенствовать платформу данных электронной коммерции нового поколения — Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino — Оптимизировать действующие пайплайны и джобы на Spark, мониторить нагрузку на кластер и оптимальность ресурсов, при необходимости оптимизировать — Взаимодействовать с аналитиками и ML специалистами для создания и развертывания инструментов и наборов данных, поддерживать связи с data ops для развития дата-платформы — Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ) — Проектировать хранилища данных на основе Kubernetes, настраивать производительность, мониторинг, планировать емкости кластера и инфраструктуры — Решать задачи, связанные с внедрением облачной инфраструктуры, разрабатывать новую архитектуру хранилища — Проводить code review и участвовать в архитектурных решениях по дата платформе Требования: — Понимание ресурсной модели Kubernetes, просмотр конфигураций, troubleshooting — Опыт работы с Hadoop (HDFS, Hive Metastore) — Опыт работы со Spark (spark SQL, streaming, понимание нюансов работы с pyspark) — Владение процедурами, snapshots, maintenance Apache Iceberg — Глубокое понимание Airflow (версии 2, 3), включая идемпотентность, assets, backfills — Уверенное знание Git, CI/CD — Знание Python, Scala/Java, ООП, проектирование библиотек, интеграционные и юнит тесты — Хорошее понимание СУБД, SQL Будет плюсом: — Опыт работы с Docker для поднятия локального окружения проекта — Опыт работы с Kafka, понимание архитектуры и слабых мест — Опыт с облачными технологиями, преимущественно Yandex Cloud — Опыт с Clickhouse — AI-native подход к разработке: использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG