SoftServe

Задачи: — Проектировать, строить и оптимизировать масштабируемые AWS-решения для данных с использованием Databricks, включая архитектуры Lakehouse с Delta Lake и Unity Catalog. — Разрабатывать пакетную и потоковую обработку данных с использованием Apache Spark, Flink, Kafka, Amazon MSK и Kinesis. — Руководить интеграцией и миграцией данных (сопоставление источников и целей, загрузка, трансформация и обеспечение качества данных). — Вести архитектуру платформы данных, моделирование данных и лучшие инженерные практики для масштабируемости, надежности и долгосрочной поддержки. — Создавать и управлять автоматизированными рабочими процессами и конвейерами данных с использованием Databricks Workflows, Apache Airflow, MWAA, Snowflake и Amazon Redshift. — Наставлять команды инженеров данных и переводить бизнес-требования в технические решения, дорожные карты и планы поставки. Требования: — Подтвержденный опыт работы Lead Data Engineer с масштабируемыми платформами и конвейерами данных. — Практические навыки пакетной и потоковой обработки с Apache Spark, Flink, Kafka, Amazon MSK или Kinesis. — Сильный опыт работы с AWS и Databricks, включая Delta Lake, Unity Catalog, Workflows и Jobs. — Продвинутый уровень SQL и владение Python (предпочтительно), Scala или Java. — Опыт оркестрации рабочих процессов данных с Databricks Workflows, Apache Airflow или MWAA. — Английский язык на уровне не ниже Upper-intermediate. Условия: — Удаленная или офисная модель работы. — Работа в инновационной среде на протяжении всего жизненного цикла решения. — Возможность изучать новые технологии и делиться знаниями в инженерном сообществе. — Руководящая роль с наставничеством и поддержкой команды. Процесс найма: — Подать заявку через форму. — Связь с рекрутером и этапы интервью.

Зарплата не указана