Дата-инженер вакансии

Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API, которыми будут пользоваться другие инженеры, и нести за них ответственность. Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой.

We’re looking for an experienced Data Engineer with strong Java/Scala, Apache Flink, and Kafka skills to build and optimize real-time data streaming solutions in an enterprise environment. 💼 4+ years of experience with Java/Scala, Flink (or Beam/Spark Streaming), and Kafka.

We’re looking for an experienced Data Engineer with strong Java/Scala, Apache Flink, and Kafka skills to build and optimize real-time data streaming solutions in an enterprise environment. 💼4+ years of experience with Java/Scala, Flink (or Beam/Spark Streaming), and Kafka.

• Свободный английский язык.

Design and implement a next-generation data platform that supports diverse requirements, including batch and real-time integrations, advanced analytics, and multiple data types, leveraging Kafka, Kafka-based tooling, and additional streaming technologies to power real-time data movement and processing.

Что предстоит делать: поддержка и разработка batch ETL-пайплайнов на Airflow для аналитических витрин и ML; потоковая обработка данных с использованием Spark Streaming , Kafka , MongoDB ;

• 4+ года коммерческого опыта в Data Engineering. • Уверенное знание AWS: S3, Glue, Athena, Lake Formation/IAM, Lambda, Step Functions.

💎 Компания Selecty ищет Data‑инженера / разработчика витрин для разработки витрин (70–80 % задач), сопровождения на уровне 3‑й линии (20–30 %), поднятия витрин в MVP с нуля, реализации витринной разработки и интеграции с командой веба.

– Экспертиза в архитектуре реляционных/нереляционных СУБД и брокеров сообщений: PostgreSQL, ClickHouse, Redis, MongoDB, Kafka. – Опыт администрирования крупной инфраструктуры (тысячи кластеров) БД и брокеров сообщений с SLA от 99,9%.

-Развивать DWH HR-отчетности: участвовать в проектировании и масштабировании корпоративного хранилища данных. -Интегрировать источники: собирать, очищать и консолидировать данные из учетных систем (в том числе SAP HCM/SAP BW).

Ищу Senior Data Engineer, который сможет взять на себя развитие нового DWH / Lakehouse-контура и стать владельцем хранилища данных end-to-end. — перенести текущую аналитику на новую Lakehouse-архитектуру;

• Разработка и вывод в продакшн data-приложений на Python/Streamlit в Databricks Apps. • Доработка Lineage Explorer до полной готовности к продакшну.

4+ года коммерческого опыта в Data Engineering. Уверенное знание AWS: S3, Glue, Athena, Lake Formation/IAM, Lambda, Step Functions.

• 2+ года в Data Engineering / DWH. • Работа с большими объёмами данных.

- ClickHouse - основная экспертиза: проектирование MergeTree, партиционирование, TTL, оптимизация запросов, шардирование/репликация, бэкапы в S3. - ETL/ELT и оркестрация: Airflow, dbt, data quality, тесты, мониторинг свежести данных, data contracts.

- Strong hands-on experience with Databricks, especially Databricks Jobs. - Advanced Python skills, writing notebooks daily from ingestion to the gold layer.

Задачи: аттестационный стенд идентификации — выборка ≥1000 треков / ≥5. жанров, робастность к форматам, битрейтам, питч-сдвигам;

Wincent is looking for a Data Platform Engineer to improve data accessibility, ensure data quality, and enhance cloud-based data processing.