Дата-инженер вакансии - удалённо

• 3+ лет опыта в Data Engineering. • Опыт полного ownership хранилища: от источников до пользовательских витрин.

• Минимум 8 лет в data engineering или смежных ролях. • 2–3 года практики с платформой Databricks.

3+ лет опыта в Data Engineering. Опыт полного ownership хранилища: от источников до пользовательских витрин.

Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API, которыми будут пользоваться другие инженеры, и нести за них ответственность. Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой.

Design and implement a next-generation data platform that supports diverse requirements, including batch and real-time integrations, advanced analytics, and multiple data types, leveraging Kafka, Kafka-based tooling, and additional streaming technologies to power real-time data movement and processing.

• 4+ года коммерческого опыта в Data Engineering. • Уверенное знание AWS: S3, Glue, Athena, Lake Formation/IAM, Lambda, Step Functions.

💎 Компания Selecty ищет Data‑инженера / разработчика витрин для разработки витрин (70–80 % задач), сопровождения на уровне 3‑й линии (20–30 %), поднятия витрин в MVP с нуля, реализации витринной разработки и интеграции с командой веба.

– Экспертиза в архитектуре реляционных/нереляционных СУБД и брокеров сообщений: PostgreSQL, ClickHouse, Redis, MongoDB, Kafka. – Опыт администрирования крупной инфраструктуры (тысячи кластеров) БД и брокеров сообщений с SLA от 99,9%.

-Развивать DWH HR-отчетности: участвовать в проектировании и масштабировании корпоративного хранилища данных. -Интегрировать источники: собирать, очищать и консолидировать данные из учетных систем (в том числе SAP HCM/SAP BW).

Ищу Senior Data Engineer, который сможет взять на себя развитие нового DWH / Lakehouse-контура и стать владельцем хранилища данных end-to-end. — перенести текущую аналитику на новую Lakehouse-архитектуру;

• Разработка и вывод в продакшн data-приложений на Python/Streamlit в Databricks Apps. • Доработка Lineage Explorer до полной готовности к продакшну.

4+ года коммерческого опыта в Data Engineering. Уверенное знание AWS: S3, Glue, Athena, Lake Formation/IAM, Lambda, Step Functions.

- ClickHouse - основная экспертиза: проектирование MergeTree, партиционирование, TTL, оптимизация запросов, шардирование/репликация, бэкапы в S3. - ETL/ELT и оркестрация: Airflow, dbt, data quality, тесты, мониторинг свежести данных, data contracts.

- Strong hands-on experience with Databricks, especially Databricks Jobs. - Advanced Python skills, writing notebooks daily from ingestion to the gold layer.

Задачи: аттестационный стенд идентификации — выборка ≥1000 треков / ≥5. жанров, робастность к форматам, битрейтам, питч-сдвигам;

• ClickHouse — основная экспертиза: проектирование MergeTree, партиционирование, TTL, оптимизация запросов. • ETL/ELT и оркестрация: Airflow, dbt, data quality, тесты, мониторинг свежести данных, data contracts.

- Разрабатывать и развивать пайплайны данных и платформенный слой, от которого зависят AI-продукты компании; - Анализировать использование LLM: стоимость, экономику токенов и кеширования, финансовую отчетность по расходам на AI;

What You'll Work On. - Building and maintaining a Databricks Lakehouse on a medallion architecture.