Data Engineer в Локализацию

Задачи: — Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ); — Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище); — Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование); — Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы; — Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных; — Пробовать использовать любой доступный open source инструмент, если ты видишь в нем ценность для команды или потребителей. Требования: — Уверенный Python в контексте DE (2+ года); — Глубокое знание SQL (оконные функции, оптимизация запросов, explain-планы); — Опыт работы с оркестраторами данных (у нас Airflow); — Опыт с Hadoop (Spark / YARN / HDFS); — Опыт с MPP-системами (Greenplum, ClickHouse, Redshift и аналоги); — Опыт взаимодействия: Trino/Presto, DBT, Feature Store, DQ-фреймворками (Great Expectations, Soda или собственные решения). Условия: — Обучение и развитие: языковые клубы, корпоративный университет, программы развития управленческих навыков; — Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога; — Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.; — Забота о семьях: гибкий подход и проекты для детей сотрудников; — Скидки и партнерские программы: на обучение, страхование, покупки и многое другое; — Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников. Работа возможна удалённо.