Data Engineer (Senior)

Задачи: развитие ядра платформы (Data Vault, обвязка Airflow, lineage-инструменты), проектирование API для других инженеров и ответственность за их развитие, разработка библиотек и фреймворков на Python с обеспечением качества кода через типизацию, тесты и code review. Работа с lakehouse-архитектурой, включая поддержку Apache Iceberg, оптимизацию layout'а таблиц, тюнинг Trino и Spark-джобы для тяжёлых трансформаций. Построение интеграций с источниками данных (OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS) и создание унифицированных интерфейсов подключения новых источников. Внедрение AI-инструментов в инженерные процессы, таких как агенты для расследования инцидентов, анализа качества данных, поддержки DAG'ов и code review. Участие в архитектурных решениях и внедрение лучших практик, проведение code review и менторинг. Требования: промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном, опыт работы с production-системами под реальной нагрузкой и ответственность за их эксплуатацию. Владение Python на уровне senior, включая ООП, проектирование API библиотек, типизацию, тесты и создание переиспользуемых компонентов. Практический опыт с lakehouse-стеком, в частности Apache Iceberg (или Delta/Hudi с готовностью быстро переключиться), понимание устройства таблиц, snapshots, компакции, schema evolution и отличий lakehouse от классического DWH. Знание Trino или другого MPP-движка, включая архитектуру распределённого выполнения, чтение планов запросов, оптимизацию и работу с коннекторами. Глубокое понимание Apache Airflow, включая внутреннее устройство, собственные операторы и хуки. Опыт работы с Apache Spark (PySpark, Spark SQL) и понимание модели выполнения. Продвинутый уровень SQL с оконными функциями, CTE, оптимизацией и чтением планов исполнения при работе с большими объёмами данных. Уверенное владение Git и CI/CD. Условия: оформление по трудовому договору, график 5/2, удалённый формат работы. Предоставляется ДМС со стоматологией или компенсация на медицинское обслуживание, сервис психологической поддержки, компенсация расходов на спорт или спортивное оборудование, компенсация техники для работы, оплачиваемое обучение, участие в конференциях и митапах, корпоративная программа лояльности со скидками на Flowwow и предложения партнёров. Уровень дохода обсуждается на этапах найма.