Описание вакансии
Коротко о ролиРазвивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API, которыми будут пользоваться другие инженеры, и нести за них ответственность. Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой.
Кто мы и что строим:
Flowwow — международный маркетплейс подарков. Под ним работает Data Platform, построенная с нуля: lakehouse на Apache Iceberg + Trino, Spark для тяжёлых вычислений, CDC-пайплайны на Kafka/Debezium, всё в Kubernetes. Собственный код: Data Vault — моделирование хранилища как код, обвязка Airflow с собственными операторами и хуками, lineage и инструменты наблюдаемости, AI-слой с агентами на LangGraph + MCP для расследования инцидентов и анализа качества данных.
Почему эта роль интересная:
Позиция Senior Data Engineer с уклоном в платформенную разработку. Проектирование инструментов для ускорения написания пайплайнов, работа с lakehouse-стеком на глубоком уровне: оптимизация Trino-запросов, maintenance Iceberg-таблиц, эволюция схем, REST-каталог. AI-native команда, ежедневное использование Claude Code и аналогичных инструментов, построение harness-систем вокруг LLM.
Задачи:
— Развивать ядро платформы: Data Vault, обвязка Airflow, lineage-инструменты, проектировать API и нести за них ответственность.
— Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой.
— Работать с lakehouse: Iceberg maintenance, оптимизация layout таблиц, тюнинг Trino, Spark-джобы.
— Строить интеграции с источниками: OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы, проектировать унифицированные интерфейсы.
— Внедрять AI в инженерные процессы: агенты для расследования инцидентов, ассистенты для DAG'ов и code review.
— Развивать агентную инфраструктуру (LangGraph, MCP).
— Участвовать в архитектурных решениях: выбор технологий, дизайн интерфейсов, best practices.
— Делать code review и менторить коллег.
Требования:
— Опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном, опыт эксплуатации production-систем.
— Python — главное требование.
— Уровень senior: ООП, проектирование API, типизация, тесты, переиспользуемые компоненты.
— Практический опыт с lakehouse-стеком: Apache Iceberg (или Delta/Hudi), понимание отличий lakehouse от классического DWH.
— Опыт с Trino или другим MPP-движком: архитектура, оптимизация, коннекторы.
— Глубокие знания Apache Airflow: внутреннее устройство, собственные операторы и хуки.
— Опыт с Apache Spark: PySpark, Spark SQL.
— Продвинутый SQL: оконные функции, CTE, оптимизация, работа с большими объёмами.
— Уверенное владение Git, CI/CD.
— Будет плюсом: опыт разработки внутренних платформенных инструментов, AI-native подход, Kubernetes, Helm, CDC (Debezium, Kafka Connect), знание форматов хранения Parquet, опыт с системами контроля доступа к данным (OPA, row-level security, маскирование).
Условия:
— Полная занятость.
— Трудовой договор.
— График 5/2.
— Удалённый формат работы.
— Уровень дохода обсуждается на этапах найма.
Дополнительно:
— ДМС со стоматологией или компенсация на медобслуживание, сервис психологической поддержки.
— Компенсация расходов на спорт и спортивное оборудование.
— Компенсация стоимости техники для работы.
— Оплата обучения, конференций, митапов.
— Корпоративная программа лояльности с персональными скидками и предложениями от партнёров.
Наши ценности:
— Забота и любовь к продукту.
— Развитие и рост.
— Культура взаимопомощи.
— Открытость к изменениям.
— Благотворительность и социальная ответственность.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.