Data Engineer

Мы развиваем ИТ-продукт, который включает в себя масштабную WEB-платформу и интерактивного Telegram-бота / Mini App. Наш стек: Python, Airflow 2+, dbt Core, ClickHouse, PostgreSQL, Docker, GitLab. Продукт быстро растет, и сейчас мы ищем Data Engineer, который поможет нам масштабировать аналитическую инфраструктуру и сделать работу с данными быстрой и надежной. Задачи: — Разрабатывать и поддерживать ETL/ELT-процессы на базе Airflow и dbt Core — Интегрировать новые источники данных: PostgreSQL, внешние API и сервисы — Развивать существующее хранилище данных на ClickHouse и поддерживать аналитические витрины — Оптимизировать SQL-запросы и производительность пайплайнов — Поддерживать и развивать инфраструктуру аналитической платформы (Docker, Airflow, dbt) — Взаимодействовать с аналитиками для реализации новых витрин, метрик и источников данных — Участвовать в расследовании инцидентов, связанных с качеством данных и работой пайплайнов — Поддерживать техническую документацию и участвовать в передаче знаний внутри команды Требования: — Опыт на позиции инженера данных от трёх лет — Уверенное знание SQL и опыт работы с аналитическими СУБД — Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов — Опыт разработки и поддержки ETL/ELT-процессов: способность самостоятельно выбирать способ интеграции источника данных, проектировать структуру загрузки, хранение и обновление данных с учетом требований бизнеса и технических ограничений — Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов, понимание механизмов планирования, зависимостей и мониторинга пайплайнов — Опыт работы с dbt Core — Хорошее знание Python: умение разбираться в существующем коде, дорабатывать и разрабатывать новые компоненты интеграций и пайплайнов — Опыт работы с PostgreSQL и понимание особенностей инкрементальных выгрузок данных — Опыт интеграции внешних REST API — Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose — Умение самостоятельно декомпозировать задачи и доводить их до результата Будет плюсом: — Опыт работы с Airflow 3+ — Опыт работы с BigQuery — Опыт работы с Google Analytics / GA4 — Опыт работы с облачными платформами (GCP, Yandex Cloud, AWS) — Понимание базовых принципов работы блокчейн-сетей и транзакционных данных — Опыт использования AI-инструментов для разработки и сопровождения кода Формат работы: удаленно Часовой пояс: MSK