Data Engineer Ценообразование

Задачи: — Проектировать и разрабатывать пайплайны загрузки данных, оптимизируя их под потребности команд-потребителей — Проектировать загрузку данных, раскладку по слоям, витрины в ClickHouse, включая выбор движка таблиц, ключей сортировки, партиционирования, шардирования и репликации — Оптимизировать запросы и хранение данных, выявлять и устранять причины медленных запросов и аномального роста таблиц — Разрабатывать и поддерживать DAGи в Apache Airflow с учетом идемпотентности, ретраев, бэкфиллов и зависимостей между задачами — Обеспечивать качество данных через проверки полноты и консистентности, сверки между системами, алертинг и мониторинг пайплайнов — Взаимодействовать с продуктовыми командами и аналитиками для разбора требований, согласования контрактов данных, объяснения ограничений и предложения вариантов Требования: — Опыт работы с ClickHouse, включая идентификацию проблем на кластере и работу с распределенной БД — Уверенное владение SQL и опыт работы с большими объемами данных (таблицы 50+ Тб) — Владение Python для разработки пайплайнов и бекенда на FastAPI — Опыт работы с Apache Airflow, включая разработку и эксплуатацию DAGов в продакшене — Опыт работы с Apache Kafka, понимание модели топиков, партиций, консьюмер-групп, оффсетов и семантики доставки, опыт построения загрузки из Kafka в хранилище — Опыт интеграции данных из REST API и реляционных БД (PostgreSQL и аналоги), включая инкрементальную загрузку и работу с изменениями данных