Data Engineer Middle+/Senior

Задачи: — Разработка и поддержка пайплайнов. — Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse. — Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных. — Построение слоёв данных с использованием dbt. — Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий. — Оптимизация хранилища и производительности. — Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест. — Оптимизация SQL-запросов для снижения нагрузки на БД. — Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O. — Контроль стоимости хранения. — Администрирование и надёжность. — Обеспечение отказоустойчивости: настройка репликации и бэкапов. — Мониторинг состояния пайплайнов и баз данных. — Оперативное реагирование на инциденты. Требования: — Глубокое знание ClickHouse. — Проектирование схем: знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения. — Оптимизация запросов: умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции. — Администрирование: настройка шардирования и репликации, управление TTL, мониторинг слияний. — Инструменты ETL/ELT и оркестрация. — Оркестрация: управление сбором данных через Apache Airflow. — Трансформация: опыт работы с dbt для построения слоев данных. — Языки и инфраструктура. — Python: разработка ETL-скриптов, работа с Pandas, интеграция с API. — SQL: владение на уровне эксперта (аналитические запросы, оптимизация). — Инфраструктура: Docker (для развертывания ClickHouse), Git. Условия: — Удаленная работа из любой точки мира. — Конкурентная зарплата + performance премия 2 раза в год. — Гибкий график и фокус на результат. — Оплата обучения, курсов и конференций. — Возможность реально влиять на продукт и команду.