senior data engineer

Задачи: — Проектирование, разработка и сопровождение ETL/ELT-процессов с использованием Python и Apache Airflow. — Разработка распределённых процессов пакетной обработки данных с использованием Apache Spark (PySpark), Trino и Apache Iceberg. — Проектирование, построение и оптимизация аналитических витрин данных в ClickHouse и PostgreSQL с использованием dbt. — Организация загрузки данных из реляционных баз данных, брокеров сообщений и внешних REST API. — Анализ и оптимизация производительности SQL-запросов, партиционирования таблиц и хранения данных. — Внедрение автоматизированных проверок качества данных, механизмов оповещения и процессов CI/CD для развертывания решений. Требования: — Практический опыт эксплуатации Apache Airflow, Spark (PySpark), ClickHouse и PostgreSQL в промышленной среде. — Знание Trino и Apache Iceberg будет преимуществом. — Уверенное владение Python и продвинутый уровень SQL, включая индексацию и анализ планов выполнения запросов. — Опыт работы в области Data Engineering от 3 лет, включая разработку сквозных конвейеров обработки данных и аналитических витрин. — Уверенный опыт работы с dbt для трансформации, тестирования и моделирования данных. Условия: — Официальное трудоустройство. — Ежегодный трудовой отпуск + 2 оклада. — Профессиональный рост и развитие. — Участие в архитектурных решениях. — График работы: 5/2, с 08:00 до 17:30. — Место работы: г. Астана, EXPO C2.3.