Python-разработчик

Задачи: — Проектировать, разрабатывать, оптимизировать и поддерживать ETL процессы для загрузки данных из различных источников — Управлять потоковой обработкой данных с использованием Apache Kafka — Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL для операционных и транзакционных задач — Строить, администрировать и настраивать ClickHouse кластеры для обеспечения высокой производительности аналитических запросов на больших объемах данных — Разрабатывать и поддерживать решения на базе ClickHouse (или связки PostgreSQL + ClickHouse) — Интегрировать данные между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3) — Осуществлять мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных — Автоматизировать процессы обработки данных и развертывания (CI/CD) — Взаимодействовать с аналитиками, разработчиками и product owner'ами для понимания потребностей в данных и их реализации — Устранять неисправности в pipeline данных и базах данных Требования: — Опыт работы с одним из языков программирования от 2-3-х лет: Python (предпочтительно), Golang (будет плюсом) — Опыт разработки и администрирования ClickHouse (знание особенностей движков таблиц, оптимизация запросов, кластеризация, репликация, шардирование) — Глубокое понимание и практический опыт работы с Apache Kafka, настройка и обеспечение надежности потоков данных — Опыт работы с PostgreSQL (написание сложных SQL-запросов, оптимизация производительности, понимание механизмов транзакций, репликации) — Понимание принципов построения ETL процессов — Знание SQL на продвинутом уровне — Понимание принципов DevOps (Docker, Kubernetes, Linux, CI/CD) применительно к инфраструктуре данных