- Проектирование архитектуры хранилищ, моделей данных и стратегий партиционирования. - Разработка DAG, кастомных операторов и интеграций на Python с использованием Apache Airflow.
Задачи:
— Проектирование архитектуры хранилищ, моделей данных и стратегий партиционирования.
— Разработка DAG, кастомных операторов и интеграций на Python с использованием Apache Airflow.
— Реализация потоковой обработки на Apache Flink и пакетной обработки на Apache Spark.
— Оптимизация SQL-запросов, баз данных и производительности пайплайнов.
— Обеспечение качества данных, реализация CDC и интеграций между системами.
— Ведение технической документации, задач и обращений в Jira/Confluence и сервис-деске.
— Взаимодействие с разработчиками, тестировщиками и смежными командами.
Требования:
— От 4 лет опыта работы Data Engineer.
— Знание PostgreSQL, MSSQL, Redis, Cassandra.
— Опыт работы с Trino/StarRocks, Apache Kafka, Apache Flink, Apache Airflow.
— Знание Apache Iceberg, Lakekeeper, S3, понимание архитектуры Lakehouse.
— Владение Python, SQL, Bash, Git.
— Опыт разработки ETL/ELT-пайплайнов, CDC, оптимизации SQL и настройки производительности.
— Знание архитектуры данных, моделей OLAP/OLTP, принципов целостности и согласованности данных.
— Уверенное владение Jira и Confluence, опыт работы с сервис-деском.
— Свободный русский язык, английский — для чтения и написания технической документации.
Будет плюсом:
— Знание InfluxDB, TimescaleDB, TDengine.
— Опыт работы с Hadoop, YARN, Kubernetes.
— Продвинутый SQL, CI/CD для data-пайплайнов.
— Знание DDD, event-driven архитектуры, Apache NiFi.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
75/100
Хорошая вакансия
Оценка от Job Hunters AI
Senior Data Engineer; зарплата не указана; понятные задачи; современный стек; гибкий формат.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Зарплата не указана
В объявлении и полях отсутствует информация о зарплате.