Data Engineer / Дата инженер

Задачи: — реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем — реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения — разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу — своевременно отражать статусы выполнения задач в Jira — проверять качество кода, написанного инженерами данных Требования: — опыт работы в роли Data Engineer от 4-х лет — отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование — опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas — опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников — способность разобраться с API поставщиков данных, используя доступную документацию — отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности — опыт работы с БД Oracle, Postgres, Greenplum — опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow — опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark — опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups — опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink — опыт работы с Flink