Python devoloper

Задачи: — Разрабатывать функциональность сервиса на Python — Строить Data Lineage на логическом уровне витрин на основе существующего графа движения данных на табличном уровне — Реализовывать обработку, преобразование и агрегацию связей между объектами данных — Работать с большими объемами данных с использованием PySpark, pandas, SQL — Работать с Hadoop-стеком: HDFS, Spark, Hive — Дорабатывать существующий фреймворк автоматизированного тестирования — Разрабатывать и поддерживать автотесты для создаваемой функциональности — Участвовать в анализе и устранении дефектов Требования: — Опыт разработки на Python от 2 лет — Практический опыт работы с PySpark и pandas — Отличное знание SQL — Опыт работы со стеком Hadoop: HDFS, Spark, Hive — Понимание принципов обработки больших объемов данных — Опыт написания автоматизированных тестов на Python — Готовность отвечать за качество разработанной функциональности и ее автоматизированную проверку — Умение разбираться в существующем коде и самостоятельно решать технические задачи Будет плюсом: — Опыт работы с Data Lineage, Data Governance или Metadata Management — Опыт с Oracle, PostgreSQL, Greenplum — Понимание принципов построения DWH и витрин данных — Опыт работы с графовыми структурами данных — Опыт использования pytest или аналогичных инструментов тестирования Условия: — Полная занятость — График: 5/2 — Формат работы: гибрид (Москва)