Инженер данных в Путешествия

Задачи: — Разработка, сопровождение и ревью ETL-процессов поставки данных. — Создание конвейеров для извлечения, трансформации и загрузки данных из различных источников, настройка расписания и мониторинга. — Регулярная проверка и улучшение существующего кода, оперативное исправление ошибок, тщательное документирование всех преобразований и потоков данных. — Проектирование структуры хранения данных в разных слоях хранилища, разработка моделей данных, настройка партиционирования, индексации и сжатия для повышения производительности. — Согласование структур с командами аналитики и разработки, адаптация схем при изменении бизнес-процессов. — Выявление и оптимизация неэффективных участков в процессах поставки данных, анализ времени выполнения ETL-задач, профилирование данных для обнаружения аномалий и избыточности, пересмотр алгоритмов трансформации. — Погружение в данные прикладных бизнес-областей, изучение бизнес-процессов и ключевых метрик компании, разбор логики расчёта показателей и источников их формирования. Требования: — Опыт проектирования DWH (слои, модели хранения данных, ETL-процессы). — Разработка ETL-процессов на Apache Airflow или аналогах. — Настройка поставок данных по API. — Экспертное знание SQL. — Программирование на одном из языков высокого уровня (Python, Go, Java и др.). — Понимание устройства и архитектуры реляционных баз данных. — Знание основных алгоритмов и структур данных, особенно применяемых в работе с большими данными. Будет плюсом: — Опыт работы с MPP-СУБД (Greenplum, ClickHouse, Vertica, Teradata и др.). — Понимание принципов работы технологий распределённой обработки данных (Hadoop, MapReduce, MPP). Условия: — Работа с инфраструктурой и данными Яндекса, масштабные задачи. — Влияние на эффективность ключевых бизнес-процессов. — Возможность обмена опытом с ведущими специалистами отрасли и профессионального роста. — Доступ к передовым технологиям и инструментам. — Карьерные перспективы внутри одной из ведущих IT-компаний России.