Дата‑инженер

Задачи: — построение и оптимизация ETL‑процессов на базе стека YTsaurus — рефакторинг существующих процессов — выполнение ad hoc‑задач по выгрузкам и подготовке данных с их автоматизацией при необходимости — участие в доработках платформы и фреймворка расчётов — разработка отчётов в Superset — автоматизация процессов с использованием LLM Команда работает с 30 PiB данных и более чем 1000 ежедневных расчётов, строит витрины и отчёты, готовит данные для A/B‑тестов, передаёт данные бизнес‑юнитам и переводит расчёты на новые технологии. Требования: — опыт работы с SQL и большими объёмами данных — опыт построения сложных ETL‑процессов — знание базовых алгоритмов и структур хранения данных — понимание принципов работы распределённых систем — желательно опыт работы с ClickHouse, Spark, Hadoop‑стеком, Java, Airflow — плюсом будет опыт работы с YTsaurus, YQL, LLM.