Инженер данных в DWH Лавки — RT/NRT и AI‑агенты

Команда DWH Лавки работает над хранилищем, которое поддерживает аналитику и ключевые операционные процессы бизнеса. Сейчас развивается направление RT/NRT‑данных для AI‑систем Лавки. Стек технологий: • Python, SQL и YQL • Внутренний Code Driven фреймворк DMP Suite • YT, Greenplum и ClickHouse • Apache Flink / Flink Flow и LogBroker для потоковой обработки • Встроенные инструменты Data Quality, мониторинга и управления ETL‑процессами Задачи: • Развитие поставок данных: проектировать и развивать RT/NRT‑поставки данных для разных сценариев работы продуктовых команд (жизненный цикл заказа, работа сотрудников, складские операции, отслеживание доступности товаров). • Проектирование RT‑данных: помогать системным аналитикам и продуктовым командам проектировать RT‑данные, подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных. • Поиск возможностей по RT‑данным: искать новые способы работы с RT‑данными, разрабатывать универсальные подходы и помогать внутренним заказчикам разобраться, какие задачи можно решить с их помощью. • Инженерные задачи и развитие DWH: исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контролирование их работы и безопасное развитие DWH с большим графом зависимостей. Требования: • Опыт проектирования и поддержки промышленных RT/NRT‑пайплайнов. • Опыт разработки в крупном DWH или распределённой платформе. • Умение проектировать надёжную обработку событийных данных. • Уверенное владение Python и SQL. Условия: • Ежегодные медицинские чекапы, йога и психотерапия для предотвращения выгорания. • Другие бонусы доступны по ссылке https://yandex.ru/jobs/pages/benefits.