Инженер данных в Marketing DWH

Location: Москва; Санкт-Петербург Workplace: Офис Ищем дата-инженера со знанием SQL и Python. Вы поможете пересобрать хранилище маркетинга Яндекса и выстроить работу ИИ-агентов с данными, чтобы они находили нужные витрины, корректно считали показатели и давали ответы, которые можно проверить. Мы развиваем Marketing DWH — хранилище данных для маркетинга Яндекса. Нам нужен дата‑инженер, который поможет пересобрать архитектуру хранилища. Это нужно, чтобы аналитики и ИИ‑агенты могли находить нужные витрины, понимать, как рассчитаны показатели, и проверять результаты. Обязанности Пересборка архитектуры хранилища Вы будете разбираться, как данные движутся от источников до витрин, обновлять модели данных и переносить на них расчёты. Вам предстоит устранять дублирование, ускорять запросы и проверять, как изменения сказываются на результатах расчётов и расходе ресурсов. Настройка работы ИИ‑агентов Вы будете настраивать поиск витрин и доступ к маркетинговым данным, а затем проверять, как агенты справляются с реальными аналитическими задачами. Например, агент должен сравнить две кампании: подобрать сопоставимые данные, верно рассчитать показатели и указать источники, чтобы результат можно было воспроизвести. Правила Data Governance Вы будете вместе с коллегами определять, кто отвечает за данные в маркетинговом домене, как описывать витрины и какие требования предъявлять к их качеству и свежести. Затем поможете внедрить правила на практике — например, добавите автоматические проверки в пайплайны и настроите оповещения об отклонениях. Переход к расчётам в реальном времени Вы поможете перевести часть расчётов на потоковую обработку: определите, для каких сценариев данные нужны с минимальной задержкой, и спроектируете обработку событий. Больше о разработке в Яндексе — в канале Yandex for Developers Требования * Уверенно пишете на SQL и Python * Разбираетесь в причинах проблемы, сравниваете варианты и можете объяснить, почему выбрали конкретное решение * Самостоятельно доводите задачу до реализации и проверяете, что решение работает как задумано Будет плюсом * Работали с Kafka или другими системами обмена сообщениями и понимаете, как устроена потоковая обработка * Писали на C++ * Внедряли практики Data Governance, развивали каталог данных или автоматизировали проверки качества * Подключали ИИ-агентов к источникам данных или оценивали качество их ответов