Старший Data Engineer в команду Analytics Infrastructure

Location: Москва, удалённая работа, RU; Россия О команде Мы — команда хранилища данных Авито. Получаем данные из более сотни внутренних и внешних систем, строим отчётность, помогаем бизнесу проверять гипотезы, принимать решения и выбирать способы достижения целей на основе данных. Наша цель — поддерживать стабильную работу хранилища, а также соответствовать требованиям по доступности, отказоустойчивости и своевременной готовности данных, которые важны нашим пользователям. Какие задачи вас ждут: анализировать рост нагрузки на хранилище данных, искать узкие места и способы оптимизации хранения и использования данных; внедрять механизмы квотирования и лимиты нагрузки; помогать соблюдать сроки готовности данных в хранилище; оптимизировать работу аналитических баз данных под характер нагрузки и объём трафика; развивать систему управления ресурсами аналитической платформы и обеспечивать точность её работы. Примеры будущих задач: Мы строим зрелую Lakehouse-платформу на основе Trino. Мы перешли на более гибкое решение и хотим применять подходы квотирования для управления ростом нагрузки. Поддержка такой системы усложняется из-за роста в несколько раз за год, поэтому нам предстоит изменить подход к гарантиям: перейти от «все запросы должны отрабатывать быстро» к «запросы отрабатывают быстро в рамках доступных квот». Наши вызовы — обеспечить эффективное использование ресурсов хранилища в рамках доступных квот, гарантировать время отклика запросов в согласованных SLA, упростить поддержку и масштабирование узлов системы хранилища данных, сделать компоненты отказоустойчивыми, разработать прозрачный механизм ответственности за готовность данных к сроку и сократить число инцидентов. Мы ждём, что вы: проектировали компоненты распределённых систем или отвечали за них; хотите разбираться в том, как работают аналитические системы; имеете опыт работы с ClickHouse или Trino; умеете находить ответы на вопросы с помощью метрик и аналитики; программируете на Python, Java или Go. Будет здорово, если вы: имеете опыт работы с Linux; имеете опыт отладки компонентов, написанных другими инженерами; работали с прокси, гейтвеями или клиентскими протоколами к СУБД. Работа у нас — это: расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; сервис психологической поддержки, а также финансовые, юридические и ЗОЖ консультации для вас и ваших близких; корпоративный спорт: групповые тренировки, велбиинг-приложение; спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование; компенсация питания; профильное инженерное сообщество с многолетним опытом, развитая система менторства и обмена экспертизой; выстроенная матрица компетенций с прозрачными требованиями к грейдам; технически сложные задачи, на которых можно развивать навыки.