Вакансия «Data Engineer Ценообразование» в Wildberries · Job Hunters
W
Wildberries
Data Engineer Ценообразование
Зарплата не указана
Формат
Гибрид
Грейд
middle
Город
Москва
ClickHouseSQLPythonFastAPIAirflowKafkaPostgreSQL
Мэтч и сопроводительное
Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.
Описание вакансии
Задачи:
— Проектировать и разрабатывать пайплайны загрузки данных, оптимизируя их под потребности команд-потребителей
— Проектировать загрузку данных, раскладку по слоям, витрины в ClickHouse, включая выбор движка таблиц, ключей сортировки, партиционирования, шардирования и репликации
— Оптимизировать запросы и хранение данных, выявлять и устранять причины медленных запросов и аномального роста таблиц
— Разрабатывать и поддерживать DAGи в Apache Airflow с учетом идемпотентности, ретраев, бэкфиллов и зависимостей между задачами
— Обеспечивать качество данных через проверки полноты и консистентности, сверки между системами, алертинг и мониторинг пайплайнов
— Взаимодействовать с продуктовыми командами и аналитиками для разбора требований, согласования контрактов данных, объяснения ограничений и предложения вариантов
Требования:
— Опыт работы с ClickHouse, включая идентификацию проблем на кластере и работу с распределенной БД
— Уверенное владение SQL и опыт работы с большими объемами данных (таблицы 50+ Тб)
— Владение Python для разработки пайплайнов и бекенда на FastAPI
— Опыт работы с Apache Airflow, включая разработку и эксплуатацию DAGов в продакшене
— Опыт работы с Apache Kafka, понимание модели топиков, партиций, консьюмер-групп, оффсетов и семантики доставки, опыт построения загрузки из Kafka в хранилище
— Опыт интеграции данных из REST API и реляционных БД (PostgreSQL и аналоги), включая инкрементальную загрузку и работу с изменениями данных
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
Мэтч и сопроводительное
Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.