Задачи:
— проектировать, разрабатывать и поддерживать ETL/ELT-пайплайны
— собирать, обрабатывать и трансформировать данные из различных источников
— разрабатывать и сопровождать слои DWH, витрины данных и data marts
— настраивать интеграцию источников данных: CRM, ERP, BI и внешних сервисов
— разрабатывать внутренние сервисы и API на Python
— заниматься мониторингом, логированием и устранением ошибок
Требования:
— практический опыт работы с Python, SQL, Airflow, ETL/ELT и DWH
— опыт разработки и поддержки data pipelines
— знание реляционных СУБД
— опыт работы с API
Задачи:
- Развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения;
- Разрабатывать и сопровождать витрины данных для аналитики;
- Проектировать и разрабатывать процессы загрузки данных из разнородных источников;
- Настраивать потоки передачи данных между системами: интеграции, синхронизация, обработка ошибок;
- Строить дашборды, алертинг и мониторинг;
- Обеспечивать наблюдаемость пайплайнов: контроль качества данных, отслеживание задержек и сбоев загрузок;
- Проводить аудит текущих решений, выявлять точки роста;
- Собирать и уточнять требования к данным вместе с аналитиками и бизнес-заказчиками;
- Участвовать в анализе данных: выявление зависимостей, построение логических связей, подготовка данных для аналитики.
Требования:
- 4+ года коммерческого опыта в роли Data Engineer;
- Понимание принципов построения DWH (Kimball / Inmon, star schema, ETL/ELT);
- Опыт построения систем мастер-данных;
- Умение самостоятельно превратить размытую бизнес-задачу в модель данных и план работ.
Будет плюсом:
- Опыт ответственности за архитектуру хранилища или крупного домена целиком;
- Внимание к качеству данных как отдельной задаче: проверки, SLA, договорённости с владельцами источников;
- Опыт с ML и Computer Vision.
Условия:
- Комфортный офис в Mega Alma-Ata с паркингом и видом на горы;
- Гибридный формат работы;
- Официальное трудоустройство, медстраховка для вас и близких, компенсация фитнеса.