Senior Data Engineer

Задачи: – Разработка, создание и оптимизация масштабируемых ETL-процессов и конвейеров обработки данных. – Разработка и поддержка решений в области бизнес-аналитики, хранилищ данных и аналитических наборов данных. – Разработка и оптимизация сложных SQL-скриптов, процедур и рабочих процессов обработки данных. – Управление рисками и зависимостями, выявление технических и эксплуатационных угроз, таких как качество данных, согласование с устаревшими системами и пропускная способность, информирование заинтересованных сторон и предложение мер по их смягчению. – Согласование действий всех заинтересованных сторон, определение и согласование подходов и компромиссов, представление вариантов и рекомендаций, проведение демонстраций для подтверждения прогресса и демонстрации ценности. – Обеспечение технического руководства с непосредственным участием в реализации проектов, проверка и контроль архитектуры, проектов, кода и SQL-заметок, внедрение критически важных компонентов для обеспечения стабильного качества. Требования: – Минимальный опыт работы в области проектирования данных — 5 лет, из которых не менее 2-3 лет — в облачной экосистеме Azure. – Эксперт в SQL с подтвержденной способностью писать и оптимизировать сложные аналитические запросы, хранимые процедуры и функции. – Глубокие знания PySpark и Python для обработки больших объемов данных и построения ETL/ELT-конвейеров. – Понимание принципов организации данных в рамках озера данных (уровни Raw, Silver, Gold). – Опыт администрирования и разработки в средах с управляемыми экземплярами. – Знание методологий моделирования данных (Кимбалла/Инмона), понимание концепции медленно изменяющихся измерений (SCD) и управления историей изменений. – Глубокое понимание архитектуры корпоративного хранилища данных, включая проектирование таблиц измерений и фактов, а также создание агрегированных слоев данных. – Опыт работы с финансовыми/страховыми данными, понимание процессов закрытия месяца, сверки данных и логики финансовых расчетов. – Опыт проведения анализа кода, проектирования архитектуры конвейера и контроля технического качества результатов работы команды. – Опыт работы в командах Scrum, умение декомпозировать высокоуровневые бизнес-цели на конкретные технические задачи (пользовательские истории/задачи) и управлять планом выполнения. – Уровень владения английским языком: B2 или выше.