Senior Data Engineer

Требования: ▫️Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse) ▫️Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT ▫️Programming: Python, SQL / T-SQL ▫️Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet ▫️Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts ▫️DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD ▫️Data Analytics: Data Marts, relational data modeling, Power BI - будет преимуществом ▫️Английский: В2+ Основные задачи: ▫️Архитектура Lakehouse / DWH Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric. Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet). ▫️Разработка ETL/ELT-пайплайнов Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2. Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts. ▫️Обработка больших данных Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации. ▫️Проектирование Data Marts и работа с T-SQL Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse. Оптимизация сложных T-SQL-запросов для достижения минимальной задержки. ▫️Автоматизация и CI/CD Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода.