Middle Data Engineer

Задачи: — Разработка, создание и поддержка надежных конвейеров обработки данных и процессов ETL/ELT для поддержки различных источников данных, включая структурированные и неструктурированные данные, с обеспечением высокого качества и целостности данных. — Создание и управление масштабируемыми архитектурами данных, обеспечивающими частые преобразования и манипуляции данными в сложных средах с множеством источников. — Тесное сотрудничество с аналитиками данных, специалистами по обработке данных и другими заинтересованными сторонами для обеспечения соответствия конвейеров обработки данных потребностям бизнеса. — Мониторинг, устранение неполадок и оптимизация конвейеров обработки данных для обработки крупномасштабных и разнообразных наборов данных, включая системы обработки в реальном времени и пакетной обработки. — Обеспечение соответствия стандартам управления данными, безопасности и конфиденциальности, внедрение передовых методов отслеживания происхождения данных, контроля доступа и аудита. — Постоянное отслеживание новых технологий обработки данных, фреймворков ИИ и передовых методов для непрерывного улучшения инфраструктуры и рабочих процессов. Требования: — Разработка конвейеров обработки данных: Опыт создания масштабируемых автоматизированных конвейеров обработки данных с использованием методологий ETL/ELT, опыт работы со сложными преобразованиями данных и частыми манипуляциями с данными. — Хороший опыт работы с Databricks. — Источники и форматы данных: Опыт работы с широким спектром источников данных, включая реляционные базы данных, NoSQL, API, потоковые данные (например, Apache Kafka) и неструктурированные форматы данных. — Программирование и скриптинг: Уверенные навыки программирования на Python (pySpark, SparkSQL), SQL. — Большие данные и облачные платформы: Практический опыт работы с фреймворками для обработки больших данных (Apache Spark) и облачными платформами (IBM Cloud, AWS, Azure, Google Cloud) для масштабируемой обработки и хранения данных. — Автоматизация и оркестровка: Знание инструментов оркестровки рабочих процессов, таких как Apache Airflow или Dagster, для планирования, управления зависимостями и восстановления после сбоев. — Качество и управление данными: Особое внимание уделяется качеству данных, происхождению данных, соответствию нормативным требованиям (GDPR, CCPA) и передовым методам обеспечения безопасности, включая шифрование и управление доступом на основе ролей. — Решение проблем в сложных средах: Способность ориентироваться и решать проблемы, связанные с крупномасштабными, гетерогенными экосистемами данных, обеспечивая надежность и производительность конвейера обработки данных в сложных условиях.