Вакансия «Middle Data Engineer» в Aristek Systems · Job Hunters
A
Aristek Systems
Middle Data Engineer
Зарплата не указана
Формат
Удалённо
Грейд
middle
PythonSQLSparkAWSAzureGCPAirflowPyspark
Мэтч и сопроводительное
Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.
Описание вакансии
Коротко о роли
– Разработка, создание и поддержка надежных конвейеров обработки данных и процессов ETL/ELT для поддержки различных источников данных, включая структурированные и неструктурированные данные, с обеспечением высокого качества и целостности данных. Хороший опыт работы с Databricks.
Задачи:
— Разработка, создание и поддержка надежных конвейеров обработки данных и процессов ETL/ELT для поддержки различных источников данных, включая структурированные и неструктурированные данные, с обеспечением высокого качества и целостности данных.
— Создание и управление масштабируемыми архитектурами данных, обеспечивающими частые преобразования и манипуляции данными в сложных средах с множеством источников.
— Тесное сотрудничество с аналитиками данных, специалистами по обработке данных и другими заинтересованными сторонами для обеспечения соответствия конвейеров обработки данных потребностям бизнеса.
— Мониторинг, устранение неполадок и оптимизация конвейеров обработки данных для обработки крупномасштабных и разнообразных наборов данных, включая системы обработки в реальном времени и пакетной обработки.
— Обеспечение соответствия стандартам управления данными, безопасности и конфиденциальности, внедрение передовых методов отслеживания происхождения данных, контроля доступа и аудита.
— Постоянное отслеживание новых технологий обработки данных, фреймворков ИИ и передовых методов для непрерывного улучшения инфраструктуры и рабочих процессов.
Требования:
— Разработка конвейеров обработки данных: Опыт создания масштабируемых автоматизированных конвейеров обработки данных с использованием методологий ETL/ELT, опыт работы со сложными преобразованиями данных и частыми манипуляциями с данными.
— Хороший опыт работы с Databricks.
— Источники и форматы данных: Опыт работы с широким спектром источников данных, включая реляционные базы данных, NoSQL, API, потоковые данные (например, Apache Kafka) и неструктурированные форматы данных.
— Программирование и скриптинг: Уверенные навыки программирования на Python (pySpark, SparkSQL), SQL.
— Большие данные и облачные платформы: Практический опыт работы с фреймворками для обработки больших данных (Apache Spark) и облачными платформами (IBM Cloud, AWS, Azure, Google Cloud) для масштабируемой обработки и хранения данных.
— Автоматизация и оркестровка: Знание инструментов оркестровки рабочих процессов, таких как Apache Airflow или Dagster, для планирования, управления зависимостями и восстановления после сбоев.
— Качество и управление данными: Особое внимание уделяется качеству данных, происхождению данных, соответствию нормативным требованиям (GDPR, CCPA) и передовым методам обеспечения безопасности, включая шифрование и управление доступом на основе ролей.
— Решение проблем в сложных средах: Способность ориентироваться и решать проблемы, связанные с крупномасштабными, гетерогенными экосистемами данных, обеспечивая надежность и производительность конвейера обработки данных в сложных условиях.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
67/100
Средняя вакансия
Оценка от Job Hunters AI
Middle Data Engineer; зарплата не указана; понятные задачи; гибкий формат.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Зарплата не указана
Зарплата не указана, только говорится, что обсуждается на собеседовании, что не позволяет оценить условия оплаты.
Из объявления
🟢ЗП обсуждается на собеседовании
Мэтч и сопроводительное
Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.