Описание вакансии
Коротко о ролиArchitect, build, test, deploy, and maintain scalable, automated ETL/ELT pipelines using Python, dbt, and orchestration tools such as Prefect and Airflow. Administer and optimize cloud-based data warehouse and lake platforms, including Snowflake, AWS (S3, Redshift), and Google Cloud, integrating new sources and tuning for performance and cost.
Задачи:
— Архитектура, разработка, тестирование, деплой и поддержка масштабируемых автоматизированных ETL/ELT конвейеров с использованием Python, dbt и инструментов оркестрации Prefect и Airflow.
— Администрирование и оптимизация облачных платформ хранения данных и озёр, включая Snowflake, AWS (S3, Redshift) и Google Cloud, интеграция новых источников, настройка производительности и затрат.
— Оркестрация рабочих процессов данных с пользовательским планированием, оповещениями, управлением зависимостями, мониторингом и устранением ошибок.
— Проектирование и поддержка безопасных внешних потоков данных через SFTP, Files.com и API с акцентом на надежность и соответствие требованиям.
— Автоматизация ручной отчетности и операционных задач, создание надежных и переиспользуемых компонентов конвейеров для снижения операционной нагрузки.
— Взаимодействие с бэкенд-инженерами продукта для оптимизации схем баз данных с учетом аналитических сценариев.
— Усиление качества данных, прослеживаемости, управления и документации по ключевым доменам данных.
— Наставничество коллег и укрепление лучших практик в контроле версий, код-ревью и структурированном управлении рабочими процессами.
Требования:
— Экспертное владение Snowflake, dbt и Python для моделирования данных, трансформаций, разработки конвейеров и продвинутой аналитики.
— Продвинутые навыки SQL для сложных запросов, проектирования масштабных моделей данных и оптимизации баз данных.
— Опыт архитектуры, разработки, тестирования, деплоя и поддержки масштабируемых автоматизированных ETL/ELT конвейеров с использованием современных инструментов оркестрации Prefect и Airflow.
— Практический опыт администрирования облачных платформ хранения данных и озёр, включая Snowflake, AWS (S3, Redshift) и Google Cloud.
— Глубокое понимание безопасных внешних потоков данных через SFTP, Files.com и API с акцентом на надежность и соответствие требованиям.
— Владение системами контроля версий (Git, GitHub) и управлением рабочими процессами (Jira) для код-ревью, аудита и прозрачности операций.
— Способность автоматизировать и упрощать сложные ручные задачи, создавая надежные и переиспользуемые компоненты конвейеров.
— Надежность, адаптивность и командный подход к инженерной работе в динамичной и неоднозначной среде.
Условия:
— Полная удаленная занятость.
— Конкурентная годовая зарплата от $145,000 до $165,000, в зависимости от навыков и опыта.
— Комплексный пакет вознаграждений, включая медицинское страхование, пенсионные планы, краткосрочные и долгосрочные стимулы, отпуск по уходу за ребенком и поддержку формирования семьи.
Дополнительно приветствуется:
— Опыт работы в стартапах или быстрорастущих компаниях с изменяющимися приоритетами.
— Поддержка команд бизнес-аналитики, аналитики и науки о данных через масштабные интеграции и мультиарендную отчетность.
— Знакомство с пакетной и событийно-ориентированной обработкой данных, включая near-real-time конвейеры на базе Snowflake, dbt и Python.
— Опыт автоматизации операционных, финансовых или комплаенс-процессов в облачных средах данных.
— Знание аудита, приватности и комплаенс-фреймворков SOC 2, HIPAA, GDPR, ISO, SOX, особенно в области управления данными и безопасного доступа.
— Опыт работы в регулируемых отраслях, таких как здравоохранение, healthtech или SaaS.
География: удаленная работа, без ограничения по стране проживания.