Задачи:
— Проектировать и запускать пакетные и потоковые конвейеры данных на Databricks и Apache Spark в AWS, включая загрузку из баз данных, API и потоков событий.
— Формировать архитектуру lakehouse на S3 и Delta Lake с использованием медальонного слоя (Bronze / Silver / Gold) и оптимизацией хранения.
— Работать напрямую с аналитиками, инженерами и продуктовыми командами для преобразования сырых данных в надежные и полезные бизнес-данные.
— Вести проекты от согласования с заинтересованными сторонами и обзора дизайна до реализации, запуска и поддержки.
— Создавать решения для самостоятельного доступа к данным для других команд, масштабируемые и расширяемые.
— Строить и поддерживать масштабируемые ETL/ELT конвейеры с отказоустойчивостью и оптимизацией затрат.
— Оптимизировать Spark задачи по размеру кластера, кэшированию, соединениям, шифлам, партиционированию и форматам хранения (Parquet, Delta).
— Управлять рабочими процессами Databricks, заданиями, конфигурациями кластеров и инфраструктурой, включая политики безопасности и доступ.
— Внедрять управление данными и контроль доступа с Unity Catalog, включая обработку персональных данных.
Требования:
— Практический опыт работы с Databricks и глубокое владение Apache Spark (PySpark и/или Scala).
— Сильные навыки Python для обработки данных, а также SQL и Spark SQL для трансформаций и аналитики.
— Опыт работы с Delta Lake и архитектурами lakehouse, включая оптимизацию производительности.
— Подтвержденный опыт владения проектами, умение выявлять слабые места, собирать обратную связь и создавать масштабируемые решения.
— Опыт написания чистого, тестируемого и поддерживаемого кода с использованием контроля версий на Git.
— Опыт работы с инфраструктурой как кодом (Terraform или Ansible) является плюсом, но не обязателен.
Условия:
— Возможность создавать инновационные решения в финтехе Юго-Восточной Азии.
— Опционы на акции с четырехлетним вестингом и 25% клиффом после первого года.
— Гибридный формат работы с возможностью полностью удаленной работы для подходящих ролей, основные часы с 12:00 до 19:00 по манильскому времени (UTC+8).
— Предоставление инструментов и оборудования компанией.
— Офис в Bonifacio Global City, Манила.
— Медицинская страховка с поддержкой для сотрудника и семьи.
— Доступ к внутреннему специалисту по психическому здоровью.
— 22 дня отпуска, государственные праздники Филиппин и 15 дней больничных.
— 105 дней оплачиваемого декретного отпуска и до 14 дней оплачиваемого отпуска по уходу за ребенком для сотрудников, переезжающих в Манилу.
— Поддержка при релокации для сотрудника и семьи, включая перелеты, проживание, визы, оформление документов и логистику.
— Возмещение расходов на перевозку домашних животных.
— Ежегодно до 2500 долларов США на перелеты домой.
— Ежемесячные выплаты на детей для сотрудников, переезжающих в Манилу: 1000 долларов на ребенка до 2 лет и 500 долларов на ребенка от 2 до 18 лет.
— Возможности для профессионального роста через внутренние встречи, внешние конференции, выступления и публикации.
— Спонсируемые компанией поездки в Манилу для личных встреч с командой.
— Регулярные командные выезды, спортивные мероприятия и события.
— Возможность для высокоэффективных команд получить неделю отдыха на пляже в Юго-Восточной Азии.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.