Задачи:
– Разработка и рефакторинг ETL/ELT пайплайнов на pyspark;
– Разработка и поддержка OLAP движков Starrocks/Clickhouse;
– Поддержка текущих пайплайнов на Greenplum и Hadoop;
– Миграция с HDFS на S3;
– Оптимизация spark-приложений.
Требования:
– Опыт работы с Python от 3 лет;
– Глубокое знание SQL и опыт работы с большими данными;
– Опыт работы с Apache Airflow;
– Опыт проектирования и разработки ETL/ELT процессов;
– Опыт работы с колоночными БД (ClickHouse);
– Знание принципов построения Data Warehouse и Data Lake;
– Понимание разницы между OLTP/OLAP системами;
– Уверенная работа c linux и git;
– Понимание процессов ci/cd.
Задачи:
– Разработка, создание и поддержка масштабируемых конвейеров обработки данных с использованием Apache Spark и современных платформ обработки данных.
– Разработка и оптимизация архитектур хранилищ данных для поддержки рабочих процессов анализа данных и машинного обучения.
– Внедрение моделей и структур данных, обеспечивающих качество, согласованность и доступность данных.
– Сотрудничество со специалистами по анализу данных и аналитиками для понимания потребностей в данных и предложения решений.
– Обеспечение безопасности данных и соответствия нормативным требованиям.
– Мониторинг и устранение неполадок, связанных с производительностью и надежностью конвейера обработки данных.
– Постоянное совершенствование процессов и передовых методов обработки данных.
– Взаимодействие с межфункциональными командами и участие в технических дискуссиях.
– На руководящей должности оказание технической поддержки и наставничество младших инженеров.
Требования:
– Опыт работы с Python или Scala/Java.
– Углубленные знания SQL.
– Практический опыт работы с Apache Spark, Databricks, Snowflake или Microsoft Fabric.
– Понимание концепции и архитектуры хранилища данных (data lakehouse).
– Понимание основ распределенных систем.
– Навыки моделирования данных и создания хранилищ данных.
– Опыт работы с облачными архитектурами данных на платформах AWS, Azure или GCP.
– Готовность к обучению и экспериментам с разными решениями.
– Ценить баланс между работой и личной жизнью, избегать сверхурочной работы.
– Умение просить о помощи и работать в команде.
Location: EMEA; Romania; Bulgaria; Kenya; Portugal; United Kingdom; Spain; Brazil; South Africa; Argentina; Armenia
Workplace: Remote
✨ ONE PLATFORM, A WHOLE WORLD OF OPPORTUNITY
The best jobs have always clustered in a handful of the world's wealthiest cities. But talent is everywhere. Oyster set out to close that gap - building a global employment platform that lets companies hire, pay, and care for brilliant people anywhere.
We're proof that a high-performing culture doesn't need an office. Distributed across 60+ countries since 2020, we've built something the industry keeps noticing:
- Ranked #10 of 250 on TIME and Statista's 2026 list of America's Top WorkTech Companies https://www.oysterhr.com/library/oyster-hr-named-10-of-americas-top-worktech-companies-of-2026-by-time
- Named one of America's Greatest Startup Workplaces 2026 https://www.oysterhr.com/library/oyster-2026-newsweek-award by Newsweek
- A G2 Spring 2026 Leader https://www.oysterhr.com/library/oyster-named-best-roi-for-any-global-employment-platform-for-g2-spring-2026 across Employer of Record, Global Employment, Multi-country Payroll, and HR Compliance
- The only B Corp-certified global employment platform ~ independently verified since 2023
Two of those rankings measured our business impact from the outside. One measured how our own people feel about working here. They landed in the same place ~ because at Oyster, culture and performance aren't separate conversations. They're the same one.
And we're just getting started. If you want to do the best work of your career alongside people who care as much as you do, we'd love for you to apply.
👩💻 THE ROLE
Location: While this position is posted in a specific location, all of Oyster’s positions are fully remote and you can work from home. Forever. To create the best experience for our new hire, this role requires you to be based within UTC−6 to UTC+3.
Oyster’s Data Engineering team is building the foundational AI platform layer that will enable teams across Oyster to develop, deploy, and operate secure, production-grade AI capabilities. As a Senior Data Engineer focused on AI Platform, you’ll work at the intersection of data engineering, platform engineering, and applied AI. You’ll build the data pipelines, services, integrations, and reusable platform capabilities that power AI use cases across Oyster.
You’ll leverage Oyster’s existing AWS and Snowflake data platform to make enterprise data accessible, reliable, secure, and useful for AI, supporting capabilities such as LLMs, RAG, embeddings, vector search, AI agents, tool calling, and AI workflows.
This is not a traditional data engineering role focused primarily on analytics pipelines or reporting. You’ll help define and build the data and platform foundations that let AI systems move from experimentation to reliable production, working closely with Engineering, Product, IT, and other teams across Oyster.
Key Responsibilities
- Design and build data pipelines and platform capabilities that support AI applications, knowledge systems, and AI workflows.
- Build and maintain data and knowledge pipelines for ingestion, transformation, chunking, embeddings, retrieval, vector search, metadata, and knowledge management.
- Develop secure, reusable ways for AI systems to access enterprise data and systems using APIs, MCP, tool calling, and similar patterns.
- Build reusable services, libraries, frameworks, and developer tooling that make it easier for engineering teams to build and productionize AI capabilities.
- Apply strong data engineering practices around data modeling, data quality, lineage, access, reliability, and governance to AI-related data and systems.
- Help establish patterns for AI deployment, observability, evaluation, and lifecycle management, including quality, latency, reliability, security, and cost.
- Partner with engineers and stakeholders to take AI use cases from prototype to production, ensuring the underlying data and infrastructure are scalable and maintainable.
- Ensure AI platform capabilities meet Oyster’s security, privacy, access control, and data governance requirements.
- Evaluate emerging AI and data technologies and determine where they can create meaningful value for Oyster.
Core Requirements
- 5+ years of experience in data engineering, platform engineering, backend engineering, ML engineering, or a related discipline, with experience building and operating production systems.
- Strong Python and SQL skills.
- Strong data engineering fundamentals, including data pipelines, data modeling, data quality, orchestration, and secure data access.
- Experience with Snowflake, Databricks, or comparable modern data platforms, and tools such as dbt, Airflow, or similar.
- Hands-on experience building or supporting production systems using LLMs / generative AI.
- Practical experience with one or more of RAG, embeddings, vector search, tool/function calling, AI agents, or enterprise knowledge systems.
- Experience building data or platform capabilities that are reusable across teams, rather than only developing one-off solutions.
- Experience taking systems from experimentation to reliable production, including considerations around scalability, observability, performance, and maintainability.
- Solid understanding of security, authentication/authorization, privacy, and data governance, particularly in the context of enterprise data.
- Strong communicator who can work across Engineering, Product, and IT to turn ambiguous AI and data problems into practical engineering solutions.
Bonus
- Experience with AWS Bedrock or other managed foundation-model platforms.
- Hands-on experience with MCP (Model Context Protocol) or similar approaches for connecting AI systems to enterprise tools and data.
- Experience with LLM evaluation, observability, monitoring, or AI quality.
- Experience with LangChain, LangGraph, or similar frameworks.
- Experience with vector databases or search technologies.
- Experience implementing AI security, governance, or responsible AI practices.
- Experience building internal developer platforms, SDKs, APIs, or reusable infrastructure for engineering teams.
- Experience working across data engineering and AI/ML platform environments.
YOU'LL ALSO NEED
- A reliable home internet connection (or be able to get one).
- Fluent English language skills.
HOW WE WORK TOGETHER AT OYSTER
Our values guide the work we do, the decisions we make, and the culture that makes Oyster what it is. We make it happen—progress is our default setting. We drive change, we build and give trust, and we move as one united team.
Our mission is to create a more equal world of work: helping companies everywhere hire, pay, and care for talent anywhere. Everything we do ladders up to our mission. We embrace asynchronous, collaborative work and share how we operate in the Oyster Public HQ https://oysterhr.notion.site/Welcome-to-The-Reef-Oyster-s-Open-Source-Employee-Guide-fc482e3f107c4afd8c85ed217f1d0c1d so other global teams can learn from us.
HOW YOU WORK
With diverse locations, cultures, and needs, we created How YOU Work; https://oysterhr.notion.site/How-YOU-work-ac16c1932e314ffd8cb693e332458395 a program supporting your whole human experience at Oyster:
- Work from anywhere: Oyster has no borders or HQ. As long as work is timely, your team is supported, and you're authorized to work where you live, you can work from anywhere.
- Paid time off: Enjoy 40 days off per year (including holidays and vacation), or more if required by your country.
- Mental health support: Access Plumm https://oysterhr.notion.site/Plumm-3b5e7e70dec6428e975f68f25972cfb7, our mental well-being service.
- Wellbeing allowance: Each month, receive a wellbeing allowance in your ThanksBen wallet to spend on a wide range of options.
- Flexible parental leave: All new parents are eligible for at least three months’ paid leave, with job protection for up to 12 months or as required locally.
- WFH stipend: Receive a stipend for your laptop and home office equipment to get you set up quickly.
✨ THE BEST JOBS SHOULD BE AVAILABLE TO EVERYONE
We embrace diverse perspectives and intentionally build our product and company with an inclusive, global mindset. We encourage you to apply, even if you don’t meet every criterion, and are committed to a trust-based, thriving environment.
Oyster is committed to ensuring equal opportunity of employment for qualified persons with disabilities and actively fosters an inclusive work environment. If you require reasonable accommodations throughout the recruiting process, please email jobs@oysterhr.com with the subject line: Interview Accommodations.
Our available positions are on our careers page. Our team will only contact you from an @oysterhr.com email, and we will never ask for money as part of an interview process or job offer. If you receive a suspicious email about Oyster jobs or are directed to a site other than www.oysterhr.com/careers http://www.oysterhr.com/careers, please report it via our Compliance and Ethics Helpline https://faceup.com/c/8tpzyyye.
Задачи:
– Проектирование и развитие корпоративного хранилища данных (КХД)
– Разработка и оптимизация архитектуры DWH
– Проектирование, разработка и сопровождение ETL-процессов
– Построение витрин данных под бизнес-задачи
– Настройка, оптимизация и мониторинг загрузок данных
– Контроль и обеспечение качества данных
– Разработка SQL-скриптов, процедур и серверного кода
– Участие в проектах миграции и интеграции данных
– Интеграция источников через брокеры сообщений и REST API
– Подготовка технической документации
– Взаимодействие с командами аналитики и BI.
Требования:
– Высшее / неполное высшее образование
– Опыт работы Data Engineer / Архитектором DWH от 4 лет
– Опыт проектирования КХД от 1 года (Oracle, PostgreSQL)
– Понимание архитектуры и принципов построения DWH
– Опыт разработки ETL-процессов
– Опыт построения витрин данных
– Понимание принципов Data Quality
– Экспертное знание SQL (Oracle, PostgreSQL)
– Опыт миграции данных с использованием серверного кода
– Опыт настройки и оптимизации загрузок
– Опыт работы с Apache Kafka, RabbitMQ
– Python — обязательно
– Русский — свободно, английский — чтение/написание тех. документации.
Специалист с коммерческим качественным опытом 3+ лет, который не просто пишет код по указке, а понимает бизнес-логику данных, может самостоятельно довести задачу до production, готов решать разного рода задачи.
Задачи:
— Участвовать в проектировании и реализации высокопроизводительных, масштабируемых и оптимизированных дата-решений.
— Создавать модели данных с нуля, используя сильные навыки SQL.
— Писать и оптимизировать SQL-запросы внутри приложений.
— Обеспечивать производительность, безопасность и доступность баз данных.
— Готовить документацию и технические спецификации.
— Выполнять процедуры с базами данных: обновления, резервное копирование, восстановление и миграция.
— Профилировать использование ресурсов сервера и оптимизировать конфигурации.
— Проектировать, строить и автоматизировать развертывание дата-пайплайнов и приложений.
— Интегрировать данные из локальных баз и внешних источников через REST API и инструменты сбора данных.
— Сотрудничать с бизнес-подразделениями и командами дата-сайенс по вопросам доступа, трансформации, обработки и отчетности данных.
— Поддерживать внедрение, технические вопросы и обучение, связанные с экосистемой data lake.
— Управлять AWS-ресурсами, включая кластеры EMR и ECS.
— Поддерживать обеспечение, мониторинг, конфигурацию и обслуживание AWS-инструментов.
— Оценивать и внедрять новые облачные технологии для улучшения возможностей и снижения затрат.
— Поддерживать автоматизацию с использованием Infrastructure as Code (Terraform) и CI/CD (Jenkins).
— Реализовывать управление данными, контроль доступа и снижение рисков безопасности.
Требования:
— 7-9 лет опыта проектирования и разработки облачных моделей данных, ETL-пайплайнов и инфраструктуры.
— Опыт работы с структурированными и неструктурированными данными.
— Отличное владение SQL для популярных баз данных.
— Опыт оптимизации больших и сложных SQL-запросов.
— Знание лучших практик реляционных баз данных.
— Опыт настройки движков баз данных и оркестрации кластеров.
— Умение планировать ресурсы по высоким спецификациям.
— Навыки устранения типичных проблем с базами данных.
— Опыт работы со Spark, Glue, EMR, Apache Kafka или AWS Kinesis.
— Опыт с системами контроля версий Git или Subversion.
— Опыт использования автоматизированных систем сборки и CI/CD.
— Программирование на Java, Python и Scala.
— Знание структур данных и алгоритмов.
— Знание реляционных, NoSQL, графовых, документных, key-value и временных баз данных.
— Знание масштабируемого проектирования и управления моделями данных.
— Знание деплоя ML-моделей.
— Знание AWS cloud платформ.
— Знание TDD и BDD.
— Сильный интерес к улучшению навыков разработки ПО, фреймворков и технологий.
Условия:
— Возможность работать с моделированием данных, сервисами данных и дата-сайенсом в рамках платформы Data Intelligence.
— Работа в разнообразной технической среде: AWS, ETL-пайплайны, базы данных, поисковые технологии, рекомендательные системы.
— Прямое взаимодействие с командами дата-сайенс и внутренними заинтересованными сторонами по вопросам отчетности, трансформации и возможностей платформы.
Задачи:
— Проектировать и разрабатывать сквозные конвейеры данных с использованием Azure Data Factory, SQL и других сервисов Azure.
— Реализовывать сложные модели данных, меры DAX и вычисляемые столбцы для поддержки отчетности.
— Управлять и оптимизировать ETL-процессы, обеспечивая качество данных, согласованность и высокую производительность.
— Проектировать и поддерживать хранилища данных и размерные модели (например, схемы звезды/снежинки).
— Сотрудничать с аналитиками, разработчиками и заинтересованными сторонами для преобразования бизнес-требований в технические решения.
— Интегрировать данные из различных источников, включая SQL-базы данных, облачное хранилище, API и плоские файлы.
— Обеспечивать управление данными, точность и целостность в BI-экосистеме.
Требования:
— Опыт работы в роли Data Engineer не менее 5 лет.
— Продвинутые знания SQL: сложные запросы, оптимизация производительности, хранимые процедуры.
— Глубокое понимание технологий Azure: Azure SQL Database, Data Factory и др.
— Опыт разработки ETL, интеграции данных и оркестрации конвейеров.
— Знание принципов моделирования данных и архитектур хранилищ данных.
— Знание принципов управления данными, управления качеством данных и лучших практик безопасности данных.
— Расположение в часовом поясе CET (+/- 3 часа).
Желательно:
— Знакомство с Azure Synapse Analytics, Data Lake и Azure DevOps.
— Эксперт в разработке Power BI, включая Power Query, DAX и Power BI Service.
— Опыт работы с Python или другими скриптовыми языками для обработки данных.
— Опыт работы с Git или другими системами контроля версий для совместной работы и практик CI/CD.
— Наличие сертификатов Microsoft (Power BI, Azure Data Engineer или SQL Server).
Условия:
— Своевременные ежемесячные выплаты с гибкими вариантами вывода средств.
— Предсказуемые часы работы: стабильные 8-часовые рабочие дни с клиентами.
— До 24 дней гибких выходных в год без потери оплаты для полноценных позиций через Proxify.
— Долгосрочные удалённые позиции в ведущих компаниях.
— Персонально подобранные вакансии без типичных рекрутинговых барьеров.
— Единый процесс заключения контрактов для множества возможностей без дополнительных оценок.
— Постоянная оплата каждый месяц для позиций, полученных через Proxify.
Проект:
Разработка единой системы оценки эффективности.
Задачи:
— Разработка решений вокруг DWH
— Создание ETL / настройка сбора данных, BI-аналитика
— Проработка архитектуры данных и системы для их сбора
— Внедрение нового функционала, сокращение техдолга
Требования:
— Опыт проектирования и построения пайплайнов: Python / Apache Airflow
— Интеграция источников с GraphQL, RESTful
— Хранение данных в Apache Iceberg / проектирование архитектуры хранения данных
— Проектирование архитектуры сбора данных и витрин
— Тестирование данных на всех уровнях требований к качеству данных
— Настройка метрик и алертов Prometheus / интеграция с внутренними системами оповещений
— Знание предметной области
Условия:
Удаленный формат работы
Интересный проект с архитектурными задачами
Профессиональный рост
Digital подразделение крупной производственной компании в поисках Data Engineer (Middle / Senior) в команду, которая строит Корпоративное Хранилище Данных и data-платформы для всего бизнеса.
Основной стек проекта:
Язык программирования Python
Базы данных Greenplum и PostgreSQL
Фреймворк Data Build Tool (DBT)
Фреймворк Spark
Брокер сообщений Kafka
Оркестратор Airflow
Инфраструктура: Kubernetes
Управление инфраструктурой: Terraform, Ansible
Управление кодом: GitLab, SonarQube
Мониторинг: Prometheus, Grafana, AlertManager
Задачи:
— Разработка и поддержка ETL/ELT-процессов в Корпоративное Хранилище Данных
— Организация и оптимизация пайплайнов данных
— Разработка витрин данных и обеспечение качества данных
— Настройка и поддержка инфраструктуры данных (Airflow, Spark, Kafka, DBT)
— Взаимодействие с заказчиками: от сбора требований до внедрения и сопровождения решений
— Документирование и презентация результатов
Требования:
— Опыт работы Data Engineer от 5 лет
— Высшее образование (IT/математика/математическая статистика/физика)
— Отличное знание Python и SQL
— Опыт работы с реляционными БД (Greenplum / PostgreSQL)
— Знание современных технологий обработки больших данных
— Опыт с Airflow, Spark, Kafka, DBT — будет преимуществом
— Умение работать в команде, сильные аналитические навыки и ответственность
Условия:
— Официальное оформление по ТК РФ
— Возможность выбора формата работы (удаленка, гибрид, офис)
— Развитый социальный пакет, ДМС, бонусы
Задачи:
— Стриминг и обработка исходных данных с мейнфрейм и устаревших систем, загрузка в AWS S3.
— Проектирование и реализация ETL/ELT процессов с использованием AWS Glue.
— Проведение сверки данных, проверок качества и валидации для обеспечения точности и надежности данных.
— Кураторство и трансформация данных, предоставление чистых наборов данных через AWS Aurora и RDS (PostgreSQL).
— Управление хранилищем S3, включая политики хранения данных, стратегии архивирования и управление жизненным циклом.
— Автоматизация рабочих процессов и управление деплойментом с помощью GitHub и CI/CD на базе GitHub Actions.
— Использование AI-инструментов для повышения продуктивности инженерии и автоматизации рабочих процессов с данными.
Требования:
— Опыт работы в Data Engineering не менее 5 лет, создание и доставка конвейеров данных, ETL/ELT процессов или платформенных решений.
— Практический опыт работы с AWS Glue для проектирования и реализации ETL/ELT процессов.
— Глубокие знания AWS сервисов: S3, RDS/Aurora, Glue.
— Опыт построения и поддержки потоковых конвейеров данных с использованием Kafka.
— Опыт реализации сверки данных, проверок качества и процессов валидации.
— Владение управлением репозиториями GitHub и автоматизацией CI/CD с помощью GitHub Actions.
— Опыт использования AI-инструментов для автоматизации рабочих процессов и повышения продуктивности.
— Способность самостоятельно брать ответственность за результаты и доводить задачи до завершения с минимальным контролем.
— Опыт работы с данными мейнфрейм или интеграции с устаревшими системами будет плюсом.
— Знакомство с MongoDB или другими NoSQL базами данных будет плюсом.
Условия:
— Оплата $65 в час на основе W2.
— Полностью удаленная работа.
XUND is a medical technology company that builds AI-powered digital health assistants to digitize the patient journey from the first symptoms to treatment.
Work format: Remote or on-site in Vienna, Budapest, Berlin.
Задачи:
— Архитектура новой системы данных компании с нуля.
— Преобразование больших и разнородных медицинских данных в унифицированный, высокопроизводительный граф знаний.
— Работа с медицинскими экспертами, продуктовыми командами и дата-сайентистами для перевода сложной клинической логики в чистые, взаимосвязанные структуры и модели данных.
— Поиск креативных решений с использованием различных типов баз данных и конвейеров данных для обеспечения согласованности и совместимости медицинских данных.
— Разработка и интеграция частей клинического inference engine, основанного на правилах и статистических моделях.
— Проектирование и расширение клинических моделей данных с использованием доменных онтологий (например, SNOMED-CT, FHIR, UMLS) для создания богатых, запросных графовых структур.
— Перевод исследовательских результатов в масштабируемое, промышленное программное обеспечение в рамках agile-команды.
— Тесное сотрудничество с медицинскими экспертами для фиксации клинических рабочих процессов и валидации отображений онтологий.
— Формирование технического направления, дизайна схем и лучших инженерных практик в команде.
Требования:
— Магистр или кандидат наук в области компьютерных наук, математики или смежных областей.
— Более 4 лет опыта работы с медицинскими данными или в области data engineering либо соответствующие академические исследования.
— Глубокие знания графовых баз данных, языков запросов, алгоритмов поиска и/или систем вывода (например, Neo4j, Memgraph, Cypher, SQL, Datalog).
— Обширный опыт разработки на Python и/или TypeScript, комфортное переключение между языками и фреймворками.
— Наличие разрешения на работу в ЕС и проживание в ЕС.
— Желательно: знакомство со статистикой, формальной логикой и/или машинным обучением.
— Опыт работы с электронными медицинскими картами (EHR) и форматами обмена клиническими данными (например, FHIR).
— Интерес к области представления знаний и рассуждений (Knowledge Representation and Reasoning).
— Опыт самостоятельного управления облачными средами (например, GCP) и CI/CD конвейерами.
Условия:
— Работа в одной из ведущих европейских healthtech компаний с возможностью влиять на продукт.
— Возможность работать удаленно или в офисах в Вене, Будапеште и Берлине.
— Выделенный бюджет на обучение и профессиональное развитие.
— Культура с плоской иерархией, открытым общением и уважением к мнению каждого.
— Участие в виртуальных программах опционов на акции (VSOP).
— Возможность приводить в офис своих домашних животных и общаться с офисными собаками.
— Гибкие условия работы и поддержка разнообразия и инклюзивности.
Задачи:
- Разработка и развитие микросервисов и data-процессов для online/streaming и batch обработки
- Построение пайплайнов обработки, обогащения и репликации данных
- Создание витрин, агрегатов и ML-фичей для антифрод-моделей
- Работа с большими объёмами исторических данных и тяжёлыми расчётами
- Оптимизация производительности и надёжности сервисов и пайплайнов
Требования:
- Коммерческий опыт разработки на Python
- Опыт создания backend-сервисов и data-пайплайнов, понимание микросервисной архитектуры
- Опыт работы с большими объёмами данных, понимание batch и streaming обработки
- Опыт работы с реляционными и in-memory базами данных
- Понимание принципов работы ML-пайплайнов
- Будет плюсом: опыт в Anti-Fraud / Risk / Scoring, low-latency системах; Spark, Kafka, Tarantool или Ignite
Условия:
- Формат работы: удалённо
- Пятница — сокращённый рабочий день
Location: Remote - Global
Workplace: Remote
About the company
Trust Wallet is the secure, self-custody Web3 wallet that empowers people to own and control their digital assets. Whether you're new to crypto or an experienced user, Trust Wallet makes it easier, safer, and more convenient to explore Web3, securely access dApps, manage your crypto, and buy and sell digital assets, all in one place.
ABOUT THE ROLE
As a Senior Data Engineer, you will play a key role in building and scaling the data platform that powers analytics across Trust Wallet. You'll be responsible for designing, developing and maintaining data pipelines and data models, ensuring a seamless, scalable and reliable flow of data from source systems through to the decisions it supports. Leveraging your experience with Databricks and Spark across both streaming and batch workloads, dbt or a similar transformation framework, cloud infrastructure, and custom solutions in Python, you'll work closely with our data analysts and engineering teams to turn data into a strategic asset for our company.
KEY RESPONSIBILITIES
- Data Platform Engineering: Architect and maintain robust, scalable and secure data infrastructure on Databricks, covering both streaming and batch workloads.
- Data Pipeline Development: Design, develop and maintain data pipelines, primarily in Python and Spark, to automate ingestion and transformation across internal systems, external providers and on-chain sources.
- Data Modelling: Design and maintain dimensional data models and transformation layers in dbt, with tests and documented contracts, so metrics are consistent and reusable across the company.
- Data Lake Management: Oversee the data lake and lakehouse layers, ensuring efficient storage, effective partitioning, high data quality, and monitoring and alerting that surfaces issues early.
- Integration and Customisation: Integrate Databricks with a wide range of data sources, including change data capture from operational databases, third-party APIs and blockchain data, and adapt data flows to specific business needs.
- Performance, Scalability and Cost: Optimise pipelines and storage for performance, reliability and cost efficiency at scale.
- Data Governance and Security: Apply best practices for governance, security and compliance in cloud and Databricks environments, including access control, encryption and monitoring.
- Collaboration and Documentation: Work closely with platform engineers, data analysts and other stakeholders to understand data requirements, and document infrastructure, models and best practices.
REQUIRED QUALIFICATIONS
- Experience in Data Engineering: 3+ years as a Data Engineer, with hands-on ownership of production pipelines and lakehouse or data warehouse architecture.
- Databricks and Spark: Strong practical experience with Databricks, Delta Lake and Spark, including both streaming and batch processing, and the judgement to choose between them.
- Data Modelling: Solid understanding of dimensional modelling, slowly changing dimensions and data warehouse design, with the ability to define and defend the grain of the models you build.
- Transformation Frameworks: Experience with dbt or an equivalent framework for managing transformations, testing and lineage.
- Cloud Proficiency: Strong cloud fundamentals, including identity and access management, object storage, networking and infrastructure as code. We run on AWS; deep experience with Azure or GCP transfers well.
- Proficiency in Python and SQL: Comfortable writing production transformations as well as services and connectors.
- Data Quality and Governance: Experience implementing testing, monitoring and governance practices in cloud data environments.
PREFERRED SKILLS
- Experience with change data capture and replication from operational databases
- Familiarity with blockchain or on-chain data
- Infrastructure as code, ideally Terraform, and CI/CD for data workloads
- Experience with BI and semantic layers such as Holistics, Looker or similar
- Containerisation and orchestration (Docker, Kubernetes)
ADDITIONAL INFORMATION
This is a global and fully remote role. You must have the right to work for the country you are based.
WHY WORK AT TRUST WALLET?
- Be a part of the world’s leading blockchain ecosystem that continues to grow.
- Excellent learning and career development opportunities.
- Work alongside diverse, world-class talent, in an environment where learning and growth opportunities are endless.
- Tackle fast-paced, challenging and unique projects.
- Work in a truly global organization, with international teams and a flat organizational structure.
- Work fully remotely with flexible working hours.
- Enjoy competitive salary and benefits.
Apply today to join our team in building the world’s most trusted and secure crypto wallet and enable a decentralized future for everyone.
Trust Wallet is committed to being an equal opportunity employer. We believe that having a diverse workforce is fundamental to our success.
*Due to the large amount of the applications, please consider your application as unsuccessful should you not be contacted within 4 weeks from your application date.
УдалённоseniorEMEA; Romania; Bulgaria; Kenya; Portugal; United Kingdom; Spain; Brazil; South Africa; Argentina; Armenia
Не хотите искать каждый день?
Настройте подбор один раз, и подходящие вакансии будут сами приходить в Telegram.
Настройте подбор, и подходящие вакансии будут приходить в Telegram.
