Дата-инженер вакансии

• ClickHouse — основная экспертиза: проектирование MergeTree, партиционирование, TTL, оптимизация запросов. • ETL/ELT и оркестрация: Airflow, dbt, data quality, тесты, мониторинг свежести данных, data contracts.

- Разрабатывать и развивать пайплайны данных и платформенный слой, от которого зависят AI-продукты компании; - Анализировать использование LLM: стоимость, экономику токенов и кеширования, финансовую отчетность по расходам на AI;

What You'll Work On. - Building and maintaining a Databricks Lakehouse on a medallion architecture.

– Поддержка заинтересованных сторон: проверка данных по мере необходимости, расследование расхождений между панелями мониторинга, обеспечение доступности платформы бизнес-аналитики. – Разработка и поддержка ETL/ELT-конвейеров для аналитических отчетов (когортичный доход, LTV, удержание, KPI по креативам, аналитика после покупки).

Проектирование, разработка и сопровождение ETL/ELT-процессов с использованием Python и Apache Airflow. Практический опыт эксплуатации Apache Airflow, Spark (PySpark),ClickHouse и PostgreSQL в промышленной среде.

▫️Проектирование, разработка и поддержка масштабируемых data ingestion pipelines. ▫️Работа с большими объёмами данных — до миллиардов строк.

▫️Архитектура Lakehouse / DWH. Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric.

Не того, у кого Kafka и ClickHouse просто стоят в разделе Skills, а инженера, который действительно работал с DWH, строил ETL/ELT-пайплайны, оптимизировал SQL и понимает, что происходит с данными от источника до витрины. Наш стек: Kafka, ClickHouse, PostgreSQL/MySQL, Airflow, Python/Java/Scala, Docker, Grafana, Prometheus.

Задачи: — построение ETL-процессов: разработка и настройка конвейеров по сбору и трансформации данных из различных источников; — работа с современным стеком трансформации: освоение и применение DBT для превращения «сырых» данных в чистые аналитические витрины; — оркестрация данных: настройка и поддержка рабочих процессов (pipelines) в Dagster для своевременного и безошибочного обновления данных в отчетах; — управление хранилищами: работа с Postgres и высокопроизводительной колончатой базой данных Clickhouse для обеспечения скорости работы отчетов; — визуализация смыслов: разработка интерактивных BI-отчетов в Apache Superset для поддержки бизнес-решений; — оптимизация выборок: анализ и ускорение тяжелых запросов для повышения производительности системы отчетности. Требования: — уверенное владение SQL (сложные выборки, агрегатные функции, оптимизация запросов); — понимание устройства реляционных баз данных, в частности PostgreSQL, и принципов построения аналитических хранилищ; — базовые знания Python, умение писать скрипты для обработки данных и автоматизации простых задач; — аналитический склад ума, способность работать с большими массивами данных, выявлять закономерности и структурировать информацию. Желательный опыт: — опыт создания дашбордов в BI-инструментах (Apache Superset, Tableau, Power BI или аналогичных); — понимание концепций ETL/ELT; — понимание архитектуры данных, разницы между OLTP и OLAP системами (например, использование Clickhouse для аналитики); — интерес к современным инструментам DBT и оркестраторам данных (Airflow, Dagster). Условия: — срочный трудовой договор на 3 месяца; — график 5/2, не более 30 часов в неделю; — возможна удалённая, офисная или гибридная работа; — стажировка доступна студентам любых ВУЗов и форм обучения, включая заочную и магистратуру.

Location: São Paulo, Brazil Why Join Exadel We’re an AI-first global tech company with 25+ years of engineering leadership, 2,000+ team members, and 500+ active projects powering Fortune 500 clients, including HBO, Microsoft, Google, and Starbucks. From AI platforms to digital transformation, we partner with enterprise leaders to build what’s next. What powers it all? Our people are ambitious, collaborative, and constantly evolving. About the Client A major Brazilian financial institution specializing in investment banking, wealth management, and corporate lending. The customer develops secure digital banking platforms and financial solutions to serve a diverse global client base. What You’ll Do Administer, support, and optimize critical database environments, with a primary focus on SQL Server Maintain database availability, performance, security, integrity, and resilience Monitor database health, performance, capacity, and resource utilization Perform performance tuning and optimize SQL queries, indexes, execution plans, and database structures Conduct capacity planning and recommend improvements based on projected growth and business demand Troubleshoot and resolve complex database, application, and infrastructure issues Implement and manage backup, restore, replication, contingency, and recovery strategies Support Disaster Recovery planning, testing, and execution Participate in database migration and modernization projects, particularly within AWS environments Support the evolution of database architectures, administration standards, and technical best practices Collaborate with Development, Infrastructure, Cloud, Security, and Architecture teams Support development teams with SQL query optimization and physical data modeling Identify opportunities to automate recurring database-administration activities Improve operational efficiency through automation, monitoring, and standardized procedures Maintain technical documentation, operational procedures, and recovery runbooks Participate in incident response and problem-management activities for critical environments What You Bring Middle-level experience in database administration Strong hands-on expertise with Microsoft SQL Server Experience supporting critical, large-scale, or mission-critical database environments Experience working within banking or financial-services environments Strong knowledge of high availability, database security, performance optimization, and Disaster Recovery Experience working with cloud and hybrid environments, preferably AWS Hands-on experience with backup, restore, replication, contingency, and environment-recovery processes Strong SQL troubleshooting and performance-tuning skills Experience optimizing queries, indexes, execution plans, and database structures Understanding of capacity planning, monitoring, and database-health management Knowledge of infrastructure, operating systems, storage, and networking Experience supporting database migrations or modernization initiatives Ability to diagnose and resolve complex technical issues Bachelor’s degree in Information Technology, Computer Science, Engineering, or a related field Analytical, proactive, collaborative, and solution-oriented mindset Nice to have Experience with Oracle, PostgreSQL, or MySQL Knowledge of NoSQL databases Experience with Python, PowerShell, or other automation and scripting technologies Microsoft, AWS, or comparable technical certifications Experience working with Infrastructure as Code or automated cloud-provisioning tools Familiarity with Agile methodologies English level Advanced Work Type: Hybrid Location: São Paulo, Brazil Legal & Hiring Information Exadel is proud to be an Equal Opportunity Employer committed to inclusion across minority, gender identity, sexual orientation, disability, age, and more Reasonable accommodations are available to enable individuals with disabilities to perform essential functions Please note: this job description is not exhaustive. Duties and responsibilities may evolve based on business needs Compensation details are shared with candidates at the early stage of the recruitment process. The offer is not binding until a signed contract is in place. Your Benefits at Exadel Exadel benefits vary by location and contract type. Your recruiter will fill you in on the details. International projects In-office, hybrid, or remote flexibility Medical healthcare Recognition program Ongoing learning & reimbursement Well-being program Team events & local benefits Sports compensation Referral bonuses Top-tier equipment provision Exadel Culture We lead with trust, respect, and purpose. We believe in open dialogue, creative freedom, and mentorship that helps you grow, lead, and make a real difference. Ours is a culture where ideas are challenged, voices are heard, and your impact matters.

-Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения. -Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino.

Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric. Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet).

Разработка, сопровождение и ревью ETL-процессов поставки данных. Вам предстоит создавать конвейеры для извлечения, трансформации и загрузки данных из различных источников, настраивать их расписание и мониторинг.

▫️Проектирование, разработка и поддержка масштабируемых data ingestion pipelines. ▫️Работа с большими объёмами данных — до миллиардов строк.

Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric. Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet).

Distributed systems, MPP, Python / Go, AWS, Karpenter, Istio, database infrastructure и задачи, в которых можно влиять на то, как все работает вместе.

– Обеспечьте сквозную доставку одного или нескольких приоритетных доменов данных в Azure Databricks. – Разработка и создание конвейеров обработки данных уровня Medallion (Bronze/Silver/Gold) с использованием декларативных конвейеров Lakeflow, Auto Loader, Structured Streaming и Delta Lake с кластеризацией Liquid.

Задачи: — построение ETL-процессов: разработка и настройка конвейеров по сбору и трансформации данных из различных источников; — работа с современным стеком трансформации: освоение и применение DBT для превращения «сырых» данных в чистые аналитические витрины; — оркестрация данных: настройка и поддержка рабочих процессов (pipelines) в Dagster для своевременного и безошибочного обновления данных в отчетах; — управление хранилищами: работа с Postgres и высокопроизводительной колончатой базой данных Clickhouse для обеспечения скорости работы отчетов; — визуализация смыслов: разработка интерактивных BI-отчетов в Apache Superset для поддержки принятия бизнес-решений; — оптимизация выборок: анализ и ускорение тяжелых запросов для повышения производительности системы отчетности. Требования: — уверенное владение SQL (сложные выборки, агрегатные функции, оптимизация запросов); — понимание устройства реляционных баз данных, в частности PostgreSQL, и принципов построения аналитических хранилищ; — базовые знания Python, умение писать скрипты для обработки данных и автоматизации простых задач; — аналитический склад ума, способность работать с большими массивами данных, выявлять закономерности и структурировать информацию. Желательный опыт: — создание дашбордов в BI-инструментах (Apache Superset, Tableau, Power BI или аналогичных); — понимание концепций ETL/ELT; — понимание архитектуры данных, разницы между OLTP и OLAP системами (например, использование Clickhouse для аналитики); — интерес к современным инструментам DBT и оркестраторам данных (Airflow, Dagster). Условия: — срочный трудовой договор на 3 месяца; — график 5/2, не более 30 часов в неделю; — возможность работы удаленно, в офисе или в гибридном формате; — стажировка открыта для студентов любых ВУЗов и форм обучения, включая заочную и магистратуру.