Загружаем вакансии…
В растущий аутсорс нужен специалист на проект миграции Oracle → PostgreSQL (от 10 ТБ). Стек: — Oracle PL/SQL 12c / 19c — PostgreSQL PL/pgSQL — ora2pg — master-master репликация — Postgres Pro Enterprise — Oracle DBA 12c / 19c — Postgres DBA — нагрузочное тестирование PostgreSQL — GoldenGate, DataGuard, очереди AQ — pgpro_queue Оплата: в течение 30 календарных дней после отчётного месяца, ежемесячно. Локация: строго РФ Формат: удалённо.
Зарплата не указана
Разработка и поддержка пайплайнов. – Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse.
200 000 – 290 000 ₽
Компания TWINBY разрабатывает современное мобильное приложение для знакомств, которое соединяет пользователей, ориентируясь не на внешность или случайные фотографии, а на их психологическую совместимость. Вакансия предполагает удалённую работу в роли Data Engineer, где специалист будет заниматься обработкой и анализом данных, необходимым для функционирования сервиса.
Зарплата не указана
Настройте подбор один раз, и подходящие вакансии будут сами приходить в Telegram.
– Разработка, создание и поддержка надежных конвейеров обработки данных и процессов ETL/ELT для поддержки различных источников данных, включая структурированные и неструктурированные данные, с обеспечением высокого качества и целостности данных. Хороший опыт работы с Databricks.
Зарплата не указана
Требования: — Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек) — Глубокий SQL: оконные функции, сложные джойны, иерархические запросы — Оптимизация SQL для highload (партиционирование, индексы, explain plans) — Oracle (PL/SQL) и PostgreSQL — Greenplum и/или Clickhouse — Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow — Hadoop (HDFS) и Hive — Мониторинг ETL: Grafana/Prometheus или Victoria Metrics — Опыт работы с биллинговыми системами (желательно телеком-домен) Преимущества: — Потоковая обработка: Kafka Streams / Spark Streaming — Informatica PowerCenter (понимание мигрируемой системы) — Бинарные форматы хранения в Hadoop — Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL — Patroni для кластеризации PostgreSQL/Greenplum — S3-хранилища — КриптоПро или защищенные каналы передачи данных Задачи: — Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum) — Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код — Написание и оптимизация SQL для витрин данных и ETL-процессов — Разработка DAG-ов в Airflow — Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы) — Разработка Spark-джобов (PySpark) для больших объемов — Интеграция с Kafka для потоковой передачи — Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик — Разбор инцидентов по качеству данных и ошибкам загрузки — Code review
270 000 – 285 000 ₽
Ищем сильного Data-инженера для прототипирования корпоративных AI-ассистентов. Это роль на стыке классического DE и AI: нужно не просто строить пайплайны, но и готовить контекст для LLM, оценивать качество RAG и бороться с галлюцинациями.
350 000 – 400 000 ₽
-Design, build, and maintain data infrastructure and pipelines spanning both batch and real-time / streaming workloads, contributing to architectural decisions along the way. -Build and maintain scalable, efficient, and reliable ETL/ELT pipelines using languages and frameworks such as Python, SQL, Spark, Flink, Beam, or equivalents.
126 000 – 180 000 $
– выполнять задачи полного жизненного цикла: от сбора требований до выкатки на установку в прод; – разрабатывать и дорабатывать витрины и решения, автоматизировать их через оркестраторы;
Зарплата не указана
– Развивать корпоративную платформу данных и DWH; – Переводить существующие ETL-процессы с SSIS на Apache Airflow 3 и внутренний YAML-driven Python-фреймворк;
Зарплата не указана
Задачи: – Разрабатывать и дорабатывать ETL-процессы в Airflow – Подключать новые источники данных – Создавать и дорабатывать витрины – Оптимизировать SQL-запросы в GreenPlum и PostgreSQL – Работать с большими объемами данных – Развивать процессы контроля качества данных Требования: – От 1 года опыта работы с данными – Отличное знание SQL: JOIN, оконные функции, процедуры – Умение профилировать и оптимизировать запросы, понимать план выполнения – Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM – Практический опыт работы с Airflow и ETL-процессами – Python на базовом уровне – Знание Linux и умение работать с командной строкой – Опыт работы с Git – Понимание принципов работы Docker
Зарплата не указана
Требуется Data engineer. Требуемые навыки: — senior — Python.
280 000 – 300 000 ₽
Quantori разрабатывает программное обеспечение для биотехнологических и фармацевтических компаний. Среди клиентов компании Pfizer, LGC, The Jackson Laboratory. В компании работает более 500 человек, инвестиции составляют 15 миллионов долларов. Требования: — Опыт работы не менее 6 лет — Знание Python, R, SQL, Spark, dbt — Уровень английского языка не ниже B2 Формат работы: удалённо.
Зарплата не указана
Задачи: – проектирование и разработка слоев данных (Raw, Clean, Enriched/Presentation) с учетом лучших практик моделирования (Data Vault 2.0 / 3NF для хранилища, Star Schema для витрин); – разработка и внедрение кастомных алгоритмов дедупликации и Entity Resolution (Fuzzy Matching) на Python; – формализация бизнес-правил качества данных в код, настройка уровней доверия к источникам и правил выживания (survivorship rules); – внедрение Data Contracts и механизмов карантина (quarantine) для некачественных данных с возможностью их последующего разбора; – настройка автоматизированного тестирования данных (Data Quality checks) в пайплайнах. Требования: – Продвинутый уровень SQL и опыт работы с dbt (или аналогами) для построения слоев данных; – уверенное владение PySpark и/или pandas для обработки больших объемов данных и реализации логики матчинга; – практический опыт применения библиотек нечёткого поиска и связывания записей (Splink, recordlinkage, dedupe, theFuzz); – понимание принципов работы алгоритмов сравнения строк (Левенштейн, Джаро-Винклер, косинусное сходство на TF-IDF/эмбеддингах); – глубокое понимание 2-3NF, Data Vault 2.0 и различий между слоями сырых, очищенных и обогащенных данных; – опыт внедрения инструментов тестирования данных (Great Expectations, Soda, dbt tests, deequ или аналоги); – опыт работы с оркестраторами (Airflow, Dagster или Prefect), уверенное использование Git и базовые навыки CI/CD для дата-пайплайнов.
Зарплата не указана
Требования: - Опыт TeamLead (управление командой) не менее 4 лет; - Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД; - Опыт разработки и сопровождения хранимых процедур / функций в СУБД; - Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных; - Опыт участия в проектах миграции ETL-систем (Apache стек); - Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API); - Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка); - Опыт работы с PySpark (трансформации, оптимизация, партиционирование); - Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum); - Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка; - Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы; - Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT; - Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC); - Опыт работы с Оracle; - Опыт применения сложных SQL-запросов (оконные функции, джоины); - Умение оптимизировать запросы для highload-среды; - Опыт проектирования интеграций Apache-стека с Kafka и BI-системами; - Опыт настройки потоковой обработки данных; - Опыт работы с Hadoop и Hive (знание версий, источников данных); - Опыт работы с PostgreSQL, Greenplum, Clickhouse; - Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов; - Опыт работы с биллингом; - Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики); Обязанности: - Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры. - Подготовка документации AS IS и TO BE; - Написание SQL кода; - Отслеживание метрик.
280 000 – 300 000 ₽
Проект: Телекоммуникации Занятость: полная Локация: РФ Гражданство: РФ Формат: Удаленно Роль: Data Engineer (ETL-миграция) Локация: РФ, удаленно График: МСК ± 2 Гражданство: РФ Обязательно: - Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек); - Глубокий SQL: оконные функции, сложные джойны, иерархические запросы; - Оптимизация SQL для highload (партиционирование, индексы, explain plans); - Oracle (PL/SQL) и PostgreSQL; - Greenplum и/или Clickhouse; - Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow; - Hadoop (HDFS) и Hive; - Мониторинг ETL: Grafana/Prometheus или Victoria Metrics; - Опыт работы с биллинговыми системами (телеком-домен). Желательно: - Потоковая обработка: Kafka Streams / Spark Streaming; - Informatica PowerCenter (понимание мигрируемой системы); - Бинарные форматы хранения в Hadoop; - Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL; - Patroni для кластеризации PostgreSQL/Greenplum; - S3-хранилища; - КриптоПро или защищенные каналы передачи данных. Задачи: - Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum); - Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код; - Написание и оптимизация SQL для витрин данных и ETL-процессов; - Разработка DAG-ов в Airflow; - Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы); - Разработка Spark-джобов (PySpark) для больших объемов; - Интеграция с Kafka для потоковой передачи; - Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик; - Разбор инцидентов по качеству данных и ошибкам загрузки; - Code review. Ключевые компетенции для отбора: миграция ETL-систем, SQL (оконные функции, оптимизация), Oracle PL/SQL, PostgreSQL, Greenplum, Clickhouse, Apache Spark (PySpark), NiFi, Airflow, Kafka, Hadoop, Hive, Grafana/Prometheus, биллинг, телеком.
Зарплата не указана
Задачи: - Проводить проектную коммуникацию с представителями бизнес-заказчика с целью уточнения бизнес-требований - Выявлять и проводить анализ бизнес-требований, потребностей и проблем бизнес-заказчика - Формировать спецификации требований, описание логических моделей, структур данных и проектных решений (хранилища и витрины данных) - Согласовывать проектные решения с архитекторами, разработчиками и аналитиками смежных команд - Проектировать и разрабатывать ETL/ELT процессы, слои хранилища и витрины данных - Разрабатывать и оптимизировать SQL-запросы - Проводить внутреннее тестирование и контроль качества информационных продуктов, реализованных разработчиками - Принимать участие в приёмочных испытаниях информационных продуктов и документации с заказчиками - Обеспечивать контроль качества данных и их целостность Требования: - Высшее образование: техническое, математическое или финансовое - Опыт работы не менее 5 лет - Уверенные знания Python, GIT, Airflow (DAG с декомпозицией задач, зависимостями, сенсорами) - Глубокое знание SQL: оконные функции, процедуры, функции, вложенные запросы, опыт оптимизации запросов - Понимание индексов, партиций, ключей, нормальных форм, SCD - Понимание моделирования данных, построения хранилища, репликации и консистентности данных - Умение рефакторить код и проводить миграцию из одной системы в другую - Знание принципов CI/CD - Знание PL/SQL для Oracle, Postgres, Greenplum или знание иной MPP СУБД (будет плюсом) - Опыт работы с API (будет плюсом) - Знание ООП, DBT, Kafka, Bash, SAS (будет плюсом)
Зарплата не указана
Требования: - sql, базы данных, python, аналитический склад ума Обязанности: - построение ETL-процессов - работа с современным стеком трансформации - оркестрация данных - управление хранилищами - визуализация смыслов - оптимизация выборок Условия: Срочный трудовой договор на 3 месяца, удаленно/офис/гибрид. Стажировка для студентов из любых ВУЗов.
Зарплата не указана
Задачи: – Разработка и оптимизация ETL-процессов с использованием Python и SQL. – Разработка и внедрение масштабируемых конвейеров обработки данных для обработки различных источников данных. – Работа с реляционными базами данных (например, PostgreSQL, Oracle) для обеспечения эффективного хранения и извлечения данных. – Оптимизация SQL-запросов и скриптов Python для повышения производительности и удобства сопровождения. – Внедрение надежной обработки ошибок, ведение журналов и мониторинг для конвейеров обработки данных. – Взаимодействие с межфункциональными командами для интеграции и управления источниками данных. Требования: – Более 5 лет опыта в области проектирования данных. – Навыки работы с Python и SQL на экспертном уровне – умение писать эффективный, масштабируемый и поддерживаемый код. – Обширный опыт в проектировании ETL-процессов и работе с большими массивами данных. – Глубокое понимание оптимизации производительности баз данных и оптимизации запросов. – Опыт работы с моделированием данных и проектированием схем. – Знание решений для облачного хранения данных (Azure, AWS или GCP). – Высокие навыки решения проблем и способность работать самостоятельно. – Желательно: опыт работы с PySpark, оркестраторами и знание CI/CD для автоматизации процесса развертывания. Условия: – Полностью удаленная позиция с гибкими условиями работы.
Зарплата не указана