Дата-инженер вакансии - удалённо

-Design, build, and maintain data infrastructure and pipelines spanning both batch and real-time / streaming workloads, contributing to architectural decisions along the way. -Build and maintain scalable, efficient, and reliable ETL/ELT pipelines using languages and frameworks such as Python, SQL, Spark, Flink, Beam, or equivalents.

В компании Aston открыта вакансия Data Engineer с возможностью удалённой работы и полной занятостью. Основные обязанности включают выполнение полного цикла задач — от сбора требований до внедрения решений в продакшен. Кандидату предстоит разрабатывать и совершенствовать витрины данных, автоматизировать процессы с помощью оркестраторов, оптимизировать алгоритмы расчёта показателей и код, а также анализировать качество данных. В задачи также входит создание дата-продуктов и визуализаций, тестирование функционала и его передача заказчику, а также подготовка Adhoc-выгрузок по запросам. Требуется опыт работы на позиции Data Engineer не менее трёх лет, уверенное владение SQL (Oracle, Postgres, GreenPlum), технологиями Hadoop (HDFS, Hive, Impala), а также продвинутые знания PySpark с навыками оптимизации кода. Необходимы знания инструментов обработки и трансформации данных, таких как PySpark и Apache Airflow, а также теории баз данных. Важны умения структурировать и анализировать информацию, понимание основ банковской деятельности и принципов работы моделей Data Science.

Компания ВсеИнструментыру приглашает на должность Data Engineer для удалённой работы в России с полной занятостью. Основная задача специалиста — развитие корпоративной платформы данных и хранилища данных (DWH), включая модернизацию ETL-процессов с переходом с SSIS на Apache Airflow 3 и внутренний Python-фреймворк, а также повышение надёжности и удобства работы с данными для аналитических команд. В обязанности входит создание и поддержка устойчивых data-пайплайнов с обеспечением таких функций, как повторные попытки выполнения, backfill, идемпотентность, дедупликация и корректная обработка ошибок. Также требуется развитие проверок качества данных, оптимизация SQL-запросов и работы с Microsoft SQL Server, внедрение CI/CD-процессов для работы с данными, создание переиспользуемых инструментов и self-service решений, а также участие в развитии архитектуры DWH и методик моделирования данных. Кандидат должен иметь не менее трёх лет опыта работы Data Engineer, уверенные навыки SQL и опыт работы с Microsoft SQL Server, владение Python с применением ООП, модульной архитектуры, type hints, тестирования, логирования, работы с REST API и базами данных. Необходим опыт работы с Apache Airflow или аналогичными промышленными оркестраторами, знание dbt или похожих SQL-трансформационных фреймворков, понимание ETL/ELT процессов, batch и near-real-time обработки, умение строить отказоустойчивые data-пайплайны, опыт работы с Git и CI/CD, а также реализация проверок качества данных. Требуется понимание архитектуры DWH, организации слоёв данных и подходов к моделированию, таких как Kimball, Inmon, Data Vault и Anchor Modeling.

Задачи: — обновление информации в базе; — проверка записей; — поиск дублирующихся данных; — подготовка простых отчётов; — поддержание порядка в системе. Новым сотрудникам дают инструкции и вводное обучение. Работа проходит полностью онлайн, без необходимости ездить в офис.

Задачи: – Разрабатывать и дорабатывать ETL-процессы в Airflow – Подключать новые источники данных – Создавать и дорабатывать витрины – Оптимизировать SQL-запросы в GreenPlum и PostgreSQL – Работать с большими объемами данных – Развивать процессы контроля качества данных Требования: – От 1 года опыта работы с данными – Отличное знание SQL: JOIN, оконные функции, процедуры – Умение профилировать и оптимизировать запросы, понимать план выполнения – Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM – Практический опыт работы с Airflow и ETL-процессами – Python на базовом уровне – Знание Linux и умение работать с командной строкой – Опыт работы с Git – Понимание принципов работы Docker

Требуется Data engineer. Требуемые навыки: — senior — Python.

Quantori разрабатывает программное обеспечение для биотехнологических и фармацевтических компаний. Среди клиентов компании Pfizer, LGC, The Jackson Laboratory. В компании работает более 500 человек, инвестиции составляют 15 миллионов долларов. Требования: — Опыт работы не менее 6 лет — Знание Python, R, SQL, Spark, dbt — Уровень английского языка не ниже B2 Формат работы: удалённо.

Задачи: – проектирование и разработка слоев данных (Raw, Clean, Enriched/Presentation) с учетом лучших практик моделирования (Data Vault 2.0 / 3NF для хранилища, Star Schema для витрин); – разработка и внедрение кастомных алгоритмов дедупликации и Entity Resolution (Fuzzy Matching) на Python; – формализация бизнес-правил качества данных в код, настройка уровней доверия к источникам и правил выживания (survivorship rules); – внедрение Data Contracts и механизмов карантина (quarantine) для некачественных данных с возможностью их последующего разбора; – настройка автоматизированного тестирования данных (Data Quality checks) в пайплайнах. Требования: – Продвинутый уровень SQL и опыт работы с dbt (или аналогами) для построения слоев данных; – уверенное владение PySpark и/или pandas для обработки больших объемов данных и реализации логики матчинга; – практический опыт применения библиотек нечёткого поиска и связывания записей (Splink, recordlinkage, dedupe, theFuzz); – понимание принципов работы алгоритмов сравнения строк (Левенштейн, Джаро-Винклер, косинусное сходство на TF-IDF/эмбеддингах); – глубокое понимание 2-3NF, Data Vault 2.0 и различий между слоями сырых, очищенных и обогащенных данных; – опыт внедрения инструментов тестирования данных (Great Expectations, Soda, dbt tests, deequ или аналоги); – опыт работы с оркестраторами (Airflow, Dagster или Prefect), уверенное использование Git и базовые навыки CI/CD для дата-пайплайнов.

Требования: - Опыт TeamLead (управление командой) не менее 4 лет; - Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД; - Опыт разработки и сопровождения хранимых процедур / функций в СУБД; - Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных; - Опыт участия в проектах миграции ETL-систем (Apache стек); - Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API); - Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка); - Опыт работы с PySpark (трансформации, оптимизация, партиционирование); - Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum); - Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка; - Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы; - Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT; - Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC); - Опыт работы с Оracle; - Опыт применения сложных SQL-запросов (оконные функции, джоины); - Умение оптимизировать запросы для highload-среды; - Опыт проектирования интеграций Apache-стека с Kafka и BI-системами; - Опыт настройки потоковой обработки данных; - Опыт работы с Hadoop и Hive (знание версий, источников данных); - Опыт работы с PostgreSQL, Greenplum, Clickhouse; - Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов; - Опыт работы с биллингом; - Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики); Обязанности: - Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры. - Подготовка документации AS IS и TO BE; - Написание SQL кода; - Отслеживание метрик.

Проект: Телекоммуникации Занятость: полная Локация: РФ Гражданство: РФ Формат: Удаленно Роль: Data Engineer (ETL-миграция) Локация: РФ, удаленно График: МСК ± 2 Гражданство: РФ Обязательно: - Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек); - Глубокий SQL: оконные функции, сложные джойны, иерархические запросы; - Оптимизация SQL для highload (партиционирование, индексы, explain plans); - Oracle (PL/SQL) и PostgreSQL; - Greenplum и/или Clickhouse; - Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow; - Hadoop (HDFS) и Hive; - Мониторинг ETL: Grafana/Prometheus или Victoria Metrics; - Опыт работы с биллинговыми системами (телеком-домен). Желательно: - Потоковая обработка: Kafka Streams / Spark Streaming; - Informatica PowerCenter (понимание мигрируемой системы); - Бинарные форматы хранения в Hadoop; - Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL; - Patroni для кластеризации PostgreSQL/Greenplum; - S3-хранилища; - КриптоПро или защищенные каналы передачи данных. Задачи: - Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum); - Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код; - Написание и оптимизация SQL для витрин данных и ETL-процессов; - Разработка DAG-ов в Airflow; - Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы); - Разработка Spark-джобов (PySpark) для больших объемов; - Интеграция с Kafka для потоковой передачи; - Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик; - Разбор инцидентов по качеству данных и ошибкам загрузки; - Code review. Ключевые компетенции для отбора: миграция ETL-систем, SQL (оконные функции, оптимизация), Oracle PL/SQL, PostgreSQL, Greenplum, Clickhouse, Apache Spark (PySpark), NiFi, Airflow, Kafka, Hadoop, Hive, Grafana/Prometheus, биллинг, телеком.

Задачи: - Проводить проектную коммуникацию с представителями бизнес-заказчика с целью уточнения бизнес-требований - Выявлять и проводить анализ бизнес-требований, потребностей и проблем бизнес-заказчика - Формировать спецификации требований, описание логических моделей, структур данных и проектных решений (хранилища и витрины данных) - Согласовывать проектные решения с архитекторами, разработчиками и аналитиками смежных команд - Проектировать и разрабатывать ETL/ELT процессы, слои хранилища и витрины данных - Разрабатывать и оптимизировать SQL-запросы - Проводить внутреннее тестирование и контроль качества информационных продуктов, реализованных разработчиками - Принимать участие в приёмочных испытаниях информационных продуктов и документации с заказчиками - Обеспечивать контроль качества данных и их целостность Требования: - Высшее образование: техническое, математическое или финансовое - Опыт работы не менее 5 лет - Уверенные знания Python, GIT, Airflow (DAG с декомпозицией задач, зависимостями, сенсорами) - Глубокое знание SQL: оконные функции, процедуры, функции, вложенные запросы, опыт оптимизации запросов - Понимание индексов, партиций, ключей, нормальных форм, SCD - Понимание моделирования данных, построения хранилища, репликации и консистентности данных - Умение рефакторить код и проводить миграцию из одной системы в другую - Знание принципов CI/CD - Знание PL/SQL для Oracle, Postgres, Greenplum или знание иной MPP СУБД (будет плюсом) - Опыт работы с API (будет плюсом) - Знание ООП, DBT, Kafka, Bash, SAS (будет плюсом)

Требования: - sql, базы данных, python, аналитический склад ума Обязанности: - построение ETL-процессов - работа с современным стеком трансформации - оркестрация данных - управление хранилищами - визуализация смыслов - оптимизация выборок Условия: Срочный трудовой договор на 3 месяца, удаленно/офис/гибрид. Стажировка для студентов из любых ВУЗов.

Задачи: – Разработка и оптимизация ETL-процессов с использованием Python и SQL. – Разработка и внедрение масштабируемых конвейеров обработки данных для обработки различных источников данных. – Работа с реляционными базами данных (например, PostgreSQL, Oracle) для обеспечения эффективного хранения и извлечения данных. – Оптимизация SQL-запросов и скриптов Python для повышения производительности и удобства сопровождения. – Внедрение надежной обработки ошибок, ведение журналов и мониторинг для конвейеров обработки данных. – Взаимодействие с межфункциональными командами для интеграции и управления источниками данных. Требования: – Более 5 лет опыта в области проектирования данных. – Навыки работы с Python и SQL на экспертном уровне – умение писать эффективный, масштабируемый и поддерживаемый код. – Обширный опыт в проектировании ETL-процессов и работе с большими массивами данных. – Глубокое понимание оптимизации производительности баз данных и оптимизации запросов. – Опыт работы с моделированием данных и проектированием схем. – Знание решений для облачного хранения данных (Azure, AWS или GCP). – Высокие навыки решения проблем и способность работать самостоятельно. – Желательно: опыт работы с PySpark, оркестраторами и знание CI/CD для автоматизации процесса развертывания. Условия: – Полностью удаленная позиция с гибкими условиями работы.

Требования к кандидату: - 6+ years commercial Data Engineering - Enterprise-scale data pipelines & platforms - Microsoft Azure data services - Azure Databricks + Apache Spark - Azure Data Factory - Microsoft Fabric + modern cloud analytics - Azure Data Lake (ADLS) or equivalent - Strong SQL + ETL/ELT - Medallion architecture + reusable frameworks - CI/CD & DevOps (Azure DevOps preferred)

Компания Tabby ищет опытного инженера данных для работы в команде Data Services. В обязанности входит разработка внутренних решений, включая Feature Store, а также выполнение операционных задач. Ключевые задачи включают создание хранилищ данных и других сервисов обработки, разработку конвейеров EL/ELT/ETL, а также интеграцию новых инструментов для обработки и хранения данных. Требуется опыт от 3 до 5 лет в роли инженера данных, инженера машинного обучения или бэкенд-инженера, умение создавать высокопроизводительные и масштабируемые системы обработки и хранения данных, а также знание систем управления событиями и потоковых конвейеров. Необходимы навыки программирования на Python с применением лучших практик, владение SQL и его эффективным использованием, а также понимание современных методов проектирования систем. Технологический стек включает Airflow, Debezium, BigQuery или Clickhouse, PostgreSQL или CockroachDB, Docker, GitLab (CI/CD), GCP. Также важен опыт работы с REST API, GRPC API, брокерами сообщений и очередями.

About LawnStarter LawnStarter is the nation's leading on-demand marketplace for lawn care and outdoor services, with over $100M in annual bookings. The company is expanding beyond lawn care to become a one-stop shop for all home services, operating across three brands (LawnStarter, Lawn Love, Home Gnome) on a single shared platform. About Analytics at LawnStarter The analytics team supports the entire company including product, marketing, operations, and finance. The data platform includes a centralized Redshift data warehouse, modeled in dbt and orchestrated by Airflow, with Segment feeding event data. The team is mid-migration to Lightdash as the single BI platform, replacing Tableau and Metabase. Currently, data quality, tracking standards, and platform hygiene are side tasks handled by analysts. The Role The Analytics Engineering Manager will be the first dedicated person for data governance, responsible for data trustworthiness and the roadmap to improve it quarterly. Responsibilities include ensuring quality and freshness of source data, pipelines, reports, metric definitions, Segment event tracking standards, Lightdash workspace health, data feeding ML models, and data security. The role involves collaborating with product, marketing, ops, and finance to prioritize platform work. It is a hands-on role starting solo, building automation, checks, fixing issues, and establishing scalable processes. Eventually, the manager will hire a Lead Analytics Engineer and grow the function as needed. Key differentiators of the role: - First dedicated governance role, reshaping existing standards. - Owns the data roadmap, discovering business needs and prioritizing work. - Whole-stack ownership from source data to ML models. - Leading the migration to Lightdash, setting up permissions and norms. Responsibilities: - Develop and manage the data roadmap balancing business needs and platform health. - Automate monitoring of data quality and freshness, resolve incidents. - Maintain data lineage and impact analysis to assess downstream effects of changes. - Administer Lightdash workspace, permissions, and rollout. - Extend and guard the semantic layer with governed metric definitions. - Govern Segment event tracking catalog, standards, and drift detection. - Ensure AI data readiness for internal AI tools querying the warehouse. - Manage data security, privacy, access controls, and compliance with US state laws. - Maintain governance documentation, ownership models, and review processes. Challenges to solve: - Convert business requests into a prioritized data roadmap. - Ensure Lightdash migration improves platform usability without dashboard sprawl. - Complete and maintain a trustworthy semantic layer. - Manage event-tracking standards and prevent entropy. - Proactively detect and prevent data pipeline breakages with automation and lineage. Success metrics for year 1: - Zero pipeline incidents from unannounced data changes. - Zero freshness incidents; stakeholders never see stale dashboards. - All business areas use official, well-maintained metrics and dashboards. - Every Segment event has an owner and meets standards. - Governance operates as a documented, sustainable system. Requirements: - Passion for data governance as a craft. - Daily use of AI tools for automation, anomaly triage, and documentation. - Hands-on manager who codes, debugs, and configures personally. - Product-minded, able to translate vague requests into prioritized plans. - Automation-first approach to quality checks. - Ability to enforce standards with clear rules and good tooling. Role exclusions: - Not a large-team leadership role; starts solo with potential to hire one lead. - Not a policy or committee role; hands-on fixing with code and conversations. - Not a BI analyst role; focuses on platform and guardrails, not dashboard building. - Not a mature system babysitting role; involves building and evolving the platform. Technologies involved: - Warehouse & pipelines: Redshift, dbt, Airflow - Ingestion: Fivetran, custom Airflow pipelines - Event tracking: Segment - BI tools: Lightdash (primary), Tableau and Metabase (sunsetting) - AI tooling: Claude Code, Codex, Brain (internal AI toolkit) - Observability: AI-powered Analytics Engineer agent for monitoring and anomaly detection Benefits: - Base salary $75k-$120k/year - Fully remote with asynchronous collaboration - Flexible PTO Equal employment opportunity statement included.

Задачи: — Владение дорожной картой данных: выявление потребностей продукта, маркетинга, операций и финансов в данных, приоритизация задач с учетом состояния платформы и последовательное планирование инвестиций. — Обеспечение качества и актуальности данных: автоматический мониторинг источников данных, конвейеров и отчетов, выявление изменений в схемах и источниках до возникновения проблем, управление инцидентами. — Анализ происхождения данных и влияния изменений: создание живой карты от источника до отчетов, оценка влияния изменений на downstream компоненты до их внедрения, внедрение контрактов данных с инженерией. — Администрирование Lightdash: настройка структуры рабочего пространства, прав доступа, обучение пользователей, поддержание порядка и производительности. — Управление семантическим слоем: расширение и поддержка единого определения метрик, предотвращение неконтролируемого роста. — Управление каталогом событий Segment: проверка новых событий на соответствие стандартам, поддержание соответствия с продакшеном, развитие правил и обнаружение отклонений. — Обеспечение готовности данных для AI: контроль доступа AI-инструментов к данным, поддержание документации, консистентности и безопасности. — Обеспечение безопасности и конфиденциальности данных: контроль доступа, обработка персональных данных в соответствии с законами штатов США, регулярные проверки. — Поддержка системы управления: документация, модели владения и циклы обзора для устойчивой работы процессов. Требования: — Профессиональное отношение к управлению данными, стремление к поддержанию чистоты и надежности систем. — Активное использование AI-инструментов для автоматизации проверок, обработки аномалий и документации. — Практический опыт управления командой и самостоятельной работы с SQL, Airflow, настройкой прав доступа. — Ориентация на продукт, умение превращать запросы бизнеса в приоритетный план. — Стремление к автоматизации повторяющихся проверок. — Умение устанавливать стандарты и добиваться их соблюдения с помощью инструментов и коммуникации. Условия: — Базовая зарплата $75,000-$120,000 в год. — Полностью удаленная работа с асинхронным взаимодействием. — Гибкий отпуск по результатам работы. Описание роли: — Первая позиция, посвященная управлению данными и их качеством в компании. — Роль с полным владением цепочкой данных от источника до отчетов и моделей машинного обучения. — Роль с практической деятельностью и последующим расширением команды. — Не руководящая большая команда, а построение и развитие функции. — Не роль BI-аналитика или политика, а инженерно-управленческая позиция. Технологии: — Хранилище и конвейеры: Redshift, dbt, Airflow. — Интеграция данных: Fivetran, кастомные Airflow конвейеры. — Отслеживание событий: Segment. — BI-платформы: Lightdash (основная), Tableau и Metabase (выводятся). — AI-инструменты: Claude Code, Codex, Brain (внутренний AI-инструмент). — Наблюдение: AI-агент для мониторинга свежести, обнаружения аномалий и lineage dbt.

Nitka Technologies is an international IT company specializing in custom software development and IT consulting. The position is for a Senior Data Engineer working with Delphix technology. The work format is remote.