About this role
As the Senior Staff Machine Learning Platform Engineer, you will own the technical vision and evolution of Faire’s ML platform. You will set standards, influence org-wide architecture, and lead complex, cross-functional initiatives that unlock data science velocity at scale. This role will also be key to adapting ML workflows to take advantage of modern AI productivity tools. You won’t just build models, you will architect the systems that allow those models to help tens of thousands of small retailers compete and grow their local businesses.
What You Will Do:
— Define and drive the long-term architecture of Faire’s ML platform including training, inference, feature management, governance
— Establish company-wide standards for code quality, testing, MLOps (CI/CD), experimentation, model lifecycle management, and observability
— Lead adoption and advanced use of Unity Catalog, multi-workspace strategies, and data/ML mesh patterns
— Architect highly scalable ML workflows using Spark, Delta Lake, and MLflow
— Optimize performance, reliability, and cost of the ML platform
— Evaluate and integrate emerging Databricks features
— Stay ahead of the curve by engaging with the latest developments in machine learning and AI
— Serve as senior ML technical advisor to Faire’s data science and production engineering teams
— Represent Faire at ML conferences and meetups
— Mentor ML engineers and raise the overall bar for Machine Learning at Faire
What it takes:
— 10-12 years of experience building and improving large-scale ML or data platforms
— A degree (preferably graduate level) in Computer Science, Engineering, Statistics, or a related technical field
— Deep expertise in Databricks lakehouse architecture, including governance via Unity catalog, orchestration via Workflows, and cost optimization
— Proven ability to design systems that support multiple data science teams and production workloads
— Strong background in distributed systems, ML infrastructure, and cloud architecture
— Demonstrated technical leadership across teams and orgs; ability to influence without authority
— Experience integrating LLM workflows into enterprise platforms is a plus
— Previous contributions to open source ML Infrastructure projects or research publications is a very strong plus
Tech Stack:
Faire uses a modern cloud based tech stack. For this role, you’ll want to be proficient with the following:
— Languages: Python, SQL, Kotlin
— ML Frameworks: PyTorch, PySpark, MLFlow
— Big Data & Processing: Spark, Kafka, Databricks, Snowflake, Fivetran, Iceberg, Unity Catalog, Datadog, Airflow, Cockroach DB, MySQL
— Cloud & Infrastructure: AWS, S3, SageMaker, Kubernetes, Docker, GitHub Actions, Terraform
— Generative AI: Claude Sonnet 4.5, ChatGPT 5.2
Conditions:
Hybrid work format with office presence 3 days per week (Tuesdays, Thursdays, and a flex day) and flexibility to work remotely up to 4 weeks per year. Remote work possible for candidates located in Ontario, Canada.
Salary Range:
$248,000 to $341,000 per year, eligible for equity and benefits. Actual base pay depends on skills, experience, market demands, and location. Base pay range subject to change.
ГибридseniorSpecific Workplace and Information Technology positions may require onsite attendance 5 days per week as will be indicated in the job posting
В компании Aston открыта вакансия Data Engineer с возможностью удалённой работы и полной занятостью. Основные обязанности включают выполнение полного цикла задач — от сбора требований до внедрения решений в продакшен. Кандидату предстоит разрабатывать и совершенствовать витрины данных, автоматизировать процессы с помощью оркестраторов, оптимизировать алгоритмы расчёта показателей и код, а также анализировать качество данных. В задачи также входит создание дата-продуктов и визуализаций, тестирование функционала и его передача заказчику, а также подготовка Adhoc-выгрузок по запросам. Требуется опыт работы на позиции Data Engineer не менее трёх лет, уверенное владение SQL (Oracle, Postgres, GreenPlum), технологиями Hadoop (HDFS, Hive, Impala), а также продвинутые знания PySpark с навыками оптимизации кода. Необходимы знания инструментов обработки и трансформации данных, таких как PySpark и Apache Airflow, а также теории баз данных. Важны умения структурировать и анализировать информацию, понимание основ банковской деятельности и принципов работы моделей Data Science.
Задачи:
— сбор требований: взаимодействие с заказчиками и конечными пользователями, выявление потребностей в отчётности и дашбордах;
— проектирование данных: проработка логики расчётов, постановка ТЗ разработчикам / дата инженерам на трансформацию данных от систем-источников до целевых витрин;
— контроль качества данных: проверка корректности, полноты и консистентности данных для конечных пользователей;
— развитие хранилища: участие в проектировании слоёв и витрин DWH, оптимизация запросов при работе с большими объёмами данных;
— проектирование интеграций: понимание подходов к получению данных из смежных систем (REST API, Kafka, RabbitMQ, прямое обращение к БД);
— улучшение процессов: оптимизация существующих процессов разработки BI-аналитики, ведение документации;
— разработка и оптимизация отчётности: создание и доработка дашбордов в Tableau, оптимизация производительности и UI/UX.
Требования:
— уверенный SQL (фильтрация, подзапросы, агрегация, оптимизация);
— понимание ETL/ELT-процессов и архитектуры хранилища данных;
— опыт построения дашбордов и отчётности;
— умение переводить бизнес-процессы в сущности хранилища;
— ориентированность на результат, многозадачность, способность предлагать и внедрять решения.
Будет плюсом:
— опыт работы с Tableau (понимание принципов работы LOD, Table Calculations, Sets, логической модели данных, Data Blending);
— опыт взаимодействия с PySpark, Hive (на уровне аналитика);
— опыт взаимодействия с ИИ агентами.
Условия:
— формат работы на выбор: офис/гибрид/удаленка;
— гибкий график (с 8 до 17, с 9 до 18 или с 10 до 19);
— участие в проекте кафетерия льгот (ДМС, спорт, мобильная связь, обучение);
— полугодовые премии;
— корпоративные скидки до 30% на товары Спортмастер, Ostin, Funday, Demix;
— внутреннее и внешнее обучение, конференции;
— BestBenefits – сервис персонализированных скидок и привилегий;
— технику предоставляем.
УдалённоmiddleМы находимся в поиске аналитика данных, наши специалисты отвечают за построение аналитической отчётности на основе корпоративного хранилища данных в таких доменах как: электронная коммерция, маркетинг и персонализация, HR, логистика, финансы
Не хотите искать каждый день?
Настройте подбор один раз, и подходящие вакансии будут сами приходить в Telegram.
Настройте подбор, и подходящие вакансии будут приходить в Telegram.
Задачи:
— Разработка и внедрение ML-моделей прогнозирования спроса (временные ряды, градиентный бустинг, нейросети) на уровне SKU;
— Автоматизация пайплайнов ретрайна и мониторинга качества прогнозов в продакшене с использованием MLflow, Airflow, Docker;
— Интеграция внешних факторов (промо, погода, сезонность, макроэкономика) и сценарное "what-if" моделирование;
— Согласование иерархических прогнозов для оптимизации запасов в цепочке поставок (дефицит ↔ перепроизводство).
Требования:
— Уверенное владение Python (Pandas, NumPy, Scikit-learn);
— Продвинутый уровень SQL (оконные функции, CTE, оптимизация запросов);
— Опыт работы с Big Data: PySpark (распределённые данные > 100 ГБ);
— Знания MLOps: Airflow / Prefect, MLflow / Weights & Biases, Docker, CI/CD;
— Опыт работы с облачными платформами: AWS (SageMaker, S3, Redshift) или Azure / Yandex Cloud;
— Знания статистики: теория вероятностей, проверка гипотез, A/B-тестирование, байесовские методы;
— Бизнес-ориентация: понимание метрик (WMAPE, Fill Rate, оборачиваемость) и их влияния на P&L;
— Умение объяснять сложные вещи простым языком нетехническим менеджерам и закупщикам;
— Проактивность: самостоятельный поиск гипотез и точек роста, а не просто выполнение ТЗ;
— Стрессоустойчивость: работа с "грязными" данными и умение отстаивать качество прогнозов перед бизнесом.
Условия:
— Работа в офисе у м. Кунцевская, бизнес-центр Kutuzoff Tower;
— График работы 5/2 с 09:00 до 18:00;
— Официальное оформление по ТК РФ, официальная зарплата с больничными и отпусками;
— Заработная плата обсуждается на собеседовании;
— Корпоративные скидки на продукцию компании (алкоголь);
— Подарки сотрудникам и их детям на праздники.
Задачи:
— Разработка и сопровождение предиктивных моделей эффективности закупки трафика;
— Разработка регрессионных и классифицирующих моделей для различных задач маркетинга (прогноз плательщика, оттока и т.п.);
— Участие в интеграции внутренней системы маркетинговой аналитики;
Требования:
— Не менее 3-х лет опыта в роли DS или DA для команды маркетинга или продуктовой аналитики в мобильных или ПК играх;
— Хорошее владение SQL, Python (Pandas, Scikit-learn, NumPy), PySpark в задачах анализа больших данных;
— Опыт работы с BI системами (Tableau, PowerBI, FineBI);
— Прикладной опыт в анализе успешности маркетинговых кампаний и прогнозировании LTV;
— Продуктовое мышление, когда метрики это не только цифры, но и поведение пользователей, изменения в продукте;
— Умение проверять и анализировать данные, проверять гипотезы, опыт проведения A/B-тестирования;
— Знание теории вероятности, математической статистики;
Будет плюсом:
— Опыт написания продуктовых пайплайнов Airflow (PySpark);
— Проведение глубоких продуктовых исследований;
Условия:
— расширенный ДМС со стоматологией — с первого рабочего дня;
— офис в шаговой доступности от метро;
— 100% оплата больничного (30 дней в год);
— материальный бонус при рождении ребенка, ведение беременности, ДМС и подарки детям;
— телемедицина и медицинская поддержка 24/7;
— полис страхования от критических заболеваний;
— программа благополучия сотрудников, включающая работу с психологом, финансовые и юридические консультации;
— материальная помощь в особых случаях;
— занятия английским языком;
— корпоративные скидки;
— дополнительное профессиональное обучение;
— компенсация затрат на спорт — занятия в фитнес-клубе, индивидуальные тренировки и участия в соревнованиях.
Задачи:
— Валидация процессов загрузки данных
— Проверка корректности скачивания данных из внешних источников (БКИ, ЦБ, ФНС и др.)
— Контроль раскладки данных по целевым таблицам в S3/Iceberg
— Подтверждение обработки 100% входящего объёма данных
— Верификация атрибутного состава (например, отсутствие даты рождения в поле "ФИО")
— Тестирование механизмов обновления: отсутствие дубликатов при повторной загрузке
— Блокировка записей с аномалиями (ошибки источника, некорректные форматы)
— Анализ документации (ТЗ, маппинги) для проектирования тест-кейсов
— Профилирование данных: выявление шаблонов, аномалий и граничных значений
— Документирование расхождений между источниками и хранилищем
— Мониторинг задач в Airflow на предмет сбоев
— Составление отчётов о дефектах и качестве данных
Требования:
— Практическое знание SQL: продвинутый уровень, включая сложные JOIN, подзапросы, агрегатные функции, написание проверочных запросов, анализ трансформаций, выявление расхождений
— Понимание архитектуры Lakehouse (S3, Iceberg) и слоёв хранения (RAW/ODS/DDS)
— Опыт работы с БД и хранилищами: Oracle, Greenplum, PostgreSQL, S3, Airflow (мониторинг задач), Spark (понимание логики обработки)
— Опыт тестирования хранилищ данных
— Работа с форматами данных: XML, JSON, XSD/JSON-схемы
— Опыт интеграции внешних источников (БКИ, ФНС, ЦБ, API-партнёров)
— Понимание REST/SOAP API и протоколов передачи
— Стек автоматизации: Python, pandas, numpy, psycopg2, pytest, Allure, PySpark
Условия:
— Оформление в штат аккредитованной ИТ-компании по ТК РФ: полностью белая заработная плата, оплачиваемые отпускные и больничные
— Индексация заработной платы
— Расширенная программа ДМС
— Скидки на фитнес, кино и уроки английского
— Техника по требованиям проекта
Задачи:
– проектирование и разработка слоев данных (Raw, Clean, Enriched/Presentation) с учетом лучших практик моделирования (Data Vault 2.0 / 3NF для хранилища, Star Schema для витрин);
– разработка и внедрение кастомных алгоритмов дедупликации и Entity Resolution (Fuzzy Matching) на Python;
– формализация бизнес-правил качества данных в код, настройка уровней доверия к источникам и правил выживания (survivorship rules);
– внедрение Data Contracts и механизмов карантина (quarantine) для некачественных данных с возможностью их последующего разбора;
– настройка автоматизированного тестирования данных (Data Quality checks) в пайплайнах.
Требования:
– Продвинутый уровень SQL и опыт работы с dbt (или аналогами) для построения слоев данных;
– уверенное владение PySpark и/или pandas для обработки больших объемов данных и реализации логики матчинга;
– практический опыт применения библиотек нечёткого поиска и связывания записей (Splink, recordlinkage, dedupe, theFuzz);
– понимание принципов работы алгоритмов сравнения строк (Левенштейн, Джаро-Винклер, косинусное сходство на TF-IDF/эмбеддингах);
– глубокое понимание 2-3NF, Data Vault 2.0 и различий между слоями сырых, очищенных и обогащенных данных;
– опыт внедрения инструментов тестирования данных (Great Expectations, Soda, dbt tests, deequ или аналоги);
– опыт работы с оркестраторами (Airflow, Dagster или Prefect), уверенное использование Git и базовые навыки CI/CD для дата-пайплайнов.
Требования:
- Опыт TeamLead (управление командой) не менее 4 лет;
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Оracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
Обязанности:
- Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
- Подготовка документации AS IS и TO BE;
- Написание SQL кода;
- Отслеживание метрик.
Задачи:
– Разработка и оптимизация ETL-процессов с использованием Python и SQL.
– Разработка и внедрение масштабируемых конвейеров обработки данных для обработки различных источников данных.
– Работа с реляционными базами данных (например, PostgreSQL, Oracle) для обеспечения эффективного хранения и извлечения данных.
– Оптимизация SQL-запросов и скриптов Python для повышения производительности и удобства сопровождения.
– Внедрение надежной обработки ошибок, ведение журналов и мониторинг для конвейеров обработки данных.
– Взаимодействие с межфункциональными командами для интеграции и управления источниками данных.
Требования:
– Более 5 лет опыта в области проектирования данных.
– Навыки работы с Python и SQL на экспертном уровне – умение писать эффективный, масштабируемый и поддерживаемый код.
– Обширный опыт в проектировании ETL-процессов и работе с большими массивами данных.
– Глубокое понимание оптимизации производительности баз данных и оптимизации запросов.
– Опыт работы с моделированием данных и проектированием схем.
– Знание решений для облачного хранения данных (Azure, AWS или GCP).
– Высокие навыки решения проблем и способность работать самостоятельно.
– Желательно: опыт работы с PySpark, оркестраторами и знание CI/CD для автоматизации процесса развертывания.
Условия:
– Полностью удаленная позиция с гибкими условиями работы.
Location: Indianapolis, United States; Chicago, United States; Cincinnati, United States; Columbus, United States; West Lafayette, United States; Bloomington, United States
Location:
Indianapolis, IN Metro (Hybrid / 3-Day Onsite)
(Open to Regional/EST Candidates with Onsite Travel)
Contract Type:
Contractor Full-Time / Enterprise Project Engagement (Outsourced via Xenon7)
About Xenon7
Where elite tech talent meets world-class opportunities! At Xenon7, we work with leading enterprise clients and innovative startups on high-impact projects across Data, AI, Cloud, and Software Engineering. Our expertise in AI solution architecture and specialized technical talent allows us to partner with enterprise leaders on transformative initiatives, driving innovation and business growth.
Job Summary
We are seeking a Senior Data Engineer with extensive experience in data architecture and platform engineering to drive data initiatives for a top-tier life sciences client. This role sits at the critical intersection of scientific research informatics, clinical data systems, and manufacturing process engineering.
In this position, you will own the architectural vision and hands-on execution of scalable data platforms and pipelines. You will bridge complex data domains—from small and large molecule research, genomics, and clinical trial datasets to active pharmaceutical ingredient (API) manufacturing processes, batch data, and industrial control systems. Operating in a 3-day onsite hybrid capacity in Indianapolis, you will collaborate directly with process engineers, clinical scientists, and platform teams to build high-performance data infrastructure that accelerates drug discovery and manufacturing operations.
Key Responsibilities
Scientific & Clinical Data Platform Architecture
Design, build, and maintain production-grade data pipelines and architecture tailored for scientific, clinical trial, and research informatics data (small/large molecule, genomics, proteomics, LIMS).
Structure complex, multi-modal clinical and scientific datasets to enable advanced analytics, enterprise reporting, and downstream machine learning models.
Process Engineering & Manufacturing Integration
Ingest, harmonize, and model operational technology (OT) and manufacturing process datasets, including API manufacturing pipelines, batch processing data, MES, SCADA, and OSIsoft PI systems.
Unify disparate laboratory and facility data pipelines into centralized, highly available enterprise data platforms.
Enterprise Data Engineering & Compliance
Build robust ETL/ELT pipelines using modern cloud platforms (Databricks, Snowflake, AWS/Azure), PySpark, and SQL.
Ensure all data pipelines and platform integrations strictly adhere to enterprise governance, data residency, and GxP regulatory standards within a heavily monitored environment.
Technical Leadership & Domain Alignment
Partner directly with process engineers, chemical engineering leads, and research informatics directors to translate operational friction into robust technical specifications.
Establish engineering best practices, data modeling standards, and pipeline monitoring frameworks across the enterprise data stack.
Requirements
Experience & Mindset
Experience:
Senior-level proficiency (10–20+ years) in software development, data platform architecture, and complex ETL/ELT engineering.
Domain Adaptability:
Demonstrated ability to engineer data pipelines across non-standard, highly specialized domains (e.g., transition between process/chemical engineering data and clinical/scientific research informatics).
Location & Work Auth:
Must hold unrestricted US Work Authorization (no sponsorship available) and be able to work 3 days per week onsite in the Indianapolis, IN area.
Culture & Communication:
Exceptional problem-solving mindset, strong adaptability, and the ability to articulate complex technical architecture to cross-functional engineering teams.
Must-Have Technical Stack
Languages & Frameworks:
Advanced Python, PySpark, and expert-level SQL.
Data Platforms:
Hands-on expertise with Databricks, Snowflake, or AWS/Azure enterprise data ecosystems.
Orchestration & ETL:
Extensive experience with Airflow, dbt, Spark, and enterprise data orchestration engines.
Data Pipelines:
Proven track record building streaming and batch data architectures via REST APIs, message brokers, and database integrations.
Domain Competency (Scientific & Process Focus)
Deep exposure to either scientific/clinical informatics (CDISC/SDTM, LIMS, clinical trials, multi-omics)
OR
chemical/process engineering data (API manufacturing, batch data, SCADA, MES, OSIsoft PI).
Nice-to-Haves & Certifications
Academic background in Chemical Engineering, Bio-process Engineering, Computer Science, or a related STEM discipline.
Direct experience working inside regulated GxP environments in the Life Sciences or Specialty Chemicals sectors.
Certifications:
Databricks Certified Data Engineer Senior/Professional, Snowflake SnowPro Core/Advanced, or AWS Data Engineer Associate/Professional.
What This Role Is NOT
Not a pure Data Scientist or ML Researcher:
You will not be building or training machine learning models; you are designing and scaling the underlying data architecture, pipelines, and platform infrastructure.
Not a non-coding Architect:
This is a 100% hands-on engineering lead role requiring direct pipeline construction and technical execution.
Not a Fully Remote Position:
This role requires a steady hybrid commitment of 3 days onsite per week at the client site in Indianapolis.
Задачи:
— глубокий анализ данных для построения и калибровки моделей
— опыт построения uplift-моделей и кривых отклика для оптимизации процентных ставок
— разработка моделей оценки эластичности спроса на кредит по ставке
— разработка, обучение и валидация продвинутых ML-моделей для индивидуального ценообразования (регрессионные модели, градиентный бустинг, методы обучения с подкреплением / Reinforcement Learning для динамического ценообразования)
— анализ и интерпретация результатов A/B-тестов ценовых стратегий, оценка их бизнес-эффекта (влияние на выручку, маржу, конверсию, LTV)
— построение и оптимизация симуляционных сред для предварительной оценки эффекта ценовых изменений.
Требования:
— глубокое знание и практический опыт (от 3 лет) применения методов машинного обучения и анализа данных для решения бизнес-задач, желательно в области ценообразования, экономики или финтеха
— продвинутый уровень знаний в области статистики, эконометрики и методологии проведения A/B-тестов
— понимание принципов микроэкономики и теории цен
— опыт разработки и внедрения в production моделей, напрямую влияющих на финансовые метрики (выручка, маржа)
— продвинутые знания SQL и Python для анализа данных и ML
— опыт работы с Python ML-фреймворками (Scikit-Learn, LightGBM/CatBoost/XGBoost, PyTorch/TensorFlow, библиотеки для RL), Spark (PySpark), опыт работы с базами данных (GreenPlum, PostgreSQL, ClickHouse).
Будет плюсом:
— опыт построения систем динамического ценообразования (dynamic pricing) или моделей на основе обучения с подкреплением (Reinforcement Learning)
— опыт работы в ритейле, финтехе, marketplace-сегменте или сфере услуг с высокой конкуренцией
— умение переводить бизнес-задачи на язык данных и обратно
— знание основ юнит-экономики и финансового моделирования
— опыт разработки или интеграции решений с применением GenAI.
Условия:
— комфортный современный офис рядом с м. Кутузовская
— офисный формат работы
— ежегодный пересмотр зарплаты, квартальная и годовая премия
— корпоративный спортзал и зоны отдыха
— более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
— программа адаптации и помощь руководителя на старте
— расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
— гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
— подписка Прайм с возможностью совместного использования на трёх близких
— вознаграждение за рекомендацию друзей в команду Сбера.
Location: Chicago, New York City
DRW
is a diversified trading firm with over 3 decades of experience bringing sophisticated technology and exceptional people together to operate in markets around the world. We value autonomy and the ability to quickly pivot to capture opportunities, so we operate using our own capital and trading at our own risk.
Headquartered in Chicago with offices throughout the U.S., Canada, Europe, and Asia, we trade a variety of asset classes including Fixed Income, ETFs, Equities, FX, Commodities and Energy across all major global markets. We have also leveraged our expertise and technology to expand into three non-traditional strategies: real estate, venture capital and cryptoassets.
We operate with respect, curiosity and open minds. The people who thrive here share our belief that it’s not just what we do that matters–it's how we do it.
DRW
is a place of high expectations, integrity, innovation and a willingness to challenge consensus.
As a
Data Analyst, Exploration
you will play an integral role in all operational aspects of onboarding, managing and maintaining various datasets used by traders and quantitative researchers. You will work closely with a variety of
stakeholders, including data strategists and data engineers, as well as teams across technology, operations, research, and risk management.
You should be comfortable investigating complex data issues in a fast-paced environment.
What you will do in this role:
Analyze new datasets to profile their content, identify collection and storage requirements for data engineering teams and proactively surface insights about the datasets for data strategists and front-office stakeholders
Collect metrics and analyze datasets across different dimensions of data quality including completeness, validity, accuracy, timeliness, and consistency
Curate data catalog entries to ensure our research data assets are accurately represented and easily discoverable
Engage with global front office research teams to support datasets throughout their lifecycle, addressing content inquiries and managing communications with external data vendors
Monitor and resolve production data issues while engaging key stakeholders across multiple teams and facilitating global support
Assist the wider team by identifying opportunities to improve existing datasets and data management processes
What you will need in this role:
1-2 years of relevant experience
Strong foundational knowledge of financial instruments and market data symbology, with an interest in developing further expertise in these areas
Proficiency with SQL and Python for exploratory data analysis (PySpark, pandas, numpy, Jupyter Notebooks)
Ability to document and clearly explain complex data analysis findings
Exceptional attention to detail and effective communication skills
Ability to think both independently and collaboratively
Additional skills or experience which enhance consideration for this role:
Experience with cloud services such as AWS Athena and Amazon S3
Familiarity with Linux and basic Bash scripting skills
Experience with version control tools such as Git
Good understanding of data management and data quality principles, with experience developing data quality checks or reports
Prior experience using the Bloomberg Terminal
Experience with Apache Airflow or similar tools
The annual base salary range for this position is $100,000 to $120,000 depending on the candidate’s experience, qualifications, and relevant skill set. The position is also eligible for an annual discretionary bonus. In addition, DRW offers a comprehensive suite of employee benefits including group medical, pharmacy, dental and vision insurance, 401k (with discretionary employer match), short and long-term disability, life and AD&D insurance, health savings accounts, and flexible spending accounts.
For more information about DRW's processing activities and our use of job applicants' data, please view our Privacy Notice at
https://drw.com/privacy-notice
.
California residents, please review the California Privacy Notice for information about certain legal rights at
https://drw.com/california-privacy-notice
.
[#LI-TL1]
Location: Москва
**ИТ B2C** — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.
Ждем именно тебя!
Мы — команда экспертов, объединённых общей страстью к искусственному интеллекту и рекомендательным системам. Наша главная задача — создание современной масштабируемой рекомендательной платформы, способной предвосхищать ожидания пользователей и предлагать персонализированные рекомендации на каждом этапе их взаимодействия с экосистемой Сбер.
Наши решения охватывают широкий спектр отраслей: от финансов и e-commerce до индустрии развлечений и здравоохранения. Мы следим за развитием технологий, экспериментируем с новыми ML-подходами, внедряем их в платформу и доводим до конкретного применения в бизнесе.
Мы ищем **Lead ML Engineer**, который будет отвечать за технологическое развитие направления рекомендательных систем и формирование единой инженерной и операционной среды для DS- и MLE-команд. В зоне ответственности — скорость и воспроизводимость проверки DS-гипотез, качество разработки и вывода моделей в production, а также надёжная эксплуатация ML-решений с предсказуемыми качеством и стоимостью.
Обязанности
* формировать технологическое видение и roadmap развития ML Engineering и MLOps в направлении рекомендательных систем, определяя ключевые инженерные приоритеты и точки роста
* развивать единый жизненный цикл ML-решений — от формулирования и воспроизводимой проверки DS-гипотез до запуска моделей в production, мониторинга и дальнейшего сопровождения
* создавать инженерные стандарты и практики, которые помогают командам выпускать качественные и надёжные модели: требования к коду и данным, тестированию, версионированию, документированию, релизам
* управлять портфелем технологических инициатив, находя баланс между развитием новых возможностей, повышением надёжности и устранением архитектурных ограничений
* повышать производительность DS/MLE команд за счёт автоматизации, стандартизации, переиспользуемых компонентов и упрощения пути от эксперимента до production
* развивать применение GenAI в процессе создания ML-решений: находить наиболее перспективные сценарии, запускать пилоты и оценивать их влияние на скорость и качество разработки
* повышать масштабируемость, надёжность и экономическую эффективность ML-инфраструктуры
* развивать ML-инженеров и технических лидеров направления.
Требования
* опыт технического лидерства в крупном ML-направлении не менее двух лет: умение формировать технологическое видение и roadmap, а также доводить системные изменения до результата
* глубокое понимание полного жизненного цикла ML-решений — от эксперимента и обучения модели до production, мониторинга, масштабирования и дальнейшего сопровождения
* опыт проектирования и развития высоконагруженных ML-систем, включая batch-, streaming- и real-time-сценарии
* опыт взаимодействия с продуктовыми, платформенными и инфраструктурными командами, включая согласование приоритетов и защиту потребностей своего направления
* умение принимать решения в условиях конфликтующих приоритетов, объяснять компромиссы и доводить выбранные инициативы до результата
* опыт people management в DS/MLE командах: найм и адаптация сотрудников, постановка целей, регулярная обратная связь, performance review, развитие и удержание специалистов, а также формирование среды для обмена знаниями и распространения сильных инженерных практик
* опыт внедрения GenAI-инструментов в процессы разработки и оценки их влияния на скорость и качество работы команд.
**Будет большим плюсом:**
* опыт работы с рекомендательными системами, поиском, ранжированием, персонализацией или рекламными технологиями
* практический опыт работы в роли Data Scientist: формулирование и проверка ML-гипотез, оценка качества моделей и участие в A/B-тестах.
* опыт эксплуатации real-time ML-систем на масштабе миллионов пользователей и при строгих требованиях к latency и availability.
**Стек технологий:**
Python, PySpark, PyTorch, RePlay, GigaChat, Airflow, MLflow, Kubernetes, Redis, Kafka, S3, FastAPI и другие инструменты для разработки, обучения, внедрения и мониторинга ML-моделей.
Условия
* комфортный современный офис рядом с м. Кутузовская
* ежегодный пересмотр зарплаты и годовая премия
* корпоративный спортзал и зоны отдыха
* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбера
Location: Москва
ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.
Мы - Команда SberAds - создаем предиктивные модели и высоконагруженные сервисы по их применению для показа рекламы в интернете. Все модели используются в real-time аукционах на показ рекламы:
* начиная с того, чтобы идентифицировать пользователя
* потом оценив, стоит ли участвовать в запросе на показ рекламы
* затем определяя интересы пользователя
* далее выбирая релевантные объявления для показа
* и, наконец, определяя с какой рекламой и с какой ставкой мы идем участвовать в аукционе.
Команда напрямую влияет на качество показываемой рекламы, удовлетворенность рекламодателей и эффективность SberAds.
Наш стек: Python, Go, S3, Spark, Hive, Airflow, MLFlow, Kafka, ClickHouse.
Обязанности
* строить/улучшать модели для разных частей всего пайплайна
* заниматься полным циклом DS/ML задач
* участвовать в создании и развитии платформы рекламы
* улучшать процесс построения моделей (от выдвижения гипотез до мониторинга работы модели).
Примеры задач:
* построить эмбеддинги на основе описания рекламных объявлений. Добавить эти данные в модели прогнозирования конверсии
* обучить модель для прогнозирования распределения ставок в аукционах. Совместить модель с текущим алгоритмом определения ставки
* провести эксперименты с новыми офлайн/онлайн признаками в моделях. Доставить признаки до сервиса на Go (тут если что помогут коллеги)
* внедрить модель, которая фильтрует подозрительный входящий трафик.
Требования
* знание классического ML и Deep Learning подходов
* опыт промышленного использования методов RecSys
* опыт разработки моделей от проблемы до сопровождения в проде
* уверенный опыт разработки на Python и Pyspark-е, опыт написания продакшн-кода
* знание принципов распределенной обработки данных
* умение принимать решения на основании данных и аргументировать свою позицию
* умение находить решения для проблем, декомпозировать, объяснять и контролировать выполнение.
Условия
* офис метро Маяковская (Оружейный переулок)
* гибридный формат работы
* конкурентная компенсация (оклад и премии по результатам деятельности)
* ДМС c первого рабочего дня, страхование от несчастных случаев и тяжелых заболеваний
* материальная помощь и социальная поддержка, корпоративная пенсионная программа
* дисконт-программы от компаний партнеров
* бесплатный фитнес на территории работодателя
* подписка Прайм с возможностью совместного использования на трёх близких
* внешнее и внутреннее профессиональное обучение: семинары, тренинги, конференции, корпоративная библиотека.
Задачи:
— строить и улучшать модели для разных частей всего пайплайна
— заниматься полным циклом DS/ML задач
— участвовать в создании и развитии платформы рекламы
— улучшать процесс построения моделей (от выдвижения гипотез до мониторинга работы модели)
Примеры задач:
— построить эмбеддинги на основе описания рекламных объявлений и добавить эти данные в модели прогнозирования конверсии
— обучить модель для прогнозирования распределения ставок в аукционах и совместить модель с текущим алгоритмом определения ставки
— провести эксперименты с новыми офлайн/онлайн признаками в моделях и доставить признаки до сервиса на Go
— внедрить модель, которая фильтрует подозрительный входящий трафик
Требования:
— знание классического ML и Deep Learning подходов
— опыт промышленного использования методов RecSys
— опыт разработки моделей от проблемы до сопровождения в проде
— уверенный опыт разработки на Python и Pyspark, опыт написания продакшн-кода
— знание принципов распределенной обработки данных
— умение принимать решения на основании данных и аргументировать свою позицию
— умение находить решения для проблем, декомпозировать, объяснять и контролировать выполнение
Условия:
— офис метро Маяковская (Оружейный переулок)
— гибридный формат работы
— конкурентная компенсация (оклад и премии по результатам деятельности)
— ДМС с первого рабочего дня, страхование от несчастных случаев и тяжелых заболеваний
— материальная помощь и социальная поддержка, корпоративная пенсионная программа
— дисконт-программы от компаний партнеров
— бесплатный фитнес на территории работодателя
— подписка Прайм с возможностью совместного использования на трёх близких
— внешнее и внутреннее профессиональное обучение: семинары, тренинги, конференции, корпоративная библиотека
Задачи:
— Разрабатывать ML-модели (lookalike/response/uplift/recsys) для персонализации push/pull-коммуникаций, категорий кешбэка, рекламных материалов и других сценариев в цифровых каналах банка;
— Визуализировать и интерпретировать результаты, дизайнить A/B-тесты, проводить пилоты;
— Общаться с бизнесом и помогать решать задачи через данные и ML;
— Проходить полный цикл разработки модели: от уточнения требований до продакшна и мониторинга качества (если каких-то навыков не хватает — поможем развить);
— Разрабатывать AI-агентов.
Требования:
— Высшее техническое образование;
— 3+ года опыта в Data Science (именно построение моделей, не только аналитика);
— Уверенный математический аппарат: мат. статистика, теория вероятностей;
— Продвинутый Python и SQL (оконные функции, подзапросы — на автомате);
— Опыт работы со Scikit-learn, NumPy, Pandas/Polars, Matplotlib/Seaborn/Plotly, LightGBM/XGBoost/CatBoost, PyTorch/TensorFlow/Implicit/LightFM, Airflow, Git.
Будет большим плюсом:
— PySpark, Hive, Hadoop, Docker, Kubernetes;
— Опыт в банковской сфере и CVM;
— Модели склонности и uplift-моделирование;
— Рекомендательные системы (RecSys);
— NBA/NBO оптимизаторы (Next Best Action / Next Best Offer);
— ИИ-сервисы (real-time, near real-time или batch).
Условия:
— Гибридный формат работы, Москва, Москва-Сити (2 дня в неделю в офисе);
— Комфортный и современный офис;
— Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.);
— Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы;
— Забота о вашем здоровье: ДМС с первого месяца работы, куда входит стоматология;
— Прозрачный доход по итогам интервью;
— Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.).
Задачи:
— Разработка и внедрение ML моделей на клиентской базе B2C и B2B для инвестиционных, страховых и сберегательных продуктов.
— Работа с рекомендательными системами и моделями отклика для СберБанк Онлайн и СберИнвестиций.
— Создание NLP-моделей на текстовых данных.
— Использование продвинутых подходов классического ML, включая uplift-моделирование, работу с несбалансированными классами, feature engineering на больших данных, SOTA-алгоритмы.
Обязанности:
— Построение ML моделей на основе табличных данных, последовательностей событий (кликстрим, транзакции и т.д.), текстовых данных.
— Написание production-ready кода и передача его в CI/CD пайплайн команды MLOps с ответственностью за качество кода и воспроизводимость.
— Улучшение процесса построения моделей, разработка прикладных модулей командного фреймворка для повышения производительности DS и улучшения качества кода в промышленной среде.
— Выдвижение data-driven гипотез и предложений для запуска новых механик, поиск инсайтов в данных.
Требования:
— Глубокое знание классического ML и опыт применения к реальным бизнес-задачам (градиентный бустинг, NLP алгоритмы).
— Понимание основных Deep Learning подходов.
— Продвинутое знание SQL (оконные функции, оптимизация плана запроса).
— Отличное знание Python, включая библиотеки catboost, pandas, numpy, sklearn, torch.
— Опыт работы с Hadoop, PySpark (оптимизация запросов, работа на общем кластере).
Условия:
— Комфортный современный офис рядом с м. Кутузовская.
— Ежегодный пересмотр зарплаты, годовая премия.
— Корпоративный спортзал и зоны отдыха.
— Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
— Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
— Ипотека для сотрудников выгоднее до 4%.
— Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
— Вознаграждение за рекомендацию друзей в команду Сбера.
seniorIndianapolis, United States; Chicago, United States; Cincinnati, United States; Columbus, United States; West Lafayette, United States; Bloomington, United States