Core Requirements:
— Strong experience with Databricks and Lakehouse medallion architecture (bronze / silver / gold)
— Advanced PySpark skills for building transformations in notebooks
— Hands-on experience with Delta Lake
— Experience with Data Vault modelling (hubs, links, satellites)
— Experience with dimensional modelling (facts and dimensions)
— Experience ingesting data with Fivetran and custom API integrations
— Experience working with Oracle SQL databases as source systems
— Spark performance tuning, including skew handling and Liquid Clustering
— Experience deploying with Databricks Asset Bundles (DABs)
— Experience with Unity Catalog, group-based RBAC, and PII masking
Nice to Have:
— Experience with Great Expectations or similar data quality frameworks
— Experience handling unstructured files in Blob storage
— Experience supporting LLM / agent and ML use cases with curated data
What You'll Work On:
— Building and maintaining a Databricks Lakehouse on a medallion architecture
— Ingesting data from Oracle systems and APIs into the bronze layer
— Modelling the silver layer with Data Vault and the gold layer with dimensional models
— Optimising Spark performance and Delta table layouts
— Implementing governance, access control, and PII masking in Unity Catalog
— Replacing manual scheduling processes and spreadsheets with a unified data platform
— Collaborating with the application team that builds on top of the gold layer for the web app, LLMs, and ML models
Location: Limassol, Cyprus; Warsaw, Poland; Tallinn, Estonia
Workplace: none
David Kennedy Recruitment
is working with a
global, fast-growing company
that is seeking to onboard a
Senior AI/ML Engineer – Applied AI Lead
to join their team. The role focuses on taking machine learning solutions from development through to production, establishing robust MLOps practices and delivering AI use cases with measurable business impact.
Position: Senior AI/ML Engineer – Applied AI Lead
Location: Tallin/Limassol/Warsaw
Work model: On-site in Tallin/Limassol, Hybrid in Warsaw
Employment type: Full-time
DUTIES AND RESPONSIBILITIES:
Design, develop and productionise machine learning models across training, validation, deployment, monitoring and retraining
Lead AI use cases including client lifetime value, churn prediction and fraud or abuse detection
Build and establish robust MLOps practices, including deployment pipelines, CI/CD, environment promotion and model lifecycle management
Implement model monitoring frameworks covering performance, data drift, data quality and business impact
Establish retraining and escalation strategies for production models
Implement model explainability and transparency using SHAP, feature attribution and other appropriate interpretability techniques
Define and enforce best practices around model governance, documentation, versioning and auditability
Collaborate with Data Engineering on data pipelines, feature engineering, reproducibility and scalable data foundations
Partner with Product, Risk, Commercial and other stakeholders to translate business problems into pragmatic AI solutions
Drive continuous improvement through monitoring insights, feedback loops and model retraining
Mentor team members and promote best practices in production AI, MLOps and applied machine learning delivery
REQUIREMENTS:
5–8+ years of experience building and deploying machine learning models in
production environments
Strong Python programming skills and solid software engineering fundamentals
Strong understanding of machine learning concepts, model evaluation and feature engineering
Practical understanding of production ML considerations including data leakage, drift and model stability
Hands-on experience with
Spark / PySpark
and large-scale data processing
Experience with
MLflow or similar ML lifecycle tools
Experience building and maintaining
CI/CD pipelines
, preferably with GitHub Actions
Strong SQL skills and experience working with large, complex datasets
Proven ability to deliver AI/ML solutions with measurable business impact
Experience with model deployment, monitoring, drift detection and retraining strategies
Strong communication skills with both technical and non-technical stakeholders
Ability to balance MVP delivery speed with production robustness in evolving environments
OFFER:
Attractive remuneration package based on qualifications and experience
Employee Training & Development programme
Multiple team and group events
Birthday and loyalty benefits
And much more!
leadLimassol, Cyprus; Warsaw, Poland; Tallinn, Estonia
Задачи:
— Проектирование, разработка и сопровождение ETL/ELT-процессов с использованием Python и Apache Airflow.
— Разработка распределённых процессов пакетной обработки данных с использованием Apache Spark (PySpark), Trino и Apache Iceberg.
— Проектирование, построение и оптимизация аналитических витрин данных в ClickHouse и PostgreSQL с использованием dbt.
— Организация загрузки данных из реляционных баз данных, брокеров сообщений и внешних REST API.
— Анализ и оптимизация производительности SQL-запросов, партиционирования таблиц и хранения данных.
— Внедрение автоматизированных проверок качества данных, механизмов оповещения и процессов CI/CD для развертывания решений.
Требования:
— Практический опыт эксплуатации Apache Airflow, Spark (PySpark), ClickHouse и PostgreSQL в промышленной среде.
— Знание Trino и Apache Iceberg будет преимуществом.
— Уверенное владение Python и продвинутый уровень SQL, включая индексацию и анализ планов выполнения запросов.
— Опыт работы в области Data Engineering от 3 лет, включая разработку сквозных конвейеров обработки данных и аналитических витрин.
— Уверенный опыт работы с dbt для трансформации, тестирования и моделирования данных.
Условия:
— Официальное трудоустройство.
— Ежегодный трудовой отпуск + 2 оклада.
— Профессиональный рост и развитие.
— Участие в архитектурных решениях.
— График работы: 5/2, с 08:00 до 17:30.
— Место работы: г. Астана, EXPO C2.3.
ОфисseniorАстана
Не хотите искать каждый день?
Настройте подбор один раз, и подходящие вакансии будут сами приходить в Telegram.
Настройте подбор, и подходящие вакансии будут приходить в Telegram.
Требования:
▫️Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse)
▫️Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT
▫️Programming: Python, SQL / T-SQL
▫️Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet
▫️Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts
▫️DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD
▫️Data Analytics: Data Marts, relational data modeling, Power BI - буде преимуществом
▫️Английский: В2+
Основные задачи:
▫️Архитектура Lakehouse / DWH
Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric.
Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet).
▫️Разработка ETL/ELT-пайплайнов
Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2.
Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts.
▫️Обработка больших данных
Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации.
▫️Проектирование Data Marts и работа с T-SQL
Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse.
Оптимизация сложных T-SQL-запросов для достижения минимальной задержки.
▫️Автоматизация и CI/CD
Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода.
Location: Worldwide
Workplace: remote
We are looking for a Data Engineer to join our team.Requirements: 3+ years of experience in data engineering; Strong SQL: complex analytical queries and query optimization; Strong Python: solid fundamentals and hands-on experience with DE libraries (e.g., pandas, SQLAlchemy, PySpark); Software engineering background: you write production-grade Python, not just scripts (OOP, app architecture, testing, Git, CI/CD); Hands-on experience with Airflow (building and maintaining DAGs); Experience with dbt (models, tests, macros); ClickHouse: table engines, Materialized Views, performance tuning; Kafka: producers/consumers, topics and partitioning, delivery guarantees; Experience with data quality tools (e.g., dbt tests, Great Expectations, Soda); Solution-oriented mindset and ownership of results.Responsibilities: Support and develop our in-house data enrichment solution built on event sourcing; Build production-ready data marts using Airflow, dbt, and ClickHouse Materialized Views; Implement data quality checks for Airflow DAGs and ClickHouse MVs; Automate repetitive tasks and establish Data Engineering best practices and standards; Write and maintain technical documentation.We offer:High salary (plus performance bonuses and salary revision);Remote work;Work schedule: Mon-Fri (8 hours per day) with flexible starting hours;24 days holiday leave;Corporate English lessons;Exciting work challenges that allow you to grow to your full potential;A strong team of like-minded professionals who will be by your side to accomplish ambitious projects, stimulate your professional development and bring experience.
Location: Limassol, Cyprus
We are looking for a Data Engineer to join our team.Requirements: 3+ years of experience in data engineering; Strong SQL: complex analytical queries and query optimization; Strong Python: solid fundamentals and hands-on experience with DE libraries (e.g., pandas, SQLAlchemy, PySpark); Software engineering background: you write production-grade Python, not just scripts (OOP, app architecture, testing, Git, CI/CD); Hands-on experience with Airflow (building and maintaining DAGs); Experience with dbt (models, tests, macros); ClickHouse: table engines, Materialized Views, performance tuning; Kafka: producers/consumers, topics and partitioning, delivery guarantees; Experience with data quality tools (e.g., dbt tests, Great Expectations, Soda); Solution-oriented mindset and ownership of results.Responsibilities: Support and develop our in-house data enrichment solution built on event sourcing; Build production-ready data marts using Airflow, dbt, and ClickHouse Materialized Views; Implement data quality checks for Airflow DAGs and ClickHouse MVs; Automate repetitive tasks and establish Data Engineering best practices and standards; Write and maintain technical documentation.We offer:High salary (plus performance bonuses and salary revision);Work schedule: Mon-Fri (9h with 1h lunch break), flexible start 8:00-10:00;24-days holiday leave;First line seaview from your office;Corporate English and Greek lessons;GYM and SPA in the office;Corporate meals;Eventful corporate life;Exciting work challenges that allow you to grow to your full potential;Strong team of like minded professionals who will be by your side to accomplish ambitious projects, and to stimulate your professional development and bring experience.
Задачи:
— Разрабатывать и совершенствовать платформу данных электронной коммерции нового поколения
— Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino
— Оптимизировать действующие пайплайны и джобы на Spark, мониторить нагрузку на кластер и оптимальность ресурсов, при необходимости оптимизировать
— Взаимодействовать с аналитиками и ML специалистами для создания и развертывания инструментов и наборов данных, поддерживать связи с data ops для развития дата-платформы
— Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ)
— Проектировать хранилища данных на основе Kubernetes, настраивать производительность, мониторинг, планировать емкости кластера и инфраструктуры
— Решать задачи, связанные с внедрением облачной инфраструктуры, разрабатывать новую архитектуру хранилища
— Проводить code review и участвовать в архитектурных решениях по дата платформе
Требования:
— Понимание ресурсной модели Kubernetes, просмотр конфигураций, troubleshooting
— Опыт работы с Hadoop (HDFS, Hive Metastore)
— Опыт работы со Spark (spark SQL, streaming, понимание нюансов работы с pyspark)
— Владение процедурами, snapshots, maintenance Apache Iceberg
— Глубокое понимание Airflow (версии 2, 3), включая идемпотентность, assets, backfills
— Уверенное знание Git, CI/CD
— Знание Python, Scala/Java, ООП, проектирование библиотек, интеграционные и юнит тесты
— Хорошее понимание СУБД, SQL
Будет плюсом:
— Опыт работы с Docker для поднятия локального окружения проекта
— Опыт работы с Kafka, понимание архитектуры и слабых мест
— Опыт с облачными технологиями, преимущественно Yandex Cloud
— Опыт с Clickhouse
— AI-native подход к разработке: использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG
Требования:
▫️Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse)
▫️Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT
▫️Programming: Python, SQL / T-SQL
▫️Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet
▫️Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts
▫️DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD
▫️Data Analytics: Data Marts, relational data modeling, Power BI - буде преимуществом
▫️Английский: В2+
Основные задачи:
▫️Архитектура Lakehouse / DWH
Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric.
Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet).
▫️Разработка ETL/ELT-пайплайнов
Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2.
Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts.
▫️Обработка больших данных
Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации.
▫️Проектирование Data Marts и работа с T-SQL
Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse.
Оптимизация сложных T-SQL-запросов для достижения минимальной задержки.
▫️Автоматизация и CI/CD
Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода.
Требования:
▫️Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse)
▫️Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT
▫️Programming: Python, SQL / T-SQL
▫️Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet
▫️Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts
▫️DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD
▫️Data Analytics: Data Marts, relational data modeling, Power BI - будет преимуществом
▫️Английский: В2+
Основные задачи:
▫️Архитектура Lakehouse / DWH
Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric.
Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet).
▫️Разработка ETL/ELT-пайплайнов
Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2.
Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts.
▫️Обработка больших данных
Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации.
▫️Проектирование Data Marts и работа с T-SQL
Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse.
Оптимизация сложных T-SQL-запросов для достижения минимальной задержки.
▫️Автоматизация и CI/CD
Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода.
Задачи:
— Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
— Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
— Развивать архитектуру Data Lake / DWH
— Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов
Требования:
— Практический опыт разработки и сопровождения пайплайнов данных
— Опыт работы с PySpark, Python и SQL
— Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
— Понимание принципов распределённой обработки данных
Будет плюсом:
— Опыт работы с Trino+S3
— Опыт оркестрации пайплайнов с помощью Airflow
— Знакомство с Data Vault 2.0
— Знание Scala и опыт её использования для обработки данных
— Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения
Задачи:
— Развитие платформы интеллектуального управления безопасностью финансовых потоков.
— Оценка транзакций в реальном времени на предмет мошенничества, комплаенс-рисков и других нежелательных действий с использованием ML-решений.
— Применение продвинутых методов машинного обучения, прикладной математики и статистики.
— Исследование новых данных, проверка ML-гипотез и поиск возможностей для улучшения существующих решений.
— Погружение в бизнес контекст платформы ограничений, изучение доступных данных и инфраструктуры высоконагруженных сервисов.
— Анализ текущих бизнес процессов, выявление уязвимых мест и точек роста.
— Пробование различных подходов машинного обучения: классификация, кластеризация, uplift модели, ранжирующие модели и нейросетевые решения.
— Сравнение результатов экспериментальных моделей с текущими решениями, оценка преимуществ и недостатков.
— Валидация моделей с помощью офлайн метрик (AUC, PR кривые, NDCG, uplift метрики и др.) и подтверждение статистически значимого прироста точности.
— Подготовка аналитических статей или отчётов с подробным сравнением методов и обоснованием выбора оптимального решения.
— Запуск в продакшн лучших протестированных решений и обеспечение их интеграции в систему управления ограничениями.
Требования:
— Высшее техническое образование.
— Опыт работы в DS от 2 лет.
— Опыт вывода моделей в продакшн.
— Уверенный Python, продвинутый SQL, PySpark как плюс.
— Большой опыт в решении задач классического ML: бустинги, регрессия, ранжирование, классификация.
— Знание статистики, A/B тестов, основ оптимизации и принципов работы используемых методов.
— Умение презентовать результаты сложных решений понятным бизнесу языком.
— Проактивность в поиске точек роста и генерации новых идей.
Задачи:
— Исследовать большие объемы данных о покупательском поведении и находить закономерности для решения бизнес-задач
— Разрабатывать и улучшать ML-модели для прогнозирования оттока и отклика пользователей
— Решать задачи uplift-моделирования и выбора оптимального воздействия на пользователя
— Подбирать персональные товары, категории, скидки, пороги и механики промо
— Генерировать и проверять гипотезы, участвовать в подготовке и анализе A/B-тестов
— Оценивать качество моделей не только по ML-метрикам, но и по влиянию на бизнес-показатели
— Участвовать в развитии внутренних ML-инструментов и фреймворков команды
— Участвовать в подготовке моделей к промышленному запуску и их дальнейшем развитии
Требования:
— Учишься на старших курсах бакалавриата, в магистратуре или недавно окончил техническую специальность
— Хорошо знаешь Python и умеешь писать понятный и структурированный код
— Знаешь основы машинного обучения и понимаешь принципы работы классических ML-алгоритмов
— Умеешь работать с данными и знаешь SQL
— Понимаешь основы математической статистики, теории вероятностей и проверки статистических гипотез
— Понимаешь принципы проведения A/B-тестов и оценки результатов экспериментов
— Умеешь самостоятельно разбираться в новой задаче, формулировать гипотезы и проверять их на данных
— Интересуешься применением машинного обучения для решения реальных бизнес-задач
Будет плюсом:
— Знаком с PySpark и понимаешь основные принципы распределенной обработки данных
— Работал с PyTorch или другими библиотеками для глубокого обучения
— Знаком с uplift-моделированием, рекомендательными системами или задачами персонализации
— Имеешь опыт участия в ML-проектах, соревнованиях, исследовательских или учебных проектах
— Знаком с Airflow, Docker, Kubernetes, Grafana, MLflow
— Имеешь представление о жизненном цикле ML-модели и процессе вывода моделей в промышленную эксплуатацию
Условия:
— Полная занятость
— График: 5/2
— Формат работы: удалённо
Задачи:
– Разработка, создание и оптимизация масштабируемых ETL-процессов и конвейеров обработки данных.
– Разработка и поддержка решений в области бизнес-аналитики, хранилищ данных и аналитических наборов данных.
– Разработка и оптимизация сложных SQL-скриптов, процедур и рабочих процессов обработки данных.
– Управление рисками и зависимостями, выявление технических и эксплуатационных угроз, таких как качество данных, согласование с устаревшими системами и пропускная способность, информирование заинтересованных сторон и предложение мер по их смягчению.
– Согласование действий всех заинтересованных сторон, определение и согласование подходов и компромиссов, представление вариантов и рекомендаций, проведение демонстраций для подтверждения прогресса и демонстрации ценности.
– Обеспечение технического руководства с непосредственным участием в реализации проектов, проверка и контроль архитектуры, проектов, кода и SQL-заметок, внедрение критически важных компонентов для обеспечения стабильного качества.
Требования:
– Минимальный опыт работы в области проектирования данных — 5 лет, из которых не менее 2-3 лет — в облачной экосистеме Azure.
– Эксперт в SQL с подтвержденной способностью писать и оптимизировать сложные аналитические запросы, хранимые процедуры и функции.
– Глубокие знания PySpark и Python для обработки больших объемов данных и построения ETL/ELT-конвейеров.
– Понимание принципов организации данных в рамках озера данных (уровни Raw, Silver, Gold).
– Опыт администрирования и разработки в средах с управляемыми экземплярами.
– Знание методологий моделирования данных (Кимбалла/Инмона), понимание концепции медленно изменяющихся измерений (SCD) и управления историей изменений.
– Глубокое понимание архитектуры корпоративного хранилища данных, включая проектирование таблиц измерений и фактов, а также создание агрегированных слоев данных.
– Опыт работы с финансовыми/страховыми данными, понимание процессов закрытия месяца, сверки данных и логики финансовых расчетов.
– Опыт проведения анализа кода, проектирования архитектуры конвейера и контроля технического качества результатов работы команды.
– Опыт работы в командах Scrum, умение декомпозировать высокоуровневые бизнес-цели на конкретные технические задачи (пользовательские истории/задачи) и управлять планом выполнения.
– Уровень владения английским языком: B2 или выше.
Location: Москва
Мы - Управление развития искусственного интеллекта блока "Развитие клиентского опыта B2C". В нашей зоне ответственности ML-решения, результаты работы которых ежедневно влияют на поведение десятков миллионов клиентов.
Развитие клиентского опыта – динамический и активно развивающийся процесс. Совместно с бизнесом мы проводим десятки различных экспериментов ежемесячно, и лучшие из них оформляем в полноценные ML продукты. Совокупные финансовые эффекты от наших продуктов > 1 млрд. руб. в год.
Обязанности
* проектировать и развивать end-to-end пайплайны для ML-решений в рамках программы Лояльности: от поставки данных и обучения до A/B-тестирования и вывода моделей в production
* декомпозировать и рефакторить существующие решения (в том числе полу-ручные MVP) в высоконагруженные, отказоустойчивые микросервисы на Python
* тестировать и оптимизировать PySpark ETL/ELT-пайплайны: профилировать узкие места, настраивать джобы, работать с партиционированием и форматом хранения данных для обеспечения производительности на больших объёмах
* разрабатывать внутренние Python-библиотеки и стандарты разработки для переиспользования кода командами Data Science.
Требования
* опыт от 3 лет в разработке на Python, из них от 2–3 лет в роли MLOps Engineer, Data Engineer или Backend-разработчика в ML-платформах
* уверенная работа с экосистемой Big Data: опыт работы, тестирования и оптимизации PySpark-пайплайнов, Apache Airflow (или аналоги), Kafka, Docker/Kubernetes (K8s), S3/HDFS
* опыт проектирования архитектуры ML-решений: понимание микросервисов, асинхронности, паттернов проектирования
* понимание полного цикла жизни ML-модели: от подготовки данных и feature engineering до мониторинга в проде (MLflow, Prometheus/Grafana или аналоги).
будет плюсом:
* опыт автоматизации CI/CD для полного цикла ML (обучение, валидация, развёртывание моделей) с использованием GitLab CI или Jenkins
* понимание PySpark на уровне администратора/архитектора: тонкая настройка кластеров, управление ресурсами (динамическое распределение _Dynamic Allocation_), работа с _executors_, _partitions_, управление памятью (_spark.memory.fraction_, _spark.memory.storageFraction_), тюнинг _shuffle_
* опыт работы с Feature Store, MLflow, ClickHouse.
Условия
* комфортный современный офис рядом с м. Кутузовская
* офисный формат работы
* ежегодный пересмотр зарплаты, годовая премия
* корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* программа адаптации и помощь руководителя на старте
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбера.
Задачи:
— Проводить проактивный поиск угроз и анализ цепочек атак (kill chain) в системах Stripe и внешних данных.
— Применять и развивать многоуровневую таксономию FT3 для стандартизации разведданных об угрозах.
— Сотрудничать с командами Fraud Intelligence, Fraud Ops, Strategy, Risk, Onboarding и Security для интеграции и автоматизации потоков разведданных.
— Переводить результаты исследований в практические рекомендации по контролю угроз, включая политику, технические системы, рабочие процессы поддержки и механизмы обнаружения.
— Использовать агентные автоматизированные тестовые фреймворки для моделирования поведения злоумышленников, проверки эффективности контролей и создания регрессионных сценариев.
Требования:
— Опыт не менее 5 лет в области разведки угроз, поиска угроз или технического реагирования на инциденты в кибербезопасности, борьбе с мошенничеством или доверительных доменах.
— Опыт анализа больших и сложных наборов данных с использованием аналитических инструментов для выявления аномалий, анализа поведенческих трендов и решения сложных задач мошенничества.
— Высшее образование (бакалавр или магистр) в области компьютерных наук, кибербезопасности или смежной технической области, либо эквивалентный практический опыт.
— Экспертное владение Python и SQL, опыт автоматизации рабочих процессов, создания инструментов для расследований и запросов к большим данным.
— Практический опыт анализа логов (приложений, API, сетевых событий), цифровой криминалистики и методологий киберрасследований.
— Сильные коммуникативные навыки для перевода сложных технических исследований в понятные и применимые рекомендации для межфункциональных команд.
Предпочтительные квалификации:
— Глубокое понимание мотиваций, инфраструктуры и тактик злоумышленников, специфичных для финансового мошенничества (например, ATO, Card Testing, Credential Stuffing).
— Знакомство с таксономиями FT3 или MITRE ATT&CK.
— Владение платформами для обработки и анализа данных, такими как Databricks, Trino, PySpark, Pandas, Scikit-Learn.
— Опыт работы с платформами разведки угроз (TIPs), тактическими потоками угроз, OSINT и разведданными о взломах.
— Навыки создания или использования агентных LLM-инструментов, систем автоматизированного тестирования и фреймворков валидации контролей для моделирования поведения злоумышленников в масштабе.
— Участие в отраслевых конференциях, вебинарах, группах обмена угрозами и наличие профессиональных сертификатов (например, GCTI, GCFA, OSCP).
Задачи:
— Разрабатывать функциональность сервиса на Python
— Строить Data Lineage на логическом уровне витрин на основе существующего графа движения данных на табличном уровне
— Реализовывать обработку, преобразование и агрегацию связей между объектами данных
— Работать с большими объемами данных с использованием PySpark, pandas, SQL
— Работать с Hadoop-стеком: HDFS, Spark, Hive
— Дорабатывать существующий фреймворк автоматизированного тестирования
— Разрабатывать и поддерживать автотесты для создаваемой функциональности
— Участвовать в анализе и устранении дефектов
Требования:
— Опыт разработки на Python от 2 лет
— Практический опыт работы с PySpark и pandas
— Отличное знание SQL
— Опыт работы со стеком Hadoop: HDFS, Spark, Hive
— Понимание принципов обработки больших объемов данных
— Опыт написания автоматизированных тестов на Python
— Готовность отвечать за качество разработанной функциональности и ее автоматизированную проверку
— Умение разбираться в существующем коде и самостоятельно решать технические задачи
Плюсом:
— Опыт работы с Data Lineage, Data Governance или Metadata Management
— Опыт с Oracle, PostgreSQL, Greenplum
— Понимание принципов построения DWH и витрин данных
— Опыт работы с графовыми структурами данных
— Опыт использования pytest или аналогичных инструментов тестирования
Условия:
— Формат работы: гибрид (Москва)
— График: 5/2
— Полная занятость
Задачи:
— Реализация полного цикла разработки моделей и ML-решений: от постановки задачи до передачи на внедрение и мониторинг
— Генерация ML-решений для задач бизнеса, формирование бизнес-требований (БТ) моделей и технических заданий (ТЗ) для смежных команд
— Выполнение проектных задач в установленные сроки
— Подготовка отчетов, ТЗ для MLOps и Data Engineering, поиск данных
Требования:
— Опыт работы с ML в банковском, финансовом, телекоммуникационном или ритейл секторе от 5 лет
— Уверенное владение Python, PySpark и глубокое знание алгоритмов машинного обучения и глубокого обучения (ML/DL)
— Способность поддерживать full-stack разработку: от сбора требований до реализации, документации и мониторинга
— Развитые soft-skills и опыт написания технических заданий, бизнес-требований и проектной документации
— Высшее техническое, финансово-математическое или экономическое образование
Условия:
— Полная занятость
— График работы 5/2
— Удалённый формат работы
Задачи:
— Развивать и поддерживать IT-инфраструктуру, обеспечивать стабильность и отказоустойчивость систем.
— Настраивать и сопровождать процессы CI/CD, автоматизировать развёртывание и эксплуатацию сервисов.
— Работать с контейнеризацией и оркестрацией на базе Docker и Kubernetes.
— Автоматизировать инфраструктурные и эксплуатационные задачи с использованием Ansible, Bash и Python.
— Администрировать базы данных, обеспечивать резервное копирование, восстановление и мониторинг.
— Поддерживать и оптимизировать процессы загрузки, преобразования и обработки данных (ETL).
— Участвовать в развитии хранилищ данных (DWH) и витрин данных.
— Настраивать мониторинг, алертинг и диагностику инфраструктуры и сервисов.
— Анализировать и устранять проблемы производительности, загрузки и обработки данных.
— Использовать AI-инструменты и AI-агентов для автоматизации рутинных DevOps-задач и повышения эффективности работы.
Требования:
— Опыт работы в DevOps и/или Data Engineering от 4 лет с практическими навыками в обоих направлениях.
— Уверенное владение Linux (Ubuntu/Debian, CentOS/RHEL).
— Опыт работы с Docker, Kubernetes и Helm.
— Практический опыт работы с Ansible и CI/CD на базе GitLab.
— Навыки автоматизации с использованием Bash и Python.
— Уверенное владение SQL и опыт работы с PostgreSQL.
— Опыт работы с одной или несколькими СУБД: PostgreSQL, ClickHouse, Greenplum.
— Понимание принципов построения хранилищ данных (DWH) и организации ETL-процессов.
— Опыт работы с Apache NiFi и/или Apache Airflow.
— Опыт настройки мониторинга и алертинга (Grafana, Prometheus или аналоги).
— Понимание сетевых технологий и протоколов TCP/IP, HTTP, DNS.
— Умение самостоятельно решать технические задачи и взаимодействовать с проектной командой.
Будет плюсом:
— Практический опыт разработки ETL-процессов, хранилищ и витрин данных.
— Опыт работы с Python-библиотеками SQLAlchemy и Pandas.
— Знакомство с продуктами Arenadata (ADB, ADS, ADH).
— Опыт работы с Hadoop, PySpark или Apache Kafka.
— Опыт работы с Terraform и OpenStack.
— Опыт настройки высокодоступных и масштабируемых систем.
— Понимание принципов Data Quality и опыт автоматизации проверок качества данных.
— Практический опыт использования AI/LLM-инструментов и AI-агентов для автоматизации инженерных задач.