В рамках данной позиции предстоит заниматься проектированием и разработкой AI-агентов, включая реализацию сценариев, оркестрацию, вызов инструментов и интеграцию с внутренними сервисами. Необходимо преобразовывать прототипы и модели Data Science в стабильные промышленные решения, обеспечивая их упаковку, интеграцию в сервисы и пайплайны, версионирование и сопровождение. Работа включает разработку на Python сервисов, библиотек и пайплайнов, написание автотестов и участие в код-ревью. Также требуется проектировать, создавать и поддерживать витрины данных для ML-моделей и агентов, обрабатывать большие объемы данных с использованием SQL, Hadoop и Spark, оптимизировать запросы и вычислительные задачи. Важной частью является обеспечение качества и наблюдаемости решений через логирование, мониторинг, обработку ошибок и контроль качества данных. Кандидат должен иметь опыт промышленной разработки на Python не менее двух лет, уметь писать поддерживаемый код с типизацией, тестированием, обработкой ошибок и логированием, а также уверенно владеть SQL, включая сложные запросы, оконные функции и оптимизацию. Требуется опыт построения и сопровождения ETL/ELT-пайплайнов и витрин данных, а также опыт вывода сервисов, моделей или data-продуктов в промышленную эксплуатацию. Необходимо понимание принципов работы AI-агентов, включая оркестрацию, вызов инструментов, управление состоянием и интеграцию с API, а также жизненного цикла ML-модели от артефакта и данных до инференса, мониторинга и обновления. Будет преимуществом опыт разработки AI-агентов с использованием LangGraph, LangChain, LlamaIndex или собственного оркестратора, а также опыт работы с LLM, RAG и векторными хранилищами. Дополнительным плюсом считается опыт оркестрации пайплайнов в Airflow или аналогичных системах, работы с Kafka и событийными архитектурами, знание Docker, CI/CD и Kubernetes, практический опыт с Hadoop и Spark, внедрение ML- или LLM-сервисов во внутреннем контуре, а также опыт в банковском домене, продуктах для юридических лиц или документообороте. Формат работы — офис или гибрид в Москве.
Задачи:
– Разрабатывать и дорабатывать ETL-процессы в Airflow
– Подключать новые источники данных
– Создавать и дорабатывать витрины
– Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
– Работать с большими объемами данных
– Развивать процессы контроля качества данных
Требования:
– От 1 года опыта работы с данными
– Отличное знание SQL: JOIN, оконные функции, процедуры
– Умение профилировать и оптимизировать запросы, понимать план выполнения
– Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
– Практический опыт работы с Airflow и ETL-процессами
– Python на базовом уровне
– Знание Linux и умение работать с командной строкой
– Опыт работы с Git
– Понимание принципов работы Docker
Задачи:
— Проектировать и поддерживать интеграцию источников данных (взаимодействие с процессинговыми системами и Автоматизированной Банковской Системой / АБС);
— Организовывать мониторинг актуальности входящих данных и оперативно реагировать на инциденты;
— Готовить данные для загрузки в оговоренные форматы хранения (Data Lake / DWH) для последующего потребления смежными командами;
— Разрабатывать и оптимизировать витрины данных для BI-отчетности в Superset и PowerBI;
— Проводить глубокую проверку качества данных (Data Quality), выявлять аномалии и устранять корневые причины ошибок;
— Обеспечивать бесперебойную актуальность данных, нести ответственность за соблюдение SLA и быстрое восстановление при авариях.
Требования:
— Опыт в направлении финтех;
— Отличное знание SQL (DDL/DML) в PostgreSQL;
— Хорошее знание SQL (DDL/DML) в ClickHouse;
— Отличные навыки оптимизации SQL-запросов в PostgreSQL;
— Отличные навыки работы с Python: написание и поддержка DAG-ов в Airflow, опыт работы с асинхронными сервисами;
— Хорошие навыки конфигурирования PostgreSQL.
ГибридmiddleКазань
Зарплата не указана
Не хотите искать каждый день?
Настройте подбор один раз, и подходящие вакансии будут сами приходить в Telegram.
Wolt развивает платформу быстрой доставки еды, продуктов и других товаров из ресторанов и магазинов через мобильное приложение и сайт. С 2022 года Wolt входит в группу DoorDash и работает в десятках стран.
Требования:
— 5+ лет опыта
— Владение Python или R
— Знание SQL
— Опыт работы с Airflow
Формат работы: удалённо или в офисе в Берлине.
Разработка и сопровождение предиктивных моделей эффективности закупки трафика; Разработка регрессионных и классифицирующих моделей для различных задач маркетинга (прогноз плательщика, оттока и т.п.);
Требования:
— Экспертный опыт администрирования Linux
— Опыт сопровождения высоконагруженных distributed systems
— Глубокое понимание S3/Object Storage и distributed storage architecture
— Опыт сопровождения Kubernetes-платформ
— Практический опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg
— Опыт эксплуатации MinIO / Object Storage решений
— Понимание replication, erasure coding, consistency, fault tolerance
— Практический опыт troubleshooting: CPU, RAM, network, disk I/O, latency, throughput
— Опыт работы с observability stack: Prometheus, Grafana, alerting, log analysis
— Опыт автоматизации: Ansible, Terraform, Bash, Python
— Понимание incident/problem management и SRE-практик
— Навыки RCA, postmortem analysis и повышения reliability платформ
Задачи:
— Сопровождение и эксплуатация Data Lake платформ
— Поддержка S3/Object Storage инфраструктуры
— Мониторинг, диагностика и устранение инцидентов
— Troubleshooting производительности платформы и storage систем
— Сопровождение Kubernetes и компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg
— Проведение RCA и postmortem analysis
— Автоматизация эксплуатационных задач
— Взаимодействие с командами Data Engineering и инфраструктуры
— Сопровождение Big Data Platform
Условия:
— удаленный формат работы
— Белая заработная плата, оформление согласно Трудовому кодексу РФ
— Комфортный старт: 3 месяца плавного погружения под присмотром HR
— Поддержка: IT-отсрочку и консультации HR/юристов
— Прозрачные процессы и открытую коммуникацию
— Работу на лучшем оборудовании без логирования времени, с фокусом на доверии и результате
— ДМС: медицинское страхование за счет компании
— Развитие: индивидуальный план обучения, посещение конференций и митапов, поддержка в развитии карьеры
— Личный бренд: возможность выступать на конференциях, митапах, публикация статей
— Бенефиты: ежеквартальное обновление корпоративных скидок
— Движ: организация вечеринок оффлайн и онлайн, предоставление мерча, проведение конкурсов и челленджей
Задачи:
— Проектирование и разработка BI-дашбордов для бизнеса и продуктов;
— Работа с Superset и другими BI-инструментами;
— Контроль корректности данных и участие в выявлении расхождений;
— Взаимодействие с бизнес-заказчиками: оценка запросов, подбор альтернативных решений, подбор оптимальных визуализаций, срезы, фильтры;
— Работа с бизнес- и продуктовой аналитикой: выручка, маржинальность, воронки, метрики продукта и клиентского пути;
— Поддержка и развитие существующих дашбордов;
— Разбираться в источниках корпоративных данных и формировать функциональные требования в профильные отделы на их наполнение, изменение структуры и обеспечение доступа для решения поставленных задач.
Требования:
— Опыт работы на позиции BI-аналитика от 2 лет;
— Уверенный опыт построения дашбордов;
— Практический опыт работы с Superset;
— Понимание принципов визуализации данных;
— Понимание бизнес- и продуктовых метрик;
— Опыт постановки ТЗ дата-инженерам;
— Умение отстаивать свою точку зрения, аргументировать решения, предлагать несколько вариантов реализации задач.
Будет плюсом:
— Опыт в B2B / SaaS;
— Опыт работы с несколькими источниками данных (CRM, финансы (1С), продукт, маркетинг);
— Практический опыт применения Apache Airflow в задачах автоматизации работы с отчетами (выгрузки по расписанию, отправка результатов на электронную почту и т.п.);
— Навыки работы с SQL (PostgreSQL, ClickHouse) на уровне аналитика;
— Опыт работы с Trino;
— Опыт общения с топ-менеджментом или бизнес-лидерами.
Условия:
— График работы: 5/2;
— Удаленный формат работы только на территории РФ;
— Работа в аккредитованной IT-компании;
— Официальное трудоустройство по ТК РФ с первого дня;
— ДМС со стоматологией и психологом после испытательного срока.
Задачи:
— Возглавлять команду Data Scientists, участвовать в найме, онбординге и развитии сотрудников;
— Обеспечивать операционную деятельность: дейли-митинги, спринт-планирование, ретроспективы, демо;
— Формировать и развивать бэклог задач, определять приоритетные бизнес-задачи и оценивать ценность решений;
— Выстраивать кросс-функциональное взаимодействие с Data Engineering, MLOps и бизнес-подразделениями, договариваться о приоритетах и ресурсах;
— Отвечать за полный жизненный цикл моделей: сбор данных, разметка, обучение, валидация, деплой, мониторинг;
— Руководить проектированием и внедрением решений;
— Обеспечивать разработку, валидацию и мониторинг моделей, включая стандарты, политики и документооборот;
— Проводить архитектурные ревью, задавать стандарты качества кода и документации;
— Принимать участие в написании production-кода;
— Контролировать соблюдение сроков и качества результатов;
— Переводить бизнес-проблемы в технические задачи, формулировать гипотезы, определять метрики успеха и критерии приемки;
— Презентовать результаты и влияние моделей бизнес-заказчикам, защищать метрики качества;
— Отвечать за разработку и согласование единых стандартов разработки моделей внутри подразделения.
Требования:
— Высшее техническое образование в области прикладной математики, информатики, компьютерных наук или смежных дисциплин;
— Совокупный опыт в Data Science и машинном обучении от 5 лет;
— Управленческий стаж минимум 2 года на позиции тимлида или руководителя ML-подразделения с прямым подчинением инженеров и дата-сайентистов;
— Успешная реализация комплексных проектов полного цикла с выводом в промышленную эксплуатацию;
— Опыт внедрения моделей в production и построения системы мониторинга их качества;
— Глубокое владение Python и SQL;
— Практика работы с пайплайнами оркестрации (Airflow), распределённой обработкой данных (Spark), контейнеризацией (Docker) и системами контроля версий (Git);
— Опыт работы с большими данными в среде S3/Hadoop и аналитическими СУБД ClickHouse, Greenplum;
— Уверенное знание классического ML-стека: градиентный бустинг, линейные алгоритмы, а также специализированные подходы — uplift-моделирование и антифрод-системы;
— Навыки декомпозиции сложных задач, распределения нагрузки, контроля сроков и качества delivery;
— Навыки эффективного взаимодействия с бизнес-заказчиками и смежными командами (Data Engineering, MLOps, Product);
— Владение инструментами командной работы Jira и Confluence.
Условия:
— Конкурентоспособная заработная плата, ориентированная на ожидания и квалификацию кандидатов;
— ДМС со стоматологией, корпоративное обучение;
— Офис/гибридный формат работы в Москве (Москва-Сити);
— Современные технологии и подходы к ведению проектов;
— Работа в аккредитованной IT-компании.
Задачи:
— Валидация процессов загрузки данных
— Проверка корректности скачивания данных из внешних источников (БКИ, ЦБ, ФНС и др.)
— Контроль раскладки данных по целевым таблицам в S3/Iceberg
— Подтверждение обработки 100% входящего объёма данных
— Верификация атрибутного состава (например, отсутствие даты рождения в поле "ФИО")
— Тестирование механизмов обновления: отсутствие дубликатов при повторной загрузке
— Блокировка записей с аномалиями (ошибки источника, некорректные форматы)
— Анализ документации (ТЗ, маппинги) для проектирования тест-кейсов
— Профилирование данных: выявление шаблонов, аномалий и граничных значений
— Документирование расхождений между источниками и хранилищем
— Мониторинг задач в Airflow на предмет сбоев
— Составление отчётов о дефектах и качестве данных
Требования:
— Практическое знание SQL: продвинутый уровень, включая сложные JOIN, подзапросы, агрегатные функции, написание проверочных запросов, анализ трансформаций, выявление расхождений
— Понимание архитектуры Lakehouse (S3, Iceberg) и слоёв хранения (RAW/ODS/DDS)
— Опыт работы с БД и хранилищами: Oracle, Greenplum, PostgreSQL, S3, Airflow (мониторинг задач), Spark (понимание логики обработки)
— Опыт тестирования хранилищ данных
— Работа с форматами данных: XML, JSON, XSD/JSON-схемы
— Опыт интеграции внешних источников (БКИ, ФНС, ЦБ, API-партнёров)
— Понимание REST/SOAP API и протоколов передачи
— Стек автоматизации: Python, pandas, numpy, psycopg2, pytest, Allure, PySpark
Условия:
— Оформление в штат аккредитованной ИТ-компании по ТК РФ: полностью белая заработная плата, оплачиваемые отпускные и больничные
— Индексация заработной платы
— Расширенная программа ДМС
— Скидки на фитнес, кино и уроки английского
— Техника по требованиям проекта
Задачи:
— Развитие личного кабинета AI-тренеров: сбор данных из разных источников, настройка систем контроля качества, расчет качества и производительности, отображение данных на дашбордах, настройка пайплайнов поставки данных, написание YQL-скриптов и кода на Python, построение дашбордов в DataLens.
— Инфраструктурные задачи: создание сред для обучения агентов, написание кода, развёртывание серверов и докер-образов с открытым кодом.
— Контроль ресурсов аналитиков: выдача вычислительных ресурсов, мониторинг использования и оптимизация распределения.
— Разработка инфраструктуры бенчмарков: помощь аналитикам в ускорении и упрощении создания бенчмарков для различных сценариев, работа на Python.
Требования:
— Умение писать на Python и SQL.
— Любовь к работе с данными.
Будет плюсом:
— Опыт построения ETL-процессов, в том числе с Airflow.
— Опыт работы с BI-системами (DataLens, Tableau, Power BI и др.).
— Опыт работы с YTsaurus или аналогами.
— Настройка CI/CD.
Условия:
— Бесплатное участие сотрудников Яндекса в профильных конференциях.
— Школа подготовки спикеров для выступающих на конференциях.
— Другие бонусы, полный список доступен на сайте компании.
Задачи:
- Сбор требований с бизнес-заказчиков и анализ источников данных
- Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
- Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных, предоставление отчетности руководителю
Требования:
- Общее представление о стеке технологий Lakehouse
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера
- Знание SQL (индексы, функции, оптимизация, профилирование производительности)
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.)
- Умение работать с Git (знание команд git pull/commit/push)
- Опыт работы с DBT, Cosmos
- Представление о работе с Trino
- Понимание устройства Iceberg, форматов данных
- Понимание работы с minio или любого другого хранилища на основе S3
- Опыт использования систем ведения проектов и документации
- Знания основ программирования (JAVA, Python)
Задачи:
– проектирование и разработка слоев данных (Raw, Clean, Enriched/Presentation) с учетом лучших практик моделирования (Data Vault 2.0 / 3NF для хранилища, Star Schema для витрин);
– разработка и внедрение кастомных алгоритмов дедупликации и Entity Resolution (Fuzzy Matching) на Python;
– формализация бизнес-правил качества данных в код, настройка уровней доверия к источникам и правил выживания (survivorship rules);
– внедрение Data Contracts и механизмов карантина (quarantine) для некачественных данных с возможностью их последующего разбора;
– настройка автоматизированного тестирования данных (Data Quality checks) в пайплайнах.
Требования:
– Продвинутый уровень SQL и опыт работы с dbt (или аналогами) для построения слоев данных;
– уверенное владение PySpark и/или pandas для обработки больших объемов данных и реализации логики матчинга;
– практический опыт применения библиотек нечёткого поиска и связывания записей (Splink, recordlinkage, dedupe, theFuzz);
– понимание принципов работы алгоритмов сравнения строк (Левенштейн, Джаро-Винклер, косинусное сходство на TF-IDF/эмбеддингах);
– глубокое понимание 2-3NF, Data Vault 2.0 и различий между слоями сырых, очищенных и обогащенных данных;
– опыт внедрения инструментов тестирования данных (Great Expectations, Soda, dbt tests, deequ или аналоги);
– опыт работы с оркестраторами (Airflow, Dagster или Prefect), уверенное использование Git и базовые навыки CI/CD для дата-пайплайнов.
Задачи:
— Подготовка ежемесячной и еженедельной отчетности;
— Выполнение ad-hoc задач, преимущественно от отдела retention;
— Построение и поддержание дашбордов в Metabase.
Требования:
— Опыт работы с BI-системами;
— Высокий уровень владения SQL (написание сложных запросов, CTE, оконные функции и т.п.);
— Базовые навыки программирования на Python (работа с данными, написание DAG для Airflow);
— Умение читать и понимать Python-код аналитических сервисов и моделей;
— Активность, самостоятельность и инициативность.
Преимущества:
— Опыт работы в iGaming.
Условия:
— Работа в офисе на Кипре, в Лимассоле;
— Официальное трудоустройство;
— Корпоративные завтраки и обеды;
— Развитая корпоративная культура;
— График работы 5/2 (выходные суббота и воскресенье);
— Гибкое начало рабочего дня с 8 до 11 часов;
— Конкурентная заработная плата, определяемая по итогам собеседования;
— Предоставление всех необходимых инструментов для работы.
We’re looking for a DevOps Engineer (Data Focus) to strengthen our Data Engineering team. This role is all about building and maintaining reliable, scalable, and observable data infrastructure that powers our trading research and production systems.
Требования:
- Опыт TeamLead (управление командой) не менее 4 лет;
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Оracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
Обязанности:
- Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
- Подготовка документации AS IS и TO BE;
- Написание SQL кода;
- Отслеживание метрик.
В роли Senior DevOPS / SRE инженера предстоит заниматься управлением и оптимизацией облачных платформ, автоматизацией CI/CD и GitOps пайплайнов, а также внедрением Infrastructure as Code с помощью инструментов Ansible, Terraform и Pulumi. Работа включает поддержку контейнеризированных сред на базе Docker, Docker Swarm и Kubernetes, а также обеспечение надежной инфраструктуры для BI-сервисов и data-driven приложений, таких как ClickHouse, SQL, Airflow, Tableau и Superset. Взаимодействие с командами разработки и BI направлено на повышение стабильности развертывания и эффективности операций. Требуется уверенное владение одной из облачных платформ, опыт построения масштабируемой IT-инфраструктуры, навыки администрирования Linux-серверов, понимание сетевой модели OSI и принципов информационной безопасности. Опыт работы с инфраструктурой для Business Intelligence и data-related решений будет преимуществом. Работа предполагает офисный формат в Минске или Лимассоле с зарплатой от 4000 до 5000 USD.
ОфисseniorМинск
4 000 – 5 000 $
Гибрид
lead
Москва
Зарплата не указана
Все вакансии в одном месте — страница 3 · Job Hunters