Вакансии

Location: Москва Workplace: гибкий Команда DWH Одноклассников — 30 PiB данных и 1000+ ежедневных расчётов. Строим витрины и отчёты, готовим данные для A/B-тестов, отдаём данные другим бизнес-юнитам и переводим расчёты на новые технологии. Стек: YTsaurus, ClickHouse, Java, Spark, Airflow, Superset, Grafana. В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus стека технологий. Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без чётких ТЗ, плотно взаимодействуя с заказчиком. Задачи Построение новых и рефакторинг старых ETL-процессов Ad hoc задачи по выгрузкам / подготовке данных, их автоматизация при необходимости Участие в доработках платформы и фреймворка расчётов Разработка отчётов в SuperSet Автоматизация процессов с использованием LLM Требования Опыт работы с SQL и большими объёмами данных Опыт построения сложных ETL-процессов Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем Желателен опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow Будет плюсом Опыт работы с YTsaurus, YQL, LLM.

Миграция в целевую архитектуру данных. Реализация и систематизация ETL-процессов согласно требованиям.

Location: Москва Ищем Data-инженера в кластер по работе с данными. Направление - построение прикладных спец. витрин для обеспечения бизнес-процессов в области Эквайринга. Обязанности * проектирование и разработка ETL-потоков * построение витрин данных * анализ работы существующих ETL-процессов, поиск и устранение проблемных мест * обеспечение качества и актуальности данных * верификация поставленных аналитиком задач (S2T - Source to Target) * поддержка внедрения функционала на этапах ПСИ и ОПЭ. Требования * глубокое знание SQL * знание GreenPlum (архитектура, типы дистрибьюций, понимание специфики использования индексов, знание особенностей AO-таблиц: отличия от Heap-таблиц, когда полезно их использовать, как их обновлять без bloat) * понимание устройства хранилищ данных * опыт работы с большими объёмами данных * знание общих подходов к оптимизации * навыки работы с git и linux bash * промышленный опыт реализации ETL-процессов _Будет плюсом:_ * опыт с Hadoop и Spark * навыки работы с генеративными AI-моделями, опыт создания AI-агентов и использования их в работе * опыт использования GigaChat, Kandinsky и аналогов впродуктах, навыки создания и использования AI-агентов * инструментальное владение AI для анализа, генерации и автоматизации. Условия * офисный формат работы по адресу Кутузовский проспект 32к1 * ежегодный пересмотр зарплаты и годовая премия * расширенный ДМС и льготное страхование для семьи * уникальная система обучения Сбера для профессионального и карьерного развития * выгодная ипотека для сотрудников * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.

онлайн-интенсив 1 месяц; вы изучаете теорию и отрабатываете ее с помощью практических заданий;

Задачи: – Разрабатывать и дорабатывать ETL-процессы в Airflow – Подключать новые источники данных – Создавать и дорабатывать витрины – Оптимизировать SQL-запросы в GreenPlum и PostgreSQL – Работать с большими объемами данных – Развивать процессы контроля качества данных Требования: – От 1 года опыта работы с данными – Отличное знание SQL: JOIN, оконные функции, процедуры – Умение профилировать и оптимизировать запросы, понимать план выполнения – Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM – Практический опыт работы с Airflow и ETL-процессами – Python на базовом уровне – Знание Linux и умение работать с командной строкой – Опыт работы с Git – Понимание принципов работы Docker

Задачи: — Решать конкретные задачи с данными и пайплайнами, а не просто переливать данные. — Взаимодействовать с аналитиками и менеджерами, отвечать на вопросы и брать ответственность. Требования: — 4+ лет коммерческого опыта в роли Data Engineer / ETL-разработчик. — Сильный SQL. — Уверенный Python для обработки данных и простых сервисов. — Опыт с Spark или аналогом. — Базовый опыт с Kafka. — Проактивность: видеть проблемы и возможности в данных/пайплайнах и предлагать улучшения. Условия: — Трудоустройство по ТК РФ. — Удаленная работа из любой точки мира или в офисах в Москве или Санкт-Петербурге. — Культура свободы и ответственности. — Оплачиваемое обучение: курсы, конференции, профильная литература, софинансирование английского в Skyeng. — Забота о сотрудниках: ДМС с первого дня, включая стоматологию, поддержка ментального здоровья через Alter.

Задачи: – проектирование и разработка слоев данных (Raw, Clean, Enriched/Presentation) с учетом лучших практик моделирования (Data Vault 2.0 / 3NF для хранилища, Star Schema для витрин); – разработка и внедрение кастомных алгоритмов дедупликации и Entity Resolution (Fuzzy Matching) на Python; – формализация бизнес-правил качества данных в код, настройка уровней доверия к источникам и правил выживания (survivorship rules); – внедрение Data Contracts и механизмов карантина (quarantine) для некачественных данных с возможностью их последующего разбора; – настройка автоматизированного тестирования данных (Data Quality checks) в пайплайнах. Требования: – Продвинутый уровень SQL и опыт работы с dbt (или аналогами) для построения слоев данных; – уверенное владение PySpark и/или pandas для обработки больших объемов данных и реализации логики матчинга; – практический опыт применения библиотек нечёткого поиска и связывания записей (Splink, recordlinkage, dedupe, theFuzz); – понимание принципов работы алгоритмов сравнения строк (Левенштейн, Джаро-Винклер, косинусное сходство на TF-IDF/эмбеддингах); – глубокое понимание 2-3NF, Data Vault 2.0 и различий между слоями сырых, очищенных и обогащенных данных; – опыт внедрения инструментов тестирования данных (Great Expectations, Soda, dbt tests, deequ или аналоги); – опыт работы с оркестраторами (Airflow, Dagster или Prefect), уверенное использование Git и базовые навыки CI/CD для дата-пайплайнов.

Location: Москва Workplace: Комбинированный Мы разрабатываем крупнейший мессенджер в России, чтобы соединять людей, сервисы и компании. Создаём простые и удобные инструменты коммуникации. Сейчас развиваем платформу и ищем ведущего дата-инженера. Задачи Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации) Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений Требования Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов Умеете проектировать DWH: слои, модели хранения данных, процессы ETL Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse Использовали Airflow, Luigi или другой оркестратор Умеете выбирать технологии для решения конкретных задач Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными Эффективно общаетесь с людьми, находите общий язык с разными специалистами

Location: Москва Workplace: Комбинированный Мы — команда разработки OneDWH, единого DWH для всей компании. Он приходит на смену разрозненным решениям, которые команды строили каждая под себя: вместо множества обособленных хранилищ — одно общее. Данные живут в кластерах YTsaurus. В зоне ответственности команды — несколько доменов: Data Catalog — каталог, в котором поставщики данных публикуют метаинформацию о своих таблицах и зависимостях между ними. Благодаря этому можно проследить всю цепочку — от сырых логов до готовых витрин ETL-фреймворк — таблицы и работающие с ними процессы (YQL, Python и Spark) описаны декларативно в отдельном репозитории. У фреймворка собственный оркестратор и движок динамического распределения ETL между кластерами — это сокращает time-to-market поставок и оптимизирует потребление ресурсов. Также мы обеспечиваем доступность критичных данных даже при даунтайме одного из кластеров YTsaurus Data Quality (DQ) — следим за соблюдением сроков поставок критичных данных и уведомляем пользователей об их срывах. Развиваем проверки качества данных Задачи Развивать платформу DWH как продукт Делать удобные инструменты для дата-инженеров: поиск данных, заведение и сопровождение ETL Делать удобные инструменты для аналитиков, которые работают с данными в OneDWH Работать с графами зависимостей ETL-процессов: планирование выполнения, динамическое распределение по кластерам, оптимизация Строить отказоустойчивые решения для критичных данных Требования Опыт разработки сервисов на Go Уверенное владение PostgreSQL Опыт работы с Kafka Хорошее знание алгоритмов и структур данных, особенно графовых Будет плюсом Знакомство с Java, Python, Spark или YTsaurus Опыт в области DWH, ETL или дата-инженерии Опыт работы с Airflow Опыт работы с CI, CD-пайплайнами в GitLab или другой системе Желание тесно работать с дата-инженерами и аналитиками: вникать в их задачи и делать продукты, которые упрощают им жизнь

Location: Москва Workplace: Гибридный О компании Мы ищем руководителя, который возглавит развитие единой платформы данных о клиенте (CDP) и станет ключевым звеном в трансформации data-инфраструктуры компании. Вам предстоит управлять платформой enterprise-масштаба, стандартизировать инженерные процессы и выстраивать data governance для тысяч потребителей данных. Это роль для лидера, который умеет соединять бизнес-стратегию с технической реализацией и готов брать на себя ответственность за платформу, от которой зависят цифровые продукты и клиентский опыт миллионов пользователей. Обязанности Владеть продуктовой стратегией и архитектурой единой платформы данных о клиенте (профиль, гео, поведенческие и транзакционные атрибуты), разрабатывать дорожную карту развития и приоритизировать фичи; Стандартизировать инженерные процессы продуктовых команд, развивать единые практики разработки для всех инженерных команд внутри CDP: контракты данных, код-ревью, тестирование пайплайнов, CI/CD для пакетных и потоковых загрузок; Управлять жизненным циклом данных и SLA по доставке (батч / стрим / ad-hoc), развивать единую очередь приоритизации запросов; Выстраивать data governance, каталогизацию, качество и безопасность данных, внедрять подходы по работе с профилем клиента различными потребителями данных; Развивать финмодель эффектов внедрения фич для цифровых продуктов, обосновывать инвестиции в платформу на C-level уровне; Трансформировать дата-инженерные процессы и операционную модель управления дата-платформой, строить метрики продуктивности инженерных команд; Вести переговоры на стыке бизнеса и дата-инженерии, проводить приоритизацию бэклога и коммуницировать стратегию платформы стейкхолдерам. Требования Опыт управления data-платформами enterprise-масштаба: от 5-7 лет в продуктовом менеджменте дата-платформенных продуктов, из них не менее 2-3 лет — на позиции руководителя с ответственностью за платформу, а не за отдельный продукт или фичу; Понимание экосистемы Hadoop и современного дата-стека: практическое знание Hadoop, Spark, Kafka (или аналогов для стриминга), Hive/Impala, оркестраторов (Airflow); Опыт работы с пакетными, потоковыми и ad-hoc паттернами доставки данных, понимание разницы в SLA, инженерных подходах и стоимости поддержки трёх контуров, опыт построения приоритизации бэклога; Опыт трансформации дата-инженерных процессов и операционной модели управления дата-платформой, навыки построения метрик продуктивности инженерных команд; Опыт работы с чувствительными данными, знание практик управления доступом, каталогизации данных, внедрения политик качества данных; Сильные коммуникационные и переговорные навыки на стыке бизнеса и дата-инженерии, умение обосновывать инвестиции в платформу и проводить приоритизацию на C-level уровне; Высшее образование (техническое или экономическое), владение английским языком на уровне B2+ (чтение документации, коммуникация с международными командами). Условия оклад + годовой бонус; ДМС с первого месяца работы, включая стоматологию. А еще оплачиваем 50% стоимости полиса ДМС для родственников; страхование от несчастных случаев с 1 месяца работы. Материальная помощь в сложных жизненных ситуациях; прием врачей общей практики и массаж в офисе. Консультация психологов и программа поддержки сотрудников; отпуск 28 календарных дней + 3 дня за ненормированный рабочий день; компенсация расходов на выбор сотрудника, например, на спорт, ипотеку или питание. Специальные предложения от партнеров и скидки от продуктов экосистемы МТС; мобильная связь за счет компании и льготные тарифы для близких; подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети; собственный корпоративный университет, онлайн-библиотека и оплачиваемое внешнее обучения для карьерного развития.

Location: Москва Workplace: Гибридный О компании Скоринг - это коммерческий B2B продукт для уменьшения рисков и затрат B2B-клиентов. Скоринг состоит из 2-х направлений: рисковый и антифрод. Обязанности Управлять сервисами и практиками надежности ИТ-продуктов: формировать бэклог, определять стратегию SRE для продуктов; Внедрять единую методологию управления надежностью (SLA/SLO/SLI) совместно со смежными Big Data продуктами, обеспечивая сквозную стабильность инфраструктуры и приложений кластера; Проектировать и развивать общие стандарты отказоустойчивости распределенных систем; Лидировать кросс-продуктовые рабочие группы по надежности: внедрять создание единых стандартов мониторинга, алертинга и распределенной трассировки для Big Data инфраструктуры; Управлять эффективностью использования ресурсов (Capacity Planning) высоконагруженных кластеров в масштабах всей экосистемы продуктов; Выстраивать общую культуру разбора инцидентов со смежными командами, превращая аварии на стыке систем в общие инженерные практики и системные улучшения; Менторить команды разработки и аналитики, помогая им проектировать сервисы с учетом нефункциональных требований и продуктовых SLO. Требования Опыт работы в роли SRE / Infrastructure / Platform или Technical Product Manager (Platform) от 3 лет в крупных высоконагруженных или Big Data проектах; Продуктовое мышление: умение собирать требования у внутренних клиентов (разработка, дата-инженеры), приоритизировать бэклог и оцифровывать надежность в бизнес-метрики; Практический опыт выстраивания общих технических стандартов и процессов в кросс-продуктовой среде; Отличное понимание специфики надежности Big Data решений и Highload-архитектуры: принципы работы аналитических БД (Hadoop, Clickhouse) распределенных брокеров (Apache Kafka), и микросервисов; Экспертные знания в области построения систем сквозного наблюдаемости (Observability: Prometheus, VictoriaMetrics, OpenTelemetry, Grafana) на стыке инфраструктуры и бизнес-метрик; Глубокое понимание архитектурных паттернов отказоустойчивости распределенных систем и жизненного цикла поставки ценности; Сильные коммуникативные навыки: умение договариваться, защищать продуктовые метрики перед стейкхолдерами и мягко внедрять инженерные изменения. Условия собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах; профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше; внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации; участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch; полезные курсы и вебинары в корпоративном университете и электронную библиотеку. А еще: ДМС с первого месяца работы, включая стоматологию; страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях; отпуск 28 календарных дней; прием врачей общей практики и массаж в офисе; мобильная связь за счет компании и льготные тарифы для близких; подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.

Location: Москва Workplace: Гибридный О компании Big Data — один из ключевых юнитов МТС. Сегодня Big Data — это 20 петабайт данных, 5 000 метрик на профиль и 400 увлечённых профессионалов в команде. Наши технологии применяются практически во всех направлениях компании — маркетинг, обслуживание, планирование сети, HR, розница. Один из ключевых продуктов — рекомендательная платформа, которая использует всю мощь ML и больших данных для подбора наиболее релевантных айтемов для клиентов из каталогов МТС. Мы уже поставляем рекомендации в онлайн-кинотеатр КИОН, в читалку «Строки», МТС Банк, сервисы по продаже билетов, интернет-магазин и другие продукты экосистемы МТС. Сейчас мы объединяем рекомендательные движки в единую платформу, создаём универсальный поисковый движок, realtime-триггеры и масштабируем решения на все сервисы компании. Сейчас находимся в поиске Middle ML-инженера в RecSys. Стек - Python, Hadoop, Pytorch, Catboost, Triton, vLLM, FastAPI, k8s, PostgreSQL, Aerospike, Kafka, Airflow, GitLab CI, Grafana Обязанности Разрабатывать и обучать рекомендательные ML-модели от идеи до продуктивизации; Формулировать и проверять гипотезы по улучшению рекомендаций для роста бизнес-метрик клиентов; Внедрять ML-пайплайны в real-time сервисы и доводить модели до продакшена; Работать с рекомендательной платформой: использовать готовые наработки и активно контрибьютить в её развитие; Проводить исследовательские задачи — читать статьи, воплощать новые подходы, в том числе генеративные полки на основе предпочтений пользователей; Взаимодействовать с дата-инженерами по доработке витрин и пайплайнов, с аналитиками — по постановке и проверке A/B-тестов. Требования Уверенные навыки Python и хорошее знание теории вероятностей и математической статистики; Коммерческий опыт в Data Science от 2 лет и понимание ML-архитектуры — не только эксперименты в ноутбуке, но и реальные внедрения в продукт; Опыт разработки и продуктивизации ML-сервисов (от моделей до API); Опыт внедрения ML-пайплайнов в real-time сервисы; Опыт работы с шедулерами (Airflow или аналог), pyspark и SQL/NoSQL базами данных; Самостоятельность: умение предлагать технические и архитектурные решения, технологии и направления улучшений; Хорошие коммуникативные и аналитические навыки. Условия Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах; Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше; Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации; Участие во внешних ИТ конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch; Полезные курсы и вебинары в корпоративном университете и электронную библиотеку; ДМС с первого месяца работы, включая стоматологию; Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях; Отпуск 28 календарных дней (+3 дополнительных дня за ненормированный рабочий день); Гибридный формат работы; Прием врачей общей практики и массаж в офисе; Мобильная связь за счет компании и льготные тарифы для близких; Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.

Задачи: - Разработка моделей данных и отчетных решений в Power BI и Apache Superset с учетом бизнес-задач; - Создание и оптимизация сложных SQL-запросов, реализация dbt-моделей для трансформации данных;

Location: Санкт-Петербург Команда ИИ-Помощник развивает два направления в рамках программы «Миграция с SAP»: 1) Миграция отчетности с SAP на целевую платформу. Наша команда бизнес-аналитиков и дата-инженеров обеспечивает перенос отчетности для всех продуктовых команд, которые участвуют в программе миграции. Мы работаем с бизнес-требованиями, занимается коммуникациями с внешними потребителями и непосредственно разрабатываем ETL-процессы, витрины и отчетные формы.  2) AI-агентизация бизнес-процессов. В рамках данного направления наша команда создает no-code конструктор ai-помощников/ai-агентов и мультиагентных систем, а также занимается внедрением кастомных ai-агентов с использованием LLM. Команда использует современные общепринятые технологии, библиотеки и подходы для реализации указанных задач – python, LangChain, LangGraph, RAG. В конечном итоге, эти два направления должны объединиться в реализованной мультиагентной системе, которая может самостоятельно планировать свою работу, исходя из задачи и доступных ей инструментов, принимать решения, извлекать необходимые для этого данные напрямую из баз и хранилищ данных и влиять на внешний мир с помощью вызова API смежных информационных систем и других мультиагентных систем. Обязанности * исследование бизнес-процессов и клиентских путей, подлежащих автоматизации * взаимодействие с заказчиком с целью сбора информации, формирование бизнес-требований * проработка и согласование требований к АС и интеграций со смежными системами * декомпозиция бизнес-требований на бэклог задач для разработки * подготовка технической документации для функционала системы и интеграционных интерфейсов * участие в принятии архитектурных решений в тестировании, приёмке и внедрении системы * взаимодействие с разработчиками и бизнес-заказчиком в формате Agile * осуществление архитектурного надзора над подрядчиком. Требования * подтвержденный опыт работы системным аналитиком от пяти лет * опыт участия в крупных проектах автоматизации полного цикла * знание нотаций моделирования бизнес-процессов * знания в области архитектуры приложений * умение моделировать клиентский путь * владение навыками сбора, анализа и описания требований * отличные навыки общения с заказчиком и разработчиками, развитые коммуникативные способности * понимание жизненного цикла разработки ПО, основные методологии разработки ПО (Waterfall, Agile) * опыт командной разработки с использованием Confluence, Jira * знание основных методологий разработки программного обеспечения (Agile, DevOps и т.п.) * знание основ баз данных, тестирования и развёртывания ПО * системное мышление, аналитический подход к решению задач, ориентация на результат * умение планировать собственную загрузку * оконченное высшее образование * навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом * опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов * инструментальное владение AI для анализа, генерации и автоматизации. Условия * ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования) * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера.

— настроить внедряемый сейчас Mindbox, сегментировать базу, запустить. триггерные и массовые коммуникации.

Задачи: — Руководство командой дата-инженеров (распределение задач, декомпозиция) — Выстраивание рабочих процессов и технологических стандартов — Проектирование и развитие архитектуры обработки и хранения данных — Организация сбора и обработки данных для продуктовых команд и аналитиков — Обеспечение качества и своевременной доставки данных — Поддержка BI-команды в задачах, связанных с данными Требования: — Опыт в Data Engineering от 5 лет — Опыт руководства командой либо замещения руководителя — Навыки проектирования хранилищ данных и пайплайнов обработки — Широкий технический кругозор в инструментах работы с данными — Умение выстраивать процессы и взаимодействовать со смежными командами — Продуктовый подход к работе с данными

🌸Assist the Data Analytics team in delivering cutting-edge analytics, structured reporting, and modern AI/automation solutions for global business stakeholders; 🌸Perform comprehensive data quality checks, troubleshoot data anomalies across ERP and reporting systems, and coordinate with senior team members for escalations;