Требования:
- Опыт TeamLead (управление командой) не менее 4 лет;
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД;
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД;
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных;
- Опыт участия в проектах миграции ETL-систем (Apache стек);
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API);
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка);
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование);
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum);
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка;
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы;
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT;
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC);
- Опыт работы с Оracle;
- Опыт применения сложных SQL-запросов (оконные функции, джоины);
- Умение оптимизировать запросы для highload-среды;
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами;
- Опыт настройки потоковой обработки данных;
- Опыт работы с Hadoop и Hive (знание версий, источников данных);
- Опыт работы с PostgreSQL, Greenplum, Clickhouse;
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов;
- Опыт работы с биллингом;
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики);
Обязанности:
- Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
- Подготовка документации AS IS и TO BE;
- Написание SQL кода;
- Отслеживание метрик.
Задачи:
- Проводить проектную коммуникацию с представителями бизнес-заказчика с целью уточнения бизнес-требований
- Выявлять и проводить анализ бизнес-требований, потребностей и проблем бизнес-заказчика
- Формировать спецификации требований, описание логических моделей, структур данных и проектных решений (хранилища и витрины данных)
- Согласовывать проектные решения с архитекторами, разработчиками и аналитиками смежных команд
- Проектировать и разрабатывать ETL/ELT процессы, слои хранилища и витрины данных
- Разрабатывать и оптимизировать SQL-запросы
- Проводить внутреннее тестирование и контроль качества информационных продуктов, реализованных разработчиками
- Принимать участие в приёмочных испытаниях информационных продуктов и документации с заказчиками
- Обеспечивать контроль качества данных и их целостность
Требования:
- Высшее образование: техническое, математическое или финансовое
- Опыт работы не менее 5 лет
- Уверенные знания Python, GIT, Airflow (DAG с декомпозицией задач, зависимостями, сенсорами)
- Глубокое знание SQL: оконные функции, процедуры, функции, вложенные запросы, опыт оптимизации запросов
- Понимание индексов, партиций, ключей, нормальных форм, SCD
- Понимание моделирования данных, построения хранилища, репликации и консистентности данных
- Умение рефакторить код и проводить миграцию из одной системы в другую
- Знание принципов CI/CD
- Знание PL/SQL для Oracle, Postgres, Greenplum или знание иной MPP СУБД (будет плюсом)
- Опыт работы с API (будет плюсом)
- Знание ООП, DBT, Kafka, Bash, SAS (будет плюсом)
УдалённоseniorМосква
Зарплата не указана
Не хотите искать каждый день?
Настройте подбор один раз, и подходящие вакансии будут сами приходить в Telegram.
Задачи:
— глубокий анализ данных для построения и калибровки моделей
— опыт построения uplift-моделей и кривых отклика для оптимизации процентных ставок
— разработка моделей оценки эластичности спроса на кредит по ставке
— разработка, обучение и валидация продвинутых ML-моделей для индивидуального ценообразования (регрессионные модели, градиентный бустинг, методы обучения с подкреплением / Reinforcement Learning для динамического ценообразования)
— анализ и интерпретация результатов A/B-тестов ценовых стратегий, оценка их бизнес-эффекта (влияние на выручку, маржу, конверсию, LTV)
— построение и оптимизация симуляционных сред для предварительной оценки эффекта ценовых изменений.
Требования:
— глубокое знание и практический опыт (от 3 лет) применения методов машинного обучения и анализа данных для решения бизнес-задач, желательно в области ценообразования, экономики или финтеха
— продвинутый уровень знаний в области статистики, эконометрики и методологии проведения A/B-тестов
— понимание принципов микроэкономики и теории цен
— опыт разработки и внедрения в production моделей, напрямую влияющих на финансовые метрики (выручка, маржа)
— продвинутые знания SQL и Python для анализа данных и ML
— опыт работы с Python ML-фреймворками (Scikit-Learn, LightGBM/CatBoost/XGBoost, PyTorch/TensorFlow, библиотеки для RL), Spark (PySpark), опыт работы с базами данных (GreenPlum, PostgreSQL, ClickHouse).
Будет плюсом:
— опыт построения систем динамического ценообразования (dynamic pricing) или моделей на основе обучения с подкреплением (Reinforcement Learning)
— опыт работы в ритейле, финтехе, marketplace-сегменте или сфере услуг с высокой конкуренцией
— умение переводить бизнес-задачи на язык данных и обратно
— знание основ юнит-экономики и финансового моделирования
— опыт разработки или интеграции решений с применением GenAI.
Условия:
— комфортный современный офис рядом с м. Кутузовская
— офисный формат работы
— ежегодный пересмотр зарплаты, квартальная и годовая премия
— корпоративный спортзал и зоны отдыха
— более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
— программа адаптации и помощь руководителя на старте
— расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
— гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
— подписка Прайм с возможностью совместного использования на трёх близких
— вознаграждение за рекомендацию друзей в команду Сбера.
Задачи:
– Разработка и рефакторинг ETL/ELT пайплайнов на pyspark;
– Разработка и поддержка OLAP движков Starrocks/Clickhouse;
– Поддержка текущих пайплайнов на Greenplum и Hadoop;
– Миграция с HDFS на S3;
– Оптимизация spark-приложений.
Требования:
– Опыт работы с Python от 3 лет;
– Глубокое знание SQL и опыт работы с большими данными;
– Опыт работы с Apache Airflow;
– Опыт проектирования и разработки ETL/ELT процессов;
– Опыт работы с колоночными БД (ClickHouse);
– Знание принципов построения Data Warehouse и Data Lake;
– Понимание разницы между OLTP/OLAP системами;
– Уверенная работа c linux и git;
– Понимание процессов ci/cd.
Задачи:
— Проектировать и развивать модель данных DWH по методологии Data Vault
— Собирать и формализовать требования к источникам, витринам и загрузкам
— Проектировать потоки данных от источников (PostgreSQL и ClickHouse) до целевых слоёв хранилища
— Писать и оптимизировать SQL-запросы под Greenplum
— Описывать логику трансформаций и участвовать в постановке задач разработчикам
— Развивать процессы контроля качества данных (DQ)
Требования:
— Уверенный SQL и опыт работы с Greenplum
— Знания основ и моделей хранилищ данных
— Практический опыт проектирования по Data Vault
— Опыт работы с реляционными источниками (PostgreSQL) и аналитическими СУБД (ClickHouse)
Будет большим плюсом:
— Опыт работы с dbt
— Airflow
— Инструменты контроля качества данных (Soda Core или аналоги)
Условия:
— Официальное трудоустройство в штат компании по ТК РФ
— Гибкий формат работы: возможность удалённо работать или в офисе в Москве (в одной минуте ходьбы от м. Технопарк)
— Расширенная программа ДМС со стоматологией с первого дня работы
— Доплата по больничному листу до оклада до 5 рабочих дней в год
— Линия психологической поддержки
— Врач в офисе и массажные кресла (для сотрудников в Москве)
— Бесплатные посещения фитнес-клуба А-sport на ст. м. Технопарк
— Корпоративная программа профессионального обучения совместно с Альфа Групп
— Возможность участия в профильных конференциях
— Онлайн-библиотека
— Карьерное развитие и программа наставничества
— Кафетерий льгот через 6 месяцев (спорт, организация рабочего места, здоровье, дети, питомцы, благотворительность и др.)
— Корпоративные мероприятия и тимбилдинги в онлайн и офлайн формате
— Подарки к праздникам и материальная помощь по особым случаям
— 3 дня 100% оплачиваемых day off в году
Задачи:
— Работа в области аналитики данных и больших данных в стеке posgree, greenplum, hadoop, datalake, Hue, Clickhouse;
— Участвовать в разработке новых и усовершенствовании текущих стратегий коммуникации с клиентами Банка;
— Анализировать net-эффективность стратегий коммуникаций;
— Разрабатывать новые и предлагать изменения для текущих аналитических выкладок по стратегии коммуникации.
Требования:
— Владение навыками работы с базами данных (oracle, posgree, mssql и др.);
— Интерес к аналитике процессов и работе с детальными данными;
— Желание видеть результаты внедренных изменений и их эффект на бизнес процессах;
— Образование в ВУЗе по профилю, соответствующему работе аналитика данных или процессов, разработчика или менеджера процессов.
Задачи:
— Создание и поддержка кластеров: Kubernetes, Kafka, Greenplum, Cassandra, Hadoop, Apache Ozone
Требования:
— Опыт работы DevOps-инженером от 7 лет
— Установка и администрирование ОС Linux / Ubuntu / Talos
— Работа на уровне железа/сети: обновление прошивок сетевых карт, настройка бондинга (bonding)
— Глубокое понимание принципов DevOps и выстроенных процессов CI/CD
— Опыт работы с системами управления конфигурациями (Ansible) и оркестраторами
— Уверенная автоматизация рутинных процессов на Python и Bash
— Навыки написания скриптов автоматизации и опыт разработки веб-сервисов (API) на Python
— Отличное владение Docker и Git
— Опыт администрирования реляционных баз данных на уровне администратора
— Опыт работы с Apache Ozone
Условия:
— null
Требования к кандидату:
— Опыт работы DevOps-инженером от 7 лет;
— Установка и администрирование ОС Linux / Ubuntu / Talos;
— Работа на уровне железа/сети: обновление прошивок сетевых карт, настройка бондинга (bonding);
— Создание и поддержка кластеров: K8s, Kafka, Greenplum, Cassandra, Hadoop, Apache Ozone;
— Глубокое понимание принципов DevOps и выстроенных процессов CI/CD;
— Опыт работы с системами управления конфигурациями (Ansible) и оркестраторами;
— Уверенная автоматизация рутинных процессов на Python и Bash;
— Навыки написания скриптов автоматизации и опыт разработки веб-сервисов (API) на Python;
— Отличное владение Docker и Git;
— Опыт администрирования реляционных баз данных на уровне администратора.
Проект: Телеком
Требования:
Опыт работы DevOps от 7 лет
Установка и администрирование ОС Linux/Ubuntu/Talos
Обновление прошивок сетевых карт, настройка бондинга
Создание и поддержка кластеров Kubernetes, Kafka, Greenplum, Cassandra, Hadoop, Apache Ozone
Понимание принципов работы DevOps, процессов CI/CD
Опыт работы с системой управления конфигурацией Ansible
Опыт работы с оркестраторами
Автоматизация на Python, bash
Навыки работы с Docker
Умение работать с git
Опыт написания веб сервисов (api) на python
Написание скриптов по автоматизации на python
Опыт работы с реляционными БД на уровне администратора
Очень важен опыт с Apache Ozone
Условия:
ИП до 1300 руб/час (фуллтайм)
Сроки проекта: 6 мес (с возможной пролонгацией)
Гражданство РФ и локация РФ (удаленка)
Потребуется оформление по ТК РФ по совместительству для доступов
Задачи:
— Документировать и наполнять базы знаний (Jira/Confluence)
— Разработка и актуализация HLD/LLD
— Решать типовые задачи, обрабатывать инциденты совместно с архитекторами/экспертами
— Осуществлять подготовку deplоyment-приложений для установки их в кластер
— Автоматизировать рутинные процессы
— Поддерживать пользователей и помогать им в выполнении шаблонных задач
— Разработка автоматизации и средств мониторинга на Python
Обязательные навыки:
— Опыт в роли от 3 лет
— Установка и администрирование ОС Linux/Ubuntu
— Создание и поддержка кластеров K8s, Kafka, Greenplum, Cassandra
— Понимание принципов работы DevOps, процессовCI\CD
— Опыт работы с системой управления конфигурацией (Ansible)
— Опыт работы с оркестраторами
— Опыт настройки мониторинга и алертинга
— Автоматизация на Python, bash
— Навыки работы с Docker
— Умение работать c git
— Опыт написания веб сервисов (api) на python
— Написание скриптов по автоматизации на python
— Опыт работы с реляционными БД (Oracle, ClickHouse, PostgreSql) на уровне администратора
Требования:
— Опыт работы DevOps от 7 лет
— Установка и администрирование ОС Linux/Ubuntu/Talos
— Обновление прошивок сетевых карт, настройка бондинга
— Создание и поддержка кластеров Kubernetes, Kafka, Greenplum, Cassandra, Hadoop, Apache Ozone
— Понимание принципов работы DevOps, процессов CI/CD
— Опыт работы с системой управления конфигурацией Ansible
— Опыт работы с оркестраторами
— Автоматизация на Python, bash
— Навыки работы с Docker
— Умение работать с git
— Опыт написания веб сервисов (api) на Python
— Написание скриптов по автоматизации на Python
— Опыт работы с реляционными базами данных на уровне администратора
Задачи:
— Прорабатывать клиентские пути создания витрин данных
— Собирать и анализировать требования к развитию CI/CD-платформы и инструментов разработки
— Разрабатывать технические задания на создание DevOps-решений
— Проектировать функциональные решения и интеграционные взаимодействия со смежными информационными системами посредством REST API
— Консультировать разработчиков и пользователей по вопросам реализации требований и устранения выявленных ошибок
— Оценивать трудозатраты, планировать задачи и участвовать в спринтах в рамках методологий Agile/Scrum
— Подготавливать, актуализировать и вести техническую документацию с использованием UML, BPMN и OpenAPI
Требования:
— Знание видов требований, составление технического задания, UML/BPMN, Jira, Confluence, Git
— Знание, проектирование интеграций (REST API/MQ/Kafka), знание облачных DWH (ClickHouse, Greenplum), SQL
— Опыт описания и согласования клиентского пути под разработку витрин данных
Условия:
— Внутренние семинары, митапы
— ДМС со стоматологией для сотрудников и скидка на покупку ДМС для ближайших членов семьи
— Техника для комфортной работы
— Сессии профессионального развития персонала с планом индивидуального развития каждого сотрудника
Группа компаний «ДОМ.РФ» реализует национальные проекты в области жилищного строительства и ипотеки. Более 25 лет занимается развитием жилищной сферы в России. В компании работает более 9 тысяч человек, из которых более 1,5 тысяч — команда цифровой вертикали. ИТ-команда проводит цифровую трансформацию строительной отрасли и создает инновационные ИТ-продукты для людей, бизнеса и государства.
Описание:
Ищем разработчика-аналитика DWH в направление Рисков. Позиция предполагает примерно 60-70% разработки, остальная часть — аналитика и взаимодействие с заказчиком.
Задачи:
— Проводить проектную коммуникацию с представителями бизнес-заказчика для уточнения бизнес-требований
— Выявлять и анализировать бизнес-требования, потребности и проблемы заказчика
— Формировать спецификации требований, описание логических моделей, структур данных и проектных решений (хранилища и витрины данных)
— Согласовывать проектные решения с архитекторами, разработчиками и аналитиками смежных команд
— Проектировать и разрабатывать ETL/ELT процессы, слои хранилища и витрины данных
— Разрабатывать и оптимизировать SQL-запросы
— Проводить внутреннее тестирование и контроль качества информационных продуктов
— Участвовать в приёмочных испытаниях информационных продуктов и документации с заказчиками
— Обеспечивать контроль качества данных и их целостность
Требования:
— Высшее образование: техническое, математическое или финансовое
— Опыт работы не менее 5 лет
— Уверенные знания Python, GIT, Airflow (DAG с декомпозицией задач, зависимостями, сенсорами)
— Глубокое знание SQL: оконные функции, процедуры, функции, вложенные запросы, опыт оптимизации запросов
— Понимание индексов, партиций, ключей, нормальных форм, SCD
— Понимание моделирования данных, построения хранилища, репликации и консистентности данных
— Умение рефакторить код и проводить миграцию из одной системы в другую
— Знание принципов CI/CD
Будет плюсом:
— Знание PL/SQL для Oracle, Postres, Greenplum или иной MPP СУБД
— Опыт работы с API
— Знание ООП, DBT, Kafka, Bash, SAS, разработка кастомных Airflow операторов
Компания ДОМ.РФ реализует национальные проекты в области жилищного строительства и ипотеки, занимается развитием жилищной сферы в России более 25 лет. В компании работает более 9 тысяч человек, из которых более 1,5 тысяч в цифровой вертикали, которая проводит цифровую трансформацию строительной отрасли и создает инновационные ИТ-продукты.
Описание вакансии:
Мы ищем разработчика-аналитика DWH в направление Рисков. Работа состоит примерно из 60-70% разработки и остальной части аналитики и взаимодействия с заказчиком.
Задачи:
— Проводить проектную коммуникацию с бизнес-заказчиком для уточнения бизнес-требований
— Выявлять и анализировать бизнес-требования, потребности и проблемы заказчика
— Формировать спецификации требований, описания логических моделей, структур данных и проектных решений (хранилища и витрины данных)
— Согласовывать проектные решения с архитекторами, разработчиками и аналитиками смежных команд
— Проектировать и разрабатывать ETL/ELT процессы, слои хранилища и витрины данных
— Разрабатывать и оптимизировать SQL-запросы
— Проводить внутреннее тестирование и контроль качества информационных продуктов
— Участвовать в приёмочных испытаниях информационных продуктов и документации с заказчиками
— Обеспечивать контроль качества данных и их целостность
Требования:
— Высшее техническое, математическое или финансовое образование
— Опыт работы не менее 5 лет
— Уверенные знания Python, GIT, Airflow (DAG с декомпозицией задач, зависимостями, сенсорами)
— Глубокое знание SQL: оконные функции, процедуры, функции, вложенные запросы, опыт оптимизации запросов
— Понимание индексов, партиций, ключей, нормальных форм, SCD
— Понимание моделирования данных, построения хранилища, репликации и консистентности данных
— Умение рефакторить код и проводить миграцию из одной системы в другую
— Знание принципов CI/CD
Будет плюсом:
— Знание PL/SQL для Oracle, Postres, Greenplum или иной MPP СУБД
— Опыт работы с API
— Знание ООП, DBT, Kafka, Bash, SAS, разработка кастомных Airflow операторов
Проект
Крупный ритейл мебели и товаров для сна.
Ожидания от кандидата
- Понимание теории реляционных баз данных и архитектуры хранилищ данных, включая ключевые структуры и процессы;
- Владение методологиями проектирования и построения хранилищ данных;
- Знание подходов к формированию управленческой отчётности: умение готовить данные для витрин, выполнять выверки и контролировать целостность информации;
- Практическое применение Python в разработке решений для обработки и трансформации данных;
- Опыт работы с Airflow и понимание принципов оркестрации ETL‑процессов;
- Уверенное владение SQL, в том числе при работе с большими объёмами данных;
- Опыт использования DBT для построения и поддержки витрин данных;
- Практический опыт работы с ArenadataDB, Postgres и Greenplum; понимание особенностей обработки данных в MPP‑системах;
- Навыки оптимизации запросов для повышения производительности и снижения нагрузки на хранилище;
- Умение работать в команде по принципам командной разработки, владение Git для контроля версий и совместной работы с кодом.
Задачи на проекте
- Оптимизация и выверка запросов для построения витрин отчетности.
Условия работы
ТК РФ до 150 к на руки
ИП РФ до 1100 руб/час
Задачи:
— строить ML модели на основе различных данных: табличные, графовые, NLP, GEO, последовательности событий (кликстрим, транзакции и т.д.)
— писать production код и выводить его в ПРОМ
— улучшать процесс построения моделей, разрабатывать собственные прикладные модули командного фреймворка разработки для повышения производительности DS и улучшения качества кода в промышленной среде
— выдвигать data-driven гипотезы/предложения для запуска новых механик, а также поиск инсайтов в данных.
Требования:
— глубокое знание классического ML
— понимание основных Deep Learning подходов
— продвинутое знание SQL
— отличное знание Python
— понимание и опыт АB-тестирования.
Будет плюсом:
— понимание специфики разработки ML-технологий, начиная с формулировки бизнес-проблемы, заканчивая выведением на регулярную основу в прод
— опыт решения задач ранжирования или Real Time Bidding
— опыт работы с Pyspark, Greenplum.
Условия:
— комфортный современный офис рядом с м. Кутузовская
— офисный формат работы
— ежегодный пересмотр зарплаты, квартальная и годовая премия
— корпоративный спортзал и зоны отдыха
— более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
— программа адаптации и помощь руководителя на старте
— расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
— гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
— подписка Прайм с возможностью совместного использования на трёх близких
— вознаграждение за рекомендацию друзей в команду Сбера.
Задачи:
— Написание документации и сбор требований
— Сбор, анализ и обработка требований
— Разработка проектной и технической документации (БТ и ТЗ для формирования баз данных в IT подразделениях)
— Подготовка постановки на дашборды и отчёты с использованием BI инструментов
— Сбор данных и построение хранилища данных для отчётности ЦБ РФ
— Сбор, формализация и автоматизация управленческой отчётности банка
Тестирование:
— Участие в тестировании и сдаче-приёмке работ подрядчика
— Корректировка и постановка новых задач
— Тестирование выполненных работ на соответствие БТ и ТЗ
Управление проектами:
— Курирование проектов по созданию и внедрению единого корпоративного хранилища данных на всех стадиях
— Проведение демонстраций и приёмо-сдаточных испытаний
Требования:
— Навыки написания документации и сбора требований
— Опыт подготовки постановки на дашборды и отчёты с BI инструментами
— Опыт работы с Oracle, Hadoop, Greenplum, Visiology
— Опыт проектирования хранилищ данных
— Знание современных ИТ-решений и услуг в области разработки ПО
— Интерес к изучению новых технологий и консультированию по внедрению ПО
Условия:
— Амбициозные задачи с возможностью профессионального развития и карьерного роста
— Гибкий график, возможность смешанного режима работы (гибрид/удалённо)
— Оформление по ТК РФ
— Полис ДМС (со стоматологией) после испытательного срока
— Офисы: Тёплый Стан, ул. Профсоюзная 125А; Пресненская Набережная 10с2