Data Engineer

Location: Москва SberData - департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных - Корпоративную аналитическую платформу, объем которого превышает 100 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI. Обеспечим развитие и интересные задачи в направлениях: работа над сопровождением крупных проектов хранилищ данных на базе Apache Hadoop и Kubernetes; Hadoop Ecosystem: Apache Spark, Hive, HBase, Kafka, NiFi; оптимизация процессов: Performance Tuning, улучшение SLA поставки данных; мониторинг качества данных, управление Мастер-данными и поддержание доступности платформ. Обязанности ### Задачи: * разбор и решение инцидентов по платформам и сервисам: Spark, Kafka, Hive, K8s * взаимодействие с разработчиками, бизнесом и 2-й линией * анализ причин проблем, выработка предиктивных мер и корректирующих действий * участие в приемо-сдаточных испытаниях прикладного ПО * исследование поведения системы, локализация дефектов, сопровождение патчей * консультации бизнес-пользователей и 2-й линии по вопросам работы с платформой. Требования ### Требования: * опыт работы Data Engineer / Support Engineer от 1,5 лет * уверенное владение SQL * опыт работы с СУБД (Oracle, PostgreSQL, Teradata) * знание клиент-серверных и микросервисных архитектур, понимание принципов построения интеграций через REST API * английский язык: чтение технической документации. ### Будет плюсом: * опыт работы со стеком Hadoop: Apache Hive, Spark, Kafka * python — для написания скриптов автоматизации * опыт создания дашбордов мониторинга: Grafana, Prometheus * опыт работы с продуктами Atlassian: Jira, Confluence * владение PSQL * понимание принципов функционирования хранилищ данных (OLTP/DWH) и систем хранения. Условия ### Условия: * комфортный современный офис: БЦ Даниловский форт, рядом с М.Тульская, Верхние котлы * **график работы – офис** * ежегодный пересмотр зарплаты, годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера.