Data Engineer в команду SMT

Задачи: — Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform. — Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse). — Работать с большими объёмами данных и высоконагруженными Kafka‑топиками. — Строить отказоустойчивые пайплайны обработки и доставки данных. — Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных. — Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP). — Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI). Требования: — Опыт 3+ лет на позиции Data Engineer / Big Data Engineer. — Хорошее понимание и умение готовить Apache Spark. — Опыт работы с ClickHouse и умение максимально эффективно его использовать. — Опыт работы с высоконагруженной Kafka (десятки / сотни тысяч событий в секунду). — Знакомство с построением дата‑архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Governance). — Умение проектировать отказоустойчивые пайплайны. — Владение одним из языков программирования (например, Python или Scala). — Знание SQL и умение читать логику отчётов. Плюсом будут: — Опыт построения дата‑платформ (Self‑Service инструменты и процессы). — Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts). — Опыт построения Data Lineage и работы с Data Catalog. — Инфраструктурный опыт: Docker, Kubernetes, CI/CD. Условия: — Возможность работать удалённо. — Полный рабочий день. — «Белая» зарплата. — ДМС, онлайн‑консультации терапевта, невролога, психолога и медицинского агента. — Учебный центр, курсы, тренинги и книги для развития навыков. — Поддержка выступлений на конференциях и публикаций на Хабре. Дополнительно: — Работа в компании 2GIS, аккредитованной IT-компании. — Возможность работать в офисах в Москве, Санкт-Петербурге, Новосибирске или удалённо. — Акцент на результат, а не на локацию. Ограничения по городу не указаны, работа возможна удалённо.