Описание вакансии
Коротко о ролиРазрабатывать и сопровождать потоковые приложения на Apache Flink: подключать новые домены и типы событий, реализовывать дедупликацию, идемпотентную обработку, обогащение через Redis и маршрутизацию невалидных событий в DLQ; участвовать в восстановлении и дозагрузке данных;
Задачи:
— Разрабатывать и сопровождать потоковые приложения на Apache Flink: подключать новые домены и типы событий, реализовывать дедупликацию, идемпотентную обработку, обогащение через Redis и маршрутизацию невалидных событий в DLQ;
— Обеспечивать полноту и качество потоков: контролировать lag, пропуски, дубли, объёмы, freshness, расхождения между источником и целевым хранилищем;
— Участвовать в восстановлении и дозагрузке данных;
— Развивать batch-пайплайны в Apache Airflow: регуляторные выгрузки день в день, bulk-загрузки в Cassandra, проверки полноты, свежести и результатов загрузки;
— Подключать новые источники: разбираться в семантике событий, идентификациях, ключах партиционирования, формате данных, ретенции, владельцах и ограничениях источника;
— Работать с Cassandra, документацией потоков, runbook и постмортемами;
— Участвовать в on-call по регламенту: локализовать инциденты, корректно эскалировать, объяснять простои и фиксировать пробелы в сборе данных.
Требования:
— От 3 лет опыта в Data Engineering либо backend-разработке с практическим переходом в data-направление;
— Уверенный SQL и понимание работы с большими объёмами: партиционирование, шардирование, распределённые вычисления, оценка стоимости запросов и поиск узких мест;
— Опыт построения корпоративных DWH, понимание слоев данных;
— Практический опыт с Kafka: producer/consumer, consumer groups, ключи и партиционирование, offsets, ретенция, replay, обработка ошибок, DLQ;
— Python для data-задач и Airflow: умение разрабатывать и сопровождать DAG-и, писать идемпотентные задачи, организовывать retries и backfill;
— Опыт работы с Java-кодом Flink (Python Flink может быть релевантным как опыт): читать, дорабатывать, отлаживать, разбираться в причинах рестартов, checkpointing и backpressure;
— Опыт самостоятельной разработки stateful Flink-пайплайнов будет преимуществом;
— Практический опыт хотя бы с одной технологией: Cassandra или ClickHouse;
— Для Cassandra: понимание моделирования от паттернов доступа, partition key, TTL, консистентности и особенностей записи;
— Для ClickHouse: оптимизация запросов, работа с кластером и шардами, моделирование таблиц, TTL и особенности upsert/merge-семантики;
— Опыт сопровождения Airflow-пайплайнов в production;
— Привычка к инженерному циклу: тесты, CI/CD, кволитигейт, мониторинг, алерты, анализ причин инцидента и профилактические действия;
— Внимательность к SLA и регуляторным ограничениям: если данные нельзя терять, система должна уметь это обнаружить, объяснить и восстановить.
Условия:
— Обучение и развитие: языковые клубы, корпоративный университет, программы развития управленческих навыков;
— Корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога;
— Сообщества: клуб спикеров, футбола, йоги, шахмат и др.;
— Забота о семьях: гибкий подход и проекты для детей сотрудников;
— Скидки и партнерские программы на обучение, страхование, покупки;
— Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.