Streaming Data Engineer

Проектировать, разрабатывать и поддерживать потоковые пайплайны на Kafka и CDC с гарантированной доставкой данных Обеспечивать обработку данных в режиме реального времени (за доли секунды) Управлять партиционированием, ключами, гарантиями доставки и эволюцией схем Диагностировать и устранять проблемы долгоживущих стриминговых джобов (hot keys, перекос партиций, рост состояния, checkpoints) Интегрировать источники данных через CDC (Debezium) и обеспечивать надёжную работу при изменениях схем Разрабатывать отказоустойчивые решения с учётом таймаутов, ретраев, backpressure и circuit breakers Участвовать в развитии архитектуры data-платформы и предлагать технические решения для повышения надёжности и производительности Опыт работы с Kafka в production: нагруженные топики, выбор числа партиций и ключей, rebalance, commit оффсетов, at-least-once и идемпотентная обработка Практический опыт CDC (Debezium): понимание WAL/binlog, change-событий, снапшота и стриминговой фазы Опыт работы со Schema Registry и управлением совместимостью схем (backward/forward) Уверенное знание SQL (агрегации, JOIN, поведение NULL) Опыт разработки на Java в production: многопоточность, CompletableFuture, конкурентные коллекции Понимание принципов распределённых систем и отказоустойчивости Самостоятельность, ответственность за полный цикл (от проектирования до эксплуатации) и умение чётко объяснять технические решения Будет преимуществом Опыт с Apache Flink (event-time, watermarks, checkpoints/savepoints, RocksDB state backend) Опыт со Spark Streaming или другими стриминговыми движками Знание вероятностных структур данных (HyperLogLog и аналоги) Опыт работы с высоконагруженными системами (тысячи событий в секунду) Работа с highload-продуктами, терабайтами данных и аудиторией 100M+ пользователей по всему миру Гибкий формат работы: удалённо, гибридно или из офиса Расширенный релокационный пакет, включающий релокацию специалиста и членов его семьи ДМС со стоматологией после испытательного срока Компенсация спорта, английского языка и сессий с психологом Компенсация профильного обучения и возможность обмениваться экспертизой внутри команды Корпоративная библиотека, командные мероприятия, мастер-классы и другие внутренние активности Высокий уровень самостоятельности и возможность напрямую влиять на технические решения и развитие data-платформы.