Data Engineer (CDP)

2GIS CDP — это внутренняя Customer Data Platform, лежащая в основе стратегии развития всего 2ГИС на ближайшие годы. CDP объединяет данные из десятков источников, строит единые пользовательские профили, рассчитывает метрики, интересы и модели поведения, помогает запускать real-time персонализацию прямо в продукте и управлять персонализированной рекламой и коммуникацией. Это стартап внутри большой компании — со свободой в архитектуре и технологиях, с задачами уровня highload и с реальным влиянием на бизнес-результаты. О команде Мы объединяем инженеров, аналитиков и ML-специалистов, которые строят систему, меняющую подход к данным в 2ГИС. Работаем с большими объемами событий, продумываем архитектуру под масштаб и надежность, ценим простые и элегантные решения. Каждый в команде влияет на архитектуру, подходы и направление развития CDP. Наш стек Backend: Go, gRPC Frontend: TypeScript, React Autotests: Python, Playwright, Allure Infrastructure: Kubernetes, Kafka, ClickHouse, Spilo/PostreSQL, Spark, Airflow. Стек только формируется — ты сможешь повлиять на его развитие и архитектуру. Тебе предстоит Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга. Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков. Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей. Решать сложные инженерные задачи: расчеты метрик, построение витрин. Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС. Влиять на архитектурные решения и качество кода. Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений. Ждем от тебя Опыт работы с highload-системами. Опыт проектирования архитектуры данных или платформенного кода. Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных. Хорошо понимает, как работает Spark и умеет его готовить. Хорошо владеешь одним из языков программирования (например, Python или Scala). Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения. Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код. Будет плюсом: Опыт работы с Airflow. Опыт анализа данных с использованием SQL. Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts). Опыт построения Data Lineage и работы с Data Catalog. Понимание подходов к персонализации, сегментации или real-time аналитике. Понимание, как работает S3 хранилище. Почему это круто Масштаб: миллионы пользователей, миллиарды событий, сотни интеграций. Рост: CDP — стратегическое направление, растем быстро и даем расти команде. Свобода: минимум бюрократии, максимум ответственности. Видимый результат: все, что ты делаешь, влияет на продукт, коммуникации и рекламу 2ГИС. Хочешь строить внутренний «мозг» 2ГИС? Присоединяйся к команде CDP.