Lead Data Platform Engineer

Задачи: — Проектирование масштабируемой, надёжной и производительной архитектуры единой платформы данных — Разработка и сопровождение технической дорожной карты платформы, синхронизированной с бизнес-целями и потребностями исследователей — Анализ и обеспечение масштабируемости, надёжности и производительности ключевых компонентов — Проектирование и внедрение систем оркестрации многоэтапных пайплайнов обработки данных — Разработка ключевых компонентов платформы: панель управления, оркестраторы, агенты, API, SDK — Создание и развитие self-service инструментов для дата-инженеров и аналитиков — Обеспечение мультитенантности, разграничения доступа и аудит-логирования — Обеспечение целостности, надёжности и безопасности данных на всех этапах — Оптимизация использования вычислительных и storage-ресурсов (capacity planning, performance benchmarking) — Развитие observability: мониторинг, APM, алертинг — Формирование и внедрение технических стандартов платформенной команды — Систематизация процессов разработки, унификация стека и инструментария — Ведение технической документации по платформенным сервисам и архитектурным решениям Требования: — Опыт проектирования горизонтально масштабируемых, отказоустойчивых data-intensive систем на bare-metal/VM и/или в Kubernetes — Понимание архитектурных компромиссов и умение выбирать решения под конкретные нагрузки — Уверенное владение Python — Опыт разработки бэкенд-сервисов и API с использованием FastAPI — Опыт работы с оркестраторами пайплайнов: Airflow, Dagster и другие — Понимание HTC/HPC-систем — Опыт работы с распределёнными системами хранения: Ceph (CephFS), S3-совместимыми хранилищами — Понимание объектного и файлового хранения для нагрузок с интенсивной обработкой данных — Опыт построения CI/CD-пайплайнов в GitLab — Способность принимать и аргументировать системные архитектурные решения — Опыт формирования технических стандартов: архитектурные принципы, code review, инженерная документация, практики эксплуатации Будет плюсом: — Опыт разработки на Go — Глубокое понимание Kubernetes: рабочие нагрузки, операторы, сетевые политики, безопасность — Опыт работы с планировщиками типа Slurm — Опыт работы с Singularity/Apptainer контейнерами — Опыт в домене биотехнологий/биоинформатики и понимание специфики рабочих нагрузок Условия: — Оформление по ТК РФ — Достойный уровень з/п, обсуждается индивидуально в зависимости от навыков — Работа в быстрорастущей, стабильной организации, которой не страшен кризис — Команда профессионалов на стыке передовых ИТ и науки — Только современное оборудование для рабочих мест — Возможность профессионального роста, обучение — График 5/2, офис в Москве, после испытательного срока возможен гибрид