Старший Инженер по данным [Автоматизированные сервисы МГТС]

Location: Москва Workplace: Гибридный О компании Поддержка и развитие Корпоративного хранилища данных (DWH) и Корпоративный портал отчетности. Обязанности Разработка и эксплуатация пайплайнов загрузки данных Уверенный Python и SQL; Опыт интеграции с API, обработки больших и вложенных наборов данных, повторных загрузок, retry, идемпотентности и частичных ошибок; Работа с распределёнными хранилищами и SQL-движками; Понимание принципов работы PostgreSQL/Greenplum, колоночных СУБД и распределённых SQL-движков; Умение анализировать план запроса, оптимизировать JOIN, партиционирование и распределение данных, диагностировать skew, bloat и проблемы производительности; Желателен опыт Trino, ClickHouse или аналогичных систем; Опыт проектирования слоёв хранения и моделей данных: staging/bronze, silver, gold, SCD, Data Vault или аналогичные подходы; Уверенная работа с Git и CI/CD: merge request, тестирование до merge, управление релизами, ручной deploy, rollback и разделение merge/deploy; Опыт построения и сопровождения регламентных процессов в Airflow, Dagster или аналогичных оркестраторах; Опыт Docker/Podman, Kubernetes или systemd-контейнеров, Ansible и безопасной работы с секретами. Требования Уверенное владение Python и SQL; Интеграция с API, обработка больших и вложенных наборов данных; Понимание принципов работы PostgreSQL/Greenplum, колоночных СУБД и распределённых SQL-движков; Опыт проектирования слоёв хранения и моделей данных: staging/bronze, silver, gold, SCD, Data Vault или аналогичные подходы; Умение синхронизировать схему, документацию, проверки качества и потребителей данных; Уверенная работа с Git и CI/CD: merge request, тестирование до merge, управление релизами, ручной deploy, rollback и разделение merge/deploy; Будет плюсом: Trino, ClickHouse, Iceberg, S3, каталоги наподобие Nessie. Условия Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах; Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше; Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации; Участие во внешних IT-мероприятиях. Наши эксперты выступают на ведущих профильных конференциях, таких как HighLoad++, DevOps Conf, Joker, AHA!, Матемаркетинг и другие. А еще мы организуем собственную масштабную конференцию True Tech Day и регулярно проводим митапы для разработчиков и инженеров; Полезные курсы и вебинары в корпоративном университете и электронную библиотеку; ДМС с первого месяца работы, включая стоматологию; Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях; Отпуск 28 календарных дней; Прием врачей общей практики и массаж в офисе; Мобильная связь за счет компании и льготные тарифы для близких; Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.