Data Engineer (Data Platform)

Задачи: — Разрабатывать пайплайны на Python и SQL для загрузки данных из файлов, API и информационных систем, включая парсинг сложных и вложенных XML/JSON, нормализацию и загрузку в хранилище. — Разворачивать, настраивать и поддерживать инструменты обработки данных, включая оркестрацию, хранилище и S3. — Проектировать модель хранилища данных: сущности, связи, правила преобразования источников. — Обеспечивать надежность пайплайнов: инкрементальные загрузки, повторные запуски без дублирования, обработка ошибок и разбор сбоев. — Встраивать в потоки данных псевдоанонимизацию и проверки качества. — Готовить версионируемые датасеты для ML-команды. Требования: — Уверенное владение Python и SQL, написание продакшн-кода. — Практический опыт ETL/ELT процессов: оркестрация, инкрементальная обработка, backfill, повторные запуски. — Опыт самостоятельной настройки и поддержки дата-инфраструктуры. — Знание реляционного моделирования, ключей и связей. — Опыт работы с S3, Parquet, pandas, Polars, PyArrow. — Владение Linux, Git, Docker, CI/CD. — Опыт работы с чувствительными данными, включая контроль доступа и отсутствие персональных данных в логах. Будет плюсом: — Опыт работы с медицинскими данными, интеграциями с МИС и клиническими справочниками. — Опыт подготовки данных для ML, включая разбиение выборок, проверку утечек и версионирование (DVC, MLflow или аналоги). — Опыт превращения прототипа в регулярно работающий пайплайн. Условия: — Работа в команде, создающей Data Platform с нуля, с возможностью влиять на архитектуру и выбор инструментов. — Работа с сложными и разнородными медицинскими данными. — Участие в создании продукта, приносящего реальную пользу врачам и пациентам.