ВсеИнструментыру

Компания ВсеИнструментыру приглашает на должность Data Engineer для удалённой работы в России с полной занятостью. Основная задача специалиста — развитие корпоративной платформы данных и хранилища данных (DWH), включая модернизацию ETL-процессов с переходом с SSIS на Apache Airflow 3 и внутренний Python-фреймворк, а также повышение надёжности и удобства работы с данными для аналитических команд. В обязанности входит создание и поддержка устойчивых data-пайплайнов с обеспечением таких функций, как повторные попытки выполнения, backfill, идемпотентность, дедупликация и корректная обработка ошибок. Также требуется развитие проверок качества данных, оптимизация SQL-запросов и работы с Microsoft SQL Server, внедрение CI/CD-процессов для работы с данными, создание переиспользуемых инструментов и self-service решений, а также участие в развитии архитектуры DWH и методик моделирования данных. Кандидат должен иметь не менее трёх лет опыта работы Data Engineer, уверенные навыки SQL и опыт работы с Microsoft SQL Server, владение Python с применением ООП, модульной архитектуры, type hints, тестирования, логирования, работы с REST API и базами данных. Необходим опыт работы с Apache Airflow или аналогичными промышленными оркестраторами, знание dbt или похожих SQL-трансформационных фреймворков, понимание ETL/ELT процессов, batch и near-real-time обработки, умение строить отказоустойчивые data-пайплайны, опыт работы с Git и CI/CD, а также реализация проверок качества данных. Требуется понимание архитектуры DWH, организации слоёв данных и подходов к моделированию, таких как Kimball, Inmon, Data Vault и Anchor Modeling.