Задачи:
- проектирование, разработка и поддержка масштабируемых пайплайнов обработки больших объёмов данных
- согласование требований к данным со стейкхолдерами
- обеспечение целостности и качества данных
- реализация ETL‑процессов для интеграции источников в хранилище или data lake
- применение Python для скриптов и трансформации данных по бизнес‑правилам
- устранение проблем в инфраструктуре
- оптимизация рабочих процессов
- развёртывание и управление решениями на облачных платформах (Azure или AWS) с учётом масштабируемости, безопасности и затрат
- формирование интерактивных дашбордов и отчётов (в Power BI) для предоставления аналитических выводов
- отслеживание отраслевых трендов для совершенствования практик дата‑инжиниринга
Требования:
- не менее 4 лет опыта в data‑инжиниринге
- высшее образование в области компьютерных наук или смежных дисциплинах
- уверенное владение Python для скриптинга и обработки данных
- понимание концепций хранилищ данных и опыт работы с СУБД (SQL Server, Oracle или PostgreSQL)
- практический опыт использования облачных платформ (Azure или AWS), включая сервисы вроде Azure Data Factory или AWS Glue
- навыки создания визуализаций и отчётов (Power BI или аналоги)
- свободное владение английским языком (устно и письменно)
- развитые навыки решения задач и коммуникации
- способность быстро осваивать новые технологии
- умение работать как самостоятельно, так и в команде в динамичной среде
Будет плюсом:
- опыт с Apache Spark
- контейнеризация (Docker, Kubernetes)
- CI/CD и Git
- опыт в data‑инжиниринге для ML‑решений и MLOps.
Зарплаты и спрос: Дата-инженер
Сейчас в каталоге 676 вакансий по этому направлению, удалённо можно работать в 39%.
Зарплата здесь не указана. Медиана по направлению: 245 000 ₽ в месяц. У половины вакансий от 160 000 ₽ до 290 000 ₽ (вакансий с вилкой: 41).
Навыки этой вакансии, которые чаще всего просят по направлению: Python (35%), PostgreSQL (13%), Spark (13%), Git (11%). В скобках доля вакансий направления.