Associate Data Engineer

Задачи: — Вносить вклад в моделирование данных для поддержки кейсов безопасности идентификации и аналитических требований. — Разрабатывать и поддерживать конвейеры данных, объединяющие сложную информацию из различных систем для поддержки анализа безопасности в дата-озере. — Оптимизировать нагрузки данных на уровне программного обеспечения, улучшая эффективность обработки. — Работать с опытными инженерами для выявления областей улучшения процессов и помогать в реализации решений. — Использовать лучшие практики мониторинга и наблюдаемости для обеспечения оптимальной производительности конвейеров. — Помогать с ML Operations для обеспечения оптимальной эффективности моделей. — Использовать лучшие практики CI/CD для эффективной разработки и выпуска исходного кода. — Участвовать в код-ревью и сотрудничать с командой для улучшения инженерных практик. Требования: — Знания программирования и технологий обработки данных в облаке. — Опыт работы со Spark обязателен, знание Databricks будет плюсом. — Способность быстро учиться и сильное желание развиваться. — Интерес к кибербезопасности, предпочтительно к безопасности идентификации. — Понимание принципов разработки ПО, структур данных и концепций распределенной обработки данных. — Опыт работы с распределенными системами и обработкой данных на объектных хранилищах. — Способность работать автономно и в команде. Технологии, которые нужно знать: — Хранилища данных для аналитики. — Профессиональное владение Python (или другим объектно-ориентированным языком). — Опыт работы с распределенными фреймворками обработки данных. — Желателен опыт работы со Spark. — Желателен опыт работы с обработкой данных в реальном времени. — Идеально: опыт работы с графовыми хранилищами данных. Условия: — Удаленная работа из США.