-разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных. -настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).
Задачи:
— разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных
— настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase)
— оптимизация распределенных вычислений и запросов
— работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
— участие в проектировании и масштабировании архитектуры данных
— автоматизация процессов с использованием DevOps-практик (Docker, CI/CD)
Требования:
— высшее (неоконченное высшее) образование
— опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop)
— глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet)
— опыт оптимизации производительности распределенных систем
— работа с потоковой обработкой (Kafka, Spark Streaming)
— навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)
Будет плюсом:
— опыт с PySpark, Flink, Airflow
— знание Elasticsearch, ClickHouse, Vertica
— навыки настройки кластеров и инфраструктуры
Условия:
— полная занятость
— график 5/2
— формат работы: удалённо или гибрид
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
67/100
Средняя вакансия
Оценка от Job Hunters AI
Data Engineer (Hadoop, Scala); зарплата не указана; понятные задачи; гибкий формат.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Зарплата не указана
В объявлении отсутствует информация о зарплате, нет ни минимальной, ни максимальной суммы.