Задачи: разработка потоков подключения метаданных, автоматизация и шаблонизация подключения СУБД, создание Python-скриптов для генерации DDL/DML и Airflow DAG, оптимизация DAG для таблиц Iceberg, доработка витрины и ведение проектной документации. 🧩 Требования: глубокое знание PySpark и Airflow;
Задачи:
— разработка потоков подключения метаданных
— автоматизация и шаблонизация подключения СУБД
— создание Python-скриптов для генерации DDL/DML и Airflow DAG
— оптимизация DAG для таблиц Iceberg
— доработка витрины и ведение проектной документации
Требования:
— глубокое знание PySpark и Airflow
— опыт работы с нагруженными распределёнными системами и Hadoop
— настройка и оптимизация Spark-приложений
— опыт со Spark Streaming, Iceberg, Kafka, S3 и Kubernetes
— нагрузочное тестирование
— экспертный SQL и оптимизация сложных запросов
— знание математической статистики, анализа данных и основ ML, включая PyTorch или TensorFlow
— понимание консистентности данных в распределённых системах
Условия:
— долгосрочное сотрудничество по договору с ИП
— удалённо из РФ, гражданство РФ
— полная занятость
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
76/100
Хорошая вакансия
Оценка от Job Hunters AI
Data Engineer; без трудового договора; понятные задачи; прозрачная оплата; гибкий формат; современный стек.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Без трудового договора
Работа по договору с ИП, что означает отсутствие трудового договора и официального трудоустройства.