Задачи:
— Проектирование и реализация продвинутых решений для веб-скрапинга с использованием Python, Playwright и AWS, с акцентом на автоматизацию взаимодействия с комплексными веб-приложениями с аутентификацией.
— Архитектура масштабируемых пайплайнов скрапинга с использованием безсерверных компонентов AWS (Lambda, Step Functions, S3, CloudWatch, Secrets Manager).
— Создание отказоустойчивых систем для поддержки больших объемов извлечения данных.
— Интеграция и управление сложными рабочими процессами через несколько порталов, API и источников данных.
— Внесение вклада в архитектурные решения, инструменты и лучшие практики.
Требования:
— Опыт разработки на Python не менее 5 лет с сильным фокусом на автоматизацию и извлечение данных.
— Экспертные знания веб-скрапинга с использованием Playwright, Selenium, Scrapy, BeautifulSoup, requests.
— Глубокий опыт работы с многоступенчатыми аутентификациями, включая MFA и решение CAPTCHA.
— Опыт развертывания и управления нагрузками скрапинга в AWS, особенно Lambda, S3, IAM, CloudWatch, Secrets Manager.
— Знания асинхронного программирования, headless-браузеров и JavaScript-рендеринга.
— Понимание веб-протоколов и умение реверс-инжиниринга сетевых вызовов и механизмов аутентификации.
— Знакомство с CI/CD, Docker и инфраструктурой как кодом (CloudFormation, Terraform).
— Обязательное присутствие в офисе с понедельника по четверг в Salt Lake City, Utah, United States.
Условия:
— Полный соцпакет, включая пенсионный план с софинансированием работодателя.
— Медицинское страхование с 100% оплатой стоматологии, офтальмологии, телемедицины и виртуального ментального здоровья.
— Отпуск по уходу за ребенком.
— Неограниченный оплачиваемый отпуск (PTO).
— Возможность удаленной работы по пятницам.
Дополнительно:
— Приветствуется опыт в data engineering или ETL.
— Желателен опыт с тестированием на Python и написанием unit/integration тестов.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.