NLP-разработчик в Алису

Задачи: — Проектировать и запускать эксперименты по обучению агента взаимодействию с компьютерными средами. — Придумывать и реализовывать новые RL-пайплайны, включая формулировку reward-функций и архитектуру обучения на многошаговых траекториях с вызовами тулов. — Работать с симуляторами сред и реальными траекториями, строить data flywheel от сбора данных до улучшения модели. — Обучать и файнтюнить большие модели, оптимизировать инференс для продакшна с использованием FP8, дистилляции и параллелизма. — Улучшать GUI grounding и визуальное понимание экрана (VLM-компоненты агента). — Участвовать в проектировании архитектуры агента: memory, planning, оркестрация тулов. — Уделять внимание аспектам безопасности и достоверности, доводить R&D-результаты до продакшна на платформе с миллионами пользователей. Требования: — Глубокий практический опыт с DL и RL, включая обучение моделей через GRPO, GSPO, DAPO, Dr.GRPO, понимание нюансов reward design и способов устранения проблем обучения. — Опыт обучения больших моделей и файнтюнинга LLM и VLM в реальных задачах. — Исследовательское мышление: умение находить, критически оценивать статьи, выделять применимые идеи и быстро проверять гипотезы. — Опыт работы с задачей от постановки эксперимента до результата в продакшне. — Уверенное владение Python и PyTorch. Будет плюсом: — Опыт работы с VLM: обучение, файнтюнинг, инференс. — Опыт работы с multi-turn RL на траекториях взаимодействия с инструментами и средой. — Наличие публикаций на топ-конференциях: NeurIPS, ICML, ICLR, ACL и др. — Опыт работы с computer use, web agents, GUI grounding.