Стажёр ML Engineer — GigaChat Data

Location: Москва Готовим данные для GigaChat и GigaChat Vision — от pretrain с нуля до alignment. Собрали корпус на 15 триллионов токенов. Открыли [GigaChat 3.1 (702B)](https://huggingface.co/ai-sage/GigaChat3.1-702B-A36B) и [GigaChat 3.5 (432B)](https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B). Опубликовали [статью на ACL](https://aclanthology.org/2025.acl-demo.10/); ещё две статьи проходят ревью на A\*-конференциях. У нас — сильная исследовательская команда, сложные задачи в LLM и мультимодальности и ресурсы для проверки новых идей. Чтобы познакомиться с работой команды Наши доклады: [Данные и инфраструктура GigaChat — HighLoad++ 2025](https://highload.ru/moscow/2025/abstracts/16850) [Качество данных и эксперименты — AiConf 2025](https://aiconf.ru/2025/abstracts/15853) [Синтетические задачи по программированию — AiConf 2026](https://aiconf.ru/2026/abstracts/17916) Как это делают другие команды: [NVIDIA Nemotron-CC](https://research.nvidia.com/labs/adlr/Nemotron-CC/) · [Hugging Face SmolLM3](https://huggingface.co/blog/smollm3) Обязанности * Улучшать pretrain-данные: обучать модели оценки качества, кластеризовать корпуса, подбирать смеси и измерять их влияние на качество модели. * Создавать alignment-данные для SFT и RL в разных доменах: инструкции, предпочтения и агентные траектории; разрабатывать среды, задачи и проверки для обучения работе с инструментами. * Генерировать синтетику для математики, кода и reasoning; проверять решения исполнением кода и моделями-судьями. * Исследовать density sampling, способы токенизации с упаковкой последовательностей, включая best-fit packing; проверять гипотезы в ablation-экспериментах. * Готовить датасеты для мультимодального обучения, включая interleaved-данные с чередованием текста и изображений. * Масштабировать обработку сотен миллиардов веб-документов и OCR миллиардов PDF; ускорять распределённые пайплайны и генерацию на GPU. Требования * Уверенный Python, алгоритмы и структуры данных; основы ML, линейной алгебры и вероятности. * Практику с PyTorch, NLP/CV или данными — учебные и личные проекты подходят. * Linux и Git, чтение статей на английском, умение проверять гипотезы и доводить задачи до результата. * Активное использование AI-агентов в работе. **Будет плюсом** * LLM/VLM, vLLM/SGLang, Spark/YTsaurus, C++/Rust; * исследовательские проекты, * ML-соревнования или олимпиадное программирование. Условия * MacBook M4 (с VPN), корпоративные подписки на AI-агентов. * 50 тысяч CPU и большое количество GPU для обработки данных, обучения и синтетики. * После успешной стажировки — переход в штат команды.