Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.
Описание вакансии
Location: Москва
GigaChat нативно поддерживает аудиозаписи в контексте, что позволяет понимать речь на десятках языков, говорящего и его эмоции, звуки и сцену вокруг, поддерживать живой диалог и вызывать инструменты по голосовой команде. Чтобы развивать эти способности, их нужно честно измерять: без надежной оценки нельзя понять, какие данные и решения в обучении двигают качество. Мы ищем эксперта, который возьмет на себя оценку понимания аудио модели. Он будет разрабатывать собственные бенчмарки, разбираться в открытых, сравнивать нас с лидерами индустрии и open-source и находить точки роста. Ему предстоит выстроить систему оценки и команду вокруг нее
Обязанности
* отвечать за систему оценки понимания аудио LLM: состав бенчмарков, метрики, протоколы замеров и их воспроизводимость
* покрывать оценкой широкий набор доменов: понимание говорящего и эмоций, звуков и акустической сцены, прикладные задачи (распознавание и перевод речи, суммаризация), общий диалог, вызов инструментов
* строить оценку на трех уровнях (автоматические метрики, LLM-as-a-Judge, Side-by-Side) и калибровать их друг относительно друга, в первую очередь согласие судьи с людьми
* разрабатывать собственные бенчмарки: сбор и разметка данных, дизайн заданий, контроль утечек в обучающие данные
* исследовать открытые бенчмарки и добавлять их в контур оценки: проверять разметку и метрики, разбираться с расхождениями с опубликованными результатами
* выстраивать эффективный бенчмаркинг больших LLM: быстрые замеры чекпоинтов по ходу обучения и полные прогоны к релизам (ускорение инференса, кэширование, репрезентативные подвыборки)
* регулярно замерять лидеров индустрии и open-source модели, вести лидерборд и дашборды
* анализировать ошибки модели, находить точки роста и превращать их в задачи для data и training команд
* нанимать и вести инженеров и исследователей
Требования
* уверенное знание Python и PyTorch
* опыт построения систем оценки ML-моделей: бенчмарки, метрики, протоколы замеров
* опыт оценки LLM автоматическими метриками, через LLM-as-a-Judge и Side-by-Side, понимание ограничений и смещений каждого подхода
* понимание задач обработки аудио и речи (ASR, перевод, эмоции, классификация звуков) и метрик их качества
* опыт инференса больших моделей (vLLM, SGLang) и распределенных прогонов
* знание прикладной статистики: доверительные интервалы, значимость различий, согласованность разметчиков
Мэтч и сопроводительное
Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.