Вакансии

Задачи: — Оценивать тексты и ответы, созданные нейросетями — Проверять их на точность, логику и соответствие теме — Находить фактические ошибки, противоречия и слабые формулировки — Оценивать стиль и качество подачи по заданным критериям — Отмечать результаты в удобном интерфейсе Требования: — Внимательность к деталям и усидчивость — Опыт работы с ИИ будет плюсом, но не обязателен — Совершеннолетие и возможность легально работать на территории РФ Условия: — Удалённая работа — Гибкий график от 3 часов в день — Доход 65–85 тыс. ₽ в месяц

Location: Москва Наша CV команда создает лучший в Сбере продукт для автоматического распознавания документов, используя самые передовые технологии. Главными задачами для нас являются разработка и улучшение OCR-модели на базе VLM, сбор обучающих данных с использованием кастомного agentic harness, и развёртывание клиентского сервиса внутри банка. Мы ищем Middle/Senior инженера, который будет заниматься полным циклом обучения и деплоя продукта. Обязанности * изучать SOTA подходы к OCR: чтение свежих пейперов в сфере e2e OCR, адаптация подходов data mining, SFT/RL, гипотезы * ставить эксперименты по обучению VLM-моделей: проверка гипотез на multi-node сетапе, замер метрик на внешних и внутренних бенчмарках. * дорабатывать пайплайн обучения: улучшение репозитория на текущем стеке (accelerate, TRL) - ускорение обучения, добавление аугментаций, адаптация под новые модели * собирать обучающие данных: агрегация существующих и новых данных в требуемом формате MarkDown, поиск новых доменов, написание скриптов по загрузке * размечать датасеты: запуск процесса разметки для вновь собранных или существующих данных при помощи кастомного agentic harness сборщика разметки (а также его улучшение), или внутренней платформы разметки асессорами * адаптировать сервис: интеграция обученных моделей в сервис на основе vLLM для сёрвинга клиентам внутри банка. Требования * высшее образование: математика, информатика или профильный data science * 3+ лет в ML, из них не меньше года лет с LLM/VLM в проде * английский для чтения статей и документации * Fine-tuning: SFT, LoRA/QLoRA, RL (DPO, GRPO) * современные движки инференса: vLLM, sgLang, triton * опыт работы с VLM: понимание принципов работы, дообучения, основных ограничений * агентные пайплайны: вызовы моделей, обработка исключений, ограничение стоимости * опыт в разметке датасетов асессорами, или автоматическими инструментами * Python: пишете код, который уходит в прод. Тесты, ревью, код-стайл * специфика банка: много контрагетов, с ними нужно иногда коммуницировать \*\*Будет плюсом\*\*   * опыт python-бэкендера: FastAPI, асинхронность, очереди, PostgreSQL, векторные хранилища * работа с разметчиками и контрагентами * публикации, доклады, open source. Условия * комфортный современный офис - м. Кутузовская * гибридный формат работы * ежегодный пересмотр зарплаты, годовой бонус * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.

Location: Москва **О команде** Мы занимаемся независимой оценкой качества и модельных рисков Kandinsky – семейства генеративных моделей для создания и редактирования изображений, видео и аудиовизуального контента, а также моделей мира (world models). Наша задача – находить слабые места моделей, проверять выбранные подходы к оценке и готовить рекомендации, которые помогают принимать решения о релизе и возможных сценариях применения моделей. Мы работаем с новыми версиями Kandinsky до их выхода к пользователям. Разрабатываем собственные методологии, бенчмарки и инструменты полного цикла, объединяя автоматические метрики, human evaluation и подходы LLM/VLM-as-a-judge. **О роли** Мы ищем специалиста на стыке исследований и инженерной разработки. В этой работе не всегда существует готовая методология или универсальная метрика. Нужно определить, из чего складывается качество модели, спроектировать проверяемый эксперимент и реализовать воспроизводимый evaluation-пайплайн. Роль охватывает весь цикл оценки: от формулирования критериев и подготовки тестовых данных до анализа результатов и рекомендаций для команды разработки. Важно не только измерить качество модели, но и понять, насколько она подходит для реальных пользовательских и бизнес-сценариев, какие ограничения критичны и что осталось непроверенным. Обязанности **Проектировать оценку с нуля** * декомпозировать качество на измеримые критерии и собирать под них тестовые сценарии, промпты и выборки * проектировать оценку там, где готовой методологии ещё нет. **Разрабатывать evaluation-пайплайны** * реализовывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик * обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки * готовить инструкции для асессоров и контролировать качество разметки. **Строить VLM-as-a-judge** * разрабатывать судей под конкретные критерии, учитывать их bias и ограничения * понимать, где автоматическая оценка работает, а где без человека нельзя. **Разбираться в ошибках моделей** * понимать ограничения diffusion-моделей и причины типовых артефактов * отличать реальную проблему модели от ошибки методологии или замера. **Формировать заключение по модельному риску** * анализировать качество по отдельным сценариям, типам промптов и срезам, а не только по среднему значению * формулировать условия релиза, ограничения и явно фиксировать то, что осталось непроверенным. Требования **Хорошее понимание устройства генеративных моделей**: * понимание принципов работы Transformers, diffusion- и мультимодальных моделей и основных задач: T2I, Image Editing, T2V, Audio, Video-Audio. * понимание типовых ограничений, ошибок и артефактов моделей * способность разбираться в причинах ошибок и способах их проверки. **Способность проектировать оценку качества моделей**: * декомпозировать качество на измеримые критерии и проектировать тестовые сценарии, промпты и выборки. * выбирать корректный подход к оценке: human evaluation, автоматические метрики, LLM/VLM-as-a-judge, а также подходящие модели для сравнения; * проверять валидность метрик и уметь проектировать оценку для новых задач и модальностей, где ещё нет готовой методологии. **Навыки работы с LLM и VLM:** * prompt engineering, structured output, tool calling и работа с контекстом и ограничениями моделей * построение и валидация LLM/VLM-as-a-judge, включая проверку автоматической оценки относительно человеческой * понимание нестабильности, bias и галлюцинаций моделей * умение подбирать модель под конкретную исследовательскую задачу. **Понимание AI-агентов и агентных систем**: * понимать, чем агент отличается от обычного вызова LLM; * знать основные компоненты агентной системы: роли, инструменты, контекст, память и оркестрация * понимать, когда агентный подход действительно полезен, а когда создаёт лишнюю сложность * уметь оценивать надёжность и ограничения агентных решений. **Умение проводить технический и научный ресерч**: * находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации * сравнивать решения с актуальными подходами и оценивать достоверность результатов * переводить ресерч в конкретные идеи для тестирования и развития внутренних подходов. **Будет плюсом** **Умение работать с агентами и субагентами**: * декомпозировать задачи между агентами, задавая им чёткие роли и зоны ответственности * управлять контекстом и изоляцией субагентов, организовывать проверку результатов * собирать результаты нескольких агентов в единое решение и критически оценивать их выводы * **Навыки вайбкодинга и AI-assisted coding**: * уверенно работать с Codex, Claude Code и другими coding-агентами * проверять и дорабатывать сгенерированный код, использовать агентов для тестирования * понимать архитектуру создаваемого решения **Продуктовое мышление**: * связывать тестирование с реальными пользовательскими сценариями и понимать, какие ошибки критичны для продукта * приоритизировать направления проверки и переводить результаты оценки в рекомендации для разработки * понимать влияние результатов на релиз и дальнейшее развитие модели. Условия * комфортный современный офис рядом с м. Кутузовская * возможность выбрать удобный график - офис / гибрид * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера

— Опыт в области качества данных от 2 лет.

Location: Москва Workplace: гибкий Мы — группа мультимодальных контентных моделей в отделе экспериментальных технологий AI VK. Мы разрабатываем технологии глубокого понимания контента и применяем их для развития рекомендательных систем ВКонтакте. Мы строим модели, которые извлекают содержательные представления из постов, клипов, длинных видео и музыкальных треков, объединяя информацию из текста, изображения, видеоряда, речи и звука. Эти представления используются для поиска похожего контента, построения признаков, классификации и улучшения качества рекомендаций в продуктах VK. Основные направления нашей работы — базовые embedding-модели для представления контента, мультимодальные модели и контентные классификаторы. Мы исследуем современные архитектуры, обучаем собственные модели на больших внутренних датасетах и доводим их до применения в продуктовых рекомендательных системах. Позиция находится на стыке ресёрча и инженерии: от чтения статей, построения датасетов и постановки экспериментов до масштабного обучения, оптимизации инференса и проверки моделей в A/B-тестах. Стек: PyTorch YT (YTsaurus), YQL NVIDIA Triton Inference Server, TensorRT, vLLM Распределённое обучение и multi-GPU inference Python, C++, Go Задачи Разрабатывать и обучать базовые embedding-модели для текста, изображений, видео, речи, звука и музыки Разрабатывать мультимодальные модели и контентные классификаторы Исследовать архитектуры и методы обучения представлений: metric learning, contrastive learning, self-supervised и supervised learning Строить датасеты и бенчмарки для оценки качества моделей и проводить масштабные экспериментальные исследования Адаптировать модели под задачи retrieval и рекомендательных систем Интегрировать модели в продуктовые механики рекомендаций постов, клипов, видео и музыки Оптимизировать и масштабировать обучение и инференс моделей Деплоить модели и сопровождать их в продакшене: проводить A/B-тесты, анализировать метрики и мониторить качество Постоянно разбирать свежие статьи и идеи из индустрии и академической среды, воспроизводить перспективные подходы и проверять их на наших задачах Настраивать пайплайны сбора и разметки данных, работать с асессорами и синтетическими данными: проектировать инструкции, контролировать качество и проводить калибровки Требования Опыт разработки, обучения и внедрения DL-моделей Уверенное знание теории машинного и глубокого обучения Хорошее понимание алгоритмов и структур данных, линейной алгебры, теории вероятностей и статистики Умение проектировать корректные эксперименты, выбирать метрики и интерпретировать результаты Навык написания чистого и поддерживаемого кода, понимание принципов проектирования ПО Владение современными практиками совместной разработки с кодовыми агентами: умение эффективно декомпозировать задачи для агентных инструментов, контролировать и ревьюить сгенерированный код Умение самостоятельно разбираться в новых предметных областях, быстро ставить эксперименты и проверять гипотезы Готовность работать как с исследовательской частью задачи, так и с её инженерной реализацией Открытость, ответственность, самостоятельность и проактивность Будет плюсом Опыт разработки поисковых или рекомендательных систем в индустриальном масштабе Опыт работы с embedding-моделями, metric learning, contrastive learning или representation learning Опыт работы с мультимодальными моделями, VLM, audio-language моделями, video encoders или foundation-моделями Опыт обучения моделей для аудио, музыки, речи, изображений или видео Опыт self-supervised learning и обучения на больших слабоструктурированных датасетах Опыт распределённого обучения на нескольких GPU или нескольких узлах Опыт оптимизации DL-моделей: профилирование, квантизация, дистилляция, уменьшение размерности представлений Опыт построения больших датасетов и систематических бенчмарков для ML-моделей Публикации на профильных ML-конференциях или сильный исследовательский бэкграунд

Location: Москва Workplace: Офисный Мы — отдел экспериментальных технологий в AI VK, который решает широкий спектр ML- и DL-задач. Наша команда анализирует, как наши разработки можно переиспользовать и где применить, а затем масштабировать. Мы строим LLM-команду, ищем людей с опытом алаймента, RAG-сценариями, ресёрч-бэкграундом в RL, умеющих рассуждать, быстро ставить эксперименты и проверять гипотезы. Позиция на стыке ресёрча и инженерии. У нашего отдела есть огромный накопленный опыт обучения и релизов Frontier мультимодальных моделей, VLM/MMLM. Стек: YT (YTsaurus), YQL NVIDIA Triton Inference Server, TensorRT, vLLM PyTorch, verl Python, C++, Go Задачи Разработка новых и улучшение существующих RAG-сценариев Оценка качества моделей и интеграция в продуктовые механики Деплой и оптимизация инференса моделей Сопровождение релизов: A/B-тесты, мониторинг Постоянный разбор свежих статей и идей в индустрии Настройка пайплайнов разметки, работа с асессорами и синтой: инструкция, контроль качества, калибровки Требования Опыт внедрения и сопровождения DL-моделей в продакшен Уверенное знание теории DL, алгоритмов и структур данных, линейной алгебры, теории вероятности и статистики Навык написания чистого кода, глубокое понимание принципов проектирования (SOLID, coupling & cohesion, etc...) Умение рассуждать, быстро ставить эксперименты и проверять гипотезы Открытость, ответственность, самостоятельность и проактивность Будет плюсом Опыт в построении поисковых или рекомендательных систем в индустриальном масштабе, бэкграунд разработки или кванты Публикации в научной среде Опыт профилирования DL-моделей, квантизация, дистилляция Опыт работы с распределённым обучением Опыт алаймента LLM, SFT, DPO/RLHF/GRPO, scaling laws, работа с агентами, синтетическими данными

Location: Москва, гибрид или удалённая работа, RU; Россия О команде Наша команда разрабатывает и поддерживает пайплайны и модели скоринга коммуникаций для определения разных интентов, борьбы со спамом и другими нарушениями, которые влияют на опыт покупателей и продавцов на Авито. Ищем DS-инженера, который будет разрабатывать решения полного цикла: от анализа данных и обучения моделей до инференса и мониторинга в нагруженных продакшен-системах. Какие задачи вас ждут: проектировать, обучать и внедрять NLP-модели и LLM-пайплайны для детекции подозрительных и нежелательных интентов и паттернов в коммуникациях: от переходов в другие каналы связи до намеренных обфускаций текста в обход проверок Авито; экспериментировать с современными методами машинного обучения; настраивать сбор разметки и контролировать её качество с помощью асессоров и LLM; встраивать модели в сервисы для скоринга, выводить их в продакшен, следить за стабильностью пайплайнов и моделей; проводить A/B-тесты, оценивать влияние решений на продуктовые и бизнес-метрики. Мы ждём, что вы: имеете большой опыт в построении NLP-моделей для классификационных задач; уверенно владеете Python и DS-стеком, работаете с DL-фреймворками, например PyTorch; умеете проводить полный цикл ML-разработки: от работы с данными и моделью до продакшена, мониторинга и проверки влияния; работали с разметкой и понимаете, как получить качественные датасеты с помощью краудсорсинга и LLM; имеете опыт продакшен-эксплуатации моделей в режиме реального времени и режиме, близком к реальному времени; оперируете не только ML-метриками, но и оцениваете влияние разработанного решения на бизнес-метрики, за которые отвечает команда. Будет здорово, если вы: имеете опыт применения и тюнинга LLM в прикладных задачах; настраивали LLM-as-a-Judge для оценки качества; проводили A/B-тесты для оценки влияния моделей на бизнес; знакомы с практиками MLOps: Kubeflow, K8s, feature store, MLflow. Работа у нас — это: возможность реализовать идеи в проекте с многомиллионной аудиторией; масштабный инженерный процесс, где можно участвовать во всех этапах разработки решения; интересные развивающие задачи и влияние на продуктовые и бизнес-метрики; культура взаимопомощи и обмена опытом; прозрачный карьерный трек и инструменты для роста: семинары, менторство, митапы; мощное железо, дополнительные мониторы, AI-инструменты и всё, что нужно для продуктивной работы; прозрачная система премий и конкурентная зарплата — размер обсудим на собеседовании; личный бюджет на обучение, который можно использовать для AI-инструментов, книг, курсов и конференций; расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких; корпоративный спорт: групповые тренировки, велбиинг-приложение; спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование; компенсация питания; удалённый формат работы и комфортный офис рядом с метро «Белорусская».

Задачи: — Собирать и кластеризовать семантику в Вордстате, решать, какой сайт или страницу делать следующей, и обосновывать это цифрами; — Разбирать выдачу Яндекса: кто в топе, почему и что нужно, чтобы их обойти; — Проектировать структуру сайтов: URL, title, description, H1-H3, перелинковка; — Ставить ТЗ на тексты и вычитывать их (пишем с нейросетями - от тебя структура, ключи, факты и доводка до уровня, который пройдёт асессора); — Заниматься техническим SEO: sitemap, robots, canonical, микроразметка (FAQPage, BreadcrumbList), скорость, индексация; — Работать с Яндекс Вебмастером и Метрикой, докручивать страницы на 4-20 местах; — Следить, чтобы Яндекс не склеил сайты сетки: разные шаблоны, тексты, структура, аккаунты; — Обновлять живые сайты: даты, актуальность сервисов, новые хвосты запросов; — Вести короткий план и журнал решений. Требования: — Опыт SEO под Яндекс от 2 лет и свои кейсы вывода сайта с нуля (новый домен, информационный или партнёрский сайт) со скринами Вебмастера или Метрики; — Уверенная работа с Вордстатом (новый интерфейс) и кластеризацией, неважно чем: Key Collector, Rush Analytics, Topvisor, Python; — Понимание, как Яндекс ранжирует запросы «лучший X» / «X для Y»: поведенческие, песочница нового домена, склейка аффилиатов, Баден-Баден, ИКС; — Навык работы с нейросетями для контента и понимание, где они ошибаются; — Умение читать HTML и не бояться правок в коде (Git - плюс). Будет плюсом: — Опыт с сетками сайтов, PBN, арбитражем через SEO; — Понимание CPA и партнёрок, как трафик превращается в деньги; — Python для парсинга и автоматизации рутины; — Знание VPN (протоколы, клиенты) или готовность быстро вникнуть. Условия: — Полностью удалённый формат, полная занятость, свободный график — важны результат и связь в рабочее время (МСК ±3 часа); — Зарплата обсуждается индивидуально, ориентируемся от $1500 в месяц.

🔸Собирать и кластеризовать семантику в Вордстате, решать, какой сайт или страницу делать следующей, и обосновывать это цифрами; 🔸Разбирать выдачу Яндекса: кто в топе, почему и что нужно, чтобы их обойти;

проектировать, запускать и поддерживать процессы сбора, обработки, разметки и валидации данных; формулировать требования к датасетам совместно с командами Computer Vision, NLP и AI;

Location: Москва, удалённая работа или гибрид, RU; Россия О команде Команда автоматической модерации разрабатывает и поддерживает сервис, обеспечивающий проверку контента, который создают наши пользователи. Это сложная система на основе алгоритмов машинного обучения, которая позволяет автоматизировать модерацию более чем 95% всех объявлений. Сейчас мы ищем ML-инженера, которому предстоит заниматься улучшением алгоритмов автомодерации контента, который создают наши пользователи. Какие задачи вас ждут: — поиск запрещенного контента в текстах, на фото и видео; — выделение в текстах именованных сущностей (адреса, номера телефона, конкретные параметры товара); — автоматизация переобучения моделей поиска нарушений; — классификация изображений, а также детекция необходимых объектов; — создание моделей машинного обучения, устойчивых к изменениям в данных; — уменьшение потока объектов для ручной проверки асессорами, как за счёт использования новых подходов и алгоритмов, так и за счет актуализации имеющихся моделей или поиска эвристических улучшений. Примеры будущих задач: — улучшать алгоритмы поиска нарушений в сервисе, который обрабатывает тысячи объявлений в минуту; — искать и находить нетривиальные и эффективные решения реальных бизнес-задач; — постоянно улучшать имеющиеся средства поиска фрода, чтобы они соответствовали постоянно изменяющейся внешней среде; — разрабатывать и внедрять новые модели для решения продуктовых задач, взаимодействуя с талантливой командой разработчиков и аналитиков, а после внедрения улучшать их на основе данных и явного фидбэка от потребителей данных решений; — активно взаимодействовать с внутренними заказчиками, вырабатывая оптимальные решения для бизнеса. Мы ждём, что вы: — имеете не менее 3 лет опыта реализации и эксплуатации ML-решений; — обладаете глубоким пониманием ключевых методов, применяемых при решении задач машинного обучения, и границ применимости этих методов; — имеете опыт решения различных Data Science-задач с использованием Python; — работали с разными модальностями данных и понимаете, какие методы ML/DL применимы в конкретных бизнес-задачах; — умеете оценивать не только качество моделей при запуске нового проекта, но и его изменение во времени; — умеете писать SQL запросы; — получили высшее образование в области вычислительной математики, статистики, анализа данных и т.п.; — владеете английским языком на уровне, как минимум, позволяющем бегло читать специализированную литературу. Будет здорово, если вы: — участвовали в различных открытых соревнованиях по анализу данных; — проектировали и внедряли системы машинного обучения для автоматизации процессов и получили измеримые результаты этого внедрения; — умеете обращаться с системами управления версиями (например, git), склонны документировать свои наработки, а также описывать и всесторонне критически оценивать результаты проведённых экспериментов. Работа у нас — это: — возможность влиять на бизнес и развитие продукта; — интересные и разнообразные задачи; — много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо — всё готово для продуктивной работы; — талантливая команда, сильная DS культура и сообщество профессионалов; — развитие: бюджет на обучение, курсы, конференции и профессиональную литературу; — расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; — сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких; — корпоративный спорт: групповые тренировки, велбиинг-приложение; — спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование; — компенсация питания.

Location: Москва Наша команда отвечает за **независимую оценку и контроль качества генеративных моделей Банка.** Наша основная задача оценить флагманские генеративные модели Сбера – GigaChat, Kandinsky, GigaCode и PhysicalAI решений. Мы первыми видим, на что способна новая модель и проводим оценку новых возможностей прежде чем она выйдет к пользователям. Мы не просто «проверяем метрики», а: * глубоко разбираемся в подходах команд-разработчиков и в бизнес-процессах, где работают модели * критически рассматриваем архитектурные и методологические решения и предлагаем улучшения * разрабатываем собственные проверки, метрики и бенчмарки и фреймворки для их запуска * проводим оценку логов пользователей для построения наиболее релевантного тестирования Отдельный фокус – R&D деятельность: * создание новых методологий оценки качества * участие в разработке и развитии передовых банковских и российских бенчмарков (MERA, POLLUX и др.) * адаптация передовых мировых бенчмарков под специфику банковских кейсов * и многое другое Эта роль про независимое измерение фундаментального качества модели: не про их обучение – этим занимается отдельная команда Обязанности **Придумывать, как вообще измерить модель** ИИ стремительно развивается в мире и выходят новые модели и их виды, однако не всегда любая новая модель стала лучше предыдущей. Вам будет необходимо создать план по её проверке: что именно измерять, на какой выборке, с чем сравнивать, какая разница вообще будет считаться разницей в реальном качестве. **Отвечать за достоверность измерений** Полученные метрики не всегда отражают только лишь качество модели. Нужно уметь отделять реальный прирост качества от прочих факторов: ловить утечки данных в обучение, отличать дефект модели от дефекта замера, промпта или обвязки и проявлять тот же скепсис к собственной методологии: измеряем ли мы то, что заявили. **Разбираться в причинах ошибок** «Модель ошиблась» – это не вывод, а начало работы. Найденная вами причина той или иной проблемы модели превращается в рекомендацию команде разработки, а рекомендация – в следующую версию модели, которая этой ошибки уже не делает. **Строить автоматическую оценку** Разрабатывать LLM- и VLM-судей под конкретные задачи, разрабатывать с нуля собственные или дорабатывать существующие библиотеки валидации полного цикла и следим за фронтиром AI-исследований в области оценки моделей. **Строить то, чем пользуются другие** Фреймворки оценки, который вы развиваете – общие для команд по всему Банку. Бенчмарки, которые вы делаете, являются достоверной базой реального качества для разработчиков Банка и вне. Требования * **Умение проводить технический и научный ресерч**: находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации; переводить ресерч в конкретные идеи для тестирования и развития внутренних подходов. * **Статистика и дизайн эксперимента:** доверительные интервалы, размер выборки, проверка гипотез, поправки на множественные сравнения * **Понимание современных AI-агентов и агентных систем**: понимать, чем агент отличается от обычного вызова LLM; знать основные компоненты агентной системы: роли, инструменты, контекст, память и оркестрация; * **Понимаете, как устроены генеративным модели изнутри:** трансформер и механизм внимания, диффузии, токенизация, параметры генерации, этапы обучения * **Опыт с генеративными моделями и понимание, как их оценивают:** метрики, бенчмарки, human evaluation, Model-as-a-judge и его ограничения * **Продуктовое мышление**: связывать тестирование с реальными пользовательскими сценариями и понимать, какие ошибки критичны для продукта, понимать влияние результатов на релиз и дальнейшее развитие модели. * **Python на продакшн-уровне:** чистый код по PEP 8, ООП и типовые паттерны проектирования, аннотации типов, привычка к линтерам и статическому анализу (ruff, mypy). Создаете и поддерживаете production-код eval-пайплайнов, читаете и ревьюите чужой. **Будет плюсом:** R&D-опыт или участие в создании бенчмарков; мультимодальные модели (изображения, видео, аудио); evaluation-фреймворки и harness; RAG; работа с асессорами; coding-агенты (Claude Code, Codex, Cursor); опыт работы с оркестрацией: LangGraph, OpenClaw, навыки вайбкодинга и AI-assisted coding **Стек:** Python, pandas, NumPy, PyTorch, HuggingFace (transformers, datasets), vLLM, SGLang, инференс-API, S3, Git, Docker, CI/CD, Linux, Bash. Условия * комфортный современный офис рядом с м. Кутузовская * гибкий формат и удаленной работы, в т.ч. на территории РФ * ежегодный пересмотр зарплаты и годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * скидки на продукты компаний-партнеров * вознаграждение за рекомендацию друзей в команду Сбера.