Senior ML Engineer (GenAI Data Governanace)

Location: Москва Наша NLP команда занимается задачами, связанными с извлечением информации из документов, диалогов, текстов различной природы. Главной задачей для нас является создание готовых продуктов с LLM под капотом, а также создание self-service для бизнеса, где каждый может создать нужный ему сценарий (скилл) в режиме No-code. Обязанности * проектировать и калибровать judge-пайплайны: рубрики, эталонная разметка, согласованность с людьми, борьба с позиционным bias и bias по длине * строить RAG-поиск для дублей и противоречий: чанкинг, гибридный поиск, реранкинг, проверка противоречий на уровне утверждений * делать регресс-тесты знаний: golden set, пороги, прогон на каждое изменение промпта или модели * ловить галлюцинации: извлечение утверждений, привязка к источнику, верификация * дообучать и дистиллировать judge-модели, чтобы снизить цену и задержку без потери качества * собирать мультиагентные пайплайны с guardrails и контролем стоимости прогона. Требования * высшее образование: математика, физика, информатика или профильный data science * 5+ лет в ML, из них не меньше полутора лет с LLM в проде * RAG в продакшене, а не демо: с метриками качества, нагрузкой и историей улучшений * Fine-tuning: SFT, LoRA/QLoRA, желательно DPO. И понимание, когда дообучение не нужно * опыт построения и калибровки LLM-as-judge. Знаете, как judge врёт и как это ловить * Guardrails и детекция галлюцинаций * мультиагентные пайплайны: оркестрация, обработка отказов, ограничение стоимости * Python: пишете код, который уходит в прод. Тесты, ревью, код-стайл * английский для чтения статей и документации * специфика банка: много контрагетов, с ними нужно иногда коммуницировать. **Будет плюсом** * опыт python-бэкендера: FastAPI, асинхронность, очереди, PostgreSQL, векторные хранилища * графы знаний и онтологии * NLI, извлечение фактов, работа с разметчиками * публикации, доклады, open source. Условия * гибридный формат работы * годовая премия * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * регулярные митапы и развитое DS-community * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбер.