DA Lead (Руководитель направления анализа и подготовки данных для AI)

Location: Москва Наша команда (70+ человек) создает технологический фундамент для внедрения GenAI в экосистему банка. Мы разрабатываем RAG-платформу, фреймворк исполнения агентов и системы обработки неструктурированного контента (документы, коммуникации). Наши сервисы оборачивают базовые LLM в готовые интерфейсы, позволяя бизнесу быстро создавать собственных агентов и GenAI-приложения. Мы обеспечиваем полный цикл разработки (E2E) Мы в поиске играющего тренера - руководителя направления анализа и подготовки данных для AI. Команда 5 человек Обязанности * создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR) * построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования * проводить эксперименты, проверять гипотезы по улучшению текущих AI-решений * выявлять уязвимости в качестве в AI-пайплайнах и оперативно предлагать решения для устранения проблем в production (проводить A/B-тестирования) * отвечать за качество данных и методологию их подготовки для AI/ML-проектов * поддержка и оптимизация полного цикла работы с данными: сбор, хранение датасетов, разметка, авто-разметка (LLM-as-a-judge), валидация * автоматизация data-циклов: сбор данных, разметка, подсчет метрик, оценка качества * совместно с ML-инженерами определять требования к моделям и к данным (состав, объем и качество датасетов) * руководить командой Data-аналитиков, Data-менеджеров, разметчиков * говорить на одном языке с «бизнесом» и ML-инженерами: сбор и анализ бизнес-требований, понимание применимости и ограничений AI. Требования * любить data-driven подход) * кросс-функциональное уметь разговаривать с DS и разработчиками * python, SQL, уверенный vibe-coding * понимание процесса деплоя моделей * понимание работы LLM и знание понятий типа RAG, fine tuning, skills/tools, Data Governance * знание подходов по оценке качества LLM, RAG * знание матстата * jira, agile итд * soft skills (уверенный problem-solving) * системное мышление Будет плюсом: * опыт построения процессов по оценке качества GenAI * опыт работы с данными для LLM и AI-агентов * опыт управления разметчиками * опыт создания пайплайнов data lifecycle * знакомство с LabelStudio, Toloka * опыт работы с качеством разметки (consistency, honeypots, golden dataset) Условия * комфортный современный офис - м. Кутузовская * гибридный формат работы * ежегодный пересмотр зарплаты, годовой бонус * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера * корпоративная пенсионная программа.