Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.
Описание вакансии
Коротко о роли
Создавать и оптимизировать подходы к оценке качества моделей и AI-пайплайнов (RAG, LLM, OCR). Построение online/offline метрик качества, написание методологий оценки для мониторинга качества и регрессионного тестирования.
Задачи:
— Создавать и оптимизировать методы оценки качества моделей и AI-пайплайнов, включая RAG, LLM и OCR.
— Разрабатывать online и offline метрики качества, а также методологии оценки для мониторинга и регрессионного тестирования.
— Проводить эксперименты и проверять гипотезы для улучшения AI-решений.
— Выявлять уязвимости в AI-пайплайнах и оперативно предлагать решения, включая проведение A/B-тестирований.
— Отвечать за качество данных и методологию их подготовки для AI/ML-проектов.
— Поддерживать и оптимизировать полный цикл работы с данными: сбор, хранение, разметка, авто-разметка с использованием LLM-as-a-judge, валидация.
— Автоматизировать процессы data-циклов: сбор данных, разметка, подсчет метрик и оценка качества.
— Совместно с ML-инженерами определять требования к моделям и данным, включая состав, объем и качество датасетов.
— Руководить командой Data-аналитиков, Data-менеджеров и разметчиков.
— Взаимодействовать с бизнесом и ML-инженерами для сбора и анализа бизнес-требований, понимания применимости и ограничений AI.
Требования:
— Любовь к data-driven подходу.
— Умение кросс-функционально взаимодействовать с Data Scientist и разработчиками.
— Владение Python и SQL, уверенный vibe-coding.
— Понимание процесса деплоя моделей.
— Знание работы LLM и понятий, таких как RAG, fine tuning, skills/tools, Data Governance.
— Знание подходов по оценке качества LLM и RAG.
— Знание математической статистики.
— Опыт работы с Jira и agile методологиями.
— Уверенные soft skills, включая problem-solving.
— Системное мышление.
Будет плюсом:
— Опыт построения процессов оценки качества GenAI.
— Опыт работы с данными для LLM и AI-агентов.
— Опыт управления разметчиками.
— Опыт создания пайплайнов data lifecycle.
— Знакомство с LabelStudio и Toloka.
— Опыт работы с качеством разметки, включая consistency, honeypots и golden dataset.
Мэтч и сопроводительное
Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.
Автоотклики