Задачи:
— Ответственность за качество ИИ-решений: определение критериев приёмки, контроль качества и принятие окончательного решения о допуске релизов в промышленную эксплуатацию.
— Развитие EvalOps: автоматизированные прогоны, регрессионные проверки, встраивание в CI/CD.
— Подготовка эталонных выборок и разработка детерминированных проверок совместно с экспертами.
— Настройка LLM-as-a-Judge и калибровка оценок.
— Анализ трасс выполнения, определение источников ошибок, воспроизведение и проверка дефектов.
— Проверка вызовов инструментов, параметров и обработки ошибок.
— Контроль регрессий после запуска и решение об откате.
— Проверка устойчивости к prompt injection.
— Разработка автотестов на Python (pytest, asyncio, SDD/TDD).
Требования:
— Уверенное владение Python для разработки автотестов и обработки результатов (pytest, httpx, asyncio), знание SQL.
— Практический опыт тестирования LLM и агентских систем, разработки эталонных выборок и автоматизированных проверок.
— Понимание работы LLM, управления контекстом, tool calling, skills и MCP.
— Умение оценивать весь сценарий выполнения задачи, включая действия и итоговые артефакты.
— Знание тест-дизайна, негативных и граничных сценариев.
— Понимание вариативности ответов, необходимости повторных прогонов и сопоставимых условий сравнения.
— Умение сочетать детерминированные проверки и LLM-as-a-Judge, проверять качество самого оценщика и разбирать ошибки валидаторов.
— Обязательный практический опыт разработки автоматизированных проверок с использованием ИИ-агентов через SDD и TDD, включая проверку предлагаемых агентом изменений.
— Опыт работы с Git, GitLab CI и Docker, интеграции проверок качества в CI/CD.
— Умение формулировать критерии допуска, документировать результаты и обосновывать решения о выпуске, блокировке или откате перед разработчиками и бизнес-заказчиками.
— Опыт работы с Langfuse, анализа агентских трасс и тестирования устойчивости к prompt injection является преимуществом.
Условия:
— Стабильный «белый» доход и полноценный соцпакет.
— График работы - 5/2 c 9:00 до 18:00.
— Возможен гибридный формат работы (обсуждаем индивидуально с каждым кандидатом).
— Корпоративный университет для внутреннего и внешнего профильного обучения.
— Отличные перспективы карьерного роста – горизонтального и вертикального.
— Программа ДМС с обслуживанием в лучших клиниках города.
— Корпоративные команды по футболу, волейболу, бегу, а также скидки на фитнес-абонементы.
— Эксклюзивная программа корпоративных привилегий и скидок Primezone.
— Корпоративная мобильная связь.
— Участие в амбициозных, крупных проектах, значимых для страны!
Контакты работодателя доступны по кнопке «Откликнуться» после входа.