QA Engineer / LLM Evaluation

Location: Москва В команду AIFA ищем QA-инженера, который будет отвечать как за классическое качество программного продукта, так и за оценку результатов работы LLM и финансового агента. Роль подойдёт технически сильному специалисту или QA-инженеру, который хочет развиваться в автоматизации тестирования AI-продуктов. Обязанности * проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA * тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов * автоматизировать API- и UI-тесты * проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок * создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования * формировать бенчмарки и метрики качества LLM-компонентов * проверять воспроизводимость результатов и анализировать причины деградации качества * участвовать в разборе дефектов и контролировать их исправление. * Формировать quality gates для выпуска релизов * организовывать валидацию результатов совместно с финансовыми экспертами. Требования * опыт в роли QA от 2х лет * понимание основных видов и методик тестирования * опыт тестирования REST API * базовые знания Python и готовность развиваться в автоматизации * базовый SQL * умение работать с логами и локализовывать источник ошибки * понимание клиент-серверной и микросервисной архитектуры * внимательность к деталям и способность системно описывать дефекты * опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM будет преимуществом * глубокая финансовая экспертиза не обязательна — необходимую предметную часть поможет освоить команда. Условия * комфортный современный офис рядом с м. Ленинский проспект * гибридный формат работы * ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования) * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте (для вакансий уровня Junior) * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка Прайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера.