QA Engineer ИИ-решений

Задачи: — Подготовка тест-кейсов на основании требований и критериев приемки инициатив — Функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify, API-интеграций со внутренними системами — Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы пользователей и «галлюцинации» модели — Регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций — Проверка соответствия результата согласованным требованиям и метрикам качества — Формирование и поддержание тестовых выборок (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов — Фиксация дефектов, контроль их устранения, отчётность по качеству релизов — Проведение приемочного тестирования перед выпуском в production и участие в приемке с бизнесом Требования: — Опыт работы от 3 лет в тестировании ПО — От 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций backend-сервисов — Понимание специфики недетерминированных ответов модели — Не менее 2 проектов тестирования интеграционных / API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию — Опыт построения регрессионных наборов и тестовых выборок — Желательно: опыт в e-commerce, ритейл, B2B-дистрибуция, клиентский сервис — Тест-дизайн, тестовая документация, работа с баг-трекером — Тестирование REST API (Postman или аналоги), чтение JSON, логов — SQL на уровне выборок для проверки данных — Python на базовом уровне для скриптов проверки и подготовки тестовых данных — Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ (точность, полнота, оценка ответов по критериям) — Желательно: опыт работы с платформами оркестрации LLM (Dify, LangChain и т.п.) — Желательно: автоматизация тестирования API (pytest, requests) и LLM-eval инструменты (RAGAS, DeepEval, promptfoo или аналоги) — Желательно: опыт разметки и оценки ответов модели (LLM-as-a-judge, ручная оценка по рубрикам) — Желательно: CI/CD, Git на базовом уровне — Системы учета задач и документации: Jira / Yandex Tracker, Confluence / Yandex Wiki, Git, реестр ИИ-инициатив в Google Sheets Условия: — Занятость: фултайм — Формат работы: удалённая по РФ или в офисе в Москве/Саранске (hybrid) — Тип контракта: ГПХ, ИП — Оплата до 1400 руб./час гросс