Следить за изменениями в агентах, скиллах, промптах и RAG и проверять затронутые сценарии до релиза. Составлять E2E-сценарии работы юриста в чате и запускать их через агентов-тестировщиков: тесты идут параллельно, отчёты собираются автоматически.
Задачи:
— Следить за изменениями в агентах, скиллах, промптах и RAG и проверять затронутые сценарии до релиза.
— Составлять E2E-сценарии работы юриста в чате и запускать их через агентов-тестировщиков: тесты идут параллельно, отчёты собираются автоматически.
— Проверять ответы модели с помощью LLM-as-a-judge и калибровать оценки по разметке юристов.
— Тестировать RAG: качество поиска, точность ссылок, соответствие ответа источникам.
— Разбирать трейсы в Langfuse и телеметрию: где ошибся агент, сколько стоил и сколько длился каждый шаг.
— Готовить короткие отчёты: что сломалось, кто чинит, как сделать агента быстрее и дешевле.
— Писать автотесты API и UI, вести регрессию в CI, заводить баг-репорты.
Требования:
— От 3 лет опыта в AQA или backend-разработке на Python.
— От года практики с LLM-агентами или LLM-приложениями: тестирование или разработка агентных систем.
— Опыт LLM-as-a-judge и оценки RAG.
— Langfuse или аналоги (LangSmith, Phoenix, OpenTelemetry): трейсы, датасеты, подсчёт токенов и стоимости.
— Python, pytest, автотесты API и UI (Playwright или аналог), Docker, CI.
— Понимание устройства агентов: вызовы инструментов, контекст, кэш промпта, reasoning-токены.
— Самостоятельность и скорость: вы сами замечаете изменение, тестируете его и приносите отчёт.
Будет плюсом:
— Опыт backend-разработки на Python.
— Понимание архитектуры гибридного RAG.
— Pet-проекты с агентными системами.
— Профильное IT-образование.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
71/100
Хорошая вакансия
Оценка от Job Hunters AI
AQA-инженер по тестированию AI-агентов; понятные задачи; современный стек.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Понятные задачи
Задачи подробно описаны: контроль изменений в AI-агентах, составление E2E-сценариев, автоматический запуск тестов и сбор отчётов.
Из объявления
Чем предстоит заниматься … Следить за изменениями в агентах, скиллах, промптах и RAG и проверять затронутые сценарии до релиза. … Составлять E2E-сценарии работы юриста в чате и запускать их через агентов-тестировщиков: тесты идут параллельно, отчёты собираются автоматически.