Инженер по тестированию

Задачи: — Планировать и сопровождать релизы AI‑агентов и связанных сервисов — Анализировать требования и технические постановки, оценивать тестовое покрытие — Проводить ручное функциональное, интеграционное, регрессионное и E2E‑тестирование AI‑агентов и их интеграций — Тестировать API агентов и вспомогательных сервисов (REST, WebSocket/Socket.io) — Разбирать логи, локализовать ошибки, взаимодействовать с разработкой и аналитикой для быстрого фикса — Вести тестовую документацию: чек‑листы, тест‑кейсы, тест‑планы, сценарии E2E (в Jira/TM4Jira) — Автоматизировать рутинные проверки на Python (pytest + requests), постепенно наращивая долю автотестов в готовом фреймворке автотестирования в CI/CD (GitLab CI / GitHub Actions) — Участвовать в оценке качества ML/LLM‑компонентов: проверка ответов, выявление галлюцинаций, базовые метрики (BLEU/ROUGE, LLM‑as‑judge), регрессионные проверки поведения агентов Требования: — Опыт тестирования 2–4 года: веб‑приложения + API, уверенное ведение тест‑кейсов/чек‑листов, работа в Jira — Опыт участия хотя бы в одном проекте с ML/LLM: тестирование качества ответов, галлюцинаций, базовых метрик (BLEU/ROUGE, LLM‑as‑judge) — будет большим плюсом — Навыки автоматизации на Python: pytest (фикстуры, параметризация), requests для API — Понимание, как встраивать автотесты в готовый фреймворк и запускать в CI/CD — Опыт тест‑дизайна: позитив/негатив/пограничные сценарии, классы эквивалентности, граничные значения — Умение проектировать сложные E2E для микросервисных и диалоговых ML‑продуктов — Понимание ML/LLM‑концепции: классификация, ранжирование, векторизация, поиск, RAG, мультиагентные/агентные системы — Понимание SDLC для ML (data → train → deploy → monitor) — Понимание микросервисной архитектуры: REST, очереди, базовое представление о WebSocket/Socket.io, Redis, Kibana — на уровне чтения логов и понимания, где искать проблему Будет плюсом: — Опыт backend‑автотестов и тестирования Edge сценариев — Опыт настройки тестового окружения, работы с Docker/K8s на базовом уровне — Желание развиваться в сторону SDET / QA‑инженера в AI‑направлении: eval‑фреймворки для LLM, автоматизация оценки агентов, метрики качества Условия: — Гибридный формат работы 3 дня в неделю в офисе и 2 дня дома для Москвы, Санкт-Петербурга, Казани, Ярославля, Рыбинска, Нижнего Новгорода, Воронежа, Краснодара, Самары, Екатеринбурга, Новосибирска, Владивостока — Удалённый формат работы в других регионах РФ — Опыт работы в аккредитованной IT-компании над социально значимыми уникальными проектами — Стабильный доход и квартальные премии — Гибкое начало рабочего дня — ДМС со стоматологией и международной страховкой — Интересная программа внутреннего и внешнего обучения — Прозрачные условия для развития и карьерного роста