Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.
Описание вакансии
Задачи:
- Оценивать качество ML-моделей на разных наборах данных: считать и интерпретировать accuracy, precision, recall, F1-score, AUC-ROC и другие метрики в контексте конкретной задачи.
- Проводить A/B-тесты разных версий моделей и анализировать результаты.
- Выявлять переобучение (overfitting) и недообучение (underfitting) и разбирать их причины вместе с ML-командой.
- Проверять модели на предвзятость (fairness): искать сценарии, где модель работает несправедливо по отношению к группам пользователей (пол, возраст, раса и др.).
- Тестировать данные: полноту, консистентность, корректность форматов, качество обучающих и валидационных выборок.
- Проверять AI-функциональность: корректность и уместность ответов, работу с контекстом, релевантность рекомендаций.
- Искать граничные случаи и создавать adversarial-примеры, которые могут сломать или обмануть модель.
- Проверять устойчивость модели к отравлению данных (data poisoning) и поведение на данных, сильно отличающихся от обучающей выборки (out-of-distribution).
- Проводить функциональное тестирование продукта (API, интеграции, интерфейс).
- Разрабатывать тест-планы, тест-кейсы и чек-листы, оформлять баг-репорты и проводить анализ первопричин (Root Cause Analysis).
Требования:
- Опыт в тестировании от 3 лет.
- Уверенное владение техниками тест-дизайна, умение писать тест-кейсы, чек-листы и тест-планы.
- Умение оформлять баг-репорты: чёткие шаги воспроизведения, логи, скриншоты.
- Умение декомпозировать сложную проблему и находить корневую причину.
- Понимание метрик качества классификации (accuracy, precision, recall, F1, AUC-ROC) и умение выбирать метрику под задачу.
- Понимание, что такое переобучение, недообучение и смещение/дисперсия (bias-variance).
- Базовое понимание того, как устроен процесс обучения и валидации моделей.
- SQL: SELECT, WHERE, JOIN (INNER и LEFT), GROUP BY, ORDER BY;
- опыт работы с PostgreSQL или MySQL.
- Тестирование REST API: Postman, Swagger;
- форматы JSON и XML.
- Опыт работы с баг-трекером (Jira или аналог).
- Python (предпочтительно) или JavaScript/Java на уровне, достаточном, чтобы читать чужой код и писать автотесты.
- Умеешь отстаивать позицию перед командой.
- Самостоятельно планируешь работу и принимаешь решения.
- Готов (а) находить и описывать новые классы дефектов, характерные для ML-систем.
Будет плюсом:
- Опыт тестирования ML-или LLM-продуктов.
- Python-инструменты для анализа данных: pandas, scikit-learn, pytest.
- Инструменты для проверки данных и мониторинга моделей (Great Expectations, MLflow, Evidently и аналоги).
- Опыт работы с Kafka, ELK, DevTools, СУБД.
- Базовые знания статистики (доверительные интервалы, статистическая значимость в A/B-тестах).
- Опыт работы с Zephyr.
Условия:
- Зарплата: 150 000-200 000 ₽ gross, итог зависит от опыта и результатов собеседования.
- Формат: гибрид/удалённо.
- График: полный день, 5/2.
- Оформление: [ТК РФ / Самозанятость].
- Премии: по результатам завершённых проектов.
- Развитие: обучение за счёт компании [бюджет или формат], рост в направлении ML QA Lead, Data Quality / MLOps или автоматизации тестирования ML-систем.
- Дополнительно: [ДМС, компенсация курсов; корпоративные мероприятия и тимбилдинги]
Мэтч и сопроводительное
Сравним вакансию с вашим действующим резюме и составим письмо под эту роль.
Сейчас в каталоге 695 вакансий по этому направлению, удалённо можно работать в 46%.
Середина вилки в этой вакансии, 175 000 ₽ в месяц, на 46% выше медианы по направлению (120 000 ₽). У половины вакансий от 80 000 ₽ до 168 000 ₽ (вакансий с вилкой: 156).
Навыки этой вакансии, которые чаще всего просят по направлению: Postman (34%), SQL (29%), Jira (25%), Swagger (14%), Python (10%), PostgreSQL (9%). В скобках доля вакансий направления.