Workplace: Офис, Гибридный
AI-продукту нужны точные критерии качества: насколько полезен ответ, справляется ли агент с задачей, что меняется для пользователя. Ищем аналитиков, которые превращают такие вопросы в исследования и выводы. Ждём, что вы имеете опыт в ML, понимаете устройство моделей и метрики их качества.
AI-продукту нужны точные критерии качества: насколько полезен ответ, справляется ли агент с задачей, что меняется для пользователя. Ищем аналитиков, которые превращают такие вопросы в исследования и обоснованные выводы
Обязанности
Качество генеративных моделей — Yandex R&D
Предстоит оценивать достоверность и качество ответов генеративных моделей, разрабатывать метрики и подходы к оценке LLM, анализировать данные и координировать процесс разметки.
Качество поиска — Поиск с Алисой AI
Вы будете оценивать, насколько хорошо работают ранжирование, быстрые ответы, ответы Алисы и другие AI-сценарии.
Пользовательские и транзакционные сценарии — Независимый Ecom
Нужно будет исследовать работу агентов Алисы, качество органического ранжирования и путь пользователя в еком-сценариях.
Чат и Моя Память Алисы — Алиса и Умные устройства
Предстоит исследовать, как люди взаимодействуют с AI, и оценивать качество этих сценариев.
Другое
Также у нас есть много других задач в разных командах.
Почему здесь интересно:
* Проверяем AI на сложных сценариях
* Разрабатываем собственные бенчмарки: проверяем логику моделей, знание фактов, этичность, понимание контекста и реакцию на провокации
* Используем AI в собственной работе
* Внедряем LLM-агентов в аналитику: с их помощью ищем и быстрее обрабатываем данные, оптимизируем скрипты и находим инсайты на дашбордах
* Видим эффект исследований в продукте
* Ведём полный цикл анализа: выясняем, что ценно для пользователей, а после изменений измеряем их эффект. Связываем исследовательский вопрос с тем, как развивается продукт
Требования
* Уверенно владеете Python и SQL или YQL, умеете самостоятельно работать с большими объёмами данных
* Знаете теорию вероятностей, математическую статистику и методы проверки гипотез, умеете проектировать и интерпретировать A/B-тесты и офлайн-эксперименты
* Занимались машинным обучением, понимаете устройство ML-моделей и метрики их качества
* Умеете формализовать исследовательский вопрос, обосновать выбор метрик, проверить их валидность и объяснить аномалии
* Самостоятельно проводили исследования полного цикла и готовили обоснованные выводы
Будет плюсом
* Работали с LLM, оценкой качества генерации или другими AI-системами
* Работали с большими объёмами событийных данных и текстовых логов
* Работали с DWH, BI-инструментами, продуктовыми воронками или деревьями метрик
* Проектировали офлайн-метрики, бенчмарки или системы оценки качества моделей и продуктов
* Автоматизировали аналитические процессы, разрабатывали и поддерживали собственные инструменты или пайплайны
Как выберем команду:
Обсудим ваш опыт и интересы, проведём технические секции и встречи с подходящими командами. После успешного прохождения этапов обсудим предложение о работе.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.