Требуется инженер для работы с оценкой больших языковых моделей (LLM). Кандидат должен иметь опыт программирования на Python не менее года и уверенно владеть инструментами для работы с данными, такими как pandas и SQL. Важно понимание принципов работы LLM и типичных ошибок, которые они совершают. Необходим опыт создания тестовых наборов и разработки метрик качества, включая использование LLM в роли судьи. Знакомство с инструментами для проведения оценок, например promptfoo, Langfuse или Braintrust, будет преимуществом. В работе предстоит создавать тестовые наборы и метрики для ИИ-ассистентов и агентов, регулярно запускать тесты для выявления регрессий при обновлениях моделей и промптов, анализировать ошибки и предоставлять рекомендации команде, а также автоматизировать процессы оценки качества в рамках CI. Предлагается участие в проектах по искусственному интеллекту и корпоративным системам для крупных казахстанских компаний, гибридный формат работы с офисом в Астане, официальное трудоустройство, доступ к современным ИИ-моделям и инструментам, а также возможность влиять на архитектуру и продукт.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.