Senior Software Engineer | AI Evaluation

Компания занимается созданием данных для обучения и оценки моделей генеративного искусственного интеллекта (GenAI). В команде работают эксперты из более чем 50 областей и представители более 100 стран. Компания сотрудничает с крупными технологическими компаниями и стартапами, имеет стратегических инвесторов и распределённую по миру удалённую команду. Задачи: — Создавать задачи и критерии их оценки для оценки AI coding агентов. — Формировать изолированную среду, эмулирующую рабочее место разработчика с Linux, инструментами разработки, серверами MCP и реальным кодом веб-приложения. — Создавать контекст задачи: тикеты, обсуждения, документацию, чтобы агент мог самостоятельно разобраться с задачей. — Строить виртуальную компанию с кодовой базой, инфраструктурой и историей разработки. — Собирать и калибровать задачи, превращая черновики в полные задачи с промптом и критериями оценки. — Итеративно работать с AI агентом, проверять тесты, анализировать результаты, проектировать крайние и сложные сценарии. Требования: — Опыт разработки не менее 8 лет на любом современном языке программирования. — Готовность и способность работать преимущественно на Python. — Практический опыт использования AI coding агентов (Claude Code, Codex) в инженерных процессах. — Умение решать задачи, ясно мыслить и объяснять технические решения. — Практическое понимание Docker и рабочих процессов разработки. — Готовность вносить технический вклад и выполнять задачи. Условия: — Фриланс с возможностью перехода в проектную команду. — Гибкий полностью удалённый график. — Работа на переднем крае AI разработки с известными клиентами. — Дружелюбное сообщество. Технологический стек: — Backend: Python, FastAPI — Frontend: JavaScript/TypeScript, React — Инфраструктура: Docker, PostgreSQL, Kafka, Redis Особенности: — Работа с задачами, которые сложно создать без использования передовых AI моделей. — Оценка решений AI агентов, которые могут иметь множество валидных вариантов. Вакансия архивирована.