ML-разработчик

Location: Москва Workplace: гибкий Мы — команда, которая строит и развивает LLM-агентов для поддержки пользователей и внутренних бизнес-процессов. Делаем решения «под ключ»: от прототипов и экспериментов до промышленных сервисов с мониторингом качества, метриками и стабильной эксплуатацией. Работаем на стыке ML/LLM и backend-разработки: проектируем пайплайны, интегрируемся с продуктами и инфраструктурой, строим RAG-системы и агентные сценарии, измеряем качество (precision/recall/F1, macro-F1), ведём эксперименты и улучшаем модели на данных. Используем Python, LangGraph/LangChain-подходы, Langfuse для наблюдаемости, Git и внутренние платформы хранения/обработки данных (в том числе YTsaurus), а также очереди и хранилища (Kafka/Redis). Задачи Разрабатывать и развивать LLM-агентов: сценарии, инструменты (tools), оркестрацию, память, маршрутизацию, обработку ошибок и fallback-логики Проектировать и внедрять RAG: индексация, эмбеддинги, ретриверы, ранжирование, чанкинг, оценка качества поиска и ответа Интегрировать агентные решения в прод: сервисы, API, взаимодействие с Kafka/Redis и другими компонентами инфраструктуры Настраивать наблюдаемость и контроль качества: логирование/трейсинг, Langfuse, дашборды, алерты, анализ деградаций Проводить офлайн/онлайн-оценку качества: считать precision/recall/F1/F1-macro, строить датасеты, проводить A/B или квазиэксперименты, формулировать гипотезы улучшений Участвовать в улучшении пайплайнов данных и экспериментов: подготовка данных, разметка/валидация, хранение и воспроизводимость Писать поддерживаемый код: ревью, тесты, документация, CI/CD, участие в архитектурных решениях Требования Уверенный Python (проектирование модулей, типизация, тестирование, работа с API/сервисами) Практический опыт работы с LLM/agentic-подходами: промптинг, tool calling, цепочки/графы, управление контекстом, обработка галлюцинаций и ограничений моделей Понимание и опыт оценки качества: precision/recall/F1, macro-F1, построение датасетов и интерпретация метрик Опыт построения или внедрения RAG (retrieval, embeddings, индексация, ранжирование, чанкинг, оценка retrieval-качества) Опыт разработки и эксплуатации сервисов: REST/gRPC, асинхронность, логирование, мониторинг, работа с Git Понимание очередей/кэшей/хранилищ (Kafka, Redis или аналоги), опыт интеграций Будет плюсом Опыт с LangGraph / LangChain, Langfuse (трейсинг, промпт-менеджмент, датасеты, evaluation) Опыт с YTsaurus или другими распределёнными системами хранения/обработки данных Опыт low-code/конструкторов пайплайнов и быстрых прототипов, доведение их до production Знание подходов к ранжированию, rerank, hybrid search, query rewriting, guardrails/safety Опыт A/B-тестов, построения продуктовых метрик и причинно-следственного анализа Опыт работы с контейнеризацией и деплоем (Docker/K8s), CI/CD