Бэкенд-разработчик

Задачи: — развивать LLM Gateway для Авито, чтобы создавать продукты с LLM было быстро и удобно; — автоматизировать выдачу и настройку доступов к моделям; — развивать управление потреблением LLM: рассчитывать стоимость LLM-вызова, настраивать бюджетные лимиты для клиентов и приоритеты; — развивать динамическую балансировку трафика между LLM-моделями; — определять SLA платформы и методику его расчёта, настраивать мониторинг и алёрты, поддерживать SLA; — интегрироваться с платформой инференса, автоматизировать развёртывание моделей и открывать к ним доступ для пользователей в инфраструктуре Авито; — тесно взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии. Требования: — опыт технического лидерства в крупных направлениях с высокой степенью неопределённости: сбор требований, планирование работ, декомпозиция задач, ответственность за реализацию и отслеживание результатов; — опыт поддержки критической высоконагруженной инфраструктуры: настройка мониторинга и алёртов, участие в дежурствах 24/7; — программирование на Python или Go от 5 лет; — опыт в MLOps или LLMOps: разворачивание и поддержка инфраструктуры для автоматизации работы с ML- и LLM-моделями; — понимание основ работы LLM: отличия prefill от decode, назначение KV-cache, понятие TTFT; — умение работать с задачами высокой неопределённости и выстраивать коммуникацию с командами. Будет преимуществом: — опыт работы с LLM API и LLM Gateway, например LiteLLM; — создание внутренних платформенных решений; — опыт работы с системами мониторинга LLM, например Langfuse, Opik и другими; — создание и поддержка админок для внутренних пользователей; — опыт работы с Kubernetes и GPU; — опыт работы с DWH, например ClickHouse и Trino. Условия: — расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; — сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких; — корпоративный спорт: групповые тренировки, велбиинг-приложение; — спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование; — компенсация питания.