Старший бэкенд-разработчик в команду LLM Gateway

Location: Москва, удалённая работа, RU; Россия О команде Наша команда развивает LLM Gateway — единую точку доступа в Авито к языковым моделям. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, прозрачно управлять лимитами, видеть стоимость каждого запроса и мониторить поведение моделей в продакшене. Какие задачи вас ждут: развивать платформу LLM Gateway для всего Авито, чтобы создавать продукты с LLM было быстро и удобно; автоматизировать выдачу и настройку доступов к моделям; развивать управление потреблением LLM: рассчитывать стоимость LLM-вызова; настраивать бюджетные лимиты для клиентов и приоритеты; развивать динамическую балансировку трафика между LLM-моделями; определять SLA платформы и методику его расчёта: настраивать мониторинг и алёрты; поддерживать выполнение SLA; интегрироваться с платформой инференса: автоматизировать развёртывание моделей; открывать доступ к моделям для пользователей в инфраструктуре Авито; взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии. Мы ждём, что вы: лидировали крупные стримы с высокой степенью неопределённости: собирали требования; планировали работу; декомпозировали задачи; отвечали за реализацию и мониторинг результатов; поддерживали критическую высоконагруженную инфраструктуру: настраивали мониторинг и алёрты; участвовали в дежурствах 24/7; программируете на Python или Go от 5 лет; имеете опыт в MLOps или LLMOps: поднимали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями; понимаете базовые принципы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT. Будет здорово, если вы: работали с LLM API и LLM Gateway или аналогичными решениями, например LiteLLM; создавали внутренние платформенные решения; работали с системами мониторинга LLM, например Langfuse или Opik; создавали и поддерживали административные интерфейсы для внутренних пользователей; работали с Kubernetes и GPU; работали с DWH, например ClickHouse или Trino. Работа у нас — это: расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких; корпоративный спорт: групповые тренировки, велбиинг-приложение; спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование; компенсация питания.