Технический аналитик на LLM-Router (экономика и качество LLM API)

Задачи: — Анализировать себестоимость и маржинальность по поставщикам, моделям и маршрутам, выявлять причины изменений и потенциальные финансовые потери. — Контролировать корректность цен и параметров тарификации в системе, отслеживать изменения тарифов, условий, лимитов и технических ограничений поставщиков. — Выстроить систему тестирования и оценки поставщиков: разработать критерии приёмки, тестовые сценарии, фиксировать результаты и регулярно переоценивать поставщиков. — Вести процедуры подключения и отключения поставщиков, самостоятельно выполнять доступные настройки и координировать доработки с технической командой. — Готовить предложения по порядку поставщиков в каскаде с учётом экономики, стабильности и ограничений, согласовывать изменения с руководителем Supply. — Организовывать и контролировать регулярные сверки внутренних логов с биллингом поставщиков, находить расхождения, оценивать их финансовый эффект и устанавливать причины. — Исследовать ошибки тарификации и учёта, включая некорректный учёт параметров запросов, обрывы стриминга, неполные данные о токенах, повторные запросы и другие отклонения. — Независимо оценивать качество поставщиков и корректность внутреннего учёта на основе данных, отслеживать ошибки, задержки, успешность запросов и переключения между маршрутами. — Передавать выявленные проблемы ответственным, участвовать в разборе с технической командой и проверять результат исправлений. — Систематизировать инструменты учёта и отчётности, развивать дашборды, автоматические проверки и уведомления об отклонениях. — Формировать понятную отчётность: состояние поставщиков, существенные отклонения, риски и предложения по оптимизации. Требования: — Опыт самостоятельной аналитической работы в технических продуктах: от постановки задачи и проверки данных до выводов и внедрения изменений. — Уверенное владение SQL, включая сложные объединения, оконные функции, агрегации, поиск пропусков и дублей, анализ больших объёмов событий. — Владение Python для анализа данных, работы с API и автоматизации регулярных проверок. — Понимание HTTP, REST API и JSON. — Умение самостоятельно выполнять тестовый запрос, изучать ответ и анализировать логи. — Понимание принципов потоковой передачи данных, таймаутов, повторных запросов и их влияния на учёт и стоимость. — Понимание экономики продукта: себестоимость, выручка, маржинальность, влияние тарифов и технических ошибок на финансовый результат. — Навыки сверки данных из разных источников, проверки их полноты и достоверности, поиска первопричин расхождений. — Умение формулировать требования к мониторингу и отчётности, ставить задачи технической команде и проверять результат. — Самостоятельность, системность, внимание к деталям. — Умение подтверждать выводы данными, обсуждать спорные вопросы конструктивно и доводить проблемы до решения. Будет плюсом: — Опыт работы с PostgreSQL и ClickHouse. — Опыт с биллингом, тарификацией, финансовыми сверками или контролем облачных расходов. — Опыт аналитики API-сервисов, платёжных систем, телекома или других продуктов с большим объёмом транзакций. — Опыт построения регулярного мониторинга, автоматических проверок и дашбордов. — Знакомство с LLM API, учётом входных и выходных токенов, кешированием и маршрутизацией запросов. — Английский для чтения документации и переписки с поставщиками.