Senior LLM Inference Backend Engineer

Задачи: — Инфраструктура и высоконагруженный инференс (Platform Engineering): проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей, скалирование, балансировка и приоритизация запросов, пользовательские лимиты — Оптимизация производительности: кэширование, батчинг и другие методы — Надежность и observability: обеспечение SLA и предотвращение регрессий — Оценка и внедрение новых LLM — Продуктовая разработка (LLM Application): разработка AI-сервисов, таких как AI Code Assistant (Co-Pilot), AI Chat, AI Code Review — Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом и состоянием — Интеграции: встраивание AI-сервисов в корпоративную среду через API, базы данных и legacy-системы — Исследования и прототипирование (R&D): проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена, исследование новых технологий и подходов для улучшения продуктов Требования: — Экспертиза в Python и Backend: опыт разработки на Python 5+ лет, знание стандартов typing, асинхронности, паттернов проектирования — Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами — Архитектура и надежность (Production): опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты — Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок — Глубокие знания LLM и Inference: опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание их внутренней работы — Опыт настройки инференса под highload: latency/throughput, управление GPU-ресурсами — Опыт построения решений с tool/function calling: MCP, guardrails, борьба с галлюцинациями