You will own the inference serving stack: prefill/decode disaggregation, continuous batching, KV-cache management, speculative decoding, MoE serving, quantization, and GPU performance engineering with CUDA/Triton.
Задачи:
— Владение стеком inference serving: prefill/decode disaggregation, continuous batching, KV-cache management, speculative decoding, MoE serving, quantization, GPU performance engineering с использованием CUDA и Triton.
— Определение дорожной карты по обслуживанию и измерениям, активное участие в технической работе.
Требования:
— Опыт работы с системами LLM inference (vLLM, SGLang, TensorRT-LLM или аналогичными).
— Глубокие знания производительности GPU (FP8/FP4, пропускная способность памяти, FLOPs).
— Опыт работы с MoE serving.
— Строгий подход к бенчмаркингу.
— Техническое лидерство.
— Владение английским языком на уровне C1.
— Приветствуются вклады в open-source проекты по inference frameworks.
Условия:
— Реальная ответственность.
— Небольшая команда senior уровня с низкой бюрократией.
— Конкурентная зарплата с бонусами за результат.
— 24 дня отпуска в год плюс официальные праздники.
— Медицинская страховка.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.
64/100
Средняя вакансия
Оценка от Job Hunters AI
Senior Inference Engineer; компания не названа; зарплата не указана; понятные задачи; гибкий формат; хороший соцпакет.
Из чего сложилась оценка. Нажмите, чтобы узнать подробнее
Компания не названа
Работодатель не указан ни в тексте, ни в полях.
Из объявления
Senior Inference Engineer … Remote - Dubai - Abu Dhabi … Offer: real ownership, a small senior team with low bureaucracy, competitive salary with performance-based incentives, 24 days annual leave + public holidays, health insurance.