Staff / Senior Staff Machine Learning Engineer (Inference)

О компании: Inworld AI — исследовательская лаборатория и провайдер инференса, специализирующаяся на реальном времени AI для потребительских приложений. Компания разрабатывает собственные речевые модели, обслуживает LLM и управляет инференсом через модульные API для высоконагруженных приложений. Ежемесячно обслуживает более 10 триллионов токенов LLM. Клиенты включают NVIDIA, Microsoft Xbox, Niantic и другие. Задачи: — Оптимизация инференса моделей, глубокое понимание современных фреймворков и техник (vLLM, TRT-LLM). — Ускорение моделей с использованием квантования, дистилляции, стратегий кэширования, непрерывной пакетной обработки, paged attention и speculative decoding. — Работа с высокопроизводительными системами, профилирование кода и оптимизация под NVIDIA GPU. — Масштабирование распределённых систем с Kubernetes, Ray, балансировкой нагрузки, multi-GPU/multi-node инференсом. — Полный цикл владения: от получения модели от исследовательской команды до контейнеризации, оптимизации и обеспечения стабильной работы в продакшене. Требования: — Опыт с C++, CUDA, Rust или высоко оптимизированным Python. — Знание Kubernetes, Ray и масштабируемых распределённых систем. — Опыт с современными методами оптимизации инференса. — Докторская степень в области компьютерных наук, физики, математики или эквивалентный практический опыт. — Опыт участия в публичных проектах, open-source или технических публикациях будет преимуществом. Условия: — Удалённая работа с обязательным правом на работу в Великобритании (виза не спонсируется). — Зарплата от £140,000 до £200,000 в год, включая акции и бонусы. — Возможность будущего релокационного и визового сопровождения в Сан-Франциско (по бизнес-потребностям). Ожидания: — Способность работать с неясными задачами и быстро находить решения. — Ориентация на результат и стабильность продукта. — Акцент на влияние и качество, а не только на теоретические оптимизации. Язык объявления: русский.