Задачи:
— Построить внутреннюю AI-платформу знаний, интегрирующую локальные LLM, Box и внешние AI-сервисы.
— Обеспечить интерфейс для 10–20 сотрудников для поиска и использования корпоративных знаний, взаимодействия с AI-моделями и генерации ответов и документов с указанием источников.
Требования:
— Развертывание локальных LLM на Mac Studio (Ollama или аналог).
— Интеграция с Box API и поиск по крупномасштабным данным компании по запросу.
— Реализация RAG, извлечение документов и их повторная ранжировка.
— Интеграция с внешними AI API, такими как OpenAI/GPT, Gemini, Grok и др.
— Создание AI Router/Orchestrator для выбора или комбинирования нескольких моделей.
— Аутентификация пользователей и доступ к документам с учётом прав.
— Ведение истории разговоров, управление знаниями и аудит логов.
— Отслеживание использования API, затрат и обеспечение безопасности.
— Архитектура backend/API, пригодная для дальнейшего расширения.
Условия:
— Начать с небольшого PoC и расширить до продакшена после проверки точности поиска, качества ответов, производительности, безопасности и затрат на эксплуатацию.
Особенности:
— Не планируется скачивать или встраивать весь набор данных Box, предпочтение отдаётся поиску по запросу с выборкой релевантных документов и передачей контекста выбранной LLM.
При отклике необходимо кратко описать опыт с локальными LLM, RAG, Box или аналогичными API корпоративного хранилища, мульти-LLM интеграцией и рекомендуемым стеком технологий для проекта.
Контакты работодателя доступны по кнопке «Откликнуться» после входа.