Ведущий инженер данных (LLM)

Задачи: — Определять источники данных для AI-решений, включая базы данных, документы, API, файловые хранилища, внешние системы и потоки обновлений; — Проектировать модели данных с учетом сущностей, связей, версий, метаданных, lineage, прав доступа и правил актуализации; — Организовывать сбор и обработку данных из внешних источников, включая очистку, нормализацию, дедупликацию, классификацию и разметку; — Формировать единое эталонное представление объекта (golden record) при объединении данных из нескольких источников; — Подготавливать данные для поиска и RAG, включая chunking, embeddings, индексацию, векторный и гибридный поиск; — Настраивать retrieval и reranking, обеспечивать обновление индексов при изменении исходных данных; — При необходимости готовить датасеты для обучения или дообучения моделей, если задача не решается с помощью RAG; — Определять показатели качества данных и retrieval, организовывать их мониторинг: полнота, актуальность, precision/recall, latency и другие показатели; — Взаимодействовать с LLM-инженерами, аналитиками и разработчиками при проектировании AI-решений. Требования: — Опыт от 4 лет в Data Engineering, Data Platform, Data Architecture или смежной области; — Уверенное знание SQL и реляционных баз данных; — Опыт построения ETL/ELT-процессов и data pipelines; — Опыт интеграции данных из различных источников: баз данных, API, файлов и внешних систем; — Практический опыт проектирования моделей данных и работы с качеством данных, метаданными и версиями; — Практический опыт подготовки данных для поиска, ML или LLM/RAG-систем; — Понимание принципов chunking, embeddings, vector search и hybrid search; — Опыт работы с векторными хранилищами или поисковыми системами; — Умение самостоятельно разбираться в структуре и качестве новых источников данных. Будет плюсом: — Опыт разработки и эксплуатации RAG-систем в production; — Опыт оптимизации retrieval и reranking; — Знание Python для обработки данных и разработки data pipelines; — Опыт работы с Kafka или другими системами потоковой обработки данных; — Опыт использования Airflow или аналогичных инструментов оркестрации; — Знание PostgreSQL, ClickHouse, Elasticsearch/OpenSearch, векторных хранилищ и аналогичных технологий; — Опыт подготовки датасетов для supervised learning / fine-tuning; — Понимание метрик оценки RAG: retrieval quality, groundedness, faithfulness, coverage. Условия: — Аккредитованная ИТ‑компания; — Работа в сильной команде профессионалов над амбициозными задачами и масштабными проектами; — ДМС с первого дня и льготное страхование для близких; — Корпоративное обучение и конференции за счет компании, доступ к образовательной платформе; — Бесплатная подписка Прайм+; — Программа наставничества для профессиональной адаптации новых сотрудников; — Спортивные занятия и активности в кругу единомышленников; — Бесплатное посещение Ленинградского зоопарка. Работа в офисе в Москве, адрес: Курская, Чкаловская, 2-й Сыромятнический переулок, 1.