Data QA

Задачи: — Валидация процессов загрузки данных — Проверка корректности скачивания данных из внешних источников (БКИ, ЦБ, ФНС и др.) — Контроль раскладки данных по целевым таблицам в S3/Iceberg — Подтверждение обработки 100% входящего объёма данных — Тестирование механизмов обновления: отсутствие дубликатов при повторной загрузке — Блокировка записей с аномалиями (ошибки источника, некорректные форматы) — Анализ документации (ТЗ, мэппинги) для проектирования тест-кейсов Требования: — Опыт интеграции внешних источников (БКИ, ФНС, ЦБ) — Практическое знание SQL: написание проверочных запросов, анализ трансформаций, выявление расхождений — Понимание архитектуры Lakehouse (S3, Iceberg) и слоёв хранения (RAW/ODS/DDS) — Базовое чтение кода на Python (для анализа скриптов обработки данных) — Знание Big Data-инструментов: Airflow (мониторинг задач), Spark (понимание логики обработки), S3/Hadoop Условия: — Оформление по ТК РФ c полной «белой» историей