АПО - Лекция №3

Процесс ETL: Извлечение, Преобразование и Загрузка данных ETL (Extract, Transform, Load) — это комплекс методов, предназначенных для решения ключевых проблем работы с данными в аналитических системах. Его основная задача — переносить данные из разнородных источников в единое хранилище, подготавливая их для последующего анализа. Основные проблемы данных, которые решает ETL: 1.Разнообразие источников: Данные поступают из CRM-систем, веб-сайтов, мобильных приложений и т.д., имея разные форматы и структуры. 2.Избыточная детализация: Источники часто содержат слишком подробные данные (например, отдельные чеки), в то время как для анализа требуются обобщенные показатели. «3.Грязные» данные: Исходные данные содержат ошибки, опечатки, дубликаты, пропуски и логические противоречия, что негативно влияет на достоверность анализа. Архитектура и этапы ETL: Процесс строится на трехуровневой архитектуре: Источник данных → Промежуточная область → Хранилище данных. 1.Извлечение (Extract): Данные выгружаются из всех исходных систем и помещаются в промежуточную область (staging area). Это позволяет проверить их соответствие спецификациям, не нагружая основное хранилище. Выгрузка может быть полной (при первичном заполнении) или инкрементной (только измененные данные). 2.Преобразование (Transform): Это самый сложный и важный этап, где данные очищаются и приводятся к единому стандарту. Процесс включает: - Очистку: Устранение ошибок на всех уровнях (ячейки, записи, таблицы, базы данных).