Область стейджа для хранилищ данных, это место для временного хранения копии данных из систем источников. Область стейджа требуется, в основном, по причинам временного характера. Коротко - все необходимые данные из систем источников должны быть в наличии перед началом интеграции данных в ХД.
Ввиду разных схем ведения бизнеса, обработки данных, доступных ресурсов аппаратного обеспечения и существующих ограничений пропускной способности сетей для передачи данных, не всегда есть возможность вытащить все необходимые данные из систем источников в один и тот же момент времени.
Типичная схема потоков данных в ХД:
Например, выгрузка данных по продажам может осуществляться ежедневно, но финансовые данные могут требовать ежемесячной сверки перед тем, как станет возможным их загрузка в ХД. Похожая ситуация может быть для БД с покупателями. Данные из Сингапура могут быть доступны в полдень по времени восточного побережья США, но данные из БД покупателей в Чикаго, к этому времени, никак не будут готовы.
Не все ХД требуют использования области стейджа. Для многих хранилищ вполне возможно использование ETL, который будет загружать данные в ХД непосредственно из систем источников.
Полностью согласен. Вот только прочитав много статей на твоем блоге, я понял что информация не очень структурирована - очень много полезного, но как бы это все классифицировать и разбить на разделы/группы? Или может это все уже есть, а я не умею пользоваться. :-)
ОтветитьУдалитьЧтобы это все классифицировать нужно книгу писать. Пока стараюсь делать правильные ярлыки, они вот тут справа. Ну и поиск по сайту есть, если получится правильно сформулировать проблему в виде запроса.
ОтветитьУдалитьСамый популярный ярлык - Ликбез, думаю, для новичков надо начинать именно с него. Всем же остальным, я надеюсь, достаточно чтобы отложилась в голове схема или подход, а потом, при необходимости, можно будет вернуться в блог и найти нужное.
Я сам постоянно что-то в блоге ищу.