суббота, 27 ноября 2010 г.

Что такое область стейджа (Staging Area) в хранилищах данных.

В описании того, что такое интерфейсы ODI, встречается такое понятие, как область стейджа. Чтобы убедиться в том, что я правильно понимаю это понятие, я попробовал найти описание этого термина. Описание нашлось вот здесь, а перевод этой небольшой заметки - ниже.


Область стейджа для хранилищ данных, это место для временного хранения копии данных из систем источников. Область стейджа требуется, в основном, по причинам временного характера. Коротко - все необходимые данные из систем источников должны быть в наличии перед началом интеграции данных в ХД.

Ввиду разных схем ведения бизнеса, обработки данных, доступных ресурсов аппаратного обеспечения и существующих ограничений пропускной способности сетей для передачи данных, не всегда есть возможность вытащить все необходимые данные из систем источников в один и тот же момент времени.

Типичная схема потоков данных в ХД:

Например, выгрузка данных по продажам может осуществляться ежедневно, но финансовые данные могут требовать ежемесячной сверки перед тем, как станет возможным их загрузка в ХД. Похожая ситуация может быть для БД с покупателями. Данные из Сингапура могут быть доступны в полдень по времени восточного побережья США, но данные из БД покупателей в Чикаго, к этому времени, никак не будут готовы.

Не все ХД требуют использования области стейджа. Для многих хранилищ вполне возможно использование ETL, который будет загружать данные в ХД непосредственно из систем источников.

2 комментария:

  1. Полностью согласен. Вот только прочитав много статей на твоем блоге, я понял что информация не очень структурирована - очень много полезного, но как бы это все классифицировать и разбить на разделы/группы? Или может это все уже есть, а я не умею пользоваться. :-)

    ОтветитьУдалить
  2. Чтобы это все классифицировать нужно книгу писать. Пока стараюсь делать правильные ярлыки, они вот тут справа. Ну и поиск по сайту есть, если получится правильно сформулировать проблему в виде запроса.

    Самый популярный ярлык - Ликбез, думаю, для новичков надо начинать именно с него. Всем же остальным, я надеюсь, достаточно чтобы отложилась в голове схема или подход, а потом, при необходимости, можно будет вернуться в блог и найти нужное.

    Я сам постоянно что-то в блоге ищу.

    ОтветитьУдалить