пятница, 29 марта 2013 г.

Почти апрель.

Из-за нас, работников отрасли деловой разведки и аналитики, закрывают гуглоридер. Вот оно как, оказывается...

вторник, 26 марта 2013 г.

Как работают над ХД в банках.

В процессе подготовки заметки о принципах разработки производительного ETL, наткнулся на старый, зато достаточно подробный рассказ о том, как создаются хранилища данных в банковских структурах. Кому интересно - вот ссылка.

Абзац для интереса:

   Финансовое хранилище служит для построения внутренней финансовой отчетности для группы компаний и для построения IFRS отчетности для «материнской» компании. Раньше все финансовые показатели агрегировались в отдельных кубах и автоматического выхода на общий результат не было, а потому отчеты собирались вручную. Сейчас мы достигли такой степени зрелости, что хотим полностью автоматизировать этот процесс, а для этого нам необходимо выделить финансовые кубы в отдельное хранилище. В результате трудозатраты должны сократиться на порядок.

вторник, 19 марта 2013 г.

10 принципов производительного ETL от Ральфа Кимбала.

Приветствую.

Перевод статьи "Increasing ETL Throughput" от Ezequiel Gallardo.

Ключевые концепции, которые
должен знать разработчик перед тем,
как создавать "ETL процесс"


  От ETL команды ожидают создания максимально производительного набора ETL процессов. Мы рекомендуем эти 10 правил, которые применимы как для самописных решений так и при использовании некоторых ETL инструментов, для поднятия производительности на максимальный уровень.
Ральф Кимбал.

10. Уменьшайте операции ввода - вывода.

Минимизируйте использование стейджевых таблиц. Держите данные в памяти, обрабатывая их на конвеере ETL преобразований, начиная с момента загрузки данных из источников до момента записи в целевые таблицы.

Я настаиваю на том, что ввод-вывод должен быть сведен к абсолютному минимуму. Безусловно, вам может понадобиться сохранить данные источников по многим причинам. Одна из допустимых причин этого может заключаться в том, что вам необходимо минимизировать доступ к источнику, или ваш источник позволяет сделать только одно чтение данных.

вторник, 12 марта 2013 г.

Дайджест ODI публикаций 2012, Сентябрь.



Получить список всех объектов ODI включая полный путь для проекта или модели.
Get a list of all of your ODI objects including the path in your project or model
Очень удобный скрипт если вам необходимо получить список всех объектов ODI, отфильтровав его, например, по дате последнего изменения или месте в иерархии папок проекта.
Дата публикации: 2012-09-17, Комментариев: 0

Копирование и перемещение объектов между проектами ODI.
Copying and moving objects between projects in ODI
18-шаговое подробное объяснение каким образом необходимо правильно копировать/перемещать пакет из одного проекта ODI в другой.
Дата публикации: 2012-09-18, Комментариев: 0

ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 4. Потребление данных из OBIEE веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part IV. Consuming a SOAP OBIEE web service using ODI 11g
В четвертой части этой серии рассказывается как вызывать веб-сервис OBIEE и получить информацию из Презентационного сервиса о пользователях, группах, правах и т.п.
Дата публикации: 2012-09-25, Комментариев: 0

вторник, 5 марта 2013 г.

Организация моделей и проектов в ODI.

Приветствую.

Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.

<Начало перевода>

Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).