понедельник, 17 января 2011 г.

ODI 11g. Разработка дополнительных операций над данными (Developing Additional Components).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.


Не все типичные задачи по загрузке данных в ХД могут быть реализованы с помощью интерфейсов ODI. Обычно, для таких задач разрабатывают дополнительные механизмы, которые занимаются решением следуюшего списка вопросов:

  • Отправка и получение электронной почты.
  • Копирование, перемещение, слияние, переименование файлов в операционной системе.
  • Архивирование и разархивирование файлов.
  • Запуск веб сервисов.
  • Написание и выполнение скриптов командной оболочки для специфических операционных систем.
  • Написание и запуск JAVA программ.
  • И т.п.

Механизмы, реализующие подобные задачи, могут быть разработаны и отлажены в Дизайнере в виде процедур, переменных, пользовательских функций или вызовов компонентов ODI в рамках пакетов. Процедуры ODI предоставляют наиболее обширный перечень возможностей по организации дополнительных операций с данными. Процедуры могут включать в себя следующие варианты задач:
  • Выполнение запросов к любой БД.
  • Вызов функций операционной системы.
  • Вызов встроенных компонентов ODI или API ODI (Отправка почты, чтение почты, ожидание файла и т.п.).
  • Выполнение скриптов на тех скриптовых языках, которые поддерживаются Jakarta Bean Scripting Framework. Включая Java, Java Script, Python, Perl, NetRexx, Groovy, и т.п.
Конечно, риск здесь состоит в том, что можно начать разработку ETL преобразований в виде процедур, вручную кодируя процессы загрузки данных, вручную же преобразовывая данные SQL запросами, вместо того, чтобы пользоваться достаточно мощным механизмом интерфейсов ODI использующим принцип описания шаблонов преобразований в виде модулей знаний.

Чтобы избежать этого, старайтесь определять ваши преобразования как бизнес-правила, а не как техническую последовательность загрузок. Процедуры ODI должны рассматриваться как необходимая часть решения технических проблем при загрузке данных, но они не должны реализовывать существенные моменты бизнес-правил загрузки данных.

Обычный проект построения ХД содержит не более 10% преобразований, осуществляемых при помощи процедур ODI.

См. также:
Что такое интерфейс.
Что такое модули знаний.
Отправка письма из ODI.
Организация загрузки данных в ХД.
Типы объектов разработки ODI или из чего состоит проект.

Комментариев нет:

Отправить комментарий