Какой-ты, комит?

Честно говоря, думал, получится средних размеров заметка.

С кучей скриншотов и разными экспериментами по использованию опции Автокоммит в процедурах ODI. А на самом деле вышло вот что.

В, например, стандартном модуле знаний "IKM SQL Control Append" есть такая последовательность шагов

Организация моделей и проектов в ODI.

Приветствую.

Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.

<Начало перевода>

---

Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).

О некоторых особенностях вызова команды реверса модели из пакета.

Воплощая идею доступа к собственному репозиторию выполнения через модуль знаний реверса (RKM) столкнулся со странным поведением пакета, из которого вызывал модель с командой 'Model Reverse'

В модуле реверса я задал несколько опций, имеющих тип CheckBox, используя которые я собирался управлять выполнением одного или нескольких шагов модуля. Тот же механизм, впрочем, работает и для простых процедур.

Не все то хорошо, что новая версия.

Эпопея с закатом OWB тянется уже давно, и где-то на протяжении полутора лет мне, с разной частотой, попадались мнения разных людей, которые говорили или писали, что ODI и OWB скоро сольются.

Что вам сказать, похоже, сливание уже началось. Слияние. В текущей версии ODI мы имеем кучу багов и странных, тормознутых или кривых интерфейсных загогулин.

Попробуем пройтись по списку найденного.
Все это лучше было бы смотреть на видео, но, пока, до видео руки не дошли.

Использование утилит Oracle Data Integrator.

Сентябрь еще на дворе, а в нашей профессии без постоянного изучения чего-нибудь нового - никуда. Поэтому сегодня будет перевод части документации из файла Tools Reference Guide посвященной командам ODI.

---

Использование утилит Oracle Data Integrator.

Сбор статистики для таблиц MS SQL Server.

Приветствую.

Продолжим изучать описанный ранее подход сбора статистики для таблиц БД.

Моя цель - улучшить скрипт и разобраться немного с процессом сбора статистики для таблиц MS SQL Server. Статистику буду собирать по всем колонкам заданной таблицы.

Итак, документация дает следующее описание синтаксиса команды сбора статистики:

ODI 11g. Разработка дополнительных операций над данными (Developing Additional Components).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.

---

Не все типичные задачи по загрузке данных в ХД могут быть реализованы с помощью интерфейсов ODI. Обычно, для таких задач разрабатывают дополнительные механизмы, которые занимаются решением следуюшего списка вопросов:

• Отправка и получение электронной почты.
• Копирование, перемещение, слияние, переименование файлов в операционной системе.
• Архивирование и разархивирование файлов.
• Запуск веб сервисов.
• Написание и выполнение скриптов командной оболочки для специфических операционных систем.
• Написание и запуск JAVA программ.
• И т.п.

Создание временных таблиц процедурами ODI.

Приветствую.

Хочу рассказать о подходе, который я, как и многие мои коллеги, используют, когда необходимо создать временную таблицу, которая будет использоваться в загрузке данных.

В отличие от описанного здесь алгоритма создания временной таблицы через интерфейс, я предпочитаю использовать для этих целей процедуры Oracle Data Integrator.

Переносим объект из одного проекта ODI в другой.

Созданная в прошлом посте копия проекта W_Project1 поможет провести эксперимент по переносу объектов из одного проекта в другой. Если мы попробуем использовать переменную Variable1 из проекта W_Project1 в пакете проекта W_Project2 Дизайнер сообщит об ошибке:

Создаем и используем функцию PL/SQL из ODI.

Третий пост на тему использования процедур и функций PL/SQL в Oracle Data Integrator. На этот раз я попробую создать функцию PL/SQL сам, чтобы использовать ее вместо постоянной процедуры и функции СУБД.

Зачем именно в ETL коде? Это, как я уже указывал, уменьшает объем передаваемого на деплой кода, и, самое главное, это удобнее при разработке.
Ведь после каждого изменения таблицы, которая используется в процедуре или функции данная процедура, а то и весь модуль, в котором она находится, становится невалидной в СУБД Oracle. А пересоздание процедуры при каждом запуске сценария позволяет не затрагивать своими экспериментами других пользователей.

Из чего состоит проект ODI.

В поисках вдохновения решил почитать документацию по Oracle Data Integrator. Хотел, отталкиваясь от описания в документации, рассказать о том, что такое процедура. Но нашел более интересные части, их и переведу.

---

Составляющие проекта Oracle Data Integrator.
Следующие компоненты входят в дерево проекта ODI:

1. Папка (Folder)
   Объекты ODI могут находиться в папках или подпапках.
2. Пакет (Package)
   Пакет это наибольший возможный выполняемый объект ODI. Пакет состоит из последовательности шагов огранизованных в виде цепочки выполнения.

Что такое Oracle Data Integrator (ODI)?

Подумал, что сложно, наверное, найти в сети ответ на этот вопрос, тем более ответ без стандартных маркетинговых фраз.

В моей работе ODI - это программа (набор из нескольких программ, сервер приложений), которая позволяет копировать данные из таблиц разных СУБД разных производителей, складывать их в нужную БД (Хранилище Данных), и, после этого, производить над этими данными некие преобразования. Чтобы, в конце этого процесса, получить нужные для пользователей отчеты.

Набор программ ODI (не полный)