Маленькие хитрOсDI.

Сегодня хочу рассказать (или напомнить) о некоторых приемах, помогающих в работе с Oracle Data Integrator.
Большая часть этих приемов касается пользовательского интерфейса, но есть и связанные с архитектурой, а потому отличающиеся от версии к версии, особенности.

Перенумерация репозиториев

В 11g появилась возможность перенумерации репозиториев. Эта возможность позволит иметь для каждого вашего репозитория свой уникальный идентификатор, что является необходимым условием для успешного импорта-экспорта объектов между разными репозиториями. Все внутренние идентификаторы объектов, созданных в репозитории, будут автоматически изменены.

Где - Вкладка Топология, раздел Репозитории.

Использование маркеров и мемо полей в проекте ODI (Using Markers and Memos).

Приветствую.

Сегодня сделаю небольшой перевод документации о том, что такое маркеры, и как их использовать, а затем, для демонстрации, создам несколько групп маркеров в тестовом проекте.

---

Практически все объекты проекта или модели имеют возможность быть помечеными некоторыми флагами, а также имеют поле Memo для внесения в него произвольного текста любого объема.

ODI Common Format Designer (Часть 2).

Приветствую всех.

Сегодня продолжение перевода документации о конструкторе моделей ODI. Здесь находится первая часть перевода.

---

Генерация DDL скриптов.

Когда изменения в структурах таблиц происходят на сервере СУБД, вы обычно делаете реверс-инжиниринг измененных таблиц, чтобы получить новые метаданные и сохранить их в репозитории ODI.

Что такое ODI Common Format Designer (Часть 1).

Приветствую.

Сегодня хочу рассказать об одной интересной технологии создания моделей данных, которая есть в ODI, и которая называется Common Format Designer. На русский язык я попробую перевести этот термин как Конструктор Моделей.

Сам я конструктором моделей не пользовался в своей работе, о чем и сожалею, так как некоторые вещи с его помощью делались бы намного проще.

Ниже первая часть перевода документации, которая касается конструктора моделей.

---

Конструктор Моделей

КМ используется для быстрой разработки модели данных в клиентском приложении Дизайнер. Эта модель данных может быть разработана как полностью новая модель, или составлена из таблиц других моделей, уже существующих в ODI. КМ может автоматически генерировать DDL скрипты для физического создания таблиц на сервере данных.

КМ позволяет пользователю модифицировать существующую модель, а так же может автоматически генерировать DDL скрипты для синхронизации между моделью данных, хранящейся в ODI и реальными структурами данных, которые находятся в СУБД.

Использовать КМ можно при, например, разработке витрин данных, области стейджа, мастер данных или области преобразования данных (ODS), используя при этом структуры данных из гетерогенных систем источников.

Разработка Модели

Что такое диаграма?

Диаграма это графическое представление некоторого подмножества абстрактных таблиц, находящихся в модели или подмодели данных. Модель данных может иметь несколько диаграм.

Диаграма строится:

• Путем сбора в диаграму существующих таблиц из моделей и подмоделей.
• Созданием новой абстрактной таблицы, затем:
• добавлением колонок в эту таблицу из других таблиц;
• созданием новых колонок в этой таблице.

Зачем брать таблицы и колонки из других моделей?

Во время сбора таблиц или их колонок из других моделей в диаграму, Oracle Data Integrator сохраняет источник происхождения колонки или таблицы, добавляемой в модель. Хранение ссылок на источники оригинальных структур позволяет ODI автоматически генерировать интерфейсы интеграции для получения данных из таблиц источников (Interfaces IN).

Автоматически созданные интерфейсы не работают для загрузки таблиц или колонок, полученных не из других таблиц и колонок. Но для сгенерированных интерфейсов по-прежнему доступна возможность их редактирования и их можно доработать для загрузки тех данных, которые не были автоматически отмапированны.

Графические синонимы

В диаграме таблица может использоваться несколько раз как графический синоним. Синоним это просто вид отображения таблицы в графическом виде, позволяющий сделать диаграму более читабельной.

Если вы будете удалять таблицу из диаграмы, приложение Дизайнер выдаст запрос, хотите ли вы удалить просто синоним из диаграмы (оригинальная таблица модели сохранится), или хотите удалить как таблицу, так и все ее синонимы.

Использование диаграм.

Из диаграмы можно редактировать все элементы модели (таблицы, колонки, связи, фильтры и т.п.) присутствующие в диаграме. Так же, как и для пакетов, двойной клик в диаграме открывает для редактирования оригинальные объекты, так что изменения сразу вносятся в таблицы модели.

Для создания новой диаграмы необходимо:

1. В режиме отображения моделей, раскрыть дерево конкретной модели и выбрать узел Diagrams.
2. Правой кнопкой мыши выбрать команду Insert Diagram.
3. Ввести наименование и описание новой диаграмы

Добавление существующей таблицы в диаграму:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выбрать таблицу из модели.
3. Перетащить таблицу в окно диаграмы.
   Если таблица перетаскивается не из текущей модели или подмодели, будет выдан запрос на создание копии выбранной таблицы в текущей модели.
   Если таблица уже присутствует на диаграме, Oracle Data Integrator спросит, желаете ли вы создать еще один графический синоним таблицы или хотите ее сдуплицировать.

Новый графический синоним для таблицы отобразится в диаграме. В случае, если вы добавляли таблицу в диаграму из другой модели, или выбрали режим дуплицирования существующей таблицы, новая таблица появится в текущей модели и отобразится в дереве модели.

Примечание: для создания графического синонима для существующей в диаграме таблицы выберите команду Create Graphical Synonym из контекстного меню таблицы.

Примечание: Если связь (джоин) существует в оригинальной модели между таблицами, добавленными в диаграму, эта связь также копируется.

Для создания новой таблицы в диаграме необходимо:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выбрать колонку из таблицы модели.
3. Перетащить колонку в диаграму.
   Появится окно редактирования новой таблицы, в котором уже будет добавлена выбранная колонка.
4. Нажать ОК для сохранения результатов.

Для добавления колонок, условия, фильтров или ключей:

1. Выберите таблицу в диаграме.
2. По клику правой кнопкой мыши выберите нужную команду добавления ключа, фильтра и т.п.

Для добавления существующих условий, связей или фильтров к таблице:

1. Перетащите из дерева модели существующие условия, связи или фильтры на диаграму.

Таблица, для которой вы перетаскиваете условие, связи или фильтры уже должна присутствовать на диаграме. Такое бывает, если эти объекты для таблицы были созданы позднее, чем таблица была добавлена на диаграму.

Для редактирования колонки таблицы в диаграме:

1. Выбрать в диаграме необходимую таблицу, затем выбрать колонку.
2. Правым кликом выбрать команду из контекстного меню (редактировать, просмотреть, дуплицировать, удалить).
   Для тех колонок, которые являются часть ключа (первичного или альтернативного), есть возможность редактирования объекта ключ, через команду контекстного меню Primary Key - Edit.

Для создания связи между двумя таблицами:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выберите на панели инструментов команду Add Reference.
3. Кликните на первой таблице и протащите курсор, не отпуская клавиши мыши, ко второй таблице.
4. Отпустите клавишу мыши, после чего появится диалоговое окно редактирования новой связи.
5. Задайте параметры связи и сохраните изменения нажатием клавиши ОК.

Для перемещения линии отображения связи на другой синоним:

Диаграма отображает связи между таблицами только от одного синонима к другому. Есть возможность, для таблиц у которых на диаграме несколько графических синонимов, выбрать к какому синониму будет проведена линия связи.
Изменение этого не меняет свойств связи, а влияет только на визуальное отображение в диаграме.

1. Выберите линию связи на диаграме.
2. По правой кнопе мыши выберите команду Display Options.
3. В появившемся окне выберите к какому синониму таблицы необходимо отображать связь.

---

Продолжение следует

Чего нам не хватает в ODI. Опрос (polling).

Коллеги.

Многие из читающих этот блог работают с Oracle Data Integrator. Некоторые даже с его новой версией, которая 11g.
Но есть люди, готовые попробовать улучшить что-то в этом инструменте загрузки и преобразования данных.

Для того, чтобы донести до разработчиков наши пожелания, попробуйте в комментариях сформулировать то, что вам не нравится в ODI, или то, что хотелось бы улучшить или добавить.

Текущий список пожеланий и ошибок в Oracle Data Integrator находится на странице по ссылке.

Инсталлируем и настраиваем ODI на MS SQL Server Часть 2.

Приветствую.

Дополнил страницу с описанием инсталляции ODI на MS SQL Server.
Теперь там описано, как создать физическую и логическую схемы данных, агентов, определить модель данных, сделать реверс таблиц из БД в модель данных, импортировать модули знаний в проект и т.п.

ODI и Windows 7.

Приветствую.

Сегодня хочу рассказать о некоторых особенностях работы клиентских программ Oracle Data Integrator в ОС Windows 7.

1. Инсталляция клиентской части в Windows 7.
Инсталлятор ODI проверяет версию операционной системы перед инсталляцией, и, не поддерживая указанную ОС, не дает продолжить инсталляцию. Один из вариантов решения этой проблемы описан здесь, и заключается он в том, чтобы запускать файл инсталляции setup.bat с указанием опции -ignoresysprereqs.

Небольшое описание инсталляции ODI на MS SQL Server.

Приветствую.

Попытался описать процесс инсталляции ODI на Microsoft SQL Server 2008. Это описание доступно по ссылке, а в блоге на него будет ссылка с верхнего перечня страниц блога. Там где Поиск и т.п.
Пока описано только до момента запуска Дизайнера, т.е. инсталляция самого ODI, инсталляция SQL сервера, дополнительно необходимое ПО и перечень драйверов, а также создание мастер репозитория и рабочего репозитория.
Планирую эту страницу дополнять в будущем.

Скрытые переменные сценария починили.

Сегодня обнаружил, что описанное в этом посте поведение Дизайнера ODI, в версии 10.1.3.6.4 исправили. Теперь, если при запуске сценария, сделать отмену в диалоговом окне ввода значений параметров, повторный запуск этого же сценария не приведет к показу всех переменных сценария.

Значит, это все же была ошибка.

Диаграмма выполнения пакета в Oracle Data Integrator.

Готовя предыдущий пост о советах по работе в приложении Дизайнер намеренно пропустил одну функцию этого приложения, которая помогает делать диаграмму выполнения пакета более стройной.

С самого начала работы с ODI я настойчиво упорядочивал пакеты, стараясь делать диаграмму "прямой и стройной". И делал это всегда вручную. Обнаружив описываемую ниже функциональность я попробовал ее использовать, разочаровался, и решил вообще о ней не упоминать. Но, спустя время, понял, что в 80% случаев она может быть полезна для разработчика.

Что я имею ввиду? Обычно диаграмма пакета это графическое отображение объектов пакета в виде пиктограмм и связей между ними, в виде стрелок. Направление стрелки показывает порядок выполнения действий над объектами пакета, разные цвета этих стрелок обозначают переход выполнения в случае успешного и неуспешного завершения текущего шага.

Прямая и стройная диаграмма это расположение объектов пакета на одной прямой. С этой задачей может справиться специальная функция Дизайнера, которая называется Reorganize:

К сожалению, эта возможность хорошо работает только для последовательных запусков переменных, процедур и интерфейсов в пакете. Если попытаться воспользоваться этой функцией для чего-то более сложного, с условными переходами или циклами - получится совершенно запутанный клубок из объектов и переходов между ними.

Вот как выглядит упорядоченный вручную пакет:

Вот что происходит после использования функции Reorganize:

Как видно, первый вариант был более удобочитаемым. С другой стороны это, возможно, и правильно. Выстраивая диаграмму пакета вручную, разработчик имеет возможность еще раз проверить алгоритм работы пакета основываясь на его визуальном представлении, практически, имея перед глазами блок-схему программы. С этой точки зрения неудобство заключается только в отсутствии возможности привязывать объекты диаграммы к направляющим или сетке. Остается только пользоваться возможностью взаимного упорядочивания объектов по вертикали или горизонтали:

Update:
Подробнее о диаграмме пакета как схеме выполнения загрузки (workflow)

Дизайнер ODI: советы.

Сегодня я подготовил несколько советов по работе в программе Дизайнер, одной из четырех клиентских оболочек Oracle Data Integrator.

Совет 1. Именование объектов.
Начнем с совсем простого, т.е. с того, как называть свои пакеты, интерфейсы и функции. Хорошей практикой считается подход, когда интерфейс называется так же, как и целевая таблица, которая этим интерфесом заполняется. По названию процедуры должно быть понятно, что она и примерно как делает. Пакет именуется по тем же принципам.
Совсем недавно я обнаружил, что наименование сценария для объекта автоматически генерируется в верхнем регистре:

Типы репозиториев ODI.

Попытался сделать перевод статьи на тему типов репозиториев ODI, но, под конец работы, понял, что получается слишком коряво.
Поэтому решил написать свое, хоть и по мотивам.

Итак, с точки зрения ODI есть два разных типа рабочих репозиториев. Называются они репозиториями разработки и выполнения. В чем разница между ними, и что такое вообще репозиторий ODI?