Документация ODI доступна для ридеров.

Согласно квантовой теории, знание точной конфигурации Вселенной в момент Большого взрыва
не будет достаточным для предсказания полной ее эволюции.

ссылка.

Давным давно об этом написал Андрей Пивоваров в своем блоге, но, в то время, для Oracle Data Integrator-а документация в формате EPUB или MOBI не была еще доступна.

Теперь она доступна и для новой версии ODI 12c, как вы можете видеть внизу на скриншоте.

Так что, несмотря на эпиграф, изучение документации есть деятельность полезная, и теперь для этого можно использовать ваш ридер. На моем Киндле все читается хорошо.

1Z1-482.

Коллеги с odiexperts.com опубликовали короткие весте с экзаменационных полей. Касаются они прохождения сертификационого экзамена "1Z1-482 Oracle Data Integrator 11g Certified Implementation Specialist".

Сообщение о существовании этого экзамена появилось уже достаточно давно, но тогда он был в статусе бета-версии, и к сегодняшнему дню ничего не изменилось. Что еще стало понятно после изучения сайта Oracle?

Сам экзамен не дорогой, всего 39 евро. Стоимость рекомендованных курсов к нему, как онлайн, так и очных, вполне может дойти до 10 тысяч евро. Ну и направлен курс в основном на сотрудников компаний, являющихся партнерами Oracle, как указано в предисловии, тех, кто имеет хороший опыт продажи и внедрения решений на базе Oracle Data Integrator 11g.

Содержание экзаменационного курса (оригинал):


Введение в Oracle Data Integrator (ODI).

Описание преимуществ ODI (включая архитектуру ODI - Извлечение, Загрузка и Преобразование (ELT) ) и типичных примеров использования.
Описание компонентов ODI и их использования.

Архитектура.

Описание архитектуры ODI.
Инсталляция и конфигурирование физической и логической архитектур.
Описание компонентов Fusion Middleware - Upgrade Assistant, Repository Creation Utility и компонентов Java Enterprise Edition (JEE), принципа высокой доступности.

ODI Модели и Таблицы.

Создание абстрактной таблицы ODI.
Создание и правильная организация моделей ODI.
Реверс метаданных.
Объяснение констрейнтов ODI.
Настройка аудита.
Установка и настройка валидации данных.

Разработка проекта.

Создание проекта в ODI.
Что такое ODI интерфейс.
Описание концепции маппинга, соединений, фильтров, реализации бизнес-правил, а также понятие области стейджа и места выполнения.
Создание и запуск простого ODI интерфейса.
Создание лукапов.
Создание ODI интерфейса с несколькими источниками.
Создание соединений, фильтров, лукапов.
Настройка потока выполнения интерфейса. Определение места выполнения и области стейджа для интрефейса.
Изменение и разработка модулей знаний.
Описание процессов, во время выполнения.
Слежение за выполнением интерфейсов.
Исправление ошибок времени выполнения в интерфейсах, предотвращение ошибок путем следования рекомендациям лучших практик.
Настройка использования бизнес-правил, переменных, операций со множествами и последовательностями.
Использование партиционирования, временных индексов и временных интерфейсов.
Использование пользовательских функций и методов подстановки.

Управление выполнением.

Использование пакетов ODI для организации потока выполнения.
Использование переменных в пакетах (обновление, передача параметров).
Создание шагов пакета.
Пакеты - выполнение и мониторинг.
Построение комплексного потока выполнения включая разветвления и циклы.
Генерация и перегенерация ODI сценария.
Использование редактора планов загрузки для разработки планов загрузки.
Разработка последовательности иерархических шагов для плана загрузки.
Создание пакетов и планов загрузки.
Обработка исключений в планах загрузки.
Настройка планов загрузки на перезапуск дочерних сессий.

Интеграция OGG и ODI.

Объяснить задачу отслежевания изменений в данных (CDC) в ODI и типы возможных механизмов реализации CDC в ODI.
Развертывание Голден Гейта вместе с ODI.
Проведение журнализации.
Интерпретация и исправление ошибок CDC.

Углубленное использование ODI.

Дать описание ODI SDK.
Дать описание веб-компонентов ODI.
Объяснить роль ODI в работе с Валом Данных (Big Data).
Объяснить роль ODI в интеграции данных для BI.

Качество и профилирование данных (EDQ).

Описать как ODI и EDQ могут взаимно использовать элементы архитектуры (инфраструктура, источники и приемники данных, и т.п.)
Конфигурирование EDQ для работы с таблицами, снепшотами, данными стейджа, выгрузками данных.
Объяснить базовую статистику данных.
Объяснить слежение за изменением данных из одного источника (тренды).
Объяснить результаты профилирования данных и использование Resultbooks и методов Publish.

EDQ групповая обработка.

Объяснить процесс парсинга и интерпретировать его результаты.
Произвести процесс сопоставления, идентификации дупликатов, уметь балансировать производительность и точность определения дупликатов.
Объяснить процесс и статистику верификации адреса
Создать общий процесс, включающий все созданные ранее процессы и вызвать его из ODI.

Какой-ты, комит?

Честно говоря, думал, получится средних размеров заметка.

С кучей скриншотов и разными экспериментами по использованию опции Автокоммит в процедурах ODI. А на самом деле вышло вот что.

В, например, стандартном модуле знаний "IKM SQL Control Append" есть такая последовательность шагов

Теперь это легально.

http://www.osp.ru/news/2013/1023/13021540/

О Голден Гейте подробнее на русском здесь.

ODI 12c. Новое - незабытое старое.

Привет всем.

ODI 12c стал доступен для скачивания. Беглый просмотр сообщений в блогах англопишущих коллег дает предвкушение возврата к OWB с его стрелкопротяжным принципом формирования потока данных.

Я пока не планирую писать что-то подробное на тему нового ODI, есть еще много интересного и в нормальных версиях.

Загружаем данные.

При загрузке данных в ХД, как и, например, при загрузке данных от множества датчиков в реляционную СУБД, применяются похожие механизмы - отключение констрейнтов и индексов, кеширование последовательностей, хинт /*+ append */, отключение логгирования таблиц и настройки использования места в блоках данных. Подробнее на примере Oracle DB заметка и комментарии на хабре - http://habrahabr.ru/post/196828/.

Радует.

Oracle Data Integrator потихоньку завоевывает место в компаниях пост-советского пространства, что находит отражение и на таком ресурсе как SQL.ru. Помимо (по большей части) лулзонаполненных комментариев в ветках от казахстанского пользователя Elibay начали появляться действительно полезные ветки форума, на которые я бы хотел обратить ваше внимание:

Решение проблемы неправильного использования типа varchar2 в модулях знаний.
Импортирование-экспортирование мастер и рабочих репозиториев.

ODI-23040.

Данная ошибка встречается при импорте объектов в ODI 11 версии, в моем случае была попытка произвести импорт пакета из репозитория разработки в репозиторий тестирования.

В интернете информация об этой ошибке встречается в контексте импорта проектов, а не пакетов. А раз пакет загрузить удалось - я хотел бы рассказать, каким образом, может это станет кому-то полезным.

Язык описания ETL преобразований.

Интересную идею предложил Michael Walker в группе Business Intelligence Professionals ЛинкедИна. Идея заключается в том, чтобы разработать язык описания ETL проектов через XML - такой вот ETLML.

Далекая цель этого - чтобы один раз описанный через этот язык ETL проект мог бы быть перенесен из одного ETL средства в другое (например из платного в открытое) и продолжать при этом правильно работать.

Но это перпектива дальняя, а пока Майкл просит высказать свои мысли на этот счет и оказать поддержку через сайт W3C, где организована группа по разработке данного стандарта. Группа, думаю временно, находится сейчас в стадии сбора достаточного количества последователей.

Update:

Среди 118,339 членов группы некоторые знают и предлагают для использования следующие готовые решения:
Business Intelligence Markup Language от Scott Currie. Используется в Microsoft BI Platform.
Формат маппингов Informatica - powrmart.dtd
Общая Метамодель Хранилищ

Маленькие хитрOсDI.

Сегодня хочу рассказать (или напомнить) о некоторых приемах, помогающих в работе с Oracle Data Integrator.
Большая часть этих приемов касается пользовательского интерфейса, но есть и связанные с архитектурой, а потому отличающиеся от версии к версии, особенности.

Перенумерация репозиториев

В 11g появилась возможность перенумерации репозиториев. Эта возможность позволит иметь для каждого вашего репозитория свой уникальный идентификатор, что является необходимым условием для успешного импорта-экспорта объектов между разными репозиториями. Все внутренние идентификаторы объектов, созданных в репозитории, будут автоматически изменены.

Где - Вкладка Топология, раздел Репозитории.