понедельник, 27 июня 2011 г.

1000 примеров построения ETL.

Привет всем.

Топик на sql.ru, посвященный книгам для самообразования ETL разработчиков. Там пока не очень много информации, по ODI нет ни одной ссылки, и это было бы грустно, если бы не было этого и других блогов.

Обещаю обязательно дописать и опубликовать существующие черновики, коих уже накопилось 32 штуки. Думаю, изучение практических примеров решения задач загрузки, описанных в этом блоге, помогают кому-то в работе с ODI. Кстати, самый старый черновик за 9 сентября прошлого года, уже наполовину закончен, да.

воскресенье, 19 июня 2011 г.

Построение реальных хранилищ данных.

Коллеги.

Довольно большая и интересная статья на тему использования Oracle Golden Gate для построения Хранилищ Данных работающих в режиме реального времени. Одна половина документа рассказывает о том, зачем и почему возникла необходимость в такого типа ХД, вторая - как их строить и кому это удалось.
Спасибо Александру Рындину за перевод.

Я планировал рассказать о Golden Gate то немногое, что узнал на семинаре, в частности, как именно он интегрируется с ODI. Но у Александра там намного больше о GG написано, а я обожду, вдруг через пару лет представится возможность использовать Golden Gate самому, тогда уже и расскажу об этом.

P.S. Я уже кстати давал ссылку на блог Александра вот здесь.
P.P.S. Было большое желание начать заметку словом "пацаны", вместо - "коллеги", но с хранилищами работает и слабый пол, так что короче оказался текущий вариант.

среда, 15 июня 2011 г.

Многотабличность интерфейсов ODI.


Один из поисковых запросов, по которым попал в этот блог кто-то из наших коллег, звучал так - odi многотабличные интерфейсы.

Я решил записать свои мысли на этот счет, так как думать над этой идеей начал еще во время курсов по Информатике, на которых реализация многотабличности была частью одного из заданий курса. Единственное, что все мои рассуждения основаны на опыте использования 10 версии ODI. Возможно, в новых версиях будут какие-то изменения, но не думаю, что сильно кардинальные.

суббота, 11 июня 2011 г.

Прячем пароль при вызове внешних утилит.

Всем привет.

Идея этой заметки появилась после вот такой беседы:
...мне нужно внутри пакета выполнить sql файл. Через OS command можно, но получается, что явно пароль указывается. Вроде как не хорошо. Может ещё вариант есть?
   ...я могу написать sqlplus user/pass@Database @file.sql
но хочется логин пароль и имя базы не прописывать явно

вторник, 7 июня 2011 г.

ODI 11g. Некоторые ограничения планов загрузки.

Продолжаем.

Второе сообщение по поводу свежей версии ODI исследует новую возможность, появившуюся в этом релизе, связанную с построением планов загрузки.


Когда я впервые услышал о новых объектах ODI создающих планы загрузки, я подумал, что это может заменить разработанный нами шедулер (загрузчик).

И, хотя планы загрузки облегают запуск сценариев в параллельном режиме, существующие ограничения на определение зависимостей делают этот механизм не слишком эффективным.

В примере ниже, мы загружаем две таблицы фактов. Факт 1 зависит от таблиц справочников 1 и 2, тогда как Факт 2 зависит только от таблицы Справочника 2.


Факт 1 должен ожидать загрузки обеих таблиц справочников, перед тем как начать свою загрузку. Факт 2 должен ждать только Справочник 2. Таким образом самый эффективный план мог бы быть таким: загружаем Справочник 1 и Справочник 2 параллельно, затем, когда Справочник 2 загрузится, должен состояться запуск загрузки Фактa 2.
В тоже время по окончанию загрузки Справочника 1 должна запуститься загрузка Факта 1.
Проблема в том, что планы загрузки в ODI не могут быть настроены описанным выше способом.


В плане загрузки настроеном на рисунке, ODI запустит обе таблицы фактов в параллельную загрузку только после того, как параллельно выполнеяемые сессии для таблиц справочников закончат свою работу.

Эта недоработка в использовании параллелизма обычно не сильно влияет на загрузку, особенно если эта загрузка происходит в определенное временное окно, например ночью, или если количество сценариев не больше ста.

Другая возможность, которой не хватает - это ограничение количества одновременно запущенных сессий. Например, у вас может быть 10 сценариев, выполняющихся параллельно, но СУБД ограничивает вас только пятью одновременными подключениями. И когда один из выполняющихся 5-ти сценариев завершится, необходимо запустить очередной сценарий на выполнение.

Так что мы пока остаемся на своем собственном варианте организации загрузки зависимых таблиц.


Рисунки я взял у автора, сам в этот раз не проверял как работают планы загрузки, так как никак не доберусь до инсталляции 11g.

С помошью планов загрузки можно более просто организовать workflow загрузки зависимых таблиц. Единственное, что пока непонятно, имеется ли механизм автоматического (или хотя бы полуавтоматического) определения зависимых сценариев, или это необходимо делать вручную.

Если зависимости строятся автоматически, можно ли вмешаться в этот процесс, чтобы, например, некоторые особо ресурсоемкие операции обработки данных выделить в отдельный уровень.

пятница, 3 июня 2011 г.

Проблемы инсталляции ODI 11.1.1.5

Приветствую.

Пока я только думал о том, что необходимо написать о выходе ODI 11.1.1.5 другие люди уже установили эту версию и, даже, описали некоторые проблемы и пути их решения.

Поэтому сегодня перевод первого сообщения по этому поводу.

Описано Игорем Слуцким в группе LinkedIn с названием Oracle Data Integrator (ODI).

Это сообщение рассказывает, как обойти ошибку при инсталляции ODI 11.1.1.5 связанную с ошибкой в конфигурацией инсталлятора.

Когда вы инсталлируете ODI 11.1.1.5 выпущенный на прошлой неделе, вы получаете ошибку о том, что инсталлятор не может найти Java. Причины этого следующие:
1. Эта версия ODI включает jdk1.6.0_24 версию Java
2. Параметры в файле oraparam.ini ссылаются на jdk1.6.0_17 версию (просто забыли обновить ссылку с версии 11.1.1.3)
РЕШЕНИЕ:
1. Зайдите в папку где вы распаковали инсталляцию диска 1.
2. Найдите файл ORAPARM.INI. Таких файлов будет 2: один под windows и второй под solaris.
3. Откройте каждый файл на редактирование и найдите упоминание jdk1.6.0_17
4. Замените 17 на 24 и сохраните изменения.
Теперь можно попробовать запустить инсталляцию снова.


Тот же подход применяется при инсталляции ODI на Windows 7.

среда, 1 июня 2011 г.

2011-06-01.


Есть чем гордиться.
Things to be pride of….
-
Дата публикации: 2011-06-14, Комментариев: 1


Апгрейд ODI 10 на ODI 11g. Клонирование репозиториев.
ODI snippets: Upgrade ODI 10g to ODI 11g – Cloning repositories
Если для перехода на новую версию ODI вы решите клонировать репозитории старой версии, чтобы потом сверху поставить более новую версию, и ваши репозитории находятся в Oracle 11g, то нельзя использовать утилиты экспорта/импорта, так как в этом случае таблицы из репозитория без строк не попадут в экспорт.
Дата публикации: 2011-06-01, Комментариев: 0


Анонс книги по ODI 11g.
ODI 11g book announced for July
По ODI написана книга - Oracle Data Integrator 11g: Getting Started.
Дата публикации: 2011-06-14, Комментариев: 2