С новый годом! (Happy New Year)

Коллеги, поздравляю с новым 2011 годом, желаю счастья, здоровья, и положительных изменений в понимании и принятии той работы, которой вам приходиться заниматься.

Ссылка по теме иллюстрирует довольно быстрое изменение в оценках ODI
от

ODI - это недоделанное воплощение неплохой идеи.
07-07-2007

до

Пристойный результат. Если учесть, что тот же код на PL/SQL (пишет параллельно программист) еще где-то в первой трети написания.
19-07-2007

http://www.sql.ru/Forum/actualthread.aspx?bid=26&tid=449408&hl=

ODI 11g. Реверс-инжиниринг, изучение и профилирование источников данных (Reverse-engineering, Auditing and Profiling Source Applications).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.

---

Хорошей отправной точкой для проекта является изучение данных и их структуры. Даже при наличии документации на системы источники данных, хорошей практикой будет подключиться к этим источникам через ODI и получить метаданные для них.
Подключение источников поможет вам создать в моделях ODI бизнес правила, связанные с качеством данных. А определение этих правил поможет проверить полноту и непротиворечивость данных в системах источниках, а также, будет способствовать более глубокому пониманию моделей данных.

Показываем в Операторе результат SQL запроса или содержимое файла.

На днях понадобилось мне прочитать содержимое файла, который лежит на том же сервере, где работает агент ODI. Но доступа к этому серверу, например, через ftp, у меня не было.
Но есть Oracle Data Integrator, который мне в этом и помог.

Итак, базируясь на вот этой заметке об отображении результата запроса в Операторе, приступим.

Вводная часть

Чего нам не хватает в ODI. Опрос (polling).

Коллеги.

Многие из читающих этот блог работают с Oracle Data Integrator. Некоторые даже с его новой версией, которая 11g.
Но есть люди, готовые попробовать улучшить что-то в этом инструменте загрузки и преобразования данных.

Для того, чтобы донести до разработчиков наши пожелания, попробуйте в комментариях сформулировать то, что вам не нравится в ODI, или то, что хотелось бы улучшить или добавить.

Текущий список пожеланий и ошибок в Oracle Data Integrator находится на странице по ссылке.

Генерация группы сценариев ODI (Scenario Generation).

В документации по ODI говорится, что после окончания разработки и тестирования набора переменных, процедур, интерфейсов и пакетов, которые находятся в одной папке или одном проекте, подготовить их сценарии для передачи на пром можно при помощи генерации группы сценариев.

Для этого в Дизайнере выберем нужную папку, и, по правой кнопке мыши, запустим команду Generate all scenarios...

Кошмар на улице ERP.

Некоторые примеры неудачных внедрений разнообразных и сложных систем управления. С обсуждениями причин.
Хранилищ данных и ETL касаются опосредованно, но вдруг кому-то будет интересно.

Инсталлируем и настраиваем ODI на MS SQL Server Часть 2.

Приветствую.

Дополнил страницу с описанием инсталляции ODI на MS SQL Server.
Теперь там описано, как создать физическую и логическую схемы данных, агентов, определить модель данных, сделать реверс таблиц из БД в модель данных, импортировать модули знаний в проект и т.п.

Как создать workflow в ODI. Часть 2.

Продолжим о построении workflow с помощью пакетов. Из первой части понятно, как организовать загрузку в таблицу(ы) последовательно, возможно, с дополнительными действиями, организованными в виде процедур ODI, теперь же попробуем сделать загрузку данных в параллельном режиме.

Для этого необходимо в пакет добавлять не вызовы интерфейсов, а запуск сценариев, созданных из этих интерфейсов или других пакетов.

ODI 11g. Организация команды (Organizing the Teams).

Приветствую.
Сегодня хочу начать публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse. Я выбрал около восьми отрывков из этого документа, и, хотя документ и нацелен на новую версию ODI, я думаю, полезен он будет многим.

---

Так как ODI хранит все данные в централизованном хранилище, состоящем из нескольких репозиториев, необходимо иметь возможность разделять права для разных категорий пользователей. Ниже в таблице приведен пример такого разделения.

Теперь обыкновенный DBA вполне нормально администрит...

Короткая заметка о миграции ХД одного из турецких сотовых операторов и большое обсуждение в коментариях.

Методы подстановки ODI (Substitution Methods). Часть 3.

Третья часть перевода документации, описывающей методы подстановки ODI (часть 1, часть 2).

---

Генерация команды SELECT для источников.

Модули знаний LKM и IKM типов работают с результатами выборки данных из таблиц источников. Для загрузочного модуля знаний (LKM) результат выборки это некая команда, соединяющая несколько таблиц источников, правила этого соединения, фильтры, который должен быть выполнен на системе источнике данных. Для интеграционного модуля знаний (IKM) результирующий набор строк это то, что получается путем преобразования данных таблиц источников, но уже в области стейджа.

Что такое сценарий ODI (Scenario).

Как уже упоминалось, сценарий, это скомпилированная версия интерфейса, процедуры, пакета или переменной. Именно сценарии передаются как результат окончания разработки в репозиторий тестирования, а затем в репозиторий промышленной среды загрузки данных в ХД.

Особенностью сценария является его независимость, в определенном смысле, от того объекта, из которого сценарий сгенерирован. Эта незавимость не полная в том смысле, что в репозитории разработки сценарии привязываются, в дереве проекта, к тому объекту, от которого они сгенерированы.

Каким будет Oracle Data Integrator 12 версии.

В поисках более подробной информации о новинках в ODI 11g обнаружил вот эту заметку Андрея Пивоварова, датированную прошлым годом, в которой сообщается о планах выпустить в 2011 году единый продукт на базе ODI и OWB, которые в продуктовой линейке Oracle служат примерно одной цели.

Так же обнаружил вот этот документ, в котором говорится о том, что OWB версии 11gR2 содержит в себе часть инфраструктуры ODI, привносящий быстроту и гибкость интеграции гетерогенных данных для пользователей OWB.

Будущий релиз ODI 12g присоединит к себе функциональность OWB, а также обеспечит гладкую миграцию при переходе от OWB к ODI. Текущие пользователи могут смело вкладываться в технологии преобразования данных от Oracle (OWB 11gR2 или ODI) и знать, что их наработки не пропадут в будущем.

Еще из этого же документа - новая структура интеграции данных OWB базируется на ключевых особенностях ODI - модулях знаний и методах подстановки. OWB не включает в себя поддержку модулей знаний реверса или сервисных модулей знаний, так как имеет другие механизмы для этих целей.

Выходит, что на вопрос вот этого поста можно теперь ответить утвердительно.

Новые возможности ODI 11g Часть 2.

Продолжаю переводить документ odi11g-newfeatures-wp-168152.pdf, посвященный новым возможностям Oracle Data Integrator 11g, начало вот здесь.

---

Новые методы автоматизации (Java API for Task Automation)
С использованием этих методов можно автоматизировать, например, следующие задачи:

Как создать workfow в ODI или что такое пакет?

Приветствую.

Недавно на одном из форумов был задан вопрос, как в Oracle Data Integrator построить Workflow так, как это делается в Oracle Warehouse Builder с его processflow.

Я не знаком достаточно с OWB, но, по ответам на форуме, понял, что имеется ввиду. Рассматривать поток обработки данных, способ организации этого потока в Oracle Data Integrator можно с нескольких позиций.

Первая позиция - это загрузка данных в одну таблицу, которая, в силу каких-то причин, не может быть решена при помощи одного только интерфейса. Либо загрузка однородных таблиц, либо последовательная загрузка связанных таблиц, в ходе которой загружаются данные в первую таблицу, а потом эта таблица является источником для второй таблицы и т.п.

Шифрование сценария (Encrypting a Scenario).

При подготовке поста о том, что такое сценарий, дошел в просмотре документации до раздела, посвященного шифрованию сценариев. Попробовал, что это такое - теперь готов рассказать.

Итак, шифрование сценариев позволяет нам спрятать исполняемый этими сценариями код. При запуске таких сценариев, код, который отображается в Операторе, является нечитабельным. Хотя и работает, сам по себе, правильно.

Семинар по ODI.

Всем привет.

В середине недели посетил двухдневный семинар по ODI и Golden Gate, которые проводил пресейл по интеграционным платформам Oracle Marco Ragogna.

Было нас около 25 человек из 11 организаций. К сожалению, семинар проводился по 10 версии ODI, поэтому нового для меня было не очень много. Некоторые не используемые мною ранее возможности постараюсь исследовать поподробнее и описать позднее в блоге.

Обязательно напишу пост о Golden Gate, интересная вещь для загрузки данных в область стейджа или для репликации данных. Ранее немного читал об этом продукте,
теперь уже удалось попробовать его в работе.

Сравнивая содержимое семинара и этого блога, могу с радостью отметить, что процентов 70 из рассказанного на семинаре в блоге присутствует.

Методы подстановки ODI (Substitution Methods). Часть 2.

Продолжаю перевод документации, посвященный описанию методов подстановки (Substitution Methods API) в Oracle Data Integrator. Начало тут.

---

Работа со списками таблиц, колонок и выражений.
Генерация кода из списка элементов предполагает некий вид цикла. ODI решает эту задачу через методы работы со списками. Эти методы работают как итераторы, в которые передаются фактические параметры, шаблоны результата, разделители. Далее эти методы возвращают строку с нужными разделителями.
Методы-итераторы принимают, как минимум, четыре возможных параметра:

2010-12-01.

odiexperts.com

Прямая загрузка интерфесом без промежуточных (С$, I$) таблиц.
Direct load by interface with no work tables (C$, I$)
Ссылка на видео от Craig Stewart о том, как загружать данные непосредственно в таблицу, минуя промежуточные таблицы C$ и I$. Как по мне, проще всего сделать это путем модификации модуля знаний, в чем же путь Крейга - смотрите на видео.
Дата публикации: 2010-12-03, Комментариев: 4

BI-Quotient

Доступ к примапленному диску через ODI агент работающий как сервис Windows.
Accessing a mapped network drive with the ODI agent as a Windows service
Для доступа к примапленному диску из агента, который запущен как сервис Windows, необходимо подключение диска создавать во время выполнения сценария ODI.
Дата публикации: 2010-12-03, Комментариев: 0

Новые возможности Oracle Data Integrator 11g.

Приветствую.

Сегодня я хочу опубликовать частичный перевод документа odi11g-newfeatures-wp-168152.pdf, посвященный новым возможностям ODI 11g. Я выбрал не все возможности, а только те, которые были мне более-менее понятны.

---

Интеграция в корпоративную систему безопасности (Corporate Security Integration)