понедельник, 30 апреля 2012 г.

Дайджест ODI публикаций 2012, Апрель.

RKM для файлов на Jython.
RKM FILE (Jython)
Приведена ссылка на загрузку разработаного коллегами модуля знаний реверса для реверса текстовых файлов. Реверс может быть осуществлен как для локальных файлов (доступных из ODI Studio), так и для файлов удаленных, доступных только через агента. Описаны дополнительные опции модуля знаний и приведены примеры реверса одного или нескольких (по заданной маске) файлов.
Дата публикации: 2012-04-01, Комментариев: 0


Получение информации о сессиях через Groovy.
ODI SDK: Retrieving Information From the Logs
Приведен код на Groovy для подключения к репозиторию ODI и получению информации о выполнении сессий. Выбираются все выполнения заданного сценария.
Дата публикации: 2012-04-02, Комментариев: 2


ODI 11g - Как перезаписать SQL во время выполнения?
ODI 11g – How to override SQL at runtime?
Продолжение истории о созданном IKM под названием SQL_as_Source позволяющем, используя механизм производных (derived) таблиц, вводить код SQL запроса вручную при запуске интерфейса, и загружать, таким образом, одну таблицу из совершенно разных источников, о которых, возможно, даже не задумывались при разработке интерфейса. Привет SQL инъекциям!
Дата публикации: 2012-04-06, Комментариев: 0


Внешняя аутентификация в Microsoft AD для ODI 11g. Часть 2.
External authentication with Microsoft Active Directory in ODI 11g – Part 2
Продолжение предыдущей заметки. Рассматривается вопрос подключения агента ODI к внешнему механизму аутентификации.
Дата публикации: 2012-04-09, Комментариев: 0


Модуль знаний для многотабличной вставки.
Multi –Table Insert KM
Немного упрощенный взгляд на модуль знаний для MTI. В заметке рассматривается пример загрузки одних и тех же данных в три одинаковых таблицы, и с этой точки зрения наличие в БД Oracle такой возможности (insert all) выглядит немного надуманным. Более интересный пример был в дайджесте ODI за прошлый месяц.
Дата публикации: 2012-04-22, Комментариев: 4


Экстремальный BI: отслеживание изменений в данных через Golden Gate и ODI. Часть 1.
Extreme BI: Capturing Change with Oracle GoldenGate and ODI : Part 1 (Introduction)
Вводная заметка, описывающая новомодную идею загружать данные в ХД сразу в два места из одного и того же источника. Данные через Golden Gate попадают в область детальных данных, где накапливается история, а также, параллельным потоком, через область стейджа загружаются в область репортов. Экстремально!
Дата публикации: 2012-04-24, Комментариев: 0


Экстремальный BI: отслеживание изменений в данных через Golden Gate и ODI. Часть 2.
Extreme BI: Capturing Change with Oracle GoldenGate and ODI: Part 2 (Implementation)
Реализация описанного в первой части подхода. С помощью ODI готовятся файла конфигурации Golden Gate, затем подключается механизм отслеживания изменений в данных в самом ODI. В данной заметке описывается только та часть, которая относится к GG.
Дата публикации: 2012-04-26, Комментариев: 4


ODI 11.1.1.6 и поддержка Java 7.
ODI 11.1.1.6 and Java 7 support
Автор размышляет о том, есть ли какой-то смысл использовать Java 7 в ODI, особенно с учетом того, что это, скорее всего, можно будет сделать только на машинах разработчиков, так как не все продуктивные системы будут поддерживать Java 7 некоторое время. Тоже самое касается не только ODI но и других продуктов Oracle, таких как Fusion Middleware и т.п.
Дата публикации: 2012-04-28, Комментариев: 0

суббота, 28 апреля 2012 г.

Что такое модули знаний реверса (RKM) и зачем они нужны?

Прямой ответ, который дает на этот вопрос документация, достаточно прост. Модули знаний реверса нужны в том случае, если возможностей по реверсу моделей (т.е. по получению характеристик и составных элементов для таблиц модели) у драйвера недостаточно.

Другими словами, то, что JDBC драйвер получить не может, модуль знаний реверса получить сможет. Должен смочь.

Рассмотрим, как же работает модуль знаний реверса. Для этого я создам копию одной из существующих моделей, и включу у нее режим использования модуля знаний реверса и последовательно, в картинках, расскажу, что происходит.

четверг, 26 апреля 2012 г.

Что, как, почему про BI - читать / не перечитать.

Определения и ответы на первые важные вопросы
  • Определение Business Intelligence
  • Возможности BI-систем. 14 главных пунктов
  • Типовые блоки современных BI-систем
  • Классификация продуктов business intelligence
  • Преимущества использования BI-системы
  • Рекомендации по выбору BI
  • Внедрение BI. Типичные ошибки
  • Интервью с экспертами-заказчиками

Найдено у Александра Кучерука via Олег Лаукарт.

понедельник, 23 апреля 2012 г.

Сложные вопросы или ХД за один день.

Существует не так уж и мало вопросов, ответы на которые не всегда очевидны, а поиск ответа на практике слишком трудоемок.

Например, будет ли результат, если перечислить в SELECT-е все таблицы вашего ХД? Не пытайтесь, пожалуйста, проверить это на ПРОДе.

среда, 18 апреля 2012 г.

История о двух мастер репозиториях использующих один рабочий репозиторий и несколько слов об Ordered и Not-ordered соединениях в ODI, иллюстрированных скриншотами и несколькими кусками сложного для разбора SQL кода, приведенного для демонстрации и более глубокого понимания читателями описываемой проблемы и ее успешного завершения.

Давно хотел рассказать эту историю. К тому же она, практически, не потребует от меня проверок того, как это все работало на самом деле. Зато история эта потребует от читающих определенных усилий со стороны воображения.

Итак, представьте себе, что на одном из проектов получилось так, что часть ETL разрабатывалась другой командой, и, по несчастливой случайности, оказалось, что настройки технологии Oracle у этих двух команд отличались.

пятница, 6 апреля 2012 г.

Отслеживание изменений в данных (CDC) для инкрементальной загрузки ХД.

Коллеги, а есть тут кто-нибудь, кто использует CDC для инкрементального наполнения хранилища?
Вот возникли вопросы.

1. У меня на выходе есть CDC таблица вида ТИП ОПЕРАЦИИ, ДАТА ОПЕРАЦИИ, ПОЛЕ1, ПОЛЕ2...
читайте далее на sql.ru

четверг, 5 апреля 2012 г.

Как не узнать значение переменной в Oracle Data Integrator?

Воодушевленный успехами наших коллег, историю (назовем это историей в каментах) которых вы можете прочитать в этом сообщении, я решил посмотреть, как же справится с похожей задачей проверки правильности значения переменной последняя версия ODI, та, которая 11.1.1.6. Именно та, которая анонсировала давно ожидавшееся упрощение такой проверки.

Тут как бы ничего не предвещало подвоха. А он есть. Как говорится, весь апрель никому не верь или есть ложь, наглая ложь, аналитика (бывшая статистика) и описания новых возможностей в общем-то совсем не дешевых инструментальных средств.

воскресенье, 1 апреля 2012 г.

Oracle снизит цену на ODI.

На днях блог Data Integration опубликовал запись об исследованиях Gartner на тему удовлетворенности пользователей различными продуктами для управления качеством данных.

Полное исследование можно посмотреть по этой ссылке, искать, как я понимаю, необходимо по названию Datanomic.