Дайджест ODI публикаций 2013, Полугодие 1.

ODI 11g на предприятии, часть 4. Автоматизация, использование ODI SDK, Groovy скриптов и открытых утилит.
ODI 11g in the Enterprise Part 4: Build Automation and Devops using the ODI SDK, Groovy and ODI Tools
Обзорная статья по использованию ODI на предприятии с точки зрения автоматизации процессов развертывания новых версий ETL процедур, использования Groovy скриптов и бесплатных утилит типа Jenkins, Ant и Maven со ссылками на подробные описания в других блогах или документации.
Дата публикации: 2013-01-01, Комментариев: 3


Установка опций модуля знаний через SDK.
Set ODI KM option value using SDK
Пример кода для установки опции во всех интерфейсах проекта через ODI SDK.
Дата публикации: 2013-01-02, Комментариев: 2


Улей и NoSQL данные, кодируем.
ODI - Hive and NoSQL, the code
Продолжение рассказа об обработке NoSQL данных в ODI.
Дата публикации: 2013-01-02, Комментариев: 0


ODI 11g на предприятии, часть 5. Устойчивость и высокая доступность ETL процессов.
ODI 11g in the Enterprise Part 5: ETL Resilience and High-Availability
Марк рассматривает типовые причины, которые могут повлиять на процесс загрузки и преобразования данных. Это как ошибки собственно в данных, ошибка в логике процесса ETL преобразований и возможные ошибки как на БД источника, так и в целевой БД. И второй большой класс ошибок - ошибки в тех процессах, которые запускают ETL процедуры, т.е. ошибки агентов или БД репозиториев.
По первому классу причин рассматриваются ньюансы использования планов загрузки, по второму классу причин - использование JavaEE агентов.
Дата публикации: 2013-01-04, Комментариев: 3


Повторное использование кода в ODI.
Extreme re-usability in ODI 11g.
На примере повторяющегося шага по сбору статистики в одном из модулей знаний автор показывает возможное применение пользовательских функций для повторного использования одного и того же кода.
Дата публикации: 2013-01-07, Комментариев: 1


БД Mongo и табличная Java функция.
ODI - MongoDB and Java Table Functions Anyone?
Рассказ о том, как с помощью модуля знаний LKM JavaTableFunction to SQL читать документы из MongoDB.
Дата публикации: 2013-01-10, Комментариев: 0


Вызов ODI сценария через веб-сервис.
Invoke ODI Scenario using Web Service
Вызов сценария ODI из JDeveloper путем создания приложения из WSDL файла.
Дата публикации: 2013-01-11, Комментариев: 3


Табличная Java функция для БД Mongo.
ODI - Java Table Function for MongoDB
Продолжение рассказа об обработке MongoDB данных в ODI. Показаны функции преобразования makeRow и readCollection.
Дата публикации: 2013-01-11, Комментариев: 0


Загружаем данные из PDF при помощи iText.
ODI - Integrating PDF using iText
Чтение данных из PDF файла при помощи библиотеки iText.
Дата публикации: 2013-01-14, Комментариев: 7


Работа с ульем MongoDB.
ODI - Hive and MongoDB
Работа с внешними таблицами для улья MongoDB.
Дата публикации: 2013-01-15, Комментариев: 5


Изменение ИД репозитория.
Change Internal ID of ODI Repository
История в скриншотах о том, как изменить внутренний идентификатор ODI репозитория.
Дата публикации: 2013-01-16, Комментариев: 0


Создание репозитория через ODI SDK.
Create ODI repository using SDK
Пример создания репозитория через SDK.
Дата публикации: 2013-01-21, Комментариев: 2


Создание агентов через SDK
Create Agent in ODI using SDK
Создание физического и логического агентов через SDK.
Дата публикации: 2013-01-22, Комментариев: 0


Вызов ODI сценария через OdiInvokeWebService
Invoke ODI Scenario using OdiInvokeWebService
Показан пример вызова сценария ODI через утилиту OdiInvokeWebService при использовании локального агента.
Дата публикации: 2013-01-25, Комментариев: 2


Безопасность использования snps_login_work.xml файла.
Security Concern with ODI snps_login_work.xml
Как расшифровать закриптованный пароль к мастер репозиторию, распространяемый вместе с файлом snps_login_work.xml.
Дата публикации: 2013-02-05, Комментариев: 6


Добавление хинтов к модулю знаний.
Adding HINTS in ODI
Как использовать функцию getOption в модуле знаний, чтобы передавать хинты в сгенерированный модулем SQL код.
Дата публикации: 2013-02-05, Комментариев: 6


Загружаем данные из PDF, видео.
ODI - Extracting data from PDF Forms in 0 to 60
Видео-иллюстрация загрузки данных из форм PDF файла в ODI.
Дата публикации: 2013-02-06, Комментариев: 2


Добавление хинтов к модулю знаний через переменные.
Adding Variabled HINTS in ODI
В блоге рассказано, как использовать параметры, хранящиеся в таблице БД в модуле знаний. Примером использования автор выбрал передачу в модули знаний хинтов для запросов выборки и вставки данных.
Дата публикации: 2013-02-18, Комментариев: 2


Медленно изменяющиеся размерности в ODI, видео.
ODI - Slowly Changing Dimensions in 0 to 60
Видео-иллюстрация процесса настройки абстрактной таблицы ODI для работы в качестве медленно изменяющегося измерения с использованием модуля знаний IKM Slowly Changing Dimension на примере сохранения истории изменений семейного положения.
Дата публикации: 2013-02-26, Комментариев: 4


Подсказка, выбираем самый последний сгенерированный сценарий для запуска.
ODI - Tip of the day, latest scenario version
Чтобы запускать самый последний сценарий, везде, где используется команда odiStartScen необходимо передавать значение "-1" в качестве номера версии.
Дата публикации: 2013-03-11, Комментариев: 2


Упаковка и распаковка файлов в параллельном режиме.
ODI - Compressing/Decompressing Files in Parallel
Девид привел пример двух пользовательских функций, написанных на Java, которые позволяют запаковывать и/или распаковывать файлы в заданной директории или записывать результаты в другую директорию. Количество параллельно работающих процессов задается при вызове функции.
Дата публикации: 2013-03-12, Комментариев: 0


Настройка SCD таблиц через ODI SDK.
ODI - Slowly Changing Dimension Quick SDK Setup
Пример использования setScdType метода класса OdiColumn для установки признака использования колонки в качестве члена медленно изменяющегося измерения. Список абстрактных таблиц и колонок с типами задается через текстовый файл.
Дата публикации: 2013-03-20, Комментариев: 0


Оракл выпустил ODI 11.1.1.7.
Oracle Releases Oracle Data Integrator 11.1.1.7.0
См. Вышел ODI 11.1.1.7.
Дата публикации: 2013-04-01, Комментариев: 2


Внедряем код, выполняющийся перед и после соединения с сервером данных.
ODI - Tip of the day, Connect/Disconnect call outs
Показан пример использования механизма вызова заданного кода, выполняющего перед (или после) соединением с сервером данных.
Дата публикации: 2013-04-01, Комментариев: 0


Создание архивной копии репозиториев ODI.
Repository Backup in ODI
Автор рассказывает в какой последовательности и какие объекты необходимо экспортировать из ODI Studio чтобы создать полноценную работающую архивную копию рабочего репозитория ODI.
Дата публикации: 2013-04-04, Комментариев: 9


Интегрируем социальные данные из Facebook, видео.
ODI - Integrating social data from Facebook Graph API in 0 to 60
Показан пример загрузки данных, позволяющий получать данные из многих источников, таких как Twitter, Facebook, Google и т.п.
Дата публикации: 2013-04-16, Комментариев: 11


OBIEE, ODI и Hadoop, часть 1: Так что такое Hadoop, MapReduce и Улей?
OBIEE, ODI and Hadoop Part 1: So What Is Hadoop, MapReduce and Hive?
Во вводной части статьи Марк рассказывает, что такое Hadoop и MapReduce алгоритм, а также дает общий взгляд на их использование с OBIEE и ODI.
Дата публикации: 2013-04-18, Комментариев: 2


OBIEE, ODI и Hadoop, часть 2: Коннектимся из OBIEE 11.1.1.7. к источнику данных Hadoop.
OBIEE, ODI and Hadoop Part 2: Connecting OBIEE 11.1.1.7 to Hadoop Data Sources
Рассказывается, как подключить OBIEE к Hadoop, настроить ODBC и загрузить метаданные из этого источника данных, создать слой бизнес данных и получить пару тестовых отчетов.
Дата публикации: 2013-04-19, Комментариев: 5


OBIEE, ODI и Hadoop, часть 3: Более пристальный взгляд на Улей, HDFS и дистрибутив Cloudera CDH3.
OBIEE, ODI and Hadoop Part 3: A Closer Look at Hive, HFDS and Cloudera CDH3
Более подробный рассказ об архитектуре распределенной файловой системы Hadoop, утилите Hue - веб приложении для работы с HDFS как с обычной файловой системой. Как создать таблицу и загрузить ее данными даже без использования ODI, через Hue или команду HiveQL LOAD DATA. И как подключить ODI к источнику данных, настроить топологию, отреверсить таблицы и залить данные через интерфейс.
Дата публикации: 2013-04-25, Комментариев: 0


OBIEE, ODI и Hadoop, часть 4: Трансформация и интеграция данных улья через ODI 11g.
OBIEE, ODI and Hadoop Part 4: Hive Data Transformation & Integration via ODI 11g
Рассказ о том, как ODI может быть использован для загрузки Хранилища Больших Данных, с описанием доступного для таких задач перечня адептеров для работы с Hadoop и некоторыми особенностями использования соответствующих модулей знаний.
Дата публикации: 2013-04-28, Комментариев: 0


Интегрируем социальные данные, продолжение.
ODI - Integrating more social data
Аллан, в продолжение заметки об интеграции данных из графа Facebook-а приводит код двух функций: JSON_to_XML и Zipped_JSON_to_XML, которые могут вызывать напрямую из процедур и модулей знаний.
Дата публикации: 2013-05-07, Комментариев: 0

Генератор планов загрузки для ODI.
Load Plan Generator – An Inside Look
Генератор планов загрузки это утилита из пакета Oracle BI Applications, позволяющая осуществлять загрузку ХД, используемого BIAPPS.
Дата публикации: 2013-05-14, Комментариев: 11



Использование пользовательских функций для генерации SQL кода во время выполнения.
Using ODI user functions to dynamically inject SQL into Interfaces
Впечатляющая демонстрация того, как с помощью пользовательских функций и кода на Java Bean Shell добиться возможности подставлять фактические значения переменных в генерируемый интерфейсом SQL код.
Дата публикации: 2013-05-19, Комментариев: 7

Перехват текста сообщения об ошибке с ипользованием Jython.
Capture ODI Error Message using Jython Variable
Пример процедуры Jython позволяющей сохранять в отдельной таблице БД информацию (многострочный текст) о произошедшей в процессе работы ODI ошибке.
Дата публикации: 2013-05-30, Комментариев: 1



Лучшая ETL книга для лучшего ETL инструмента.
ODI 11g Cookbook – The leading ETL tool now also has the best ETL book
Впечатления автора от книги рецептов для ODI 11g.
Дата публикации: 2013-06-15, Комментариев: 0



FDMEE 11.1.2.3 – ODI консоль и Студия
FDMEE 11.1.2.3 – ODI Console and Studio
Статья описывает проблемы инсталлирования ODI Студии вместе с FDMEE и возможные пути решения проблем с целостностью инсталляционного пакета.
Дата публикации: 2013-06-30, Комментариев: 7