ODI - лучшие практики.

Попался на глаза обстоятельный ответ на вопрос о лучших практиках Oracle Data Integrator, который дал Jérôme Françoisse в одной из групп ЛинкедИна.

Возможно, будет кому-то инетересен, поэтому я решил его перевести.

---

Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.

Предупреждение сказано, теперь ссылки:

Демистификация тэгов подстановки.

Сегодня в блоге перевод свежей статьи Rodrigo Radtke de Souza под названием ODI Substitution Tags demystified

Использовались рисунки оригинального поста.

---

Всем привет.

Бьюсь об заклад, что все ODI разработчики путаются, когда работают с тэгами методов подстановки. Каждый раз, когда мне нужно с ними поработать, я должен повторить все мои проверки еще раз, так как я забываю, для чего какой тэг используется (несмотря на мой многолетний опыт работы с ODI). Это стало одной из причин, по которым я решил написать этот пост - я, в будущем, смог бы освежить свою память, прочитав его (где ты, память???). Так же потому что это хорошо - делиться своим опытом с другими, что пошло бы на пользу (я надеюсь на это) если у кого-то возникнут те же проблемы.

Что же такое тэги подстановки, для тех, кто с ними не слишком знаком? Тэги подстановки это те символы, которые вы видите если откроете модуль знаний или процедуру в ODI, точнее вот эти символы - <%>, <@>, <?>, <$>. Вот как на этом рисунке.

Дайджест ODI публикаций 2013, Полугодие 1.

ODI 11g на предприятии, часть 4. Автоматизация, использование ODI SDK, Groovy скриптов и открытых утилит.
ODI 11g in the Enterprise Part 4: Build Automation and Devops using the ODI SDK, Groovy and ODI Tools
Обзорная статья по использованию ODI на предприятии с точки зрения автоматизации процессов развертывания новых версий ETL процедур, использования Groovy скриптов и бесплатных утилит типа Jenkins, Ant и Maven со ссылками на подробные описания в других блогах или документации.
Дата публикации: 2013-01-01, Комментариев: 3


Установка опций модуля знаний через SDK.
Set ODI KM option value using SDK
Пример кода для установки опции во всех интерфейсах проекта через ODI SDK.
Дата публикации: 2013-01-02, Комментариев: 2


Улей и NoSQL данные, кодируем.
ODI - Hive and NoSQL, the code
Продолжение рассказа об обработке NoSQL данных в ODI.
Дата публикации: 2013-01-02, Комментариев: 0


ODI 11g на предприятии, часть 5. Устойчивость и высокая доступность ETL процессов.
ODI 11g in the Enterprise Part 5: ETL Resilience and High-Availability
Марк рассматривает типовые причины, которые могут повлиять на процесс загрузки и преобразования данных. Это как ошибки собственно в данных, ошибка в логике процесса ETL преобразований и возможные ошибки как на БД источника, так и в целевой БД. И второй большой класс ошибок - ошибки в тех процессах, которые запускают ETL процедуры, т.е. ошибки агентов или БД репозиториев.
По первому классу причин рассматриваются ньюансы использования планов загрузки, по второму классу причин - использование JavaEE агентов.
Дата публикации: 2013-01-04, Комментариев: 3


Повторное использование кода в ODI.
Extreme re-usability in ODI 11g.
На примере повторяющегося шага по сбору статистики в одном из модулей знаний автор показывает возможное применение пользовательских функций для повторного использования одного и того же кода.
Дата публикации: 2013-01-07, Комментариев: 1


БД Mongo и табличная Java функция.
ODI - MongoDB and Java Table Functions Anyone?
Рассказ о том, как с помощью модуля знаний LKM JavaTableFunction to SQL читать документы из MongoDB.
Дата публикации: 2013-01-10, Комментариев: 0


Вызов ODI сценария через веб-сервис.
Invoke ODI Scenario using Web Service
Вызов сценария ODI из JDeveloper путем создания приложения из WSDL файла.
Дата публикации: 2013-01-11, Комментариев: 3


Табличная Java функция для БД Mongo.
ODI - Java Table Function for MongoDB
Продолжение рассказа об обработке MongoDB данных в ODI. Показаны функции преобразования makeRow и readCollection.
Дата публикации: 2013-01-11, Комментариев: 0


Загружаем данные из PDF при помощи iText.
ODI - Integrating PDF using iText
Чтение данных из PDF файла при помощи библиотеки iText.
Дата публикации: 2013-01-14, Комментариев: 7


Работа с ульем MongoDB.
ODI - Hive and MongoDB
Работа с внешними таблицами для улья MongoDB.
Дата публикации: 2013-01-15, Комментариев: 5


Изменение ИД репозитория.
Change Internal ID of ODI Repository
История в скриншотах о том, как изменить внутренний идентификатор ODI репозитория.
Дата публикации: 2013-01-16, Комментариев: 0


Создание репозитория через ODI SDK.
Create ODI repository using SDK
Пример создания репозитория через SDK.
Дата публикации: 2013-01-21, Комментариев: 2


Создание агентов через SDK
Create Agent in ODI using SDK
Создание физического и логического агентов через SDK.
Дата публикации: 2013-01-22, Комментариев: 0


Вызов ODI сценария через OdiInvokeWebService
Invoke ODI Scenario using OdiInvokeWebService
Показан пример вызова сценария ODI через утилиту OdiInvokeWebService при использовании локального агента.
Дата публикации: 2013-01-25, Комментариев: 2


Безопасность использования snps_login_work.xml файла.
Security Concern with ODI snps_login_work.xml
Как расшифровать закриптованный пароль к мастер репозиторию, распространяемый вместе с файлом snps_login_work.xml.
Дата публикации: 2013-02-05, Комментариев: 6


Добавление хинтов к модулю знаний.
Adding HINTS in ODI
Как использовать функцию getOption в модуле знаний, чтобы передавать хинты в сгенерированный модулем SQL код.
Дата публикации: 2013-02-05, Комментариев: 6


Загружаем данные из PDF, видео.
ODI - Extracting data from PDF Forms in 0 to 60
Видео-иллюстрация загрузки данных из форм PDF файла в ODI.
Дата публикации: 2013-02-06, Комментариев: 2


Добавление хинтов к модулю знаний через переменные.
Adding Variabled HINTS in ODI
В блоге рассказано, как использовать параметры, хранящиеся в таблице БД в модуле знаний. Примером использования автор выбрал передачу в модули знаний хинтов для запросов выборки и вставки данных.
Дата публикации: 2013-02-18, Комментариев: 2


Медленно изменяющиеся размерности в ODI, видео.
ODI - Slowly Changing Dimensions in 0 to 60
Видео-иллюстрация процесса настройки абстрактной таблицы ODI для работы в качестве медленно изменяющегося измерения с использованием модуля знаний IKM Slowly Changing Dimension на примере сохранения истории изменений семейного положения.
Дата публикации: 2013-02-26, Комментариев: 4


Подсказка, выбираем самый последний сгенерированный сценарий для запуска.
ODI - Tip of the day, latest scenario version
Чтобы запускать самый последний сценарий, везде, где используется команда odiStartScen необходимо передавать значение "-1" в качестве номера версии.
Дата публикации: 2013-03-11, Комментариев: 2


Упаковка и распаковка файлов в параллельном режиме.
ODI - Compressing/Decompressing Files in Parallel
Девид привел пример двух пользовательских функций, написанных на Java, которые позволяют запаковывать и/или распаковывать файлы в заданной директории или записывать результаты в другую директорию. Количество параллельно работающих процессов задается при вызове функции.
Дата публикации: 2013-03-12, Комментариев: 0


Настройка SCD таблиц через ODI SDK.
ODI - Slowly Changing Dimension Quick SDK Setup
Пример использования setScdType метода класса OdiColumn для установки признака использования колонки в качестве члена медленно изменяющегося измерения. Список абстрактных таблиц и колонок с типами задается через текстовый файл.
Дата публикации: 2013-03-20, Комментариев: 0


Оракл выпустил ODI 11.1.1.7.
Oracle Releases Oracle Data Integrator 11.1.1.7.0
См. Вышел ODI 11.1.1.7.
Дата публикации: 2013-04-01, Комментариев: 2


Внедряем код, выполняющийся перед и после соединения с сервером данных.
ODI - Tip of the day, Connect/Disconnect call outs
Показан пример использования механизма вызова заданного кода, выполняющего перед (или после) соединением с сервером данных.
Дата публикации: 2013-04-01, Комментариев: 0


Создание архивной копии репозиториев ODI.
Repository Backup in ODI
Автор рассказывает в какой последовательности и какие объекты необходимо экспортировать из ODI Studio чтобы создать полноценную работающую архивную копию рабочего репозитория ODI.
Дата публикации: 2013-04-04, Комментариев: 9


Интегрируем социальные данные из Facebook, видео.
ODI - Integrating social data from Facebook Graph API in 0 to 60
Показан пример загрузки данных, позволяющий получать данные из многих источников, таких как Twitter, Facebook, Google и т.п.
Дата публикации: 2013-04-16, Комментариев: 11


OBIEE, ODI и Hadoop, часть 1: Так что такое Hadoop, MapReduce и Улей?
OBIEE, ODI and Hadoop Part 1: So What Is Hadoop, MapReduce and Hive?
Во вводной части статьи Марк рассказывает, что такое Hadoop и MapReduce алгоритм, а также дает общий взгляд на их использование с OBIEE и ODI.
Дата публикации: 2013-04-18, Комментариев: 2


OBIEE, ODI и Hadoop, часть 2: Коннектимся из OBIEE 11.1.1.7. к источнику данных Hadoop.
OBIEE, ODI and Hadoop Part 2: Connecting OBIEE 11.1.1.7 to Hadoop Data Sources
Рассказывается, как подключить OBIEE к Hadoop, настроить ODBC и загрузить метаданные из этого источника данных, создать слой бизнес данных и получить пару тестовых отчетов.
Дата публикации: 2013-04-19, Комментариев: 5


OBIEE, ODI и Hadoop, часть 3: Более пристальный взгляд на Улей, HDFS и дистрибутив Cloudera CDH3.
OBIEE, ODI and Hadoop Part 3: A Closer Look at Hive, HFDS and Cloudera CDH3
Более подробный рассказ об архитектуре распределенной файловой системы Hadoop, утилите Hue - веб приложении для работы с HDFS как с обычной файловой системой. Как создать таблицу и загрузить ее данными даже без использования ODI, через Hue или команду HiveQL LOAD DATA. И как подключить ODI к источнику данных, настроить топологию, отреверсить таблицы и залить данные через интерфейс.
Дата публикации: 2013-04-25, Комментариев: 0


OBIEE, ODI и Hadoop, часть 4: Трансформация и интеграция данных улья через ODI 11g.
OBIEE, ODI and Hadoop Part 4: Hive Data Transformation & Integration via ODI 11g
Рассказ о том, как ODI может быть использован для загрузки Хранилища Больших Данных, с описанием доступного для таких задач перечня адептеров для работы с Hadoop и некоторыми особенностями использования соответствующих модулей знаний.
Дата публикации: 2013-04-28, Комментариев: 0


Интегрируем социальные данные, продолжение.
ODI - Integrating more social data
Аллан, в продолжение заметки об интеграции данных из графа Facebook-а приводит код двух функций: JSON_to_XML и Zipped_JSON_to_XML, которые могут вызывать напрямую из процедур и модулей знаний.
Дата публикации: 2013-05-07, Комментариев: 0

Генератор планов загрузки для ODI.
Load Plan Generator – An Inside Look
Генератор планов загрузки это утилита из пакета Oracle BI Applications, позволяющая осуществлять загрузку ХД, используемого BIAPPS.
Дата публикации: 2013-05-14, Комментариев: 11



Использование пользовательских функций для генерации SQL кода во время выполнения.
Using ODI user functions to dynamically inject SQL into Interfaces
Впечатляющая демонстрация того, как с помощью пользовательских функций и кода на Java Bean Shell добиться возможности подставлять фактические значения переменных в генерируемый интерфейсом SQL код.
Дата публикации: 2013-05-19, Комментариев: 7

Перехват текста сообщения об ошибке с ипользованием Jython.
Capture ODI Error Message using Jython Variable
Пример процедуры Jython позволяющей сохранять в отдельной таблице БД информацию (многострочный текст) о произошедшей в процессе работы ODI ошибке.
Дата публикации: 2013-05-30, Комментариев: 1



Лучшая ETL книга для лучшего ETL инструмента.
ODI 11g Cookbook – The leading ETL tool now also has the best ETL book
Впечатления автора от книги рецептов для ODI 11g.
Дата публикации: 2013-06-15, Комментариев: 0



FDMEE 11.1.2.3 – ODI консоль и Студия
FDMEE 11.1.2.3 – ODI Console and Studio
Статья описывает проблемы инсталлирования ODI Студии вместе с FDMEE и возможные пути решения проблем с целостностью инсталляционного пакета.
Дата публикации: 2013-06-30, Комментариев: 7

BI-Quotient становится Sonra и выпускает книгу.

Привет всем.

Обучающие материалы идут волна за волной. Вот и ирландские блоггеры Ули Бетке и Мачик Кокон выпустили свою книгу по глубинам репозитория ODI. Книгу они эту раздают даром, или предлагают купить ее киндл версию через Амазон.

Чтобы получить PDF версию книги необходимо связаться с ее авторами, предварительно разместив ссылку на книгу в одноклассниках (sic!), ВКонтактах, фейсбуках или собственных блогах.

Я думаю, что в наше время, когда времени заниматься изучением инструмента, которым пользуешься, совсем нет - данная книга будет особенно полезной.

Дайджест ODI публикаций 2012, Декабрь.

Пишем скрипт реверса модели.
ODI 11g - Scripting a Reverse Engineer
На примере предыдущих заметок о скриптовании моделей и топологии Аллан показывает пример создания пакета при помощи SDK, запуск которого как раз и приведет к реверсу нужной модели.
Дата публикации: 2012-12-03, Комментариев: 2


Добавление функций в язык ODI.
Adding Functions to ODI
Показано, как добавить функцию LEAD в качестве нового элемента языка SQL в Топологии Oracle Data Integrator.
Дата публикации: 2012-12-05, Комментариев: 3


Архивация ODI логов.
Archiving ODI logs
Смотри перевод Архивация ODI логов.
Дата публикации: 2012-12-05, Комментариев: 3


Использование пользовательских функций для очистки данных.
ODI 11g - Cleaning control characters and User Functions
Пример использования пользовательских функций для инкапсуляции вложенных вызовов несколько строковых функций БД. В данном примере такой подход используется для удобного удаления управляющих символов из текстовых строк.
Дата публикации: 2012-12-06, Комментариев: 1


Динамическая генерация кода время выполнения.
ODI 11g - Dynamic and Flexible Code Generation
Показано, как настроить условие фильтра в интерфейсе в зависимости от значения переменной. В частности, речь идет о том, что при разных значениях переменных будет генерироваться разное содержание SQL кода, который будет выполнен СУБД при выполнении интерфейса ODI.
Дата публикации: 2012-12-10, Комментариев: 5


Как запустить сценарий через вызов веб-сервиса?
How you can launch an ODI scenario through a web service call?
Как вызвать (синхронно или асинхронно) запуск сценария через веб-сервис. С выходом ODI 11g в поставку к агенту добавили легкий сервер приложений Jetta, при этом сценарии ODI могут вызываться прямо, например, из OBIEE приложения.
Дата публикации: 2012-12-12, Комментариев: 0


Быстрая загрузка файлов в ODI.
ODI 11g - Loading More Files Faster
Девид Аллан привел ссылку на разработанный загрузочный модуль знаний (LKM), который позволяет загружать данные в параллельном режиме из нескольких файлов с использованием препроцессора Oracle.
Дата публикации: 2012-12-20, Комментариев: 3


Меняем соединение с рабочим репозиторием.
ODI 11g - Changing the Work Repository Connection
Где найти кнопку вызова диалога изменения параметров соединения с рабочим репозиторием ODI для версии 11g. Обычно такая задача возникает после клонирования или апгрейда, когда нужно присоединить новый мастер репозиторий к новому рабочему репозиторию. Смотри также: ODI 11g. Где всё?
Дата публикации: 2012-12-24, Комментариев: 0


Реверс файлов улья в ODI.
ODI - Reverse Engineering Hive Tables
Рассказано, как при помощи стандартного механизма реверса (или специального модуля знаний реверса) подключиться через jdbc к улью хадупа и получить описание абстрактных таблиц в модели ODI.
Дата публикации: 2012-12-28, Комментариев: 1


Базовые преобразования таблиц улья.
ODI - Basic Hive Queries
В посте показано, как соединить две таблицы улья и получившийся результат загрузить в новую таблицу, которая располагается там же. Для хадупа используются свои модули знаний, в остальном же практически никаких отличий нет, в ODI все выглядит абсолютно так же, как и при работе с обычной РСУБД.
Дата публикации: 2012-12-28, Комментариев: 0


ODI 11g на предприятии, часть 1. Что еще кроме загрузки Хранилища?
ODI11g in the Enterprise Part 1: Beyond Data Warehouse Table Loading
Вступительная статья серии, рассказывающая предисторию использования и текущие и будущие планы использования Oracle Data Integrator-а как связующего компонента многих приложений Oracle Fusion Middleware.
Дата публикации: 2012-12-28, Комментариев: 7


Реверс внешних файлов улья в ODI.
ODI - Hive External Tables, reverse engineering
В заметке показано, как сделать реверс внешних таблиц улья при помощи библиотеки SerDe и модифицированного модуля знаний реверса.
Дата публикации: 2012-12-29, Комментариев: 0


Обработка сложносоставных данных улья.
ODI - Hive and Complex JSON
Пример реверса и загрузки сложносоставных данных улья с использованием функций Hadoop при заполнении целевой таблицы.
Дата публикации: 2012-12-29, Комментариев: 1


ODI 11g на предприятии, часть 2. Интеграция данных: Essbase, пересылка сообщений, Большие данные как источник и приемник данных.
ODI11g in the Enterprise Part 2 : Data Integration using Essbase, Messaging, and Big Data Sources and Targets
Сводная статья, описывающая концепции использования ODI для интеграции данных Essbase, пересылки данных (когда лучше использовать ODI чем BPEL или Oracle ESB), работу по чтению или записи больших данных. Помимо концепций приводятся ссылки на подробные рассказы или документацию по затронутым темам.
Дата публикации: 2012-12-30, Комментариев: 0


Улей и NoSQL данные.
ODI - Hive and NoSQL
Небольшой пример обработки NoSQL данных в ODI с использованием функции collect_set.
Дата публикации: 2012-12-31, Комментариев: 1


ODI 11g на предприятии, часть 3. Качество и профилирование данных с использованием Enterprise Data Quality.
ODI 11g in the Enterprise Part 3: Data Quality and Data Profiling using Oracle EDQ
Подробная статья, рассказывающая историю развития продуктов Oracle для проверки качества данных, их очистки и т.п. и дальнейших планах компании по использованию EDQ как компоненты ODI.
Дата публикации: 2012-12-31, Комментариев: 0

Дайджест ODI публикаций 2012, Ноябрь.

Высокодоступный кластер агентов для ODI 11g. Часть 1 - Введение и Архитектура.
Clustering ODI11g for High-Availability Part 1 : Introduction and Architecture
Описываются различия между стандартным и JavaEE агентами ODI. Описывается архитектура кластера из управляемых серверов для JavaEE агентов.
Дата публикации: 2012-11-01, Комментариев: 0


Использование настраиваемых полей (flexfields) в ODI.
Making use of ODI Flexfields to meet requirements
Рассказывается, что такое настраиваемые (flexfields) поля и приводится пример их использования совместно с модулем знаний проверок (CKM).
Дата публикации: 2012-11-12, Комментариев: 0


Осторожно - предикаты в соединениях.
Tricks with SQL: Beware of the Predicate in the Outer Join
Рассказывается о различиях между условием в поле where и условием в соединении двух таблиц через outer join. С учетом того, что подобное вполне часто встречается и в интерфейсах ODI - заметка полезная.
Дата публикации: 2012-11-21, Комментариев: 2


Простой механизм уведомления об ошибках.
ODI Alert Mechanism
Автор показывает как можно получать уведомления о некоторых проблемах выполнения пакета путем добавления дополнительных шагов в пакет. Эти шаги включают описание ошибки и вызов утилиты для отправки почтового сообщения.
Дата публикации: 2012-11-30, Комментариев: 5


Проверка качества данных.
ODI Handling DQ
Показан пример пакета проверяющего качество данных путем циклического запуска SQL скриптов, получаемых из файла и отправляющего результаты выполнения этих скриптов по электронной почте.
Дата публикации: 2012-11-30, Комментариев: 0

Дайджест ODI публикаций 2012, Октябрь.

Новости BI, Хранилищ и Интеграции данных с Oracle Open World.
BI, Data Warehousing and Data Integration News from Oracle Openworld 2012
Список ключевых моментов, касающихся мира BI, в изложении Марка Риттмана. Также приведены ссылки на презентации, проведенные на конференции Oracle компанией Rittman Mead.
Дата публикации: 2012-10-03, Комментариев: 1

Лучшие практики организации интерфейсов и таблиц ODI в проекты и модели.
Best practice of organizing interfaces and data stores into projects and models in ODI
Ули описывает как правильно организовать хранение метаданных ODI в деревьях проекта (модели). Есть перевод.
Дата публикации: 2012-10-03, Комментариев: 2

Пара слов о паре агентов ODI.
A tale of two agents
Рассуждения о том, в каких случаях стоит использовать более одного выделенного агента ODI.
Дата публикации: 2012-10-14, Комментариев: 0

Как выбрать данные из любой схемы или даже всей базы данных.
How to query a whole schema or even database?! This tip will save you hours and hours of boring work.
Ули описывает подход по которому создается процедура ODI, выгружаются в текстовые файлы все таблицы, затем проводится текстовый поиск средствами ОС.
Дата публикации: 2012-10-22, Комментариев: 0

Что такое контекст оптимизации ODI.
ODI Snippets: What is the Optimization Context in ODI?
Краткий рассказ о том, что такое оптимизационный контекст ODI.
Дата публикации: 2012-10-30, Комментариев: 2

Баг выгрузки аттрибутов Essbase в ODI 11.1.1.6 + исправление.
ODI 11.1.1.6 – Extracting Essbase attribute members bug + fix
При попытке выгрузить иерархию аттрибутов некоторого измерения Essbase при помощи модуля знаний "LKM Hyperion Essbase METADATA to SQL" возникала ошибка на шаге "Begin Essbase Metadata Extract". Патч 13093442 решает эту проблему.
Дата публикации: 2012-10-31, Комментариев: 2

Дайджест ODI публикаций 2012, Сентябрь.

BI-Quotient

Получить список всех объектов ODI включая полный путь для проекта или модели.
Get a list of all of your ODI objects including the path in your project or model
Очень удобный скрипт если вам необходимо получить список всех объектов ODI, отфильтровав его, например, по дате последнего изменения или месте в иерархии папок проекта.
Дата публикации: 2012-09-17, Комментариев: 0

Копирование и перемещение объектов между проектами ODI.
Copying and moving objects between projects in ODI
18-шаговое подробное объяснение каким образом необходимо правильно копировать/перемещать пакет из одного проекта ODI в другой.
Дата публикации: 2012-09-18, Комментариев: 0

ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 4. Потребление данных из OBIEE веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part IV. Consuming a SOAP OBIEE web service using ODI 11g
В четвертой части этой серии рассказывается как вызывать веб-сервис OBIEE и получить информацию из Презентационного сервиса о пользователях, группах, правах и т.п.
Дата публикации: 2012-09-25, Комментариев: 0

2012-02-01.

BI-Quotient

Ограничения при построении развертки данных для OBIEE из ODI.
Limitations ODI – OBIEE data lineage
Описаны ограничения OBIEE lineage: не участвуют временные интерфейсы (желтые), при использовании формул ломается структура развертки данных, не учитываются представления и процедуры.
Дата публикации: 2012-02-08, Комментариев: 2


Вышел Oracle Data Integrator 11.1.1.6.
Oracle Data Integrator 11.1.1.6 has been released
Наиболее ожидаемые усовершенствования новой версии ODI.
Дата публикации: 2012-02-23, Комментариев: 0

2012-01-01.

odiexperts.com

Генерация сценариев для проекта используя ODI SDK.
Generate All Scenario for a Particular Project using ODI SDK
Использование ODI SDK для генерации/перегенерации всех сценариев заданного проекта.
Дата публикации: 2012-01-05, Комментариев: 0

BI-Quotient

ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 2. Развертывание и тестирование сервиса данных в Weblogic.
ODI 11g in a Services Oriented Architecture. Part II. Deploying and Testing data services in Weblogic
Продолжение рассказа о том, как сгенерировать код для организации работы веб-сервиса через ODI.
Дата публикации: 2012-01-06, Комментариев: 0


ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 3. Получение данных из RESTful веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part III. Consuming a RESTful web service
Рассказ о том, как с помощью ODI организовать получение данных от других веб-сервисов.
Дата публикации: 2012-01-18, Комментариев: 0

2011-12-01.

odiexperts.com

Интерфейс с Union или Minus операторами через ODI SDK.
Interface with Union, Minus Operator using ODI SDK
Создание интерфейса с операциями MINUS и UNION с использованием ODI SDK.
Дата публикации: 2011-12-13, Комментариев: 0

BI-Quotient

ODI 11g в сервисо-ориентированной архитектуре (SOA)? Часть 1. Выдача и потребление данных с помощью веб-сервисов.
ODI 11g in a Services Oriented Architecture? Exposing data services and consuming web services with ODI 11g. Part I.
ODI может быть полезен не только для загрузки массивных объемов данных, но и для использования в среде SOA. В заметке рассматриваются вопросы как проинсталлировать, развернуть и оттестировать веб-сервис с помощью ODI.
Дата публикации: 2011-12-12, Комментариев: 0

2011-10-01.

BI-Quotient

OWB идет на пенсию. Что делать?
Oracle Warehouse Builder to go into retirement. What to do?
Смотри перевод здесь.
Дата публикации: 2011-10-25, Комментариев: 0

2011-08-01.

odiexperts.com

Установка и настройка ODI SDK в Eclipse.
ODI SDK Setup and Config in Eclipse
Как подключенить ODI SDK к Eclipse. Также приведены примеры создания проекта, папки, контекста, физической и логической схем, дата сервера и т.п.
Дата публикации: 2011-08-18, Комментариев: 0

BI-Quotient

Настройка и оптимизация производительности ODI.
ODI performance tuning, and optimisation
Большинство вопросов, касающихся настроек и оптимизации производительности работы ODI рассмотрены в документе Oracle Note 423726.1. Смотри перевод здесь.
Дата публикации: 2011-08-15, Комментариев: 0


Какие умения необходимы для разработчика ODI 11g.
Skills an ETL developer on ODI 11g (Oracle Data Integrator) requires.
Смотри перевод здесь.
Дата публикации: 2011-08-16, Комментариев: 1

2011-07-01.

BI-Quotient

Где лучше всего расположить ODI агента?
What’s the best location for the ODI agent?
Рассмотрен вопрос о том, где лучше всего и в каких случаях, располагать агента ODI.
Дата публикации: 2011-07-24, Комментариев: 0

2011-06-01.

odiexperts.com

Есть чем гордиться.
Things to be pride of….
-
Дата публикации: 2011-06-14, Комментариев: 1

BI-Quotient

Апгрейд ODI 10 на ODI 11g. Клонирование репозиториев.
ODI snippets: Upgrade ODI 10g to ODI 11g – Cloning repositories
Если для перехода на новую версию ODI вы решите клонировать репозитории старой версии, чтобы потом сверху поставить более новую версию, и ваши репозитории находятся в Oracle 11g, то нельзя использовать утилиты экспорта/импорта, так как в этом случае таблицы из репозитория без строк не попадут в экспорт.
Дата публикации: 2011-06-01, Комментариев: 0


Анонс книги по ODI 11g.
ODI 11g book announced for July
По ODI написана книга - Oracle Data Integrator 11g: Getting Started.
Дата публикации: 2011-06-14, Комментариев: 2

2011-05-01.

BI-Quotient

Oracle Data Integrator (ODI) 11g: Ограничения планов загрузки.
Oracle Data Integrator (ODI) 11g: limitation of load plans
Описаны ограничения планов загрузки, новых объектов, появившихся в ODI 11g. В частности, не очень гибкий механизм задания параллелизма при выполнении сценариев и отсутствие ограничения на количество одновременно запущенных сценариев.
Дата публикации: 2011-05-18, Комментариев: 4

2011-04-01.

BI-Quotient

Пять новых блогов об ODI, на которые я подписался.
Five newish ODI blogs I have subscribed to recently
-
Дата публикации: 2011-04-04, Комментариев: 0


Даем работу ODI и OBI разработчикам.
Looking for ODI and OBIEE developers (permanent and/or contract), Dublin Ireland
-
Дата публикации: 2011-04-20, Комментариев: 0


Инсталляция ODI 11g, Weblogic, JDK на Windows x64.
Installing ODI 11g, Weblogic, JDK on 64 Bit Windows
Краткое описание инсталляции ODI 11g, Weblogic сервера на Windows x64. Смотри также: Инсталлируем ODI 11g на Windows x64 и MS SQL Server.
Дата публикации: 2011-04-24, Комментариев: 2

2011-03-01.

odiexperts.com

Упорядоченные соединения.
Ordered SQL
Как с помощью включения режима упорядоченных соединений ускорить загрузку данных, убрать лишние временные таблицы и т.п.
Дата публикации: 2011-03-02, Комментариев: 0


Консистентное отслеживание изменения данных.
CDC CONSISTENT
Объемная и подробная заметка о том, как настраивать работу по отслеживанию изменений в данных в консистентном режиме (CDC consistent). Этот режим, в отличие от режима Simple CDC позволяет оперировать и отслеживать изменения не на уровне отдельной таблицы, а на уровне всей модели, как набора взаимосвязанных таблиц.
Дата публикации: 2011-03-27, Комментариев: 6

BI-Quotient

Модуль знаний загрузки Oracle-Oracle с использованием dblink-ов.
Load Knowledge Module Oracle to Oracle using database links
Критический взгляд на стандартный модуль знаний загрузки, предполагающий создание представления в БД источника, что зачастую может быть запрещено. Предлагается модифицированный модуль знаний, который для выборки данных из удаленной базы создает представление на приемнике данных (в целевой или стейджевой схемах БД). Также показана интересная техника подстановки к имени ресурса таблицы в модели имени дблинка передаваемого через переменную. Для более полного понимания принципов работы LKM Oracle to Oracle (DBLINK) смотрите: Создание представления через модуль знаний (Create View IKM).
Дата публикации: 2011-03-11, Комментариев: 8


Тестирование настроек JDBC драйверов для достижения наилучшей производительности загрузки данных в ODI.
ODI JDBC variable binding: 500% performance gains, Array Fetch Size, Batch Update Size, Row Prefetching, and the Array Interface; and an issue when running the agent in Weblogic.
Приведены объяснения и примеры тестов по следующим аспектам работы агентов ODI и драйверов JDBC: упреждаюшая выборка строк из БД (Array Fetch Size), передача параметров для операций изменения данных через массивы (Batch Update Size) и влияние этих параметров на используемую агентом оперативную память и производительность загрузки.
Дата публикации: 2011-03-22, Комментариев: 6


ODI 11g: не обнаружен osal.dll.
ODI 11g snippets: Could not locate osal.dll
Описана проблема и возможное решение при совместном использовании ODI 10 и ODI 11g. Версия ODI 11g использует jrockit JDK, версия 10 использует Sun JDK.
Дата публикации: 2011-03-15, Комментариев: 0

2011-02-01.

odiexperts.com

Остановка выполнение сессии в ODI 11g.
Killing session in ODI 11g
Описание новой возможности ODI 11g по немедленному останову SQL запросов.
Дата публикации: 2011-02-13, Комментариев: 3

BI-Quotient

Скрипты в ODI: Jython, Java BeanShell, Java, Open Tools, ODI API и SDK, методы подстановки.
Scripting in Oracle Data Integrator: Jython, Java BeanShell, Java, Open Tools, ODI API & SDK, ODI Substitution API
Перечень доступных для использования средств написания скриптов в ODI с примерами и объяснениями. Также в этом посте есть ссылка на матрицу, помогающую определить, в каких случаях какой из скриптовых языков лучше всего использовать.
Дата публикации: 2011-02-20, Комментариев: 2

2010-12-01.

odiexperts.com

Прямая загрузка интерфесом без промежуточных (С$, I$) таблиц.
Direct load by interface with no work tables (C$, I$)
Ссылка на видео от Craig Stewart о том, как загружать данные непосредственно в таблицу, минуя промежуточные таблицы C$ и I$. Как по мне, проще всего сделать это путем модификации модуля знаний, в чем же путь Крейга - смотрите на видео.
Дата публикации: 2010-12-03, Комментариев: 4

BI-Quotient

Доступ к примапленному диску через ODI агент работающий как сервис Windows.
Accessing a mapped network drive with the ODI agent as a Windows service
Для доступа к примапленному диску из агента, который запущен как сервис Windows, необходимо подключение диска создавать во время выполнения сценария ODI.
Дата публикации: 2010-12-03, Комментариев: 0