Дайджест ODI публикаций 2013, Квартал 4.

Новая версия Oracle Data Integrator 12c: Часть 1.
Oracle Data Integrator 12c release : Part 1
Маппинги и повторно используемые маппинги вместо пакетов и интерфейсов, Отладчик, Миграция с OWB - краткий обзор новых возможностей ODI. Есть перевод.
Дата публикации: 2013-10-17, Комментариев: 23


ODI 12c - Инсталляция Студии.
ODI 12c - Installing ODI Studio
Краткое замечание о том, что для инсталляции ODI Студии необходимо выбирать тип инсталляции - Enterprise.
Дата публикации: 2013-10-17, Комментариев: 0


Обновление ODI 11.1.1.7 на новую версию 12c.
Upgrading ODI 11.1.1.7 repository to 12c:
История в картинках, как произвести обновление ODI. В комментариях затрагиваются и другие детали апгрейда.
Дата публикации: 2013-10-26, Комментариев: 19

Дайджест ODI публикаций 2013, Квартал 3.

Давно не обрабатывал публикации, а их много...

Сколько нужно мастер репозиториев для ODI?
How Many ODI Master Repositories Should We Have?
Статья описывает возможные варианты архитектуры ODI при работе в корпоративной среде, в частности, использование нескольких мастер репозиториев для сред разработки, тестирование и промышленной эксплуатации.
Дата публикации: 2013-07-01, Комментариев: 1


ODI - создание репозитория в подключаемой БД Oracle 12c.
ODI - Creating a Repository in a 12c Pluggable Database
Пример подключения к БД с использованием имени сервиса работающей БД, а не ее SID имени.
Дата публикации: 2013-07-02, Комментариев: 0

Дайджест ODI публикаций 2013, Полугодие 1.

ODI 11g на предприятии, часть 4. Автоматизация, использование ODI SDK, Groovy скриптов и открытых утилит.
ODI 11g in the Enterprise Part 4: Build Automation and Devops using the ODI SDK, Groovy and ODI Tools
Обзорная статья по использованию ODI на предприятии с точки зрения автоматизации процессов развертывания новых версий ETL процедур, использования Groovy скриптов и бесплатных утилит типа Jenkins, Ant и Maven со ссылками на подробные описания в других блогах или документации.
Дата публикации: 2013-01-01, Комментариев: 3


Установка опций модуля знаний через SDK.
Set ODI KM option value using SDK
Пример кода для установки опции во всех интерфейсах проекта через ODI SDK.
Дата публикации: 2013-01-02, Комментариев: 2


Улей и NoSQL данные, кодируем.
ODI - Hive and NoSQL, the code
Продолжение рассказа об обработке NoSQL данных в ODI.
Дата публикации: 2013-01-02, Комментариев: 0


ODI 11g на предприятии, часть 5. Устойчивость и высокая доступность ETL процессов.
ODI 11g in the Enterprise Part 5: ETL Resilience and High-Availability
Марк рассматривает типовые причины, которые могут повлиять на процесс загрузки и преобразования данных. Это как ошибки собственно в данных, ошибка в логике процесса ETL преобразований и возможные ошибки как на БД источника, так и в целевой БД. И второй большой класс ошибок - ошибки в тех процессах, которые запускают ETL процедуры, т.е. ошибки агентов или БД репозиториев.
По первому классу причин рассматриваются ньюансы использования планов загрузки, по второму классу причин - использование JavaEE агентов.
Дата публикации: 2013-01-04, Комментариев: 3


Повторное использование кода в ODI.
Extreme re-usability in ODI 11g.
На примере повторяющегося шага по сбору статистики в одном из модулей знаний автор показывает возможное применение пользовательских функций для повторного использования одного и того же кода.
Дата публикации: 2013-01-07, Комментариев: 1


БД Mongo и табличная Java функция.
ODI - MongoDB and Java Table Functions Anyone?
Рассказ о том, как с помощью модуля знаний LKM JavaTableFunction to SQL читать документы из MongoDB.
Дата публикации: 2013-01-10, Комментариев: 0


Вызов ODI сценария через веб-сервис.
Invoke ODI Scenario using Web Service
Вызов сценария ODI из JDeveloper путем создания приложения из WSDL файла.
Дата публикации: 2013-01-11, Комментариев: 3


Табличная Java функция для БД Mongo.
ODI - Java Table Function for MongoDB
Продолжение рассказа об обработке MongoDB данных в ODI. Показаны функции преобразования makeRow и readCollection.
Дата публикации: 2013-01-11, Комментариев: 0


Загружаем данные из PDF при помощи iText.
ODI - Integrating PDF using iText
Чтение данных из PDF файла при помощи библиотеки iText.
Дата публикации: 2013-01-14, Комментариев: 7


Работа с ульем MongoDB.
ODI - Hive and MongoDB
Работа с внешними таблицами для улья MongoDB.
Дата публикации: 2013-01-15, Комментариев: 5


Изменение ИД репозитория.
Change Internal ID of ODI Repository
История в скриншотах о том, как изменить внутренний идентификатор ODI репозитория.
Дата публикации: 2013-01-16, Комментариев: 0


Создание репозитория через ODI SDK.
Create ODI repository using SDK
Пример создания репозитория через SDK.
Дата публикации: 2013-01-21, Комментариев: 2


Создание агентов через SDK
Create Agent in ODI using SDK
Создание физического и логического агентов через SDK.
Дата публикации: 2013-01-22, Комментариев: 0


Вызов ODI сценария через OdiInvokeWebService
Invoke ODI Scenario using OdiInvokeWebService
Показан пример вызова сценария ODI через утилиту OdiInvokeWebService при использовании локального агента.
Дата публикации: 2013-01-25, Комментариев: 2


Безопасность использования snps_login_work.xml файла.
Security Concern with ODI snps_login_work.xml
Как расшифровать закриптованный пароль к мастер репозиторию, распространяемый вместе с файлом snps_login_work.xml.
Дата публикации: 2013-02-05, Комментариев: 6


Добавление хинтов к модулю знаний.
Adding HINTS in ODI
Как использовать функцию getOption в модуле знаний, чтобы передавать хинты в сгенерированный модулем SQL код.
Дата публикации: 2013-02-05, Комментариев: 6


Загружаем данные из PDF, видео.
ODI - Extracting data from PDF Forms in 0 to 60
Видео-иллюстрация загрузки данных из форм PDF файла в ODI.
Дата публикации: 2013-02-06, Комментариев: 2


Добавление хинтов к модулю знаний через переменные.
Adding Variabled HINTS in ODI
В блоге рассказано, как использовать параметры, хранящиеся в таблице БД в модуле знаний. Примером использования автор выбрал передачу в модули знаний хинтов для запросов выборки и вставки данных.
Дата публикации: 2013-02-18, Комментариев: 2


Медленно изменяющиеся размерности в ODI, видео.
ODI - Slowly Changing Dimensions in 0 to 60
Видео-иллюстрация процесса настройки абстрактной таблицы ODI для работы в качестве медленно изменяющегося измерения с использованием модуля знаний IKM Slowly Changing Dimension на примере сохранения истории изменений семейного положения.
Дата публикации: 2013-02-26, Комментариев: 4


Подсказка, выбираем самый последний сгенерированный сценарий для запуска.
ODI - Tip of the day, latest scenario version
Чтобы запускать самый последний сценарий, везде, где используется команда odiStartScen необходимо передавать значение "-1" в качестве номера версии.
Дата публикации: 2013-03-11, Комментариев: 2


Упаковка и распаковка файлов в параллельном режиме.
ODI - Compressing/Decompressing Files in Parallel
Девид привел пример двух пользовательских функций, написанных на Java, которые позволяют запаковывать и/или распаковывать файлы в заданной директории или записывать результаты в другую директорию. Количество параллельно работающих процессов задается при вызове функции.
Дата публикации: 2013-03-12, Комментариев: 0


Настройка SCD таблиц через ODI SDK.
ODI - Slowly Changing Dimension Quick SDK Setup
Пример использования setScdType метода класса OdiColumn для установки признака использования колонки в качестве члена медленно изменяющегося измерения. Список абстрактных таблиц и колонок с типами задается через текстовый файл.
Дата публикации: 2013-03-20, Комментариев: 0


Оракл выпустил ODI 11.1.1.7.
Oracle Releases Oracle Data Integrator 11.1.1.7.0
См. Вышел ODI 11.1.1.7.
Дата публикации: 2013-04-01, Комментариев: 2


Внедряем код, выполняющийся перед и после соединения с сервером данных.
ODI - Tip of the day, Connect/Disconnect call outs
Показан пример использования механизма вызова заданного кода, выполняющего перед (или после) соединением с сервером данных.
Дата публикации: 2013-04-01, Комментариев: 0


Создание архивной копии репозиториев ODI.
Repository Backup in ODI
Автор рассказывает в какой последовательности и какие объекты необходимо экспортировать из ODI Studio чтобы создать полноценную работающую архивную копию рабочего репозитория ODI.
Дата публикации: 2013-04-04, Комментариев: 9


Интегрируем социальные данные из Facebook, видео.
ODI - Integrating social data from Facebook Graph API in 0 to 60
Показан пример загрузки данных, позволяющий получать данные из многих источников, таких как Twitter, Facebook, Google и т.п.
Дата публикации: 2013-04-16, Комментариев: 11


OBIEE, ODI и Hadoop, часть 1: Так что такое Hadoop, MapReduce и Улей?
OBIEE, ODI and Hadoop Part 1: So What Is Hadoop, MapReduce and Hive?
Во вводной части статьи Марк рассказывает, что такое Hadoop и MapReduce алгоритм, а также дает общий взгляд на их использование с OBIEE и ODI.
Дата публикации: 2013-04-18, Комментариев: 2


OBIEE, ODI и Hadoop, часть 2: Коннектимся из OBIEE 11.1.1.7. к источнику данных Hadoop.
OBIEE, ODI and Hadoop Part 2: Connecting OBIEE 11.1.1.7 to Hadoop Data Sources
Рассказывается, как подключить OBIEE к Hadoop, настроить ODBC и загрузить метаданные из этого источника данных, создать слой бизнес данных и получить пару тестовых отчетов.
Дата публикации: 2013-04-19, Комментариев: 5


OBIEE, ODI и Hadoop, часть 3: Более пристальный взгляд на Улей, HDFS и дистрибутив Cloudera CDH3.
OBIEE, ODI and Hadoop Part 3: A Closer Look at Hive, HFDS and Cloudera CDH3
Более подробный рассказ об архитектуре распределенной файловой системы Hadoop, утилите Hue - веб приложении для работы с HDFS как с обычной файловой системой. Как создать таблицу и загрузить ее данными даже без использования ODI, через Hue или команду HiveQL LOAD DATA. И как подключить ODI к источнику данных, настроить топологию, отреверсить таблицы и залить данные через интерфейс.
Дата публикации: 2013-04-25, Комментариев: 0


OBIEE, ODI и Hadoop, часть 4: Трансформация и интеграция данных улья через ODI 11g.
OBIEE, ODI and Hadoop Part 4: Hive Data Transformation & Integration via ODI 11g
Рассказ о том, как ODI может быть использован для загрузки Хранилища Больших Данных, с описанием доступного для таких задач перечня адептеров для работы с Hadoop и некоторыми особенностями использования соответствующих модулей знаний.
Дата публикации: 2013-04-28, Комментариев: 0


Интегрируем социальные данные, продолжение.
ODI - Integrating more social data
Аллан, в продолжение заметки об интеграции данных из графа Facebook-а приводит код двух функций: JSON_to_XML и Zipped_JSON_to_XML, которые могут вызывать напрямую из процедур и модулей знаний.
Дата публикации: 2013-05-07, Комментариев: 0

Генератор планов загрузки для ODI.
Load Plan Generator – An Inside Look
Генератор планов загрузки это утилита из пакета Oracle BI Applications, позволяющая осуществлять загрузку ХД, используемого BIAPPS.
Дата публикации: 2013-05-14, Комментариев: 11



Использование пользовательских функций для генерации SQL кода во время выполнения.
Using ODI user functions to dynamically inject SQL into Interfaces
Впечатляющая демонстрация того, как с помощью пользовательских функций и кода на Java Bean Shell добиться возможности подставлять фактические значения переменных в генерируемый интерфейсом SQL код.
Дата публикации: 2013-05-19, Комментариев: 7

Перехват текста сообщения об ошибке с ипользованием Jython.
Capture ODI Error Message using Jython Variable
Пример процедуры Jython позволяющей сохранять в отдельной таблице БД информацию (многострочный текст) о произошедшей в процессе работы ODI ошибке.
Дата публикации: 2013-05-30, Комментариев: 1



Лучшая ETL книга для лучшего ETL инструмента.
ODI 11g Cookbook – The leading ETL tool now also has the best ETL book
Впечатления автора от книги рецептов для ODI 11g.
Дата публикации: 2013-06-15, Комментариев: 0



FDMEE 11.1.2.3 – ODI консоль и Студия
FDMEE 11.1.2.3 – ODI Console and Studio
Статья описывает проблемы инсталлирования ODI Студии вместе с FDMEE и возможные пути решения проблем с целостностью инсталляционного пакета.
Дата публикации: 2013-06-30, Комментариев: 7

Дайджест ODI публикаций 2012, Декабрь.

Пишем скрипт реверса модели.
ODI 11g - Scripting a Reverse Engineer
На примере предыдущих заметок о скриптовании моделей и топологии Аллан показывает пример создания пакета при помощи SDK, запуск которого как раз и приведет к реверсу нужной модели.
Дата публикации: 2012-12-03, Комментариев: 2


Добавление функций в язык ODI.
Adding Functions to ODI
Показано, как добавить функцию LEAD в качестве нового элемента языка SQL в Топологии Oracle Data Integrator.
Дата публикации: 2012-12-05, Комментариев: 3


Архивация ODI логов.
Archiving ODI logs
Смотри перевод Архивация ODI логов.
Дата публикации: 2012-12-05, Комментариев: 3


Использование пользовательских функций для очистки данных.
ODI 11g - Cleaning control characters and User Functions
Пример использования пользовательских функций для инкапсуляции вложенных вызовов несколько строковых функций БД. В данном примере такой подход используется для удобного удаления управляющих символов из текстовых строк.
Дата публикации: 2012-12-06, Комментариев: 1


Динамическая генерация кода время выполнения.
ODI 11g - Dynamic and Flexible Code Generation
Показано, как настроить условие фильтра в интерфейсе в зависимости от значения переменной. В частности, речь идет о том, что при разных значениях переменных будет генерироваться разное содержание SQL кода, который будет выполнен СУБД при выполнении интерфейса ODI.
Дата публикации: 2012-12-10, Комментариев: 5


Как запустить сценарий через вызов веб-сервиса?
How you can launch an ODI scenario through a web service call?
Как вызвать (синхронно или асинхронно) запуск сценария через веб-сервис. С выходом ODI 11g в поставку к агенту добавили легкий сервер приложений Jetta, при этом сценарии ODI могут вызываться прямо, например, из OBIEE приложения.
Дата публикации: 2012-12-12, Комментариев: 0


Быстрая загрузка файлов в ODI.
ODI 11g - Loading More Files Faster
Девид Аллан привел ссылку на разработанный загрузочный модуль знаний (LKM), который позволяет загружать данные в параллельном режиме из нескольких файлов с использованием препроцессора Oracle.
Дата публикации: 2012-12-20, Комментариев: 3


Меняем соединение с рабочим репозиторием.
ODI 11g - Changing the Work Repository Connection
Где найти кнопку вызова диалога изменения параметров соединения с рабочим репозиторием ODI для версии 11g. Обычно такая задача возникает после клонирования или апгрейда, когда нужно присоединить новый мастер репозиторий к новому рабочему репозиторию. Смотри также: ODI 11g. Где всё?
Дата публикации: 2012-12-24, Комментариев: 0


Реверс файлов улья в ODI.
ODI - Reverse Engineering Hive Tables
Рассказано, как при помощи стандартного механизма реверса (или специального модуля знаний реверса) подключиться через jdbc к улью хадупа и получить описание абстрактных таблиц в модели ODI.
Дата публикации: 2012-12-28, Комментариев: 1


Базовые преобразования таблиц улья.
ODI - Basic Hive Queries
В посте показано, как соединить две таблицы улья и получившийся результат загрузить в новую таблицу, которая располагается там же. Для хадупа используются свои модули знаний, в остальном же практически никаких отличий нет, в ODI все выглядит абсолютно так же, как и при работе с обычной РСУБД.
Дата публикации: 2012-12-28, Комментариев: 0


ODI 11g на предприятии, часть 1. Что еще кроме загрузки Хранилища?
ODI11g in the Enterprise Part 1: Beyond Data Warehouse Table Loading
Вступительная статья серии, рассказывающая предисторию использования и текущие и будущие планы использования Oracle Data Integrator-а как связующего компонента многих приложений Oracle Fusion Middleware.
Дата публикации: 2012-12-28, Комментариев: 7


Реверс внешних файлов улья в ODI.
ODI - Hive External Tables, reverse engineering
В заметке показано, как сделать реверс внешних таблиц улья при помощи библиотеки SerDe и модифицированного модуля знаний реверса.
Дата публикации: 2012-12-29, Комментариев: 0


Обработка сложносоставных данных улья.
ODI - Hive and Complex JSON
Пример реверса и загрузки сложносоставных данных улья с использованием функций Hadoop при заполнении целевой таблицы.
Дата публикации: 2012-12-29, Комментариев: 1


ODI 11g на предприятии, часть 2. Интеграция данных: Essbase, пересылка сообщений, Большие данные как источник и приемник данных.
ODI11g in the Enterprise Part 2 : Data Integration using Essbase, Messaging, and Big Data Sources and Targets
Сводная статья, описывающая концепции использования ODI для интеграции данных Essbase, пересылки данных (когда лучше использовать ODI чем BPEL или Oracle ESB), работу по чтению или записи больших данных. Помимо концепций приводятся ссылки на подробные рассказы или документацию по затронутым темам.
Дата публикации: 2012-12-30, Комментариев: 0


Улей и NoSQL данные.
ODI - Hive and NoSQL
Небольшой пример обработки NoSQL данных в ODI с использованием функции collect_set.
Дата публикации: 2012-12-31, Комментариев: 1


ODI 11g на предприятии, часть 3. Качество и профилирование данных с использованием Enterprise Data Quality.
ODI 11g in the Enterprise Part 3: Data Quality and Data Profiling using Oracle EDQ
Подробная статья, рассказывающая историю развития продуктов Oracle для проверки качества данных, их очистки и т.п. и дальнейших планах компании по использованию EDQ как компоненты ODI.
Дата публикации: 2012-12-31, Комментариев: 0

Дайджест ODI публикаций 2012, Ноябрь.

Высокодоступный кластер агентов для ODI 11g. Часть 1 - Введение и Архитектура.
Clustering ODI11g for High-Availability Part 1 : Introduction and Architecture
Описываются различия между стандартным и JavaEE агентами ODI. Описывается архитектура кластера из управляемых серверов для JavaEE агентов.
Дата публикации: 2012-11-01, Комментариев: 0


Использование настраиваемых полей (flexfields) в ODI.
Making use of ODI Flexfields to meet requirements
Рассказывается, что такое настраиваемые (flexfields) поля и приводится пример их использования совместно с модулем знаний проверок (CKM).
Дата публикации: 2012-11-12, Комментариев: 0


Осторожно - предикаты в соединениях.
Tricks with SQL: Beware of the Predicate in the Outer Join
Рассказывается о различиях между условием в поле where и условием в соединении двух таблиц через outer join. С учетом того, что подобное вполне часто встречается и в интерфейсах ODI - заметка полезная.
Дата публикации: 2012-11-21, Комментариев: 2


Простой механизм уведомления об ошибках.
ODI Alert Mechanism
Автор показывает как можно получать уведомления о некоторых проблемах выполнения пакета путем добавления дополнительных шагов в пакет. Эти шаги включают описание ошибки и вызов утилиты для отправки почтового сообщения.
Дата публикации: 2012-11-30, Комментариев: 5


Проверка качества данных.
ODI Handling DQ
Показан пример пакета проверяющего качество данных путем циклического запуска SQL скриптов, получаемых из файла и отправляющего результаты выполнения этих скриптов по электронной почте.
Дата публикации: 2012-11-30, Комментариев: 0

John-Goodwin дайджест.

Вот и дошли у меня руки сделать практически полный дайджест сообщений последнего из запланированных блогов, связанных с Oracle Data Integrator. По плану этот блог был последним, но по времени публикаций он является первопроходцем.

Первое сообщение было опубликовано в сентябре 2008 года, так что когда коллеги ODI Experts и BI-Quotient начинали писать об ODI им уже было на кого равняться.

Блог Джона Гудвина посвящен использованию Oracle Data Integrator в связке с приложениями планирования Oracle EPM, Hyperion, Essbase и прочими.

В каждом сообщении Джон очень подробно описывает то, что он делает, что позволяет людям не слишком знакомым с процессами ETL использовать ODI в своей работе.

Дайджест блога находится здесь. Не всегда у меня получались удачные описания статей блога этого автора, не совсем мне понятна, конечно, специфика приложений для финансового анализа, так что читайте оригинал, если вас что-то заинтересовало.

Мир, Труд, ODI.

Дайджест ODI публикаций 2012, Октябрь.

Новости BI, Хранилищ и Интеграции данных с Oracle Open World.
BI, Data Warehousing and Data Integration News from Oracle Openworld 2012
Список ключевых моментов, касающихся мира BI, в изложении Марка Риттмана. Также приведены ссылки на презентации, проведенные на конференции Oracle компанией Rittman Mead.
Дата публикации: 2012-10-03, Комментариев: 1

Лучшие практики организации интерфейсов и таблиц ODI в проекты и модели.
Best practice of organizing interfaces and data stores into projects and models in ODI
Ули описывает как правильно организовать хранение метаданных ODI в деревьях проекта (модели). Есть перевод.
Дата публикации: 2012-10-03, Комментариев: 2

Пара слов о паре агентов ODI.
A tale of two agents
Рассуждения о том, в каких случаях стоит использовать более одного выделенного агента ODI.
Дата публикации: 2012-10-14, Комментариев: 0

Как выбрать данные из любой схемы или даже всей базы данных.
How to query a whole schema or even database?! This tip will save you hours and hours of boring work.
Ули описывает подход по которому создается процедура ODI, выгружаются в текстовые файлы все таблицы, затем проводится текстовый поиск средствами ОС.
Дата публикации: 2012-10-22, Комментариев: 0

Что такое контекст оптимизации ODI.
ODI Snippets: What is the Optimization Context in ODI?
Краткий рассказ о том, что такое оптимизационный контекст ODI.
Дата публикации: 2012-10-30, Комментариев: 2

Баг выгрузки аттрибутов Essbase в ODI 11.1.1.6 + исправление.
ODI 11.1.1.6 – Extracting Essbase attribute members bug + fix
При попытке выгрузить иерархию аттрибутов некоторого измерения Essbase при помощи модуля знаний "LKM Hyperion Essbase METADATA to SQL" возникала ошибка на шаге "Begin Essbase Metadata Extract". Патч 13093442 решает эту проблему.
Дата публикации: 2012-10-31, Комментариев: 2

Дайджест ODI публикаций 2012, Сентябрь.

BI-Quotient

Получить список всех объектов ODI включая полный путь для проекта или модели.
Get a list of all of your ODI objects including the path in your project or model
Очень удобный скрипт если вам необходимо получить список всех объектов ODI, отфильтровав его, например, по дате последнего изменения или месте в иерархии папок проекта.
Дата публикации: 2012-09-17, Комментариев: 0

Копирование и перемещение объектов между проектами ODI.
Copying and moving objects between projects in ODI
18-шаговое подробное объяснение каким образом необходимо правильно копировать/перемещать пакет из одного проекта ODI в другой.
Дата публикации: 2012-09-18, Комментариев: 0

ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 4. Потребление данных из OBIEE веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part IV. Consuming a SOAP OBIEE web service using ODI 11g
В четвертой части этой серии рассказывается как вызывать веб-сервис OBIEE и получить информацию из Презентационного сервиса о пользователях, группах, правах и т.п.
Дата публикации: 2012-09-25, Комментариев: 0

Дайджест ODI публикаций 2012, Июль-Август.

ODI Фильтрация.
ODI Filter Transformation-2
Обучающая заметка с примерами как создать интерфейс с фильтрацией данных для переноса всех сотрудников по заданным критериям из одной таблицы в другую.
Дата публикации: 2012-07-04, Комментариев: 1

Скидочные купоны на книгу по ODI.
Discount Codes for 'Getting Started with ODI 11g: A Hands-On Tutorial' Book
Скидки до 15% на бумажную и 25% на электронную версии книги Getting Started with ODI 11g: A Hands-On Tutorial. Трудно сказать, работают ли эти скидки до сих пор, напишите в комментариях, если кто-то попробует.
Дата публикации: 2012-07-12, Комментариев: 0

Настройка отказоустойчивых ODI агентов через Oracle OPMN.
ODI Series – Standalone Agent High Availability using OPMN
Подробное объяснение как проинсталлировать Oracle Process Manager and Notification Server и настроить несколько обычных (standalone) агентов ODI для обеспечения отказоустойчивости, так как использование J2EE агентов и сопутствующей избыточной инфраструктуры не всегда оправдано.
Дата публикации: 2012-07-31, Комментариев: 0

ODI 11g - курс самообучения для Hadoop.
ODI 11g - Hadoop integration self study
Приведены ссылки на заметку в блоге о том, как работать с модулем знаний, включенным в ODI 11.1.1.6. для связки с Hadoop, а также ссылка на курс самообучения Oracle Apex, где расскажут как загрузить данные из файла в улей данных (hive), преобразовать данные улья и забрать из улья обратно в БД.
Дата публикации: 2012-08-01, Комментариев: 0

Дедупликация и создание списков при помощи функции Oracle LISTAGG в ODI.
Deduplicating and Creating Lists – Oracle SQL LISTAGG
Показано, как добавить аналитическую функцию LISTAGG в список поддерживаемый технологией Oracle в ODI и использовать ее в интерфейсах. Смотри также: Используем аналитические функции SQL в ODI.
Дата публикации: 2012-08-06, Комментариев: 2

Обзор книги Getting Started with Oracle Data Integrator 11g.
Book Review Getting Started with Oracle Data Integrator 11g
Краткий обзор книги от Девида Аллана. Краткое описание краткого обзора - книга для тех, кто хочет быстро начать работать с ODI, это не полное описание и не книга рецептов. Каждая глава затрагивает конкретную область приложения сил и достаточна для того, чтобы получить работоспособные результаты.
Дата публикации: 2012-08-20, Комментариев: 0

Hadoop - Вызов задач Map Reduce.
Hadoop - Invoke Map Reduce
Рассказ о том, как вызывать задачи Map Reduce с помощью специально подготовленных подключаемых к ODI утилит из Hadoop JobConf SDK.
Дата публикации: 2012-08-20, Комментариев: 0

Знакомство с Oracle Enterprise Data Quality.
Introducing Oracle Enterprise Data Quality
Подробное представление решения Oracle, касающегося качества данных, которое раньше принадлежало компании Datanomic. Данное решение также может подключаться к ODI как внешняя утилита и обеспечивать работу над качеством данных в интеграционных проектах.
Дата публикации: 2012-08-23, Комментариев: 0

Баг в модуле знаний для Hyperion в ODI 11.1.1.6. и его исправление.
ODI 11.1.1.6 – Planning KM bug + fix
Описание того, в каком месте и как необходимо устанавливать типы используемых технологий в модулях знаний для выгрузки данных в приложение планирования Oracle Hyperion.
Дата публикации: 2012-08-28, Комментариев: 1

Статья по планам загрузки в Oracle Magazine.
Load Plan article in Oracle Magazine
Девид Аллан привел ссылку на статью Марка Риттмана в сентябрь-октябрьском журнале Oracle Magazine посвященную теме планов загрузки ODI (load plans).
Дата публикации: 2012-08-29, Комментариев: 0

Дайджест SQL.ru.

Приветствую в новом году.

Хочу поделиться небольшим набором интересных тем с форума SQL.ru подфорума OLAP и DWH. Ниже список тем по категориям, с моими краткими анонсами; темы выбирались за последнее полугодие 2012 года.

ETL

Talend ETL.
Мнения посетителей форума о Talend, его применимости для задач ETL, работе с БД Vertica.

Дайджест ODI публикаций 2012, Июнь.

ODI 11g - Быстрые файлы.
ODI 11g – Faster Files
Краткое описание нового модуля знаний, появившегося в ODI 11.1.1.5.2. для быстрой интеграции данных через файлы. Данный IKM использует Java для работы с файлами (используются классы java.io) и имеет опции выполнения в многопоточном режиме. В своем тестовом примере автор переместил 1.3Гб данных в два потока за 140 секунд.
Дата публикации: 2012-06-07, Комментариев: 1


Hadoop, огромные XML файлы и ODI.
Hadoop, Humongus XML files and ODI
Подробный рассказ о том, как использовать Hadoop для обработки XML файлов большого размера, а также приведены наброски созданного автором модуля знаний, помогающего автоматизировать этот процесс при загрузке данных через ODI. Сам файл модуля знаний автор так и не предоставил.
Дата публикации: 2012-06-17, Комментариев: 2


ODI 11g Логгирование/Трассировка агента.
ODI 11g Agent Logging / Tracing
Рассказ о настройках уровней логгирования агента в файле ODI-logging-config.XML и о том, как настраивать логгирование для ODI Studio.
Дата публикации: 2012-06-18, Комментариев: 3


ODI 11g - Экспертное создание модели.
ODI 11g – Expert Accelerator for Model Creation
Дэвид Алан добавил к своему ранее опубликованному Groovy скрипту для создания модели в топологии ODI часть, отвечающую за ввод данных от пользователя через диалоговое окно.
Дата публикации: 2012-06-19, Комментариев: 0


ODI 11g - Создание репозитория скриптом.
ODI 11g – Scripting Repository Creation
Приведен скрипт на Groovy для создания мастер и рабочего репозиториев. В комментариях приведена ссылка на статью на сайте OTN с описанием ручного создания репозиториев через ODI Studio. Скрипт хорош также и как пример, на основе которого можно разрабатывать свои собственные деплоймент пакеты.
Дата публикации: 2012-06-20, Комментариев: 1

Дайджест ODI публикаций 2012, Май.

Oracle Data Integrator 11g Groovy: добавление колонок к таблицам модели.
Oracle Data Integrator 11g Groovy: Add Columns to a Datastore
Описание скрипта на Groovy для добавления колонки ко всем таблицам модели.
Дата публикации: 2012-05-08, Комментариев: 1


Внешняя аутентификация в Microsoft Active Directory для ODI 11g. Часть 3.
External authentication with Microsoft Active Directory in ODI 11g – Part 3
В третьей части рассказа о подключении ODI к Microsoft Active Directory рассматривается вопрос подключения Java EE агентов и консоли к внешнему механизму аутентификации.
Дата публикации: 2012-05-16, Комментариев: 1


ODI 11g Новые возможности.
ODI 11g New Features
Автор приводит ссылку на самый полный вариант официального документа от Oracle по новым возможностям ODI 11 версии. См. также: Практика использования Oracle Data Integrator (ODI): Новые возможности ODI 11g Часть 2.
Дата публикации: 2012-05-28, Комментариев: 0

Дайджест ODI публикаций 2012, Апрель.

RKM для файлов на Jython.
RKM FILE (Jython)
Приведена ссылка на загрузку разработаного коллегами модуля знаний реверса для реверса текстовых файлов. Реверс может быть осуществлен как для локальных файлов (доступных из ODI Studio), так и для файлов удаленных, доступных только через агента. Описаны дополнительные опции модуля знаний и приведены примеры реверса одного или нескольких (по заданной маске) файлов.
Дата публикации: 2012-04-01, Комментариев: 0


Получение информации о сессиях через Groovy.
ODI SDK: Retrieving Information From the Logs
Приведен код на Groovy для подключения к репозиторию ODI и получению информации о выполнении сессий. Выбираются все выполнения заданного сценария.
Дата публикации: 2012-04-02, Комментариев: 2


ODI 11g - Как перезаписать SQL во время выполнения?
ODI 11g – How to override SQL at runtime?
Продолжение истории о созданном IKM под названием SQL_as_Source позволяющем, используя механизм производных (derived) таблиц, вводить код SQL запроса вручную при запуске интерфейса, и загружать, таким образом, одну таблицу из совершенно разных источников, о которых, возможно, даже не задумывались при разработке интерфейса. Привет SQL инъекциям!
Дата публикации: 2012-04-06, Комментариев: 0


Внешняя аутентификация в Microsoft AD для ODI 11g. Часть 2.
External authentication with Microsoft Active Directory in ODI 11g – Part 2
Продолжение предыдущей заметки. Рассматривается вопрос подключения агента ODI к внешнему механизму аутентификации.
Дата публикации: 2012-04-09, Комментариев: 0


Модуль знаний для многотабличной вставки.
Multi –Table Insert KM
Немного упрощенный взгляд на модуль знаний для MTI. В заметке рассматривается пример загрузки одних и тех же данных в три одинаковых таблицы, и с этой точки зрения наличие в БД Oracle такой возможности (insert all) выглядит немного надуманным. Более интересный пример был в дайджесте ODI за прошлый месяц.
Дата публикации: 2012-04-22, Комментариев: 4


Экстремальный BI: отслеживание изменений в данных через Golden Gate и ODI. Часть 1.
Extreme BI: Capturing Change with Oracle GoldenGate and ODI : Part 1 (Introduction)
Вводная заметка, описывающая новомодную идею загружать данные в ХД сразу в два места из одного и того же источника. Данные через Golden Gate попадают в область детальных данных, где накапливается история, а также, параллельным потоком, через область стейджа загружаются в область репортов. Экстремально!
Дата публикации: 2012-04-24, Комментариев: 0


Экстремальный BI: отслеживание изменений в данных через Golden Gate и ODI. Часть 2.
Extreme BI: Capturing Change with Oracle GoldenGate and ODI: Part 2 (Implementation)
Реализация описанного в первой части подхода. С помощью ODI готовятся файла конфигурации Golden Gate, затем подключается механизм отслеживания изменений в данных в самом ODI. В данной заметке описывается только та часть, которая относится к GG.
Дата публикации: 2012-04-26, Комментариев: 4


ODI 11.1.1.6 и поддержка Java 7.
ODI 11.1.1.6 and Java 7 support
Автор размышляет о том, есть ли какой-то смысл использовать Java 7 в ODI, особенно с учетом того, что это, скорее всего, можно будет сделать только на машинах разработчиков, так как не все продуктивные системы будут поддерживать Java 7 некоторое время. Тоже самое касается не только ODI но и других продуктов Oracle, таких как Fusion Middleware и т.п.
Дата публикации: 2012-04-28, Комментариев: 0

Дайджест ODI публикаций 2012, Март.

ODI 11g - Погружение в SDK.
ODI 11g – Insight to the SDK
Приведен список основных классов SDK для работы с объектами топологии, объектов проекта, планами загрузки, моделями и сессиями. Каждый объект содержит ссылку на описание в документации. Также приведены примеры кода на Groovy для создания, удаления и изменения проекта.
Дата публикации: 2012-03-02, Комментариев: 2


Советы по улучшению производительности загрузки в Essbase.
ODI Series – tips for improving essbase load times
Советы по увеличению значения для опции COMMIT_INTERVAL из IKM для загрузки данных из ODI в Essbase бОльшими порциями данных, а также показано, как добавить новую опцию в модуль знаний IKM SQL to Hyperion Essbase для увеличения размера Java параметра Array Fetch Size. Смотри также: Практика использования Oracle Data Integrator (ODI): Методы оптимизации загрузки данных для ODI.
Дата публикации: 2012-03-07, Комментариев: 0


Проблема использования опций pre/post maxl в модулях знаний для Essbase.
ODI Series - problems using pre/post maxl option in interfaces
Описание проблемы и ее решения с помощью установки переменных окружения ARBORPATH, ESSBASEPATH и PATH на уровне операционной системы, пользователя или агента ODI.
Дата публикации: 2012-03-07, Комментариев: 0


Новые возможности ODI 11.1.1.6 - Умный экспорт - импорт.
New Feature in ODI 11.1.1.6: Smart Export and Import
Коротко описана новая возможность по экспорту-импорту, смысл которой коротко раскрылся и в комментариях: умный экспорт проанализирует все зависимости, например, пакета, и добавит в файл экспорта все интерфейсы, переменные, модули знаний, пользовательские функции, модели и таблицы так же, как и любые необходимые объекты из топологии.
Дата публикации: 2012-03-14, Комментариев: 2


Внешняя аутентификация в Microsoft AD для ODI 11g.
ODI Series – External authentication with Microsoft Active Directory in ODI 11g
Подробная заметка о тернистом пути, по которому пришлось пройти автору, в процессе подключения ODI Studio к внешнему хранилищу аутентификационной информации. Приведен пример работающего jps-config.xml файла, а также ссылка на утилиту credtool для создания хранилища учетных записей.
Дата публикации: 2012-03-18, Комментариев: 2


ODI 11g - загружаем обменом партициями.
ODI 11g – How to Load Using Partition Exchange
В заметке рассматривается как создать модуль знаний для загрузки больших объемов данных в БД Oracle с помощью подхода CTAS (создание таблицы через запрос) и обмена секциями.
Дата публикации: 2012-03-21, Комментариев: 0


Непредвиденная ошибка JRE при запуске ODI агента.
Unexpected Java Runtime Environment Errors Starting ODI Agent
Описание проблемы запуска агента ODI на продуктивной системе. Проблема заключалась в выдаче сигнала SIGSEGV процессу Java, выполняющему код агента. Полечилось путем перезаписи директорий drivers и lib с другого работающего сервера с ODI.
Дата публикации: 2012-03-23, Комментариев: 0


ODI 11g - Многотабличная вставка.
ODI 11g – Oracle Multi Table Insert
Описание принципов работы нового модуля знаний, который называется IKM Oracle Multi Table Insert. Приведены примеры использования одного общего SELECT-а для двух разных вставок данных.
Дата публикации: 2012-03-27, Комментариев: 0