Дайджест ODI публикаций 2013, Полугодие 1.

ODI 11g на предприятии, часть 4. Автоматизация, использование ODI SDK, Groovy скриптов и открытых утилит.
ODI 11g in the Enterprise Part 4: Build Automation and Devops using the ODI SDK, Groovy and ODI Tools
Обзорная статья по использованию ODI на предприятии с точки зрения автоматизации процессов развертывания новых версий ETL процедур, использования Groovy скриптов и бесплатных утилит типа Jenkins, Ant и Maven со ссылками на подробные описания в других блогах или документации.
Дата публикации: 2013-01-01, Комментариев: 3


Установка опций модуля знаний через SDK.
Set ODI KM option value using SDK
Пример кода для установки опции во всех интерфейсах проекта через ODI SDK.
Дата публикации: 2013-01-02, Комментариев: 2


Улей и NoSQL данные, кодируем.
ODI - Hive and NoSQL, the code
Продолжение рассказа об обработке NoSQL данных в ODI.
Дата публикации: 2013-01-02, Комментариев: 0


ODI 11g на предприятии, часть 5. Устойчивость и высокая доступность ETL процессов.
ODI 11g in the Enterprise Part 5: ETL Resilience and High-Availability
Марк рассматривает типовые причины, которые могут повлиять на процесс загрузки и преобразования данных. Это как ошибки собственно в данных, ошибка в логике процесса ETL преобразований и возможные ошибки как на БД источника, так и в целевой БД. И второй большой класс ошибок - ошибки в тех процессах, которые запускают ETL процедуры, т.е. ошибки агентов или БД репозиториев.
По первому классу причин рассматриваются ньюансы использования планов загрузки, по второму классу причин - использование JavaEE агентов.
Дата публикации: 2013-01-04, Комментариев: 3


Повторное использование кода в ODI.
Extreme re-usability in ODI 11g.
На примере повторяющегося шага по сбору статистики в одном из модулей знаний автор показывает возможное применение пользовательских функций для повторного использования одного и того же кода.
Дата публикации: 2013-01-07, Комментариев: 1


БД Mongo и табличная Java функция.
ODI - MongoDB and Java Table Functions Anyone?
Рассказ о том, как с помощью модуля знаний LKM JavaTableFunction to SQL читать документы из MongoDB.
Дата публикации: 2013-01-10, Комментариев: 0


Вызов ODI сценария через веб-сервис.
Invoke ODI Scenario using Web Service
Вызов сценария ODI из JDeveloper путем создания приложения из WSDL файла.
Дата публикации: 2013-01-11, Комментариев: 3


Табличная Java функция для БД Mongo.
ODI - Java Table Function for MongoDB
Продолжение рассказа об обработке MongoDB данных в ODI. Показаны функции преобразования makeRow и readCollection.
Дата публикации: 2013-01-11, Комментариев: 0


Загружаем данные из PDF при помощи iText.
ODI - Integrating PDF using iText
Чтение данных из PDF файла при помощи библиотеки iText.
Дата публикации: 2013-01-14, Комментариев: 7


Работа с ульем MongoDB.
ODI - Hive and MongoDB
Работа с внешними таблицами для улья MongoDB.
Дата публикации: 2013-01-15, Комментариев: 5


Изменение ИД репозитория.
Change Internal ID of ODI Repository
История в скриншотах о том, как изменить внутренний идентификатор ODI репозитория.
Дата публикации: 2013-01-16, Комментариев: 0


Создание репозитория через ODI SDK.
Create ODI repository using SDK
Пример создания репозитория через SDK.
Дата публикации: 2013-01-21, Комментариев: 2


Создание агентов через SDK
Create Agent in ODI using SDK
Создание физического и логического агентов через SDK.
Дата публикации: 2013-01-22, Комментариев: 0


Вызов ODI сценария через OdiInvokeWebService
Invoke ODI Scenario using OdiInvokeWebService
Показан пример вызова сценария ODI через утилиту OdiInvokeWebService при использовании локального агента.
Дата публикации: 2013-01-25, Комментариев: 2


Безопасность использования snps_login_work.xml файла.
Security Concern with ODI snps_login_work.xml
Как расшифровать закриптованный пароль к мастер репозиторию, распространяемый вместе с файлом snps_login_work.xml.
Дата публикации: 2013-02-05, Комментариев: 6


Добавление хинтов к модулю знаний.
Adding HINTS in ODI
Как использовать функцию getOption в модуле знаний, чтобы передавать хинты в сгенерированный модулем SQL код.
Дата публикации: 2013-02-05, Комментариев: 6


Загружаем данные из PDF, видео.
ODI - Extracting data from PDF Forms in 0 to 60
Видео-иллюстрация загрузки данных из форм PDF файла в ODI.
Дата публикации: 2013-02-06, Комментариев: 2


Добавление хинтов к модулю знаний через переменные.
Adding Variabled HINTS in ODI
В блоге рассказано, как использовать параметры, хранящиеся в таблице БД в модуле знаний. Примером использования автор выбрал передачу в модули знаний хинтов для запросов выборки и вставки данных.
Дата публикации: 2013-02-18, Комментариев: 2


Медленно изменяющиеся размерности в ODI, видео.
ODI - Slowly Changing Dimensions in 0 to 60
Видео-иллюстрация процесса настройки абстрактной таблицы ODI для работы в качестве медленно изменяющегося измерения с использованием модуля знаний IKM Slowly Changing Dimension на примере сохранения истории изменений семейного положения.
Дата публикации: 2013-02-26, Комментариев: 4


Подсказка, выбираем самый последний сгенерированный сценарий для запуска.
ODI - Tip of the day, latest scenario version
Чтобы запускать самый последний сценарий, везде, где используется команда odiStartScen необходимо передавать значение "-1" в качестве номера версии.
Дата публикации: 2013-03-11, Комментариев: 2


Упаковка и распаковка файлов в параллельном режиме.
ODI - Compressing/Decompressing Files in Parallel
Девид привел пример двух пользовательских функций, написанных на Java, которые позволяют запаковывать и/или распаковывать файлы в заданной директории или записывать результаты в другую директорию. Количество параллельно работающих процессов задается при вызове функции.
Дата публикации: 2013-03-12, Комментариев: 0


Настройка SCD таблиц через ODI SDK.
ODI - Slowly Changing Dimension Quick SDK Setup
Пример использования setScdType метода класса OdiColumn для установки признака использования колонки в качестве члена медленно изменяющегося измерения. Список абстрактных таблиц и колонок с типами задается через текстовый файл.
Дата публикации: 2013-03-20, Комментариев: 0


Оракл выпустил ODI 11.1.1.7.
Oracle Releases Oracle Data Integrator 11.1.1.7.0
См. Вышел ODI 11.1.1.7.
Дата публикации: 2013-04-01, Комментариев: 2


Внедряем код, выполняющийся перед и после соединения с сервером данных.
ODI - Tip of the day, Connect/Disconnect call outs
Показан пример использования механизма вызова заданного кода, выполняющего перед (или после) соединением с сервером данных.
Дата публикации: 2013-04-01, Комментариев: 0


Создание архивной копии репозиториев ODI.
Repository Backup in ODI
Автор рассказывает в какой последовательности и какие объекты необходимо экспортировать из ODI Studio чтобы создать полноценную работающую архивную копию рабочего репозитория ODI.
Дата публикации: 2013-04-04, Комментариев: 9


Интегрируем социальные данные из Facebook, видео.
ODI - Integrating social data from Facebook Graph API in 0 to 60
Показан пример загрузки данных, позволяющий получать данные из многих источников, таких как Twitter, Facebook, Google и т.п.
Дата публикации: 2013-04-16, Комментариев: 11


OBIEE, ODI и Hadoop, часть 1: Так что такое Hadoop, MapReduce и Улей?
OBIEE, ODI and Hadoop Part 1: So What Is Hadoop, MapReduce and Hive?
Во вводной части статьи Марк рассказывает, что такое Hadoop и MapReduce алгоритм, а также дает общий взгляд на их использование с OBIEE и ODI.
Дата публикации: 2013-04-18, Комментариев: 2


OBIEE, ODI и Hadoop, часть 2: Коннектимся из OBIEE 11.1.1.7. к источнику данных Hadoop.
OBIEE, ODI and Hadoop Part 2: Connecting OBIEE 11.1.1.7 to Hadoop Data Sources
Рассказывается, как подключить OBIEE к Hadoop, настроить ODBC и загрузить метаданные из этого источника данных, создать слой бизнес данных и получить пару тестовых отчетов.
Дата публикации: 2013-04-19, Комментариев: 5


OBIEE, ODI и Hadoop, часть 3: Более пристальный взгляд на Улей, HDFS и дистрибутив Cloudera CDH3.
OBIEE, ODI and Hadoop Part 3: A Closer Look at Hive, HFDS and Cloudera CDH3
Более подробный рассказ об архитектуре распределенной файловой системы Hadoop, утилите Hue - веб приложении для работы с HDFS как с обычной файловой системой. Как создать таблицу и загрузить ее данными даже без использования ODI, через Hue или команду HiveQL LOAD DATA. И как подключить ODI к источнику данных, настроить топологию, отреверсить таблицы и залить данные через интерфейс.
Дата публикации: 2013-04-25, Комментариев: 0


OBIEE, ODI и Hadoop, часть 4: Трансформация и интеграция данных улья через ODI 11g.
OBIEE, ODI and Hadoop Part 4: Hive Data Transformation & Integration via ODI 11g
Рассказ о том, как ODI может быть использован для загрузки Хранилища Больших Данных, с описанием доступного для таких задач перечня адептеров для работы с Hadoop и некоторыми особенностями использования соответствующих модулей знаний.
Дата публикации: 2013-04-28, Комментариев: 0


Интегрируем социальные данные, продолжение.
ODI - Integrating more social data
Аллан, в продолжение заметки об интеграции данных из графа Facebook-а приводит код двух функций: JSON_to_XML и Zipped_JSON_to_XML, которые могут вызывать напрямую из процедур и модулей знаний.
Дата публикации: 2013-05-07, Комментариев: 0

Генератор планов загрузки для ODI.
Load Plan Generator – An Inside Look
Генератор планов загрузки это утилита из пакета Oracle BI Applications, позволяющая осуществлять загрузку ХД, используемого BIAPPS.
Дата публикации: 2013-05-14, Комментариев: 11



Использование пользовательских функций для генерации SQL кода во время выполнения.
Using ODI user functions to dynamically inject SQL into Interfaces
Впечатляющая демонстрация того, как с помощью пользовательских функций и кода на Java Bean Shell добиться возможности подставлять фактические значения переменных в генерируемый интерфейсом SQL код.
Дата публикации: 2013-05-19, Комментариев: 7

Перехват текста сообщения об ошибке с ипользованием Jython.
Capture ODI Error Message using Jython Variable
Пример процедуры Jython позволяющей сохранять в отдельной таблице БД информацию (многострочный текст) о произошедшей в процессе работы ODI ошибке.
Дата публикации: 2013-05-30, Комментариев: 1



Лучшая ETL книга для лучшего ETL инструмента.
ODI 11g Cookbook – The leading ETL tool now also has the best ETL book
Впечатления автора от книги рецептов для ODI 11g.
Дата публикации: 2013-06-15, Комментариев: 0



FDMEE 11.1.2.3 – ODI консоль и Студия
FDMEE 11.1.2.3 – ODI Console and Studio
Статья описывает проблемы инсталлирования ODI Студии вместе с FDMEE и возможные пути решения проблем с целостностью инсталляционного пакета.
Дата публикации: 2013-06-30, Комментариев: 7

Самописные ETL.

И тут многие переходят на скрипты внутри SSIS. Мы тоже перешли. А потом я задался вопросом - а зачем вообще этот SSIS, если он мешает?

Интересная ветка форума SQL.ru немного затрагивающая Microsoft SSIS.

BI-Quotient становится Sonra и выпускает книгу.

Привет всем.

Обучающие материалы идут волна за волной. Вот и ирландские блоггеры Ули Бетке и Мачик Кокон выпустили свою книгу по глубинам репозитория ODI. Книгу они эту раздают даром, или предлагают купить ее киндл версию через Амазон.

Чтобы получить PDF версию книги необходимо связаться с ее авторами, предварительно разместив ссылку на книгу в одноклассниках (sic!), ВКонтактах, фейсбуках или собственных блогах.

Я думаю, что в наше время, когда времени заниматься изучением инструмента, которым пользуешься, совсем нет - данная книга будет особенно полезной.

Вебкаст по миграции OWB-ODI.

В 10 часов утра по времени Сан-Франциско сегодня, 12 декабря, будет проводиться вебкаст по утилите миграции OWB-ODI. По словам Девида Аллана, вы сможете посмотреть на демонстрацию работы утилиты миграции и углубиться в некоторые детали (всего не затронут, так как длительность вебкаста всего 1 час).

Так что если вы собираетесь мигрировать - может быть полезным. По киевскому времени это будет 8 часов вечера.

ODI видео курсов прибыло.

Andreas Nobbmann создал и записал, а Пакт Паблишинг издал новый видео курс "Основы ODI".

В сети уже даже появился краткий обзор этого видео курса вот здесь.

И это еще не последняя ссылка. Если у вас есть желание получить видео курс по Oracle Data Integrator совершенно бесплатно (а через две недели обозреть его где-то в одноклассниках) - вы можете оставить запрос в группе Линкед Ина.

Документация ODI доступна для ридеров.

Согласно квантовой теории, знание точной конфигурации Вселенной в момент Большого взрыва
не будет достаточным для предсказания полной ее эволюции.

ссылка.

Давным давно об этом написал Андрей Пивоваров в своем блоге, но, в то время, для Oracle Data Integrator-а документация в формате EPUB или MOBI не была еще доступна.

Теперь она доступна и для новой версии ODI 12c, как вы можете видеть внизу на скриншоте.

Так что, несмотря на эпиграф, изучение документации есть деятельность полезная, и теперь для этого можно использовать ваш ридер. На моем Киндле все читается хорошо.

1Z1-482.

Коллеги с odiexperts.com опубликовали короткие весте с экзаменационных полей. Касаются они прохождения сертификационого экзамена "1Z1-482 Oracle Data Integrator 11g Certified Implementation Specialist".

Сообщение о существовании этого экзамена появилось уже достаточно давно, но тогда он был в статусе бета-версии, и к сегодняшнему дню ничего не изменилось. Что еще стало понятно после изучения сайта Oracle?

Сам экзамен не дорогой, всего 39 евро. Стоимость рекомендованных курсов к нему, как онлайн, так и очных, вполне может дойти до 10 тысяч евро. Ну и направлен курс в основном на сотрудников компаний, являющихся партнерами Oracle, как указано в предисловии, тех, кто имеет хороший опыт продажи и внедрения решений на базе Oracle Data Integrator 11g.

Содержание экзаменационного курса (оригинал):


Введение в Oracle Data Integrator (ODI).

Описание преимуществ ODI (включая архитектуру ODI - Извлечение, Загрузка и Преобразование (ELT) ) и типичных примеров использования.
Описание компонентов ODI и их использования.

Архитектура.

Описание архитектуры ODI.
Инсталляция и конфигурирование физической и логической архитектур.
Описание компонентов Fusion Middleware - Upgrade Assistant, Repository Creation Utility и компонентов Java Enterprise Edition (JEE), принципа высокой доступности.

ODI Модели и Таблицы.

Создание абстрактной таблицы ODI.
Создание и правильная организация моделей ODI.
Реверс метаданных.
Объяснение констрейнтов ODI.
Настройка аудита.
Установка и настройка валидации данных.

Разработка проекта.

Создание проекта в ODI.
Что такое ODI интерфейс.
Описание концепции маппинга, соединений, фильтров, реализации бизнес-правил, а также понятие области стейджа и места выполнения.
Создание и запуск простого ODI интерфейса.
Создание лукапов.
Создание ODI интерфейса с несколькими источниками.
Создание соединений, фильтров, лукапов.
Настройка потока выполнения интерфейса. Определение места выполнения и области стейджа для интрефейса.
Изменение и разработка модулей знаний.
Описание процессов, во время выполнения.
Слежение за выполнением интерфейсов.
Исправление ошибок времени выполнения в интерфейсах, предотвращение ошибок путем следования рекомендациям лучших практик.
Настройка использования бизнес-правил, переменных, операций со множествами и последовательностями.
Использование партиционирования, временных индексов и временных интерфейсов.
Использование пользовательских функций и методов подстановки.

Управление выполнением.

Использование пакетов ODI для организации потока выполнения.
Использование переменных в пакетах (обновление, передача параметров).
Создание шагов пакета.
Пакеты - выполнение и мониторинг.
Построение комплексного потока выполнения включая разветвления и циклы.
Генерация и перегенерация ODI сценария.
Использование редактора планов загрузки для разработки планов загрузки.
Разработка последовательности иерархических шагов для плана загрузки.
Создание пакетов и планов загрузки.
Обработка исключений в планах загрузки.
Настройка планов загрузки на перезапуск дочерних сессий.

Интеграция OGG и ODI.

Объяснить задачу отслежевания изменений в данных (CDC) в ODI и типы возможных механизмов реализации CDC в ODI.
Развертывание Голден Гейта вместе с ODI.
Проведение журнализации.
Интерпретация и исправление ошибок CDC.

Углубленное использование ODI.

Дать описание ODI SDK.
Дать описание веб-компонентов ODI.
Объяснить роль ODI в работе с Валом Данных (Big Data).
Объяснить роль ODI в интеграции данных для BI.

Качество и профилирование данных (EDQ).

Описать как ODI и EDQ могут взаимно использовать элементы архитектуры (инфраструктура, источники и приемники данных, и т.п.)
Конфигурирование EDQ для работы с таблицами, снепшотами, данными стейджа, выгрузками данных.
Объяснить базовую статистику данных.
Объяснить слежение за изменением данных из одного источника (тренды).
Объяснить результаты профилирования данных и использование Resultbooks и методов Publish.

EDQ групповая обработка.

Объяснить процесс парсинга и интерпретировать его результаты.
Произвести процесс сопоставления, идентификации дупликатов, уметь балансировать производительность и точность определения дупликатов.
Объяснить процесс и статистику верификации адреса
Создать общий процесс, включающий все созданные ранее процессы и вызвать его из ODI.

Какой-ты, комит?

Честно говоря, думал, получится средних размеров заметка.

С кучей скриншотов и разными экспериментами по использованию опции Автокоммит в процедурах ODI. А на самом деле вышло вот что.

В, например, стандартном модуле знаний "IKM SQL Control Append" есть такая последовательность шагов

Теперь это легально.

http://www.osp.ru/news/2013/1023/13021540/

О Голден Гейте подробнее на русском здесь.

ODI 12c. Новое - незабытое старое.

Привет всем.

ODI 12c стал доступен для скачивания. Беглый просмотр сообщений в блогах англопишущих коллег дает предвкушение возврата к OWB с его стрелкопротяжным принципом формирования потока данных.

Я пока не планирую писать что-то подробное на тему нового ODI, есть еще много интересного и в нормальных версиях.

Загружаем данные.

При загрузке данных в ХД, как и, например, при загрузке данных от множества датчиков в реляционную СУБД, применяются похожие механизмы - отключение констрейнтов и индексов, кеширование последовательностей, хинт /*+ append */, отключение логгирования таблиц и настройки использования места в блоках данных. Подробнее на примере Oracle DB заметка и комментарии на хабре - http://habrahabr.ru/post/196828/.

Радует.

Oracle Data Integrator потихоньку завоевывает место в компаниях пост-советского пространства, что находит отражение и на таком ресурсе как SQL.ru. Помимо (по большей части) лулзонаполненных комментариев в ветках от казахстанского пользователя Elibay начали появляться действительно полезные ветки форума, на которые я бы хотел обратить ваше внимание:

Решение проблемы неправильного использования типа varchar2 в модулях знаний.
Импортирование-экспортирование мастер и рабочих репозиториев.

ODI-23040.

Данная ошибка встречается при импорте объектов в ODI 11 версии, в моем случае была попытка произвести импорт пакета из репозитория разработки в репозиторий тестирования.

В интернете информация об этой ошибке встречается в контексте импорта проектов, а не пакетов. А раз пакет загрузить удалось - я хотел бы рассказать, каким образом, может это станет кому-то полезным.

Язык описания ETL преобразований.

Интересную идею предложил Michael Walker в группе Business Intelligence Professionals ЛинкедИна. Идея заключается в том, чтобы разработать язык описания ETL проектов через XML - такой вот ETLML.

Далекая цель этого - чтобы один раз описанный через этот язык ETL проект мог бы быть перенесен из одного ETL средства в другое (например из платного в открытое) и продолжать при этом правильно работать.

Но это перпектива дальняя, а пока Майкл просит высказать свои мысли на этот счет и оказать поддержку через сайт W3C, где организована группа по разработке данного стандарта. Группа, думаю временно, находится сейчас в стадии сбора достаточного количества последователей.

Update:

Среди 118,339 членов группы некоторые знают и предлагают для использования следующие готовые решения:
Business Intelligence Markup Language от Scott Currie. Используется в Microsoft BI Platform.
Формат маппингов Informatica - powrmart.dtd
Общая Метамодель Хранилищ

Маленькие хитрOсDI.

Сегодня хочу рассказать (или напомнить) о некоторых приемах, помогающих в работе с Oracle Data Integrator.
Большая часть этих приемов касается пользовательского интерфейса, но есть и связанные с архитектурой, а потому отличающиеся от версии к версии, особенности.

Перенумерация репозиториев

В 11g появилась возможность перенумерации репозиториев. Эта возможность позволит иметь для каждого вашего репозитория свой уникальный идентификатор, что является необходимым условием для успешного импорта-экспорта объектов между разными репозиториями. Все внутренние идентификаторы объектов, созданных в репозитории, будут автоматически изменены.

Где - Вкладка Топология, раздел Репозитории.

Патчи пригодились?

Привет всем.

Дайджест ODI публикаций 2012, Декабрь.

Пишем скрипт реверса модели.
ODI 11g - Scripting a Reverse Engineer
На примере предыдущих заметок о скриптовании моделей и топологии Аллан показывает пример создания пакета при помощи SDK, запуск которого как раз и приведет к реверсу нужной модели.
Дата публикации: 2012-12-03, Комментариев: 2


Добавление функций в язык ODI.
Adding Functions to ODI
Показано, как добавить функцию LEAD в качестве нового элемента языка SQL в Топологии Oracle Data Integrator.
Дата публикации: 2012-12-05, Комментариев: 3


Архивация ODI логов.
Archiving ODI logs
Смотри перевод Архивация ODI логов.
Дата публикации: 2012-12-05, Комментариев: 3


Использование пользовательских функций для очистки данных.
ODI 11g - Cleaning control characters and User Functions
Пример использования пользовательских функций для инкапсуляции вложенных вызовов несколько строковых функций БД. В данном примере такой подход используется для удобного удаления управляющих символов из текстовых строк.
Дата публикации: 2012-12-06, Комментариев: 1


Динамическая генерация кода время выполнения.
ODI 11g - Dynamic and Flexible Code Generation
Показано, как настроить условие фильтра в интерфейсе в зависимости от значения переменной. В частности, речь идет о том, что при разных значениях переменных будет генерироваться разное содержание SQL кода, который будет выполнен СУБД при выполнении интерфейса ODI.
Дата публикации: 2012-12-10, Комментариев: 5


Как запустить сценарий через вызов веб-сервиса?
How you can launch an ODI scenario through a web service call?
Как вызвать (синхронно или асинхронно) запуск сценария через веб-сервис. С выходом ODI 11g в поставку к агенту добавили легкий сервер приложений Jetta, при этом сценарии ODI могут вызываться прямо, например, из OBIEE приложения.
Дата публикации: 2012-12-12, Комментариев: 0


Быстрая загрузка файлов в ODI.
ODI 11g - Loading More Files Faster
Девид Аллан привел ссылку на разработанный загрузочный модуль знаний (LKM), который позволяет загружать данные в параллельном режиме из нескольких файлов с использованием препроцессора Oracle.
Дата публикации: 2012-12-20, Комментариев: 3


Меняем соединение с рабочим репозиторием.
ODI 11g - Changing the Work Repository Connection
Где найти кнопку вызова диалога изменения параметров соединения с рабочим репозиторием ODI для версии 11g. Обычно такая задача возникает после клонирования или апгрейда, когда нужно присоединить новый мастер репозиторий к новому рабочему репозиторию. Смотри также: ODI 11g. Где всё?
Дата публикации: 2012-12-24, Комментариев: 0


Реверс файлов улья в ODI.
ODI - Reverse Engineering Hive Tables
Рассказано, как при помощи стандартного механизма реверса (или специального модуля знаний реверса) подключиться через jdbc к улью хадупа и получить описание абстрактных таблиц в модели ODI.
Дата публикации: 2012-12-28, Комментариев: 1


Базовые преобразования таблиц улья.
ODI - Basic Hive Queries
В посте показано, как соединить две таблицы улья и получившийся результат загрузить в новую таблицу, которая располагается там же. Для хадупа используются свои модули знаний, в остальном же практически никаких отличий нет, в ODI все выглядит абсолютно так же, как и при работе с обычной РСУБД.
Дата публикации: 2012-12-28, Комментариев: 0


ODI 11g на предприятии, часть 1. Что еще кроме загрузки Хранилища?
ODI11g in the Enterprise Part 1: Beyond Data Warehouse Table Loading
Вступительная статья серии, рассказывающая предисторию использования и текущие и будущие планы использования Oracle Data Integrator-а как связующего компонента многих приложений Oracle Fusion Middleware.
Дата публикации: 2012-12-28, Комментариев: 7


Реверс внешних файлов улья в ODI.
ODI - Hive External Tables, reverse engineering
В заметке показано, как сделать реверс внешних таблиц улья при помощи библиотеки SerDe и модифицированного модуля знаний реверса.
Дата публикации: 2012-12-29, Комментариев: 0


Обработка сложносоставных данных улья.
ODI - Hive and Complex JSON
Пример реверса и загрузки сложносоставных данных улья с использованием функций Hadoop при заполнении целевой таблицы.
Дата публикации: 2012-12-29, Комментариев: 1


ODI 11g на предприятии, часть 2. Интеграция данных: Essbase, пересылка сообщений, Большие данные как источник и приемник данных.
ODI11g in the Enterprise Part 2 : Data Integration using Essbase, Messaging, and Big Data Sources and Targets
Сводная статья, описывающая концепции использования ODI для интеграции данных Essbase, пересылки данных (когда лучше использовать ODI чем BPEL или Oracle ESB), работу по чтению или записи больших данных. Помимо концепций приводятся ссылки на подробные рассказы или документацию по затронутым темам.
Дата публикации: 2012-12-30, Комментариев: 0


Улей и NoSQL данные.
ODI - Hive and NoSQL
Небольшой пример обработки NoSQL данных в ODI с использованием функции collect_set.
Дата публикации: 2012-12-31, Комментариев: 1


ODI 11g на предприятии, часть 3. Качество и профилирование данных с использованием Enterprise Data Quality.
ODI 11g in the Enterprise Part 3: Data Quality and Data Profiling using Oracle EDQ
Подробная статья, рассказывающая историю развития продуктов Oracle для проверки качества данных, их очистки и т.п. и дальнейших планах компании по использованию EDQ как компоненты ODI.
Дата публикации: 2012-12-31, Комментариев: 0

Новое в новых БД.

Ссылки для чтения.

Teradata 14:

Что такое Teradata Columnar?

До недавнего времени все СУБД, работающие со структурированными данными (и не только их), можно было разделить на 2 категории: хранящие записи в построчном формате и хранящие записи в поколоночном формате... Долгое время СУБД Teradata относилась к первой группе, но с выходом 14-й версии представилась возможность определять, как хранить данные конкретной таблицы – в виде колонок или строк. Таким образом, появилось гибридное хранение.

Что такое статистика и зачем она нужна

Статистическая информация о данных нужна, в первую очередь, для обеспечения работы оптимизатора запросов. Зная статистические характеристики данных и то, по каким критериям пользователь их запрашивает, оптимизатор может выбирать те или иные способы извлечения этих данных.

Oracle 12с:

Data Redaction

В Oracle 12c добавлена возможность изменять выдаваемые sql запросом значения полей (полностью или частично), в зависимости от условий. Эта возможность получила название Oracle Data Redaction и состоит в применении специальных policy.

Multitenant Architecture

Суть технологии состоит в возможности запустить несколько независимых баз (pluggable database, PDB) в рамках одного инстанса (container database, CDB). Каждая база имеет свой набор схем и табличных пространств, но при этом у них общая SGA и один набор серверных процессов. Есть возможность клонировать pluggable database, как в рамках одного контейнера, так и между контейнерами. Вот эту возможность и будем использовать для создания копий тестовых баз и экономии ресурсов.

Новые фичи приносят новые подводные камни.

Дайджест ODI публикаций 2012, Ноябрь.

Высокодоступный кластер агентов для ODI 11g. Часть 1 - Введение и Архитектура.
Clustering ODI11g for High-Availability Part 1 : Introduction and Architecture
Описываются различия между стандартным и JavaEE агентами ODI. Описывается архитектура кластера из управляемых серверов для JavaEE агентов.
Дата публикации: 2012-11-01, Комментариев: 0


Использование настраиваемых полей (flexfields) в ODI.
Making use of ODI Flexfields to meet requirements
Рассказывается, что такое настраиваемые (flexfields) поля и приводится пример их использования совместно с модулем знаний проверок (CKM).
Дата публикации: 2012-11-12, Комментариев: 0


Осторожно - предикаты в соединениях.
Tricks with SQL: Beware of the Predicate in the Outer Join
Рассказывается о различиях между условием в поле where и условием в соединении двух таблиц через outer join. С учетом того, что подобное вполне часто встречается и в интерфейсах ODI - заметка полезная.
Дата публикации: 2012-11-21, Комментариев: 2


Простой механизм уведомления об ошибках.
ODI Alert Mechanism
Автор показывает как можно получать уведомления о некоторых проблемах выполнения пакета путем добавления дополнительных шагов в пакет. Эти шаги включают описание ошибки и вызов утилиты для отправки почтового сообщения.
Дата публикации: 2012-11-30, Комментариев: 5


Проверка качества данных.
ODI Handling DQ
Показан пример пакета проверяющего качество данных путем циклического запуска SQL скриптов, получаемых из файла и отправляющего результаты выполнения этих скриптов по электронной почте.
Дата публикации: 2012-11-30, Комментариев: 0

Взгляд на BIG DATA.

Реалистически-пессимистический, я бы сказал.

Выбрать все джоины и фильтры для интерфейса 11g.

Приветствую.

Когда-то давно я написал скрипт, который должен был помочь найти в репозитории Oracle Data Intergator-а все тексты для соединений таблиц источников в интерфейсе. Этот скрипт мне пригодился не раз, но всегда речь шла о работе со структурой репозитория 10й версии. В ODI 11g структура несколько изменилась, в частности, добавилась возмножность работы с множествами, поэтому мой старый скрипт никаких результатов не возвращал.

Скажу даже больше, новая структура репозитория совсем не содержит информации в двух самых примечательных (ранее) таблицах: SNP_TXT и SNP_EXP_TXT. Они теперь пусты, по крайней мере, на моем текущем проекте в них нет ни одной записи.

BI и DWH не нужны.

Философский топик за жизнь на sql.ru.

Первый двенадцатый пошел.

По сообщениям коллег, Оракл выложил следующую версию своей СУБД.

Вместе с новой версией из поставки исключили и документацию по Oracle Warehouse Builder. Думаю, что сам билдер тоже убрали.

Доставить OWB все же можно, для этого необходимо установить версию 11.2.0.4, если я правильно понял идею Аллана.

Скидки на обучение по ODI.

По сообщению сайта rb.ru летом на курс Oracle Data Integrator 11g: Integration and Administration компания РДТех дает скидку в 10%. Курс пройдет 9-13 сентября 2013 г. в Москве.

Я об этом курсе писал несколько лет назад, но тогда не было никаких учебников по ODI, которые есть сейчас, так что курсы не единственный вариант обучения, но, скорее всего, самый эффективный для обучения групп сотруников.

Самый смак. Готовим ODI правильно.

Несмотря на недостаток времени, пропустить такую новость я не мог. Итак, по сообщению блога Data Integration вышла очередная книга об Oracle Data Integrator-е, под названием Oracle Data Integrator 11g Cookbook.

Вот как ее описывает издатель, PACKT PUBLISHING:

---

Обзор

Ясные, пошаговые рецепты по использованию самых продвинутых возможностей Oracle Data Integrator.
Охватывает все аспекты от администрирования до разработки и внедрения, включая, также, дополнительные возможности кодирования с использованием Oracle Data Integrator SDK.
Многочисленные примеры кода, снимки экрана, диаграммы и рекомендации по лучшим примерам использования.

Содержание

Предисловие.

Готовим описание MS SQL серверов.

Публикую перевод заметки Jes Schultz Borland о важности документирования при использовании MS SQL Server под названием Documentation: It Doesn’t Suck!.

---

Некоторая часть нашей работы не слишком очаровательна, но необходима. Например, мне приходится чистить парик Боба Дилана каждую неделю, чтобы быть уверенным в его красоте и блеске. Документирование - это как раз та задача, которую многие не хотят начинать, которую тяжело поддерживать актуальной и, в общем, работы над которой стараются избегать.

Прекратите отлынивать и получите от этого пользу.

Освоили BI через ODI.

Пресс-релиз, так что полностью позитивен.

«Уралтрансбанк» освоил Oracle BI «Уралтрансбанк» при участии компании «АйТи» завершил проект по внедрению аналитической платформы для управленческой …

Открыть материал

John-Goodwin дайджест.

Вот и дошли у меня руки сделать практически полный дайджест сообщений последнего из запланированных блогов, связанных с Oracle Data Integrator. По плану этот блог был последним, но по времени публикаций он является первопроходцем.

Первое сообщение было опубликовано в сентябре 2008 года, так что когда коллеги ODI Experts и BI-Quotient начинали писать об ODI им уже было на кого равняться.

Блог Джона Гудвина посвящен использованию Oracle Data Integrator в связке с приложениями планирования Oracle EPM, Hyperion, Essbase и прочими.

В каждом сообщении Джон очень подробно описывает то, что он делает, что позволяет людям не слишком знакомым с процессами ETL использовать ODI в своей работе.

Дайджест блога находится здесь. Не всегда у меня получались удачные описания статей блога этого автора, не совсем мне понятна, конечно, специфика приложений для финансового анализа, так что читайте оригинал, если вас что-то заинтересовало.

Мир, Труд, ODI.

Дайджест ODI публикаций 2012, Октябрь.

Новости BI, Хранилищ и Интеграции данных с Oracle Open World.
BI, Data Warehousing and Data Integration News from Oracle Openworld 2012
Список ключевых моментов, касающихся мира BI, в изложении Марка Риттмана. Также приведены ссылки на презентации, проведенные на конференции Oracle компанией Rittman Mead.
Дата публикации: 2012-10-03, Комментариев: 1

Лучшие практики организации интерфейсов и таблиц ODI в проекты и модели.
Best practice of organizing interfaces and data stores into projects and models in ODI
Ули описывает как правильно организовать хранение метаданных ODI в деревьях проекта (модели). Есть перевод.
Дата публикации: 2012-10-03, Комментариев: 2

Пара слов о паре агентов ODI.
A tale of two agents
Рассуждения о том, в каких случаях стоит использовать более одного выделенного агента ODI.
Дата публикации: 2012-10-14, Комментариев: 0

Как выбрать данные из любой схемы или даже всей базы данных.
How to query a whole schema or even database?! This tip will save you hours and hours of boring work.
Ули описывает подход по которому создается процедура ODI, выгружаются в текстовые файлы все таблицы, затем проводится текстовый поиск средствами ОС.
Дата публикации: 2012-10-22, Комментариев: 0

Что такое контекст оптимизации ODI.
ODI Snippets: What is the Optimization Context in ODI?
Краткий рассказ о том, что такое оптимизационный контекст ODI.
Дата публикации: 2012-10-30, Комментариев: 2

Баг выгрузки аттрибутов Essbase в ODI 11.1.1.6 + исправление.
ODI 11.1.1.6 – Extracting Essbase attribute members bug + fix
При попытке выгрузить иерархию аттрибутов некоторого измерения Essbase при помощи модуля знаний "LKM Hyperion Essbase METADATA to SQL" возникала ошибка на шаге "Begin Essbase Metadata Extract". Патч 13093442 решает эту проблему.
Дата публикации: 2012-10-31, Комментариев: 2

Не докой единой.

Вещи, изменяющие мир, происходили не только в 20м столетии. Видимые изменения происходят и сейчас, и об этом иногда пишут в блогах. Прочитал я о рынке онлайн образования у Александра Москалюка и решил посмотреть, что интересного можно найти среди курсов ведущего сайта онлайн обучения - Coursera.

Из близких к BI курсов для себя я выделил вот этот: Metadata: Organizing and Discovering Information, более традиционные вещи, вроде языков программирования, собраны здесь.

Ну а кого интересуют не только технические вещи могут начать поиск обучения с вот этой заметки.


P.S. Кроме того, еще 9 сайтов, которые учат кодингу и куче всяких других вещей.

Вышел ODI 11.1.1.7.

По сообщению блога Data Integration вышел очередной релиз Oracle Data Integrator.

Судя по дате выпуска релиз получился шутошный, особо описывать и нечего:

• ODI агенты и датасорсы теперь могут развертываться не только в Oracle WebLogic сервере но и в IBM WebSphere Application Server.
• Новые JDBC драйвера с более полной поддержкой XML парсера Oracle.
• Поддержка обычными (standalone) агентами SSL протокола.
• Утилита вызова Oracle Enterprise Data Quality теперь встроена в стандартный набор утилит ODI.

ETL в картинках.

Как известно немногим, ETL придумали в Украине в институте кибернетики имени Глушкова. Как то раз, направлясь в ту же сторону, я, тоже будучи за рулем, смог догнать и сфотографировать (через лобовое стекло) одну из передвижных лабораторий, судя по номеру - ответственную за изучение процессов подготовки агрегирующих таблиц для пользовательских отчетов.

Почти апрель.

Из-за нас, работников отрасли деловой разведки и аналитики, закрывают гуглоридер. Вот оно как, оказывается...

Как работают над ХД в банках.

В процессе подготовки заметки о принципах разработки производительного ETL, наткнулся на старый, зато достаточно подробный рассказ о том, как создаются хранилища данных в банковских структурах. Кому интересно - вот ссылка.

Абзац для интереса:

   Финансовое хранилище служит для построения внутренней финансовой отчетности для группы компаний и для построения IFRS отчетности для «материнской» компании. Раньше все финансовые показатели агрегировались в отдельных кубах и автоматического выхода на общий результат не было, а потому отчеты собирались вручную. Сейчас мы достигли такой степени зрелости, что хотим полностью автоматизировать этот процесс, а для этого нам необходимо выделить финансовые кубы в отдельное хранилище. В результате трудозатраты должны сократиться на порядок.

10 принципов производительного ETL от Ральфа Кимбала.

Приветствую.

Перевод статьи "Increasing ETL Throughput" от Ezequiel Gallardo.

---

Ключевые концепции, которые
должен знать разработчик перед тем,
как создавать "ETL процесс"

  От ETL команды ожидают создания максимально производительного набора ETL процессов. Мы рекомендуем эти 10 правил, которые применимы как для самописных решений так и при использовании некоторых ETL инструментов, для поднятия производительности на максимальный уровень.
Ральф Кимбал.

10. Уменьшайте операции ввода - вывода.

Минимизируйте использование стейджевых таблиц. Держите данные в памяти, обрабатывая их на конвеере ETL преобразований, начиная с момента загрузки данных из источников до момента записи в целевые таблицы.

Я настаиваю на том, что ввод-вывод должен быть сведен к абсолютному минимуму. Безусловно, вам может понадобиться сохранить данные источников по многим причинам. Одна из допустимых причин этого может заключаться в том, что вам необходимо минимизировать доступ к источнику, или ваш источник позволяет сделать только одно чтение данных.

Дайджест ODI публикаций 2012, Сентябрь.

BI-Quotient

Получить список всех объектов ODI включая полный путь для проекта или модели.
Get a list of all of your ODI objects including the path in your project or model
Очень удобный скрипт если вам необходимо получить список всех объектов ODI, отфильтровав его, например, по дате последнего изменения или месте в иерархии папок проекта.
Дата публикации: 2012-09-17, Комментариев: 0

Копирование и перемещение объектов между проектами ODI.
Copying and moving objects between projects in ODI
18-шаговое подробное объяснение каким образом необходимо правильно копировать/перемещать пакет из одного проекта ODI в другой.
Дата публикации: 2012-09-18, Комментариев: 0

ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 4. Потребление данных из OBIEE веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part IV. Consuming a SOAP OBIEE web service using ODI 11g
В четвертой части этой серии рассказывается как вызывать веб-сервис OBIEE и получить информацию из Презентационного сервиса о пользователях, группах, правах и т.п.
Дата публикации: 2012-09-25, Комментариев: 0

Организация моделей и проектов в ODI.

Приветствую.

Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.

<Начало перевода>

---

Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).

Дайджест ODI публикаций 2012, Июль-Август.

ODI Фильтрация.
ODI Filter Transformation-2
Обучающая заметка с примерами как создать интерфейс с фильтрацией данных для переноса всех сотрудников по заданным критериям из одной таблицы в другую.
Дата публикации: 2012-07-04, Комментариев: 1

Скидочные купоны на книгу по ODI.
Discount Codes for 'Getting Started with ODI 11g: A Hands-On Tutorial' Book
Скидки до 15% на бумажную и 25% на электронную версии книги Getting Started with ODI 11g: A Hands-On Tutorial. Трудно сказать, работают ли эти скидки до сих пор, напишите в комментариях, если кто-то попробует.
Дата публикации: 2012-07-12, Комментариев: 0

Настройка отказоустойчивых ODI агентов через Oracle OPMN.
ODI Series – Standalone Agent High Availability using OPMN
Подробное объяснение как проинсталлировать Oracle Process Manager and Notification Server и настроить несколько обычных (standalone) агентов ODI для обеспечения отказоустойчивости, так как использование J2EE агентов и сопутствующей избыточной инфраструктуры не всегда оправдано.
Дата публикации: 2012-07-31, Комментариев: 0

ODI 11g - курс самообучения для Hadoop.
ODI 11g - Hadoop integration self study
Приведены ссылки на заметку в блоге о том, как работать с модулем знаний, включенным в ODI 11.1.1.6. для связки с Hadoop, а также ссылка на курс самообучения Oracle Apex, где расскажут как загрузить данные из файла в улей данных (hive), преобразовать данные улья и забрать из улья обратно в БД.
Дата публикации: 2012-08-01, Комментариев: 0

Дедупликация и создание списков при помощи функции Oracle LISTAGG в ODI.
Deduplicating and Creating Lists – Oracle SQL LISTAGG
Показано, как добавить аналитическую функцию LISTAGG в список поддерживаемый технологией Oracle в ODI и использовать ее в интерфейсах. Смотри также: Используем аналитические функции SQL в ODI.
Дата публикации: 2012-08-06, Комментариев: 2

Обзор книги Getting Started with Oracle Data Integrator 11g.
Book Review Getting Started with Oracle Data Integrator 11g
Краткий обзор книги от Девида Аллана. Краткое описание краткого обзора - книга для тех, кто хочет быстро начать работать с ODI, это не полное описание и не книга рецептов. Каждая глава затрагивает конкретную область приложения сил и достаточна для того, чтобы получить работоспособные результаты.
Дата публикации: 2012-08-20, Комментариев: 0

Hadoop - Вызов задач Map Reduce.
Hadoop - Invoke Map Reduce
Рассказ о том, как вызывать задачи Map Reduce с помощью специально подготовленных подключаемых к ODI утилит из Hadoop JobConf SDK.
Дата публикации: 2012-08-20, Комментариев: 0

Знакомство с Oracle Enterprise Data Quality.
Introducing Oracle Enterprise Data Quality
Подробное представление решения Oracle, касающегося качества данных, которое раньше принадлежало компании Datanomic. Данное решение также может подключаться к ODI как внешняя утилита и обеспечивать работу над качеством данных в интеграционных проектах.
Дата публикации: 2012-08-23, Комментариев: 0

Баг в модуле знаний для Hyperion в ODI 11.1.1.6. и его исправление.
ODI 11.1.1.6 – Planning KM bug + fix
Описание того, в каком месте и как необходимо устанавливать типы используемых технологий в модулях знаний для выгрузки данных в приложение планирования Oracle Hyperion.
Дата публикации: 2012-08-28, Комментариев: 1

Статья по планам загрузки в Oracle Magazine.
Load Plan article in Oracle Magazine
Девид Аллан привел ссылку на статью Марка Риттмана в сентябрь-октябрьском журнале Oracle Magazine посвященную теме планов загрузки ODI (load plans).
Дата публикации: 2012-08-29, Комментариев: 0

Oracle поставили в угол.

Oracle в секторе лидеров рынка решений для интеграции данных согласно Gartner
Аналитическая компания Gartner, Inc. вновь, уже четвертый год подряд, расположила корпорацию Oracle в сегменте лидеров "Магического квадранта" в категории средств для интеграции данных в новом отчете "Magic Quadrant for Data Integration Too
ITnews.com.ua

Коллекция обучающего видео по Хранилищам Данных.

Коллеги из BISP подготовили большое количество видеороликов на самые разные темы. Я просмотрел, частями, только видео по Oracle Data Integrator, и из явных недостатков отмечу не совсем внятный английский и среднее качество самого видео.

Но, в тоже время, задремать на работе, или, наоборот, почувствовать себя частью большого аутсорсингового митинга - данный набор видеокурсов вам поможет.

Так что смотрим и слушаем.

---

Что такое Oracle Data Integrator: http://youtu.be/TrADMRVYmMk

Informatica введение: http://youtu.be/lMNFEib5poU
Informatica архитектура: http://youtu.be/gCsQbL3qT1g

Что такое Oracle SOA: http://youtu.be/aY4q99LSbzo
Oracle WebLogic: http://youtu.be/BpXICuQ6x44
WebLogic введение в администрирование: http://www.youtube.com/watch?v=ZftuQqCQElg
Что такое Oracle Hyperion Interactive Reporting: http://youtu.be/IkrzGYtnPxs
Что такое Teradata: http://youtu.be/-I8lnr5Rp-w
Что такое ETL: http://youtu.be/hfDv-Zoa3Qs

Что такое схема Звезда (Star Schema) на примере Hyperion: http://youtu.be/2g-xX2aT8WE
Что такое факт и измерение (Dimension and Fact) на примере Hyperion: http://youtu.be/N3Q4NqwEGMY

Загрузка метаданных в Essbase: http://www.youtube.com/watch?v=F_I0C20_KI8
Hyperion Financial Management: http://youtu.be/1lmPbxGaxmU
Essbase скрипт вычислений: http://youtu.be/O_2nk9eQMzY
Essbase ASO: http://youtu.be/mpKfUVEtto8
Что такое Essbase: http://youtu.be/w_zK56abFPk
Зачем нужен Hyperion: http://youtu.be/-7WhvPYVQmM
Что такое Hyperion Planning: Часть 1, Часть 2, Часть 3, Часть 4

Основные команды Unix: Часть 1, Часть 2, Часть 3, Часть 4, Часть 5

Что такое отчетность Cognos: http://youtu.be/EYxvJgBT2ik

---

В случае, если качество данных видеокурсов вас не устроит - ютуб выдает массу других роликов по связанным темам, возможно, они окажутся лучше вышеперечисленных.

Смотри также:
Обучающее видео по ODI.

Продолжим чтение.

Немного ссылок на почитать после праздников на базоданные темы: Oracle, Teradata, Vertica на Хабре.
Самые полезные детали, как всегда - в комментариях.

А также новичок прошлого года - SAP HANA (1, 2, 3, 4)

Update:
Добавилось пару ссылок по Vertica (1, 2) и Greenplum.

Дайджест SQL.ru.

Приветствую в новом году.

Хочу поделиться небольшим набором интересных тем с форума SQL.ru подфорума OLAP и DWH. Ниже список тем по категориям, с моими краткими анонсами; темы выбирались за последнее полугодие 2012 года.

ETL

Talend ETL.
Мнения посетителей форума о Talend, его применимости для задач ETL, работе с БД Vertica.