Архивация ODI логов.

Перевод заметки Gürcan Orhan, не сотрудника Оракл, имеющего звание Oracle ACE Director. В оригинальной заметке есть иллюстрации, я же постарался вытащить скрипты без программы распознавания образов, так что возможны мелкие ошибки в текстах.

---

Были ли у вас проблемы с большим количеством логов в Операторе ODI? Что бы вы сказали о методе сохранения этих логов так долго и в таком количестве, который вам нужен?

Очередное банковское хранилище на ODI.

Единое хранилище данных объединило банки финансовой группы “Лайф” Финансовая группа “Лайф” была основана в 2003 г. на базе московского Пробизнесбанка. Сегодня холдинг объединяет …

Открыть материал

О некоторых особенностях вызова команды реверса модели из пакета.

Воплощая идею доступа к собственному репозиторию выполнения через модуль знаний реверса (RKM) столкнулся со странным поведением пакета, из которого вызывал модель с командой 'Model Reverse'

В модуле реверса я задал несколько опций, имеющих тип CheckBox, используя которые я собирался управлять выполнением одного или нескольких шагов модуля. Тот же механизм, впрочем, работает и для простых процедур.

Курсы по Oracle Data Integrator.

Коллеги недавно поделились со мной результатами поиска курсов по ODI. Ничего кардинально нового не произошло, все так же доступен курс по версии 11g: Oracle Data Integrator 11g: Integration and Administration (я о нем писал), а также я впервые увидел курс по предыдущей, десятой версии Oracle Data Integrator:Oracle Data Integrator: Administration and Development Ed 3.

Уже третье издание, судя по названию, ну а стоит раза в полтора дороже скорее всего потому, что с каждым годом старый ODI становится только лучше %).

Обновление таблицы в модели (когда реверс работает не так).

Приветствую.

Особенности реверса таблиц (и других объектов БД) в Oracle Data Integrator не всегда понятны, и требуют отдельного рассмотрения, в этой же заметке я хочу описать подход, при котором вы сможете достаточно быстро решить проблему несовпадения структур таблиц из модели и из физической БД.

Использование MS Excel для ETL.

Думаю, все знают программу для работы с электронными таблицами, название которой стоит в заголовке этой записи. А такая программа, даже по названию, очень близка к специфике работы ETL разработчиков, так как тоже работает с таблицами, как и мы.

Итак, как же можно использовать Microsoft Excel для ETL? Я предпочитаю версию 2003, но и с более поздними тоже можно работать.

Русскоязычная страница по Oracle Data Integration.

На сайта oracle.com в подразделе ru появилась страница, посвященная "перенесению данных для преобразования бизнеса". Большинство ссылок ведет на англоязычные ресурсы, но все равно такой прогресс радует.

Три метра колючей проволоки.

Пока я работаю с кардинально другими инструментами, c Oracle Open World поступают не очень веселые новости. Вот что Марк Ритман написал по поводу будущего релиза ODI.

---

Краткий план выхода следующих релизов ODI:
ODI 11.1.1.7 - выходит осенью 2012 года. Основной фокус на обработку и парсинг XML.  
ODI 12c - возможно, выйдет в течение 2013 года. Будет конвергентным выпуском, соединяющим возможности ODI и OWB. Данный релиз позволит переключаться между старым стилем разработки ODI и новым подходом, базирующемся на маппингах.

Дайджест ODI публикаций 2012, Июнь.

ODI 11g - Быстрые файлы.
ODI 11g – Faster Files
Краткое описание нового модуля знаний, появившегося в ODI 11.1.1.5.2. для быстрой интеграции данных через файлы. Данный IKM использует Java для работы с файлами (используются классы java.io) и имеет опции выполнения в многопоточном режиме. В своем тестовом примере автор переместил 1.3Гб данных в два потока за 140 секунд.
Дата публикации: 2012-06-07, Комментариев: 1


Hadoop, огромные XML файлы и ODI.
Hadoop, Humongus XML files and ODI
Подробный рассказ о том, как использовать Hadoop для обработки XML файлов большого размера, а также приведены наброски созданного автором модуля знаний, помогающего автоматизировать этот процесс при загрузке данных через ODI. Сам файл модуля знаний автор так и не предоставил.
Дата публикации: 2012-06-17, Комментариев: 2


ODI 11g Логгирование/Трассировка агента.
ODI 11g Agent Logging / Tracing
Рассказ о настройках уровней логгирования агента в файле ODI-logging-config.XML и о том, как настраивать логгирование для ODI Studio.
Дата публикации: 2012-06-18, Комментариев: 3


ODI 11g - Экспертное создание модели.
ODI 11g – Expert Accelerator for Model Creation
Дэвид Алан добавил к своему ранее опубликованному Groovy скрипту для создания модели в топологии ODI часть, отвечающую за ввод данных от пользователя через диалоговое окно.
Дата публикации: 2012-06-19, Комментариев: 0


ODI 11g - Создание репозитория скриптом.
ODI 11g – Scripting Repository Creation
Приведен скрипт на Groovy для создания мастер и рабочего репозиториев. В комментариях приведена ссылка на статью на сайте OTN с описанием ручного создания репозиториев через ODI Studio. Скрипт хорош также и как пример, на основе которого можно разрабатывать свои собственные деплоймент пакеты.
Дата публикации: 2012-06-20, Комментариев: 1

Погружение в детали эталонной архитектуры Хранилищ Данных от Oracle.

Примечание переводчика.

Статья довольно старая, но я все же решил ее перевести, потому что многие, до сих пор, несколько неверно воспринимают описываемые ниже подходы к построению архитектуры хранилищ данных.
Источник: http://www.rittmanmead.com/2009/07/drilling-down-in-the-oracle-next-generation-reference-dw-architecture/

---

Погружение в детали эталонной архитектуры Хранилищ Данных от Oracle.

Дайджест ODI публикаций 2012, Май.

Oracle Data Integrator 11g Groovy: добавление колонок к таблицам модели.
Oracle Data Integrator 11g Groovy: Add Columns to a Datastore
Описание скрипта на Groovy для добавления колонки ко всем таблицам модели.
Дата публикации: 2012-05-08, Комментариев: 1


Внешняя аутентификация в Microsoft Active Directory для ODI 11g. Часть 3.
External authentication with Microsoft Active Directory in ODI 11g – Part 3
В третьей части рассказа о подключении ODI к Microsoft Active Directory рассматривается вопрос подключения Java EE агентов и консоли к внешнему механизму аутентификации.
Дата публикации: 2012-05-16, Комментариев: 1


ODI 11g Новые возможности.
ODI 11g New Features
Автор приводит ссылку на самый полный вариант официального документа от Oracle по новым возможностям ODI 11 версии. См. также: Практика использования Oracle Data Integrator (ODI): Новые возможности ODI 11g Часть 2.
Дата публикации: 2012-05-28, Комментариев: 0

Очередной этап.

Два года и два дня ведется этот блог.
Две заметки на Хабре уже опубликовано.
Два месяца осталается валидной моя шенгенская виза, и если у вас есть необходимость привлечь на короткое время меня в проект, связанный с ODI, пишите, так как очередной этап моей рабочей жизни тоже закончен.

Скрипт для сравнения двух БД Oracle на Хабре.

5+1.

Как обещал, возвращаюсь к вопросу по новой функциональности ODI версии 11.1.1.6 под названием - отслеживание значений переменных во время выполнения сессии.

Для демонстрации того, как это работает, у меня как раз есть специально не для этого приготовленный пакет. Вот как выглядит его диаграмма:

Яркая вакансия.

На SQL.ru опубликована вакансия для ODI/OBI/DWH разработчиков. Два аспекта яркости присутствуют в этом сообщении: название компании и предполагаемая ЗП.

Подробности и оценочные комментарии по ссылке.

Последний патч.

Приветствую.

Установил последний патч на ODI, под номером ODI 11.1.1.6.3 Bundle Patch Bug: 14037855.

Что в нем интересного?
Размер: 168643048 байтов
Количество исправленных багов: 39

Среднее количество байтов на (одну описаннуе в файле ридми) багу можно посчитать самому, если вы конечно не фанат ООП, для них размеры апдейтов - дело привычное.

Что мне понравилось?
Исправилась бага с отображением в виде списка дочерних сессий в иерархическом дереве.
13538870 - HIERARCHICAL SESSIONS VIEW TODAY DOES NOT DISPLAY SESSIONS IN HIERARCHICAL ORDER

Вернутся ли объектно-ориентированные БД?

Сейчас, когда доказательства существования бозона Хиггса уже анонсированы по тем немногим каналам СМИ, которые попадают в зону моего внимания, дискуссия, на которую я хочу сослаться, вполне может доказать правоту тех, кто выступает за крутизну ООП во всех его применениях.

Комментарии к заметке 2010 года продолжают писать и сейчас - Почему ООП провалилось?

На всякий случай хочу признаться - я ООП тоже занимался, в ВУЗе очень его любил и использовал.

Эволюция аналитической инфраструктуры.

Очень интересная заметка в блоге компании "LifeStreet Media" на Хабре.

Тогда мы приняли вполне разумное, но неправильное решение идти на Oracle. За год мы построили хранилище данных на Оракле на правильном железе и софте в соответствии со стандартными оракловскими практиками вроде materialized views, и оно даже работало, и достаточно быстро. Помимо скорости самого Оракла, мы смогли горизонтально масштабировать ETL. Если бы не одно "но".

Читать далее...

Дуку.

Продолжая традицию восхваления своего шестка, публикую предотпускной набор для чтения, который поможет, при должном вашем участии, почувствовать какие эмоции иногда приходится испытывать разработчикам ХД.

А в эту категорию я включаю не только аналитиков, но и разработчиков ETL, и тестировщиков и даже DBA.

Пускай, на первый взгляд, это разные области приложения компьютерных наук. Пускай специалисты в этих наших интернетах по большей части отзывались о проведенной работе скептически, тем не менее, это - захватывает, это - как документальное кино о шпионах и доблестных контрразведчиках.

Тайна Duqu: часть первая
Тайна Duqu: часть вторая
Тайна Duqu: часть третья
Тайна Duqu: Привет, "Mr. B. Jason" и "Dexter"
Тайна Duqu: часть пятая
Тайна Duqu: часть шестая
Тайна Duqu: часть седьмая
Загадка фреймворка Duqu. Самая комментируемая часть с исследованием используемого языка программирования для Дуку.
Фреймворк Duqu: задача решена
Тайна Duqu: часть десятая
Stuxnet/Duqu: эволюция драйверов

Ну а началось это еще раньше, с вот таких вот исследований: Мирт и Гуава, эпизоды 1, 2, 3, 4, 5, 6, 7.

Приятного чтения во время отпуска. А я, в свою очередь, очень доволен, что удалось завершить этот семидневный марафон ежедневных публикаций. Фух.

Как говорилось в старом анекдоте,- а теперь работать, работать, работать!

Архитектура высоконагруженных проектов.

Продолжая длинную серию ежедневного блогопублицирования, хочу предложить вам ознакомиться с сайтом, посвященным высоконагруженным системам. Там много чего можно почитать, а начать можно, например, с вот этой заметки, посвященной масштабируемым архитектурам.

Или с другой, немного поновее - архитектура Instagram.

Возможно, найдутся идеи, которые, творчески переработав, можно будет использовать для интеграционно-хранилищных проектов. На википедии такое сразу и не найти.

Начиная ETL проект.

Самым популярным, по количеству скачиваний, документом со страницы документации по ODI оказался файл с названием Getting Started an ETL project. Думаю, люди ее скачивали, потому что путали с давно анонсированной, но только недавно вышедшей книгой по ODI.

А на работе появилась возможность начать такой небольшой пилотный проектик с использованием ODI. Происходило дело полгода тому назад, заняло примерно месяц, и задействована была вся команда.

Вот перед началом этого пилота я и подумал - посмотрю, что в Getting-ах то пишут, наверное, что-то полезное там будет, что-то, что я бы мог применить на проекте.

Getting tired with Oracle Data Integrator 11g - bugs and errors tutorial.

Недавно по некоторым блогам и группам ЛинкедИна прошла информация о том, что книга по ODI 11g вышла в мае 2012 года.

Вот ссылка на новость в блоге - "Ищите чего-нибудь почитать на тему интеграции?"

Теперь наличие столь большого количества ошибок в ODI последней версии обретает какое-то, пусть эмпирическое, объяснение, а именно - люди, отвечающее за ODI, вместо поиска и исправления ошибок писали книгу.

Опубликовал заметку на Хабре.

Метрики Хранилищ Данных.

Философия оптимизации - Хинты.

Перевод.
Оригинал находится по ссылке.

---

Одна из частей моей работы здесь в Rittman Mead состоит в чтобы следить за производительностью ХД, как с точки зрения запросов, сформированных пользователями, так и с точки зрения ETL процессов, загружающих данные в хранилище данных. Иногда я изучаю ситуацию в уже существующей системе, иногда же моя работа является частью процесса разработки нового комплекса.

Недавно, меня попросили посмотреть на таблицу, использующую очень сложную логику агрегации и расчетов, при этом расчеты проводились в ситуации почти реального времени. Передо мной поставили три жестких условия: генерировать как можно более малый объем redo лога, обновление таблицы должно быть максимально быстрым и данные в целевой таблице должны быть доступны все время – нет такого периода времени, даже во время обновления, в течение которого к данным нельзя обратиться через запрос. Я решил, что в этом случае подход с обменом секциями (партициями), с использованием операции truncate и вставки добавлением в обменную таблицу сработает лучше всего.

Про !БД.

Завязка:

Я был свидетелем возникновения новой должности. Администраторы баз данных! Простым программистам нельзя доверять данные — так гласила маркетинговая чушь.

Коменты:

Какое уж там разделение, если программисты не хотят понять необходимость наличия администраторов БД. Причём каждая СУБД это свой мир, свои правила, свои оптимизации и, чего уж там, хаки.

Читайте всю историю о критике реляционных БД и плохого американского пива на хабре.

Доступ к собственному репозиторию из сценария.

Приветствую коллеги.

В моем первом полезном посте я постарался рассказать, каким образом можно выборочно удалять логи выполнения сценариев из репозитория, путем прямого доступа в рабочий репозиторий.

Кстати, для тех, кто пока не считает себя великим ODI гуру - крайне полезно будет пройти по всем записям этого блога за 2010 год, начиная прямо с июля месяца. Я уверен, вы найдете там массу интересного.

Пример был работающий, но его применимость была несколько ограниченной. Объясню почему. У нас на проекте настройка контекстов, например, DEV и TEST была, в основном, связана с взаимоувязкой физической схемы дев источника данных с физической схемой приемника данных опять же на дев сервере. Тоже самое касалось контекста TEST, где связывались между собой две физических схемы на том же сервере: тест-источник <-> тест приемник.

Хороший ODI-айщик заменяет целый отдел.

В одну компанию ищут сотрудника, который знает, в том числе, Oracle Data Integrator. Мнений много, одно из них таково:

... хороший ETL-щик плохо знает BI системы, и ему совсем не обязательно впрягаться в область DBA (оптимизация ХД). Вы же не доверите жестянщику в сервисе копаться в электрике или моторе? Почему здесь все наоборот?

Другие подробности обсуждения вакансии по ссылке.

MS SQL Server 2012. Кое-что полезное для ХД.

Просто хотел дать ссылку на заметку на хабре. В ней половина описываемых фич может пригодиться при разработке ETL или аналитики.

Надеюсь, ODI будет использоваться совместно с MS SQL Server не только на моих виртуальных машинах "для опытов".

1. Новые предложения OFFSET и FETCH для ограничения числа возвращаемых строк.
2. В предложении OVER была расширена поддержка оконных функций.
3. Добавлены аналитические функции.
4. Появились последовательности (SEQUENCE).
5. На смену RAISERROR пришла инструкция THROW.
6. Появилось 14 новых функций.
7. Таблицы FileTable.
8. Статистический семантический поиск.

Подробности.

Так, все-таки, сколько?

По рабочей необходимости пришлось уточнять, сколько стоит Oracle Data Integrator. По моим предыдущим попыткам, получалось, что стоит очень дорого. А когда мы эту стоимость умножили на количество процессоров на продуктивном сервере, получилось еще в 32 раза дороже. Вру, в 64 раза.

Но, как оказалось, я с самого начала взял неправильный курс. На самом деле ODI стоит раза в три дешевле, так что та заметка была не просто шуткой на первое апреля, по крайней мере в моем случае.

О2.

Привет.

Несмотря на название, будет не про телекоммуникационные компании, а всего лишь про блог. Итак, некоторые организационные изменения, на которые я хотел бы обратить ваше внимание.

Касательно организационной структуры - я решил, все же, оставить один блог, так что следующий дайджест выйдет здесь. Второй блог останется в замороженном состоянии.

Не все группы одинаково полезны.

Из 9 груп ЛинкедИна, в которые я вхожу, и соответственно, получаю, раз в неделю, некие уведомления о проходящих обсуждениях, самая интересная группа, на мой взгляд, это группа Business Intelligence Professionals.

Хочу здесь привести список обсуждений, которые имеют большое количество комментариев, или формулировка вопроса для обсуждения в которых, показалась мне интересной сама по себе.

Дайджест ODI публикаций 2012, Апрель.

RKM для файлов на Jython.
RKM FILE (Jython)
Приведена ссылка на загрузку разработаного коллегами модуля знаний реверса для реверса текстовых файлов. Реверс может быть осуществлен как для локальных файлов (доступных из ODI Studio), так и для файлов удаленных, доступных только через агента. Описаны дополнительные опции модуля знаний и приведены примеры реверса одного или нескольких (по заданной маске) файлов.
Дата публикации: 2012-04-01, Комментариев: 0


Получение информации о сессиях через Groovy.
ODI SDK: Retrieving Information From the Logs
Приведен код на Groovy для подключения к репозиторию ODI и получению информации о выполнении сессий. Выбираются все выполнения заданного сценария.
Дата публикации: 2012-04-02, Комментариев: 2


ODI 11g - Как перезаписать SQL во время выполнения?
ODI 11g – How to override SQL at runtime?
Продолжение истории о созданном IKM под названием SQL_as_Source позволяющем, используя механизм производных (derived) таблиц, вводить код SQL запроса вручную при запуске интерфейса, и загружать, таким образом, одну таблицу из совершенно разных источников, о которых, возможно, даже не задумывались при разработке интерфейса. Привет SQL инъекциям!
Дата публикации: 2012-04-06, Комментариев: 0


Внешняя аутентификация в Microsoft AD для ODI 11g. Часть 2.
External authentication with Microsoft Active Directory in ODI 11g – Part 2
Продолжение предыдущей заметки. Рассматривается вопрос подключения агента ODI к внешнему механизму аутентификации.
Дата публикации: 2012-04-09, Комментариев: 0


Модуль знаний для многотабличной вставки.
Multi –Table Insert KM
Немного упрощенный взгляд на модуль знаний для MTI. В заметке рассматривается пример загрузки одних и тех же данных в три одинаковых таблицы, и с этой точки зрения наличие в БД Oracle такой возможности (insert all) выглядит немного надуманным. Более интересный пример был в дайджесте ODI за прошлый месяц.
Дата публикации: 2012-04-22, Комментариев: 4


Экстремальный BI: отслеживание изменений в данных через Golden Gate и ODI. Часть 1.
Extreme BI: Capturing Change with Oracle GoldenGate and ODI : Part 1 (Introduction)
Вводная заметка, описывающая новомодную идею загружать данные в ХД сразу в два места из одного и того же источника. Данные через Golden Gate попадают в область детальных данных, где накапливается история, а также, параллельным потоком, через область стейджа загружаются в область репортов. Экстремально!
Дата публикации: 2012-04-24, Комментариев: 0


Экстремальный BI: отслеживание изменений в данных через Golden Gate и ODI. Часть 2.
Extreme BI: Capturing Change with Oracle GoldenGate and ODI: Part 2 (Implementation)
Реализация описанного в первой части подхода. С помощью ODI готовятся файла конфигурации Golden Gate, затем подключается механизм отслеживания изменений в данных в самом ODI. В данной заметке описывается только та часть, которая относится к GG.
Дата публикации: 2012-04-26, Комментариев: 4


ODI 11.1.1.6 и поддержка Java 7.
ODI 11.1.1.6 and Java 7 support
Автор размышляет о том, есть ли какой-то смысл использовать Java 7 в ODI, особенно с учетом того, что это, скорее всего, можно будет сделать только на машинах разработчиков, так как не все продуктивные системы будут поддерживать Java 7 некоторое время. Тоже самое касается не только ODI но и других продуктов Oracle, таких как Fusion Middleware и т.п.
Дата публикации: 2012-04-28, Комментариев: 0

Что такое модули знаний реверса (RKM) и зачем они нужны?

Прямой ответ, который дает на этот вопрос документация, достаточно прост. Модули знаний реверса нужны в том случае, если возможностей по реверсу моделей (т.е. по получению характеристик и составных элементов для таблиц модели) у драйвера недостаточно.

Другими словами, то, что JDBC драйвер получить не может, модуль знаний реверса получить сможет. Должен смочь.

Рассмотрим, как же работает модуль знаний реверса. Для этого я создам копию одной из существующих моделей, и включу у нее режим использования модуля знаний реверса и последовательно, в картинках, расскажу, что происходит.

Что, как, почему про BI - читать / не перечитать.

Определения и ответы на первые важные вопросы

• Определение Business Intelligence
• Возможности BI-систем. 14 главных пунктов
• Типовые блоки современных BI-систем
• Классификация продуктов business intelligence
• Преимущества использования BI-системы
• Рекомендации по выбору BI
• Внедрение BI. Типичные ошибки
• Интервью с экспертами-заказчиками

Найдено у Александра Кучерука via Олег Лаукарт.

Сложные вопросы или ХД за один день.

Существует не так уж и мало вопросов, ответы на которые не всегда очевидны, а поиск ответа на практике слишком трудоемок.

Например, будет ли результат, если перечислить в SELECT-е все таблицы вашего ХД? Не пытайтесь, пожалуйста, проверить это на ПРОДе.

История о двух мастер репозиториях использующих один рабочий репозиторий и несколько слов об Ordered и Not-ordered соединениях в ODI, иллюстрированных скриншотами и несколькими кусками сложного для разбора SQL кода, приведенного для демонстрации и более глубокого понимания читателями описываемой проблемы и ее успешного завершения.

Давно хотел рассказать эту историю. К тому же она, практически, не потребует от меня проверок того, как это все работало на самом деле. Зато история эта потребует от читающих определенных усилий со стороны воображения.

Итак, представьте себе, что на одном из проектов получилось так, что часть ETL разрабатывалась другой командой, и, по несчастливой случайности, оказалось, что настройки технологии Oracle у этих двух команд отличались.

Отслеживание изменений в данных (CDC) для инкрементальной загрузки ХД.

Коллеги, а есть тут кто-нибудь, кто использует CDC для инкрементального наполнения хранилища?
Вот возникли вопросы.

1. У меня на выходе есть CDC таблица вида ТИП ОПЕРАЦИИ, ДАТА ОПЕРАЦИИ, ПОЛЕ1, ПОЛЕ2...

читайте далее на sql.ru

Как не узнать значение переменной в Oracle Data Integrator?

Воодушевленный успехами наших коллег, историю (назовем это историей в каментах) которых вы можете прочитать в этом сообщении, я решил посмотреть, как же справится с похожей задачей проверки правильности значения переменной последняя версия ODI, та, которая 11.1.1.6. Именно та, которая анонсировала давно ожидавшееся упрощение такой проверки.

Тут как бы ничего не предвещало подвоха. А он есть. Как говорится, весь апрель никому не верь или есть ложь, наглая ложь, аналитика (бывшая статистика) и описания новых возможностей в общем-то совсем не дешевых инструментальных средств.

Oracle снизит цену на ODI.

На днях блог Data Integration опубликовал запись об исследованиях Gartner на тему удовлетворенности пользователей различными продуктами для управления качеством данных.

Полное исследование можно посмотреть по этой ссылке, искать, как я понимаю, необходимо по названию Datanomic.

Дайджест ODI публикаций 2012, Март.

ODI 11g - Погружение в SDK.
ODI 11g – Insight to the SDK
Приведен список основных классов SDK для работы с объектами топологии, объектов проекта, планами загрузки, моделями и сессиями. Каждый объект содержит ссылку на описание в документации. Также приведены примеры кода на Groovy для создания, удаления и изменения проекта.
Дата публикации: 2012-03-02, Комментариев: 2


Советы по улучшению производительности загрузки в Essbase.
ODI Series – tips for improving essbase load times
Советы по увеличению значения для опции COMMIT_INTERVAL из IKM для загрузки данных из ODI в Essbase бОльшими порциями данных, а также показано, как добавить новую опцию в модуль знаний IKM SQL to Hyperion Essbase для увеличения размера Java параметра Array Fetch Size. Смотри также: Практика использования Oracle Data Integrator (ODI): Методы оптимизации загрузки данных для ODI.
Дата публикации: 2012-03-07, Комментариев: 0


Проблема использования опций pre/post maxl в модулях знаний для Essbase.
ODI Series - problems using pre/post maxl option in interfaces
Описание проблемы и ее решения с помощью установки переменных окружения ARBORPATH, ESSBASEPATH и PATH на уровне операционной системы, пользователя или агента ODI.
Дата публикации: 2012-03-07, Комментариев: 0


Новые возможности ODI 11.1.1.6 - Умный экспорт - импорт.
New Feature in ODI 11.1.1.6: Smart Export and Import
Коротко описана новая возможность по экспорту-импорту, смысл которой коротко раскрылся и в комментариях: умный экспорт проанализирует все зависимости, например, пакета, и добавит в файл экспорта все интерфейсы, переменные, модули знаний, пользовательские функции, модели и таблицы так же, как и любые необходимые объекты из топологии.
Дата публикации: 2012-03-14, Комментариев: 2


Внешняя аутентификация в Microsoft AD для ODI 11g.
ODI Series – External authentication with Microsoft Active Directory in ODI 11g
Подробная заметка о тернистом пути, по которому пришлось пройти автору, в процессе подключения ODI Studio к внешнему хранилищу аутентификационной информации. Приведен пример работающего jps-config.xml файла, а также ссылка на утилиту credtool для создания хранилища учетных записей.
Дата публикации: 2012-03-18, Комментариев: 2


ODI 11g - загружаем обменом партициями.
ODI 11g – How to Load Using Partition Exchange
В заметке рассматривается как создать модуль знаний для загрузки больших объемов данных в БД Oracle с помощью подхода CTAS (создание таблицы через запрос) и обмена секциями.
Дата публикации: 2012-03-21, Комментариев: 0


Непредвиденная ошибка JRE при запуске ODI агента.
Unexpected Java Runtime Environment Errors Starting ODI Agent
Описание проблемы запуска агента ODI на продуктивной системе. Проблема заключалась в выдаче сигнала SIGSEGV процессу Java, выполняющему код агента. Полечилось путем перезаписи директорий drivers и lib с другого работающего сервера с ODI.
Дата публикации: 2012-03-23, Комментариев: 0


ODI 11g - Многотабличная вставка.
ODI 11g – Oracle Multi Table Insert
Описание принципов работы нового модуля знаний, который называется IKM Oracle Multi Table Insert. Приведены примеры использования одного общего SELECT-а для двух разных вставок данных.
Дата публикации: 2012-03-27, Комментариев: 0

Обновилась страница патчей.

Ссылка на список с кратким описанием патчей для Oracle Data Integrator 10 и 11 версии здесь.

Сайт тот - чистый изумруд.

После подготовки и публикации дайджеста прошлых записей для настоящего бриллианта мира ODI - сайта ODI Experts, настало время и для других драгоценных ресурсов.

Первые записи вы сможете найти по тегу BIQuotient.

Еще одну демонстрацию бесполезной аналитики я делать не буду, так что периодически смотрите, что нового публикуется в блоге ODI Дайджест.

ODI скачать бесплатно.

Добрый день.

Ничего не предвещало и даже в голову прийти не могло.
Те, работа которых для многих неясна, сегодня празднуют победу. Я говорю о мастерах вирусного маркетинга.

Oracle Data Integrator наконец-то появился на сайтах где можно скачать все; все, что угодно из "нужного", разумеется.

Итак, в чем же победа?

Мигрирующие блоги.

Ввиду общего владельца, рядом им быть навсегда. В блоге об OWB уже пишут об ODI. Добавил в списки.

Update: добавил линк.

Инсталлируем ODI 11 на Windows x64 и MS SQL сервер.

Настала и мне (месяцев восемь назад) пора проинсталлировать новый ODI. А так как виртуальных машин уже слишком много, решил сделать это прямо на своем рабочем ноутбуке. Который, очень удачно, оказался с Windows 7 x64 на борту.

Для начала я прочитал вот эту заметку Uli об установке. Вроде бы ничего сложного, плюс в процессе подготовки ЧАВО для ODI 11g увидел, что есть возможность ручной инсталляции Oracle Data Integrator-а.

Итак, список того, что понадобилось мне для инсталляции.

• JDK для Windows x64.
• 32 битный JDK для Windows. По ссылке уже старенькая версия, лучше взять последнюю, я думаю.
• Инсталляционный диск (скорее всего это была версия 11.1.1.3) для ODI и сопроводительный диск.
• Microsoft SQL Server 2008 SP2 Express Edition Service Pack 2.

Обратите внимание, что приведенная ссылка указывает на тот вариант инсталлятора MS SQL Server, который не содержит SQL Server Management Studio. Так что для создания пользователей и баз я пользовался клиентской программой из инсталляции ODI на виртуальной машине.

Итак, что можно сказать по-поводу инсталляции, на самом деле все было практически так же, как и для 10й версии, описание которой находится на третьей слева странице блога вот там вот вверху.

Шаг 1. Инсталлируем JDK.
Тут в общем-то описывать особо и нечего.

Шаг 2. Сам процесс инсталляции я проходил строго по описанию ручной инсталляции Oracle Data Integrator.

Начав с пункта 2.2. ODI Studio and XML Reference
Распаковать oracledi-studio.zip в папку C:\Oracle\ODI
Распаковать oracledi-xml-reference.zip туда же.
Запустить C:\Oracle\ODI\oracledi\client\odi.exe на выполнение.

Дальше, при первой загрузке, ODI спросит где же установлен JDK. Вот здесь пришлось немного повозиться. Смысл заключался в том, что ODI Studio должен использовать 32 битный вариант JDK, а не тот, что я указал вначале - как раз 64 битный.

Вместо запуска студия показывала ошибку - unable to launch the Java Virtual Machine. Поиски привели вот к этой ветке форума.
https://forums.oracle.com/forums/thread.jspa?threadID=2142472

Таким образом, если что-то пойдет не так, необходимо найти файл odi.conf и убрать заданный путь к JDK именно там.

Приступая к созданию репозиториев, я решил поступить по тому же принципу, что и для 10й версии. Создал БД, создал пользователя, указал пользователя владельцем этой БД.

Первая попытка не увенчалась успехом, так как я оставил по умолчанию базу tempdb для созданного логина snpm. Создание мастер репозитория упало на третьем файле.

[16:27:51] Applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_DROP.xml
[16:27:52] Applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_CREATE.xml
[16:27:52] Error while applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_CREATE.xml

После успешного создания и коннекта к мастер репозиторию, ничего из элементов Дизайнера или Оператора не доступно. Необходимо пойти во вкладку Топология и создать новый рабочий репозиторий по той же схеме, что и в 10й версии.

Если используемый для доступа к рабочему репозиторию логин MS SQL Server имеет базу tempdb как БД по-умолчанию, ODI выведет такую ошибку:

java.sql.SQLException: [FMWGEN][SQLServer JDBC Driver][SQLServer]Cannot open user default database. Login failed.

После исправления дефолтной БД создание рабочего репозитория завершается успешно.

Эта заметка находится в черновиках с 09.09.2010 года. Теперь, после выхода версии 11.1.1.6 она не так актуальна, но, все же, может быть кому-то полезна.

P.S. А кому после двух подряд описаний инсталляции хочется еще чего-то более замороченного - вариант инсталляции с использованием облегченного дизайнера, метадата навигатора и т.п.

Завел твиттер на оба блога.

@OdiUsageDigest - прошу следить и жаловать.

Обновился до 11.1.1.6. (Upgrade).

Если вам интересно, как сделать апгрейд с ODI 11.1.1.5 до ODI 11.1.1.6 - вам сюда. Не обещаю, что будет полностью подходить под вашу ситуацию, но основные шаги, думаю, будут те же.

Итак, кто же может обновиться до последней версии ODI?
Судя по документу Oracle® Fusion Middleware Patch Set Notes, входящему в инсталляционный набор файлов, это счастливые обладатели следующих версий:

Vivam os Especialistas!

Некоторое количество времени, потраченного на подготовку дайджеста для сайта, который вы все знаете, наконец-то подошло к концу. Время это было потрачено не зря, результаты есть. Полезная часть этих результатов будет опубликована на ODI-digest в ближайшее время, а пока я бы хотел поделиться результатами побочными.

Количество опубликованных сообщений в блоге odiexperts.com - 118. Из них всего 4 не касаются непосредственно технических аспектов ODI. Количество комментариев - 493!, большинство из которых о проблемах и способах их решения для ODI. Я бы назвал это стопроцентной эффективностью и хорошим примером, на который стоит равняться.

Вышла следующая версия ODI - 11.1.1.6.

Блог Oracle, посвященный интеграции данных, сообщает, что Oracle анонсировал выход следующей версии ODI.

Коротко о новых ошибках возможностях свежего ODI релиза, полный перечень которых можно найти в этом документе:

1. Шорткаты (Shortcuts). Из описания мне не совсем пока ясно, как их использовать, но планируется что они помогут лучше управлять общими таблицами, колонками, преобразованиями. Возможно, это будет что-то похожее на хард линки в файловой системе.
2. Отслеживание значений переменных и последовательностей (Tracking Variables and Sequences). Всего лишь пара-тройка лет и около 20 сообщений в разных блогах с разными вариантами того, как получить значение переменной во время выполнения сессии, и в новом релизе ODI мы имеем возможность узнать это через GUI.
   
   
   
   
   
3. Глобальные модули знаний (Global Knowledge Modules).
4. Улучшилась читабельной кода (Enhanced Session Logging), который выполняется в рамках сессии. Что там конкретно улучшилось в отображении шагов процедур и модулей знаний - надо будет смотреть.
5. Появилась возможность модифицировать поведение Планов Загрузки (Handling Failed Load Plan Enhancements). В частности, если какой-то шаг падает, и убрать причину падения в данный момент невозможно, а вы не просто хотите закончить оставшуюся часть Плана загрузки сегодня, но и хотите чтобы при следующем запуске испорченая часть плана загрузки не помешала закончиться всему плану, вы легко это можете сделать.
   
   Как именно вы можете это сделать? Вы просто открываете шаг плана с ошибкой и меняете ему статус на успешный. Дальше вы уходите в отпуск и все визуально работает без ошибок.
6. Можно не отображать неиспользуемые в Планах загрузки переменные (Enhanced Variable Handling in Load Plans), чтобы улучшить читабельность выполнения.
7. Умный экспорт-импорт (Smart Export and Import). Улучшенный и более понятный механизм передачи кода между репозиториями разработки, тестирования и промышленного использования.
8. Добавили Oracle Enterprise Data Quality к ODI. Теперь можно из пакета вызывать задачу Datanomic-а по улучшению качества данных прямо по ходу ETL процесса.
9. Редактор Groovy. Позволяет создавать, изменять и запускать Груви скрипты в ODI Студии.
10. Поддержка Отмены и Отмены Отмены (Support of Undo and Redo Operations). Запомните эти сокращения - CTRL+Z и CTRL+Y
11. Автодополнение в именах полей и списках (Autocomplete for Text Fields and Lists). В некоторых текстовых полях ввода и списка работает автодополнение. Интересно, в каких не работает.
12. Версионирование для модулей знаний (Version Numbering for Knowledge Modules). Теперь, например, можно узнать, оригинальный у вас модуль знаний (т.е. от Oracle) или вы там уже что-то изменили, в лучшую, как вам сейчас кажется, сторону.

Что тут сказать, надо качать.

Самые важные нововведения по мнению сайта BI-Quotient:
http://www.business-intelligence-quotient.com/?p=1521

Создание представления через модуль знаний (Create View IKM).

God aften!

Представления (или, как их еще называют - вьюхи) очень важны, иногда они являются непосредственным воплощением ETL процесса. Например, на этапе загрузки данных из источников вполне вероятно использование представлений для простейших преобразований данных.

Нельзя сказать, что такое важное значение представлений никак не отражено в фольклоре. Как поет фронтмен группы ETaLlica - James_PK_Head_Field:
I am the View
I am the Table(t).
I am the View, I am the Table(t).

Даже из этого отрывка ясно, что представления многими ставятся на одно из первых мест.

Завел новый блог.

Работа с последовательностями в ODI (Sequences).

Ко многим вещам в ODI 11g надо привыкать, даже к документации. Файлов стало меньше, информация в них собрана немного по другому. Но, мне кажется, что этой информации стало больше, или она стала немного полнее.

Я не использовал для работы последовательности, поэтому решил посмотреть, что пишет документация об этом. Пока листал документ, увидел - в предыдущих разделах - как описаны переменные ODI. Так вот, судя по заголовкам разделов, они описаны чуточку более полно, чем раньше. Есть даже о том, как использовать переменную внутри другой переменной.

Приступим.

Загрузка нетрадиционных данных.

Время не стоит на месте, теперь, после того как традиционные источники данных, такие как бухгалтерские, складские и прочие оперативные базы уже загружены в хранилище и успешно не анализируются там, настал черед загрузки и неспешного анализа других, менее структурированных данных.

Теперь ваши сообщения в фейсбуках и вконтактах (а может даже и в скайпах с гуглтоками) могут быть успешно загружены не загружены, а организованы и проанализированны с помощью специальных программно-аппаратных средств.

Вводная статья про Oracle Big Data. И продолжение.

Еще одна ссылка по теме:
Практика использованияOracle Data Integrator (ODI): Модуль знаний для новой СУБД Oracle.

Тренды.

Как говорится, работать хорошо, а хорошо работать - еще лучше.

В одном из обсуждений, когда одни люди спрашивают в интернетах других людей, стоит ли им начинать изучение ODI, я высмотрел такой аргумент, как частота упоминаний того или иного ETL инструмента в текстах вакансий.

И, несмотря на то, что количество вакансий в абсолютных величинах больше у Informatica и Data Stage:

2012-02-01.

BI-Quotient

Ограничения при построении развертки данных для OBIEE из ODI.
Limitations ODI – OBIEE data lineage
Описаны ограничения OBIEE lineage: не участвуют временные интерфейсы (желтые), при использовании формул ломается структура развертки данных, не учитываются представления и процедуры.
Дата публикации: 2012-02-08, Комментариев: 2


Вышел Oracle Data Integrator 11.1.1.6.
Oracle Data Integrator 11.1.1.6 has been released
Наиболее ожидаемые усовершенствования новой версии ODI.
Дата публикации: 2012-02-23, Комментариев: 0

Не все то хорошо, что новая версия.

Эпопея с закатом OWB тянется уже давно, и где-то на протяжении полутора лет мне, с разной частотой, попадались мнения разных людей, которые говорили или писали, что ODI и OWB скоро сольются.

Что вам сказать, похоже, сливание уже началось. Слияние. В текущей версии ODI мы имеем кучу багов и странных, тормознутых или кривых интерфейсных загогулин.

Попробуем пройтись по списку найденного.
Все это лучше было бы смотреть на видео, но, пока, до видео руки не дошли.

Модельный совет.

Небольшой совет для тех, кому иногда необходимо затянуть в ODI достаточно большое количество таблиц в модель.

Итак, если из вашей БД после реверса в список попало слишком много таблиц:

И убрать ненужные таблицы с помощью маски не получается:

Кто на новенького?

Сегодня на повестке дня у нас несколько новых блогов об ODI.

Вернее, не совсем уж так чтобы несколько, зато один из них русскоязычный, а второй без RSS.

Первый - блог Oracle разработчика. На момент написания данной заметки в наличие было две записи, касающиеся ODI. К сожалению, в некоторых вопросах автор, на мой взгляд, разобрался не до конца, в частности, насколько мне известно, передаваемые данные агент не сохраняет в репозитории, это было бы уже слишком:

Хотя, возможно, это просто ошибка при переводе, и, в дальнейшем, мы еще прочитаем много интересной информации по тэгу Oracle Data Integrator на сайте foxbase.ru.

Для тех наших коллег, которые пришли в базы данных и ETL не через программирование, читать эту заметку я все равно не порекомендую, какой-то чересчур упрощенный взгляд получился: зачем оно нужно?

Следующий блог англоязычный, и RSS, к сожалению, не имеет. Я его полистал, наполняется вроде неплохо, нашел даже один из вариантов вывода значения переменной, который раньше не использовал. Вернее, не рассматривал в таком качестве. Делается это с помощью использования параметра "-SESSION_NAME" при запуске сценария.

Полюбопытствуйте.

Сам блог находится по адресу http://www.odigurus.com/, он добавлен, также, в список блогов:

Пока все новости на сегодня.

Новый стандарт SQL ISO 2011.

Всем привет.

По сообщению Craig Baumunk 15 декабря 2011 года пять частей нового стандарта ISO SQL 2011 было опубликовано на сайте магазина ISO. Так что теперь каждый, у кого есть много денег, может сразу зайти и купить себе стандарт. Вот ссылка.

Craig организовал специальную группу в ЛинкедИн для обсуждения новых возможностей, определяемых этим стандартом для работы с периодизацией данных.

Зачем нужна регистрация ошибок в ETL.

Всем привет.

Прислали ссылку на любопытную статью об основных принципах, которых необходимо придерживаться, если вы действительно собираетесь передавать ваш ETL в промышленную эксплуатацию.

Примеры приводятся для Microsoft SSIS, но, я думаю, для столь гибкого инструмента как ODI реализовать похожие подходы не будет сложно.

Ищут ETL тестеров в Белоруссию.

Всем привет.

Чтобы помочь братскому народу в тяжелую годину кризису, запощу сюда объявление из одной из груп ЛинкедИна.

---

Ищем ETL Data warehouse тестировщиков в Беларуссии (город - любой!!!) Если вы заинтересованы в этой позиции шлите резюме по адресу: natashag[собачка]4tegroup.com!!!

---

Там Наталье уже стали из Индии отвечать, готовы приехать, видимо, в страну, расположенную рядом с Украиной и Россией...

Итоги года.

Приветствую в новом году.

Это второе подведение итогов календарного года для этого блога. В первом я просил продолжать следить за записями, так как ощущал в себе силы еще десяток сообщений опубликовать.

В этом году ничего не изменилось, оставайтесь, как говорится, с нами.

Что это, Берриссон?

Логично было бы предположить, что первая запись после НГ будет об итогах года. Так как итоги будут уже вторые - они и пойдут вторыми.

Так что первой в этом году будет запись о странном баге в ODI. Чувствую я, что год пройдет как раз под знаком разбирательств с багами в нашем любимом инструменте.

Начнем.

Некоторые вещи, как описываемая ниже, очень огорчают. В частности, вот эта ошибка, понять причины которой я пока так и не смог.

Предистория.

2012-01-01.

odiexperts.com

Генерация сценариев для проекта используя ODI SDK.
Generate All Scenario for a Particular Project using ODI SDK
Использование ODI SDK для генерации/перегенерации всех сценариев заданного проекта.
Дата публикации: 2012-01-05, Комментариев: 0

BI-Quotient

ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 2. Развертывание и тестирование сервиса данных в Weblogic.
ODI 11g in a Services Oriented Architecture. Part II. Deploying and Testing data services in Weblogic
Продолжение рассказа о том, как сгенерировать код для организации работы веб-сервиса через ODI.
Дата публикации: 2012-01-06, Комментариев: 0


ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 3. Получение данных из RESTful веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part III. Consuming a RESTful web service
Рассказ о том, как с помощью ODI организовать получение данных от других веб-сервисов.
Дата публикации: 2012-01-18, Комментариев: 0