Ускоряем экстракт при помощи ORDERBY.

Всем привет.

На хабре небольшая заметка о случаях, при которых передача данных по сети по протоколу SQL*Net значительно ускоряется если запрос, формирующий эти данные, готовит его упорядоченным по каким-то полям. То есть, применяя инструкцию ORDER BY мы вполне можем ускорить получение данных из системы источника, если мы эти данные забираем через сеть.

Для добавления упорядочивания вам конечно нужно будет модифицировать модуль знаний. Я бы список полей перечислял простым текстом в отдельном параметре LKM, и добавлял ORDER BY конструкцию в зависимости от того, не пуст ли этот параметр.

Другие полезные мысли по оптимизации и ускорению Oracle Data Integrator.

Демистификация тэгов подстановки.

Сегодня в блоге перевод свежей статьи Rodrigo Radtke de Souza под названием ODI Substitution Tags demystified

Использовались рисунки оригинального поста.

---

Всем привет.

Бьюсь об заклад, что все ODI разработчики путаются, когда работают с тэгами методов подстановки. Каждый раз, когда мне нужно с ними поработать, я должен повторить все мои проверки еще раз, так как я забываю, для чего какой тэг используется (несмотря на мой многолетний опыт работы с ODI). Это стало одной из причин, по которым я решил написать этот пост - я, в будущем, смог бы освежить свою память, прочитав его (где ты, память???). Так же потому что это хорошо - делиться своим опытом с другими, что пошло бы на пользу (я надеюсь на это) если у кого-то возникнут те же проблемы.

Что же такое тэги подстановки, для тех, кто с ними не слишком знаком? Тэги подстановки это те символы, которые вы видите если откроете модуль знаний или процедуру в ODI, точнее вот эти символы - <%>, <@>, <?>, <$>. Вот как на этом рисунке.

Технология Excel для ODI.

Перевод статьи Excel technology in Oracle Data Integrator. В переводе использованы скриншоты из оригинальной заметки.

---

Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.

Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.

Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.

Конфигурация ODI.

ODI 12c, Часть 2.

Перевод второй части заметок Jérôme Françoisse о новшествах Oracle Data Integrator-а облачной версии 12c. Оригинал находится здесь. Использованы скриншоты из оригинальных заметок.

---

WebLogic Management Framework

Другое большое новшество в этом релизе это то, что инфраструктура управления WebLogic сервера используется для контроля агентов ODI вместо ранее использовавшегося OPMN сервера. Теперь агенты управляются тем же образом, что и остальные компоненты промежуточного ПО Fusion Middleware и для настройки используется специальный мастер - Fusion Middleware Configuration Wizzard.

ODI 12c. Часть 1.

В новом году захотелось начать с чего-то нового, поэтому сегодня будет перевод первой части заметок Jérôme Françoisse о новшествах Oracle Data Integrator-а облачной версии 12c. Оригинал находится здесь. Использованы скриншоты из оригинальных заметок.

---

Вот оно! Долгожданный Oracle Data Integrator 12c выпущен! Вы можете найти 12.1.2 версию на странице загрузки ODI и изучить новые возможности здесь, пока идет загрузка. Главная новость, безусловно, в новой потоковой парадигме и возможности загружать множество целевых таблиц в одном интерфейсе. О, погодите-ка, мы теперь не говорим "интерфейсы", теперь это называется "маппинги"! Фантастика, ODI разработчики теперь смогут общаться с разработчики использующими другие ETL инструменты, используя тот же набор терминов. Новая терминология и парадигма потоковости также сближают ODI и Oracle Warehouse Builder. Давайте бросим взгляд на некоторые из новых возможностей.

Новые маппинги.

О некоторых особенностях вызова команды реверса модели из пакета.

Воплощая идею доступа к собственному репозиторию выполнения через модуль знаний реверса (RKM) столкнулся со странным поведением пакета, из которого вызывал модель с командой 'Model Reverse'

В модуле реверса я задал несколько опций, имеющих тип CheckBox, используя которые я собирался управлять выполнением одного или нескольких шагов модуля. Тот же механизм, впрочем, работает и для простых процедур.

Что такое модули знаний реверса (RKM) и зачем они нужны?

Прямой ответ, который дает на этот вопрос документация, достаточно прост. Модули знаний реверса нужны в том случае, если возможностей по реверсу моделей (т.е. по получению характеристик и составных элементов для таблиц модели) у драйвера недостаточно.

Другими словами, то, что JDBC драйвер получить не может, модуль знаний реверса получить сможет. Должен смочь.

Рассмотрим, как же работает модуль знаний реверса. Для этого я создам копию одной из существующих моделей, и включу у нее режим использования модуля знаний реверса и последовательно, в картинках, расскажу, что происходит.

Вышла следующая версия ODI - 11.1.1.6.

Блог Oracle, посвященный интеграции данных, сообщает, что Oracle анонсировал выход следующей версии ODI.

Коротко о новых ошибках возможностях свежего ODI релиза, полный перечень которых можно найти в этом документе:

1. Шорткаты (Shortcuts). Из описания мне не совсем пока ясно, как их использовать, но планируется что они помогут лучше управлять общими таблицами, колонками, преобразованиями. Возможно, это будет что-то похожее на хард линки в файловой системе.
2. Отслеживание значений переменных и последовательностей (Tracking Variables and Sequences). Всего лишь пара-тройка лет и около 20 сообщений в разных блогах с разными вариантами того, как получить значение переменной во время выполнения сессии, и в новом релизе ODI мы имеем возможность узнать это через GUI.
   
   
   
   
   
3. Глобальные модули знаний (Global Knowledge Modules).
4. Улучшилась читабельной кода (Enhanced Session Logging), который выполняется в рамках сессии. Что там конкретно улучшилось в отображении шагов процедур и модулей знаний - надо будет смотреть.
5. Появилась возможность модифицировать поведение Планов Загрузки (Handling Failed Load Plan Enhancements). В частности, если какой-то шаг падает, и убрать причину падения в данный момент невозможно, а вы не просто хотите закончить оставшуюся часть Плана загрузки сегодня, но и хотите чтобы при следующем запуске испорченая часть плана загрузки не помешала закончиться всему плану, вы легко это можете сделать.
   
   Как именно вы можете это сделать? Вы просто открываете шаг плана с ошибкой и меняете ему статус на успешный. Дальше вы уходите в отпуск и все визуально работает без ошибок.
6. Можно не отображать неиспользуемые в Планах загрузки переменные (Enhanced Variable Handling in Load Plans), чтобы улучшить читабельность выполнения.
7. Умный экспорт-импорт (Smart Export and Import). Улучшенный и более понятный механизм передачи кода между репозиториями разработки, тестирования и промышленного использования.
8. Добавили Oracle Enterprise Data Quality к ODI. Теперь можно из пакета вызывать задачу Datanomic-а по улучшению качества данных прямо по ходу ETL процесса.
9. Редактор Groovy. Позволяет создавать, изменять и запускать Груви скрипты в ODI Студии.
10. Поддержка Отмены и Отмены Отмены (Support of Undo and Redo Operations). Запомните эти сокращения - CTRL+Z и CTRL+Y
11. Автодополнение в именах полей и списках (Autocomplete for Text Fields and Lists). В некоторых текстовых полях ввода и списка работает автодополнение. Интересно, в каких не работает.
12. Версионирование для модулей знаний (Version Numbering for Knowledge Modules). Теперь, например, можно узнать, оригинальный у вас модуль знаний (т.е. от Oracle) или вы там уже что-то изменили, в лучшую, как вам сейчас кажется, сторону.

Что тут сказать, надо качать.

Самые важные нововведения по мнению сайта BI-Quotient:
http://www.business-intelligence-quotient.com/?p=1521

Создание представления через модуль знаний (Create View IKM).

God aften!

Представления (или, как их еще называют - вьюхи) очень важны, иногда они являются непосредственным воплощением ETL процесса. Например, на этапе загрузки данных из источников вполне вероятно использование представлений для простейших преобразований данных.

Нельзя сказать, что такое важное значение представлений никак не отражено в фольклоре. Как поет фронтмен группы ETaLlica - James_PK_Head_Field:
I am the View
I am the Table(t).
I am the View, I am the Table(t).

Даже из этого отрывка ясно, что представления многими ставятся на одно из первых мест.

Работа с последовательностями в ODI (Sequences).

Ко многим вещам в ODI 11g надо привыкать, даже к документации. Файлов стало меньше, информация в них собрана немного по другому. Но, мне кажется, что этой информации стало больше, или она стала немного полнее.

Я не использовал для работы последовательности, поэтому решил посмотреть, что пишет документация об этом. Пока листал документ, увидел - в предыдущих разделах - как описаны переменные ODI. Так вот, судя по заголовкам разделов, они описаны чуточку более полно, чем раньше. Есть даже о том, как использовать переменную внутри другой переменной.

Приступим.

История одного расследования (missing expression).

Всем привет.

Хочу рассказать историю, как я пытался создать простой интерфейс, нашел "ошибку" в одном из модулей знаний свежего ODI и как я узнал, где используется то, что я не понимал зачем нужно.

Часть 1.
Решил я создать интерфейс. Интерфейс должен был затянуть данные из одной таблицы в Oracle в другую таблицу в Oracle, но на другом сервере. Для того, чтобы данный интеграционный процесс заработал, необходимо было правильно создать серверы данных, прописать схемы и контексты, об этом есть немного в описании инсталляции ODI.

ODI vs BODI.

Привет всем.

Сегодня публикую перевод одного из обсуждений, проходившего в группе Data Warehousing (Business Intelligence, ETL) Professional's... в Линкед Ин.

Тема, начатая Mohammed, собрала 15 комментариев.

Методы оптимизации загрузки данных для ODI.

По наводке Uli, за что ему большое спасибо, перевод первой части документа с металинка относительно "What Are The Best Approaches For Performance Optimization Strategies For ODI Scenario Execution [ID 423726.1]".

---

Область применения:
Oracle Data Integrator - начиная с версии 3.2.03.01...
Информация в этом документе применима к любым платформам.

Многотабличность интерфейсов ODI.

Один из поисковых запросов, по которым попал в этот блог кто-то из наших коллег, звучал так - odi многотабличные интерфейсы.

Я решил записать свои мысли на этот счет, так как думать над этой идеей начал еще во время курсов по Информатике, на которых реализация многотабличности была частью одного из заданий курса. Единственное, что все мои рассуждения основаны на опыте использования 10 версии ODI. Возможно, в новых версиях будут какие-то изменения, но не думаю, что сильно кардинальные.

Прячем пароль при вызове внешних утилит.

Всем привет.

Идея этой заметки появилась после вот такой беседы:

...мне нужно внутри пакета выполнить sql файл. Через OS command можно, но получается, что явно пароль указывается. Вроде как не хорошо. Может ещё вариант есть?
   ...я могу написать sqlplus user/pass@Database @file.sql
но хочется логин пароль и имя базы не прописывать явно

Обновлена страница патчей.

Привет всем.

Поддержка Оракла справедливо решила собрать весь список обновлений для ODI в один бюллетень. Так что у кого есть доступ на металинк может поискать по его названию, оно следующее - Master Note For Oracle Data Integrator (ODI) And Legacy Sunopsis, Releases and Patches [ID 456313.1].

У кого такого доступа нет - часть описаний патчей доступна как обычно на вот этой странице блога.

Кстати, в вышеупомянутом бюллетне не указано, что вышел ODI 11.1.1.5, видимо, упоминание о нем вскоре будет туда добавлено.

Так же в бюллетне есть упоминание о том, что начиная с версии ODI 10.1.3.6.1 отдельно выходят обновления для адаптеров приложений, то есть, если я правильно понял, для модулей знаний.

Список изменений для модулей знаинй доступен на той же странице патчей для ODI.

ODI 11g. Стратегии загрузки и интеграции данных в СУБД Oracle (Loading and Integration Strategies).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.

---

Стратегии загрузки данных

При загрузке данных в ХД, построенное на СУБД Oracle, одна из главных задач это загрузка данных наиболее эффективным способом. ODI предоставляет несколько модулей знаний, оптимизированных для разных типов загрузки данных в Oracle, и позволяющих достичь необходимой эффективности. Выбрав подходящие модули знаний для каждого типа загрузки вы существенно улучшите свой процесс интеграции данных в ХД.
Следующая таблица отображает список модулей знаний загрузки, оптимизированных для СУБД Oracle:

Инсталлируем и настраиваем ODI на MS SQL Server Часть 2.

Приветствую.

Дополнил страницу с описанием инсталляции ODI на MS SQL Server.
Теперь там описано, как создать физическую и логическую схемы данных, агентов, определить модель данных, сделать реверс таблиц из БД в модель данных, импортировать модули знаний в проект и т.п.

Методы подстановки ODI (Substitution Methods). Часть 3.

Третья часть перевода документации, описывающей методы подстановки ODI (часть 1, часть 2).

---

Генерация команды SELECT для источников.

Модули знаний LKM и IKM типов работают с результатами выборки данных из таблиц источников. Для загрузочного модуля знаний (LKM) результат выборки это некая команда, соединяющая несколько таблиц источников, правила этого соединения, фильтры, который должен быть выполнен на системе источнике данных. Для интеграционного модуля знаний (IKM) результирующий набор строк это то, что получается путем преобразования данных таблиц источников, но уже в области стейджа.

Каким будет Oracle Data Integrator 12 версии.

В поисках более подробной информации о новинках в ODI 11g обнаружил вот эту заметку Андрея Пивоварова, датированную прошлым годом, в которой сообщается о планах выпустить в 2011 году единый продукт на базе ODI и OWB, которые в продуктовой линейке Oracle служат примерно одной цели.

Так же обнаружил вот этот документ, в котором говорится о том, что OWB версии 11gR2 содержит в себе часть инфраструктуры ODI, привносящий быстроту и гибкость интеграции гетерогенных данных для пользователей OWB.

Будущий релиз ODI 12g присоединит к себе функциональность OWB, а также обеспечит гладкую миграцию при переходе от OWB к ODI. Текущие пользователи могут смело вкладываться в технологии преобразования данных от Oracle (OWB 11gR2 или ODI) и знать, что их наработки не пропадут в будущем.

Еще из этого же документа - новая структура интеграции данных OWB базируется на ключевых особенностях ODI - модулях знаний и методах подстановки. OWB не включает в себя поддержку модулей знаний реверса или сервисных модулей знаний, так как имеет другие механизмы для этих целей.

Выходит, что на вопрос вот этого поста можно теперь ответить утвердительно.