ODI - лучшие практики.

Попался на глаза обстоятельный ответ на вопрос о лучших практиках Oracle Data Integrator, который дал Jérôme Françoisse в одной из групп ЛинкедИна.

Возможно, будет кому-то инетересен, поэтому я решил его перевести.

---

Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.

Предупреждение сказано, теперь ссылки:

Дайджест ODI публикаций 2012, Июнь.

ODI 11g - Быстрые файлы.
ODI 11g – Faster Files
Краткое описание нового модуля знаний, появившегося в ODI 11.1.1.5.2. для быстрой интеграции данных через файлы. Данный IKM использует Java для работы с файлами (используются классы java.io) и имеет опции выполнения в многопоточном режиме. В своем тестовом примере автор переместил 1.3Гб данных в два потока за 140 секунд.
Дата публикации: 2012-06-07, Комментариев: 1


Hadoop, огромные XML файлы и ODI.
Hadoop, Humongus XML files and ODI
Подробный рассказ о том, как использовать Hadoop для обработки XML файлов большого размера, а также приведены наброски созданного автором модуля знаний, помогающего автоматизировать этот процесс при загрузке данных через ODI. Сам файл модуля знаний автор так и не предоставил.
Дата публикации: 2012-06-17, Комментариев: 2


ODI 11g Логгирование/Трассировка агента.
ODI 11g Agent Logging / Tracing
Рассказ о настройках уровней логгирования агента в файле ODI-logging-config.XML и о том, как настраивать логгирование для ODI Studio.
Дата публикации: 2012-06-18, Комментариев: 3


ODI 11g - Экспертное создание модели.
ODI 11g – Expert Accelerator for Model Creation
Дэвид Алан добавил к своему ранее опубликованному Groovy скрипту для создания модели в топологии ODI часть, отвечающую за ввод данных от пользователя через диалоговое окно.
Дата публикации: 2012-06-19, Комментариев: 0


ODI 11g - Создание репозитория скриптом.
ODI 11g – Scripting Repository Creation
Приведен скрипт на Groovy для создания мастер и рабочего репозиториев. В комментариях приведена ссылка на статью на сайте OTN с описанием ручного создания репозиториев через ODI Studio. Скрипт хорош также и как пример, на основе которого можно разрабатывать свои собственные деплоймент пакеты.
Дата публикации: 2012-06-20, Комментариев: 1

Дайджест ODI публикаций 2012, Апрель.

RKM для файлов на Jython.
RKM FILE (Jython)
Приведена ссылка на загрузку разработаного коллегами модуля знаний реверса для реверса текстовых файлов. Реверс может быть осуществлен как для локальных файлов (доступных из ODI Studio), так и для файлов удаленных, доступных только через агента. Описаны дополнительные опции модуля знаний и приведены примеры реверса одного или нескольких (по заданной маске) файлов.
Дата публикации: 2012-04-01, Комментариев: 0


Получение информации о сессиях через Groovy.
ODI SDK: Retrieving Information From the Logs
Приведен код на Groovy для подключения к репозиторию ODI и получению информации о выполнении сессий. Выбираются все выполнения заданного сценария.
Дата публикации: 2012-04-02, Комментариев: 2


ODI 11g - Как перезаписать SQL во время выполнения?
ODI 11g – How to override SQL at runtime?
Продолжение истории о созданном IKM под названием SQL_as_Source позволяющем, используя механизм производных (derived) таблиц, вводить код SQL запроса вручную при запуске интерфейса, и загружать, таким образом, одну таблицу из совершенно разных источников, о которых, возможно, даже не задумывались при разработке интерфейса. Привет SQL инъекциям!
Дата публикации: 2012-04-06, Комментариев: 0


Внешняя аутентификация в Microsoft AD для ODI 11g. Часть 2.
External authentication with Microsoft Active Directory in ODI 11g – Part 2
Продолжение предыдущей заметки. Рассматривается вопрос подключения агента ODI к внешнему механизму аутентификации.
Дата публикации: 2012-04-09, Комментариев: 0


Модуль знаний для многотабличной вставки.
Multi –Table Insert KM
Немного упрощенный взгляд на модуль знаний для MTI. В заметке рассматривается пример загрузки одних и тех же данных в три одинаковых таблицы, и с этой точки зрения наличие в БД Oracle такой возможности (insert all) выглядит немного надуманным. Более интересный пример был в дайджесте ODI за прошлый месяц.
Дата публикации: 2012-04-22, Комментариев: 4


Экстремальный BI: отслеживание изменений в данных через Golden Gate и ODI. Часть 1.
Extreme BI: Capturing Change with Oracle GoldenGate and ODI : Part 1 (Introduction)
Вводная заметка, описывающая новомодную идею загружать данные в ХД сразу в два места из одного и того же источника. Данные через Golden Gate попадают в область детальных данных, где накапливается история, а также, параллельным потоком, через область стейджа загружаются в область репортов. Экстремально!
Дата публикации: 2012-04-24, Комментариев: 0


Экстремальный BI: отслеживание изменений в данных через Golden Gate и ODI. Часть 2.
Extreme BI: Capturing Change with Oracle GoldenGate and ODI: Part 2 (Implementation)
Реализация описанного в первой части подхода. С помощью ODI готовятся файла конфигурации Golden Gate, затем подключается механизм отслеживания изменений в данных в самом ODI. В данной заметке описывается только та часть, которая относится к GG.
Дата публикации: 2012-04-26, Комментариев: 4


ODI 11.1.1.6 и поддержка Java 7.
ODI 11.1.1.6 and Java 7 support
Автор размышляет о том, есть ли какой-то смысл использовать Java 7 в ODI, особенно с учетом того, что это, скорее всего, можно будет сделать только на машинах разработчиков, так как не все продуктивные системы будут поддерживать Java 7 некоторое время. Тоже самое касается не только ODI но и других продуктов Oracle, таких как Fusion Middleware и т.п.
Дата публикации: 2012-04-28, Комментариев: 0

2012-01-01.

odiexperts.com

Генерация сценариев для проекта используя ODI SDK.
Generate All Scenario for a Particular Project using ODI SDK
Использование ODI SDK для генерации/перегенерации всех сценариев заданного проекта.
Дата публикации: 2012-01-05, Комментариев: 0

BI-Quotient

ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 2. Развертывание и тестирование сервиса данных в Weblogic.
ODI 11g in a Services Oriented Architecture. Part II. Deploying and Testing data services in Weblogic
Продолжение рассказа о том, как сгенерировать код для организации работы веб-сервиса через ODI.
Дата публикации: 2012-01-06, Комментариев: 0


ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 3. Получение данных из RESTful веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part III. Consuming a RESTful web service
Рассказ о том, как с помощью ODI организовать получение данных от других веб-сервисов.
Дата публикации: 2012-01-18, Комментариев: 0

2011-12-01.

odiexperts.com

Интерфейс с Union или Minus операторами через ODI SDK.
Interface with Union, Minus Operator using ODI SDK
Создание интерфейса с операциями MINUS и UNION с использованием ODI SDK.
Дата публикации: 2011-12-13, Комментариев: 0

BI-Quotient

ODI 11g в сервисо-ориентированной архитектуре (SOA)? Часть 1. Выдача и потребление данных с помощью веб-сервисов.
ODI 11g in a Services Oriented Architecture? Exposing data services and consuming web services with ODI 11g. Part I.
ODI может быть полезен не только для загрузки массивных объемов данных, но и для использования в среде SOA. В заметке рассматриваются вопросы как проинсталлировать, развернуть и оттестировать веб-сервис с помощью ODI.
Дата публикации: 2011-12-12, Комментариев: 0

2011-11-01.

odiexperts.com

Добавление ORDER BY в интефейс.
Handling the “ORDER BY” clause in an interface
Два простых способа организовать сортировку при работе с данными (ORDER BY) путем модификации модуля знаний или добавления опции.
Дата публикации: 2011-11-13, Комментариев: 0


Автоматическое добавление интерфесов/сценариев в новый пакет через ODI SDK.
Automatically add Interfaces/Scenarios to new ODIPackage using ODI SDK
Автоматическое добавление интерфейсов или сценариев из заданной папки в новый пакет с помощью ODI SDK.
Дата публикации: 2011-11-15, Комментариев: 0


Создание пакета через ODI SDK.
Creating Package using SDK
Как создать пакет и определить вызов переменных в разных режимах использования (объявление, обновление и т.п.), добавить интерфейс или сценарий в пакет с помощью ODI SDK.
Дата публикации: 2011-11-15, Комментариев: 2


Создание интерфейса из одного источника и одного приемника.
Creating Interface for Single Source and Target
Использование ODI SDK для создания интерфейса из одной таблицы источника и целевой таблицы.
Дата публикации: 2011-11-16, Комментариев: 0


Создание постоянного интерфейса на основании модели.
Creating Permanent Interface based on Model Level
Создание интерфейса с одним источником и одним приемником данных, которые имеют одинаковое название но находятся в разных моделях с использованием ODI SDK.
Дата публикации: 2011-11-16, Комментариев: 0


Экспорт - импорт сценариев для заданного проекта или папки.
Export and Importing Scenarios based on Project (or)Folder
Копирование всех сценариев из папки или проекта за заданный период времени из репозитория разработки в репозиторий выполнения с помощью ODI SDK. В комментариях приведена ссылка на документ описывающий API для работы с планами загрузки, а также отмечается несомненная важность автоматизации процесса передачи сценариев ODI в промышленную эксплуатацию, так как ручное развертывание чревато многочисленными ошибками.
Дата публикации: 2011-11-27, Комментариев: 5

2011-09-01.

odiexperts.com

Создание процедуры ODI через SDK.
Creating ODI Procedure using SDK
Создание процедуры ODI с помощью SDK.
Дата публикации: 2011-09-18, Комментариев: 0


Создание интерфейса временной таблицы через ODI SDK.
Creating Temporary Interface using ODI SDK
Создание интерфейса для заполнения временной таблицы с помощью ODI SDK
Дата публикации: 2011-09-26, Комментариев: 0

2011-08-01.

odiexperts.com

Установка и настройка ODI SDK в Eclipse.
ODI SDK Setup and Config in Eclipse
Как подключенить ODI SDK к Eclipse. Также приведены примеры создания проекта, папки, контекста, физической и логической схем, дата сервера и т.п.
Дата публикации: 2011-08-18, Комментариев: 0

BI-Quotient

Настройка и оптимизация производительности ODI.
ODI performance tuning, and optimisation
Большинство вопросов, касающихся настроек и оптимизации производительности работы ODI рассмотрены в документе Oracle Note 423726.1. Смотри перевод здесь.
Дата публикации: 2011-08-15, Комментариев: 0


Какие умения необходимы для разработчика ODI 11g.
Skills an ETL developer on ODI 11g (Oracle Data Integrator) requires.
Смотри перевод здесь.
Дата публикации: 2011-08-16, Комментариев: 1

2011-06-01.

odiexperts.com

Есть чем гордиться.
Things to be pride of….
-
Дата публикации: 2011-06-14, Комментариев: 1

BI-Quotient

Апгрейд ODI 10 на ODI 11g. Клонирование репозиториев.
ODI snippets: Upgrade ODI 10g to ODI 11g – Cloning repositories
Если для перехода на новую версию ODI вы решите клонировать репозитории старой версии, чтобы потом сверху поставить более новую версию, и ваши репозитории находятся в Oracle 11g, то нельзя использовать утилиты экспорта/импорта, так как в этом случае таблицы из репозитория без строк не попадут в экспорт.
Дата публикации: 2011-06-01, Комментариев: 0


Анонс книги по ODI 11g.
ODI 11g book announced for July
По ODI написана книга - Oracle Data Integrator 11g: Getting Started.
Дата публикации: 2011-06-14, Комментариев: 2

2011-03-01.

odiexperts.com

Упорядоченные соединения.
Ordered SQL
Как с помощью включения режима упорядоченных соединений ускорить загрузку данных, убрать лишние временные таблицы и т.п.
Дата публикации: 2011-03-02, Комментариев: 0


Консистентное отслеживание изменения данных.
CDC CONSISTENT
Объемная и подробная заметка о том, как настраивать работу по отслеживанию изменений в данных в консистентном режиме (CDC consistent). Этот режим, в отличие от режима Simple CDC позволяет оперировать и отслеживать изменения не на уровне отдельной таблицы, а на уровне всей модели, как набора взаимосвязанных таблиц.
Дата публикации: 2011-03-27, Комментариев: 6

BI-Quotient

Модуль знаний загрузки Oracle-Oracle с использованием dblink-ов.
Load Knowledge Module Oracle to Oracle using database links
Критический взгляд на стандартный модуль знаний загрузки, предполагающий создание представления в БД источника, что зачастую может быть запрещено. Предлагается модифицированный модуль знаний, который для выборки данных из удаленной базы создает представление на приемнике данных (в целевой или стейджевой схемах БД). Также показана интересная техника подстановки к имени ресурса таблицы в модели имени дблинка передаваемого через переменную. Для более полного понимания принципов работы LKM Oracle to Oracle (DBLINK) смотрите: Создание представления через модуль знаний (Create View IKM).
Дата публикации: 2011-03-11, Комментариев: 8


Тестирование настроек JDBC драйверов для достижения наилучшей производительности загрузки данных в ODI.
ODI JDBC variable binding: 500% performance gains, Array Fetch Size, Batch Update Size, Row Prefetching, and the Array Interface; and an issue when running the agent in Weblogic.
Приведены объяснения и примеры тестов по следующим аспектам работы агентов ODI и драйверов JDBC: упреждаюшая выборка строк из БД (Array Fetch Size), передача параметров для операций изменения данных через массивы (Batch Update Size) и влияние этих параметров на используемую агентом оперативную память и производительность загрузки.
Дата публикации: 2011-03-22, Комментариев: 6


ODI 11g: не обнаружен osal.dll.
ODI 11g snippets: Could not locate osal.dll
Описана проблема и возможное решение при совместном использовании ODI 10 и ODI 11g. Версия ODI 11g использует jrockit JDK, версия 10 использует Sun JDK.
Дата публикации: 2011-03-15, Комментариев: 0

2011-02-01.

odiexperts.com

Остановка выполнение сессии в ODI 11g.
Killing session in ODI 11g
Описание новой возможности ODI 11g по немедленному останову SQL запросов.
Дата публикации: 2011-02-13, Комментариев: 3

BI-Quotient

Скрипты в ODI: Jython, Java BeanShell, Java, Open Tools, ODI API и SDK, методы подстановки.
Scripting in Oracle Data Integrator: Jython, Java BeanShell, Java, Open Tools, ODI API & SDK, ODI Substitution API
Перечень доступных для использования средств написания скриптов в ODI с примерами и объяснениями. Также в этом посте есть ссылка на матрицу, помогающую определить, в каких случаях какой из скриптовых языков лучше всего использовать.
Дата публикации: 2011-02-20, Комментариев: 2

2011-01-01.

Много сценариев в первую поставку - проще поддерживать и развертывать в дальнейшем.
Scenarios, a lot in the first delivery makes maintenance very simple!
Как упростить поддержку и дальнейшее развитие ETL проекта путем подготовки и единоразовой передачи в промышленную эксплуатацию всех ключевых сценариев. Или вообще всех сценариев, даже если в данный момент они не готовы.
Дата публикации: 2011-01-10, Комментариев: 6


Jython скрипт не находит подключаемый модуль в ODI 11g.
Jython Scripts fails to recognize the module during scenario run in ODI 11g
При работе Jython кода в виде сценария возможно возникновение ошибки "не найден модуль". При этом подобной проблемы нет при запуске из ODI Studio. В качестве решения предлагается скопировать библиотеке в ту же папку, из которой запускается агент.
Дата публикации: 2011-01-17, Комментариев: 2


ODI 11g - Часть 8/11 - Поддержка партиционирования таблиц.
11g Oracle Data Integrator – Part 8/11g – Table Partitioning supported
Использование партиционирования в интерфейсах ODI. На момент написания статьи не во всех случаях партиции создавались автоматически. Возможно, в новых версиях модулей знаний этот недостаток уже исправлен.
Дата публикации: 2011-01-25, Комментариев: 0

2010-12-01.

odiexperts.com

Прямая загрузка интерфесом без промежуточных (С$, I$) таблиц.
Direct load by interface with no work tables (C$, I$)
Ссылка на видео от Craig Stewart о том, как загружать данные непосредственно в таблицу, минуя промежуточные таблицы C$ и I$. Как по мне, проще всего сделать это путем модификации модуля знаний, в чем же путь Крейга - смотрите на видео.
Дата публикации: 2010-12-03, Комментариев: 4

BI-Quotient

Доступ к примапленному диску через ODI агент работающий как сервис Windows.
Accessing a mapped network drive with the ODI agent as a Windows service
Для доступа к примапленному диску из агента, который запущен как сервис Windows, необходимо подключение диска создавать во время выполнения сценария ODI.
Дата публикации: 2010-12-03, Комментариев: 0

2010-11-01.

odiexperts.com

ODI 11g - Часть 6/11 - операции Union, Minus, Intesect.
11g Oracle Data Integrator – Part 6/11g – Union , Minus, Intersect
Как организовать загрузку данных из нескольких источников с использованием операторов INTERSECT, MINUS, UNION в одном интерфейсе.
Дата публикации: 2010-11-12, Комментариев: 3


ODI 11g - Часть 7/11 - Создание репозиториев.
11g Oracle Data Integrator – Part 7/11g – SUNOPSIS MEMORY ENGINE
Использование SUNOPSIS MEMORY ENGINE для хранения промежуточных расчетов не в таблицах СУБД, а в памяти. Обновление переменных из таблиц HyperSQL, использование Jython, Java кода или использование HyperSQL для промежуточных данных при работе интерфейса. Теоретически, использование СУБД, которая полностью помещается в памяти может помочь в ситуации необходимости организовать загрузку сверхбольшого количества маленьких таблиц.
Дата публикации: 2010-11-16, Комментариев: 0

2010-10-01.

odiexperts.com

Менеджер Безопасности - Концепция и использование.
Security Module – Main concepts and use
Для чего необходим и как использовать Менеджер Безопасности (Security Manager) ODI. Как назначить права на разные объекты разным пользователям или разным ролям.
Дата публикации: 2010-10-06, Комментариев: 2


Jython в ODI для начинающих.
Jython’s Beginner Guide for ODI
Большое количество примеров использования Jython для работы со строками, файлами, массивами, командами ОС, SQL скриптами и т.п. Есть ссылки на документацию по Jython.
Дата публикации: 2010-10-15, Комментариев: 20


Послать результат SQL по почте.
Send SQL by Email
Отправка результатов выполнения SQL запроса в виде текста письма с помощью одной процедуры из двух шагов.
Дата публикации: 2010-10-19, Комментариев: 5

BI-Quotient

Преобразование временного ODI интерфейса в обычный.
ODI snippets: Converting a temp interface to a regular interface
Три простых шага, которые необходимо сделать чтобы преобразовать интерфейс заполнения временной таблицы (т.н. Желтый интерфейс) в постоянный интерфейс для заполнения целевой таблицы в БД.
Дата публикации: 2010-10-31, Комментариев: 0


ODI в примерах от Oracle.
ODI 11g: Oracle by Example
Список занятий, выложенных в разделе Oracle by Example по Oracle Data Integrator.
Дата публикации: 2010-10-31, Комментариев: 0


ODI 11g выделенный агент как Windows сервис.
ODI 11g standalone agent as a windows service
Описание проблемы, согласно которой установить агент ODI 11g как сервисную службу Windows можно только если у вас есть лицензия на Oracle Process Manager and Notification Server. Один из возможных путей решения данной проблемы - использование другой Java обертки - Tanuki Java Service Wrapper.
Дата публикации: 2010-10-19, Комментариев: 0


ODI: Timestamp с учетом локального времени и переходами на зимнее/летнее время.
Oracle Data Integrator (ODI): Timestamp with local timezone and daylights saving time
Описаны особенности (на примерах) настройки ODI для работы с типом данных timestamp с учетом временных зон.
Дата публикации: 2010-10-16, Комментариев: 2

2010-09-01.

odiexperts.com

Первый год из многих. Спасибо друзья!
First year of many…. Thank you Friends!
-
Дата публикации: 2010-09-01, Комментариев: 1


ODI 11g - Часть 4/11 - Обновление с версии 10.
11g Oracle Data Integrator – Part 4/11g – Upgrading from 10g
Как сделать апгрейд с 10 версии ODI на версию 11g с помощью клонирования репозиториев и использования утилиты Oracle Fusion Middleware Upgrade Assistant.
Дата публикации: 2010-09-07, Комментариев: 16


Секреты ODI - Конструктор моделей от Крейга Стюарта.
Using one of ODI’s lesser-known secrets: the Common Format Designer (CFD) – by Craig Stewart
Использование Конструктора Моделей (Common Format Designer (CFD)) от Крейга Стюарта.
Дата публикации: 2010-09-10, Комментариев: 5


ODI 11g - Часть 5/11 - odiConsole, новый Metadata Navigator.
11g Oracle Data Integrator – Part 5/11g – odiConsole, the new Metada Navigator
Пошаговая инструкция как настроить odiconsole для работы в Oracle Weblogic Server и как установить внешнего агента для запуска сценариев из консоли.
Дата публикации: 2010-09-15, Комментариев: 3


ODI 11g - независимые агенты и использование агента как сервиса.
11g Oracle Data Integrator – Standalone Agent but, and about the Windows Service???
Особенности настройки агентов ODI, в том числе настройка работы агентов как сервисов Windows.
Дата публикации: 2010-09-21, Комментариев: 5


Расположение файлов драйверов в ODI 11g.
Drivers Location in ODI 11g
Где располагаются JDBC драйверы ODI на Unix и Windows серверах. В комментариях также затрагивается тема нахождения драйверов в Windows 7.
Дата публикации: 2010-09-29, Комментариев: 14

BI-Quotient

Подзапросы и производные таблицы в ODI 11g.
Subselect, derived tables, and subqueries in ODI 11G
Показан механизм, позволяющий использовать интерфейс для заполнения временной таблицы в другом интерфейсе в качестве производной (derived) таблицы, при этом запрос, заполняющий производную таблицу автоматически трансформируется в подзапрос в основном интерфейсе.
Дата публикации: 2010-09-09, Комментариев: 2


Примеры кода для ODI 11g SDK.
Oracle Data Integrator (ODI) 11g SDK code samples
Ссылки на примеры кода для ODI 11g SDK на сайте Oracle, а также ссылки на описание Java API на том же сайте.
Дата публикации: 2010-09-11, Комментариев: 1

2010-08-01.

odiexperts.com

Перегенерация сценарив через OdiGenerateAllScen.
Regenerate ODI Objects using OdiGenerateAllScen
Использование команды ODI OdiGenerateAllScen для быстрой перегенерации сценариев в пакетном режиме.
Дата публикации: 2010-08-03, Комментариев: 7


ODI 11g - Часть 2/11 - Создание репозиториев.
11g Oracle Data Integrator – Part 2/11g – Creating Repositories
Описание создания мастер и рабочего репозитория для ODI 11g. В комментариях замечают, что данный подход, в отличие от использования RCU утилиты, позволяет создавать местер репозиторий и рабочий репозиторий в разных схемах.
Дата публикации: 2010-08-05, Комментариев: 5


Историческая таблица тип 2.
SCD Type 2
Как правильно использовать модуль знаний IKM Oracle Slowly Changing Dimension для построения исторической таблицы (SCD Type 2).
Дата публикации: 2010-08-10, Комментариев: 11


Внутренний ID.
Internal ID
Что такое внутренний идентификатор объекта в репозитории ODI, как избежать ошибок при операциях экспорта-импорта, связанных с одинаковыми идентификаторами или хотя бы понимать суть этих ошибок. Как внутренний идентификатор связан с идентификатором репозитория.
Дата публикации: 2010-08-17, Комментариев: 0


Проблема сверхбольшой таблицы SNP_EXP_TXT.
SNP_EXP_TXT – A “huge” table problem
Проблема переполнения таблицы SNP_EXP_TXT. Есть перевод.
Дата публикации: 2010-08-19, Комментариев: 10


Вызов OdiSqlUnload без указания пароля.
Calling OdiSqlUnload using ODI Procedure with no hardcoded password
Как использовать утилиту выгрузки данных OdiSqlUnload без явного указания пароля. Смотри также.
Дата публикации: 2010-08-25, Комментариев: 15


Функция IS_NUMBER (и IS_CHAR) в Oracle.
IS_NUMBER (and IS_CHAR) at Oracle? A workaround…
-
Дата публикации: 2010-08-26, Комментариев: 4


Типы данных - создаем недостающее для любой технологии.
Datatypes – Creating what is missing for any technology
Как добавить недостающие типы данных в технологии, присутствующие в ODI.
Дата публикации: 2010-08-28, Комментариев: 0


ODI 11g - Часть 3/11 - Графический интерфейс пользователя.
11g Oracle Data Integrator – Part 3/11g – Graphical User Interface
Описание некоторых особенностей нового интерфейса ODI 11g. Больше всего уделено внимания новым возможностям при редактировании интерфейсов, в частности, показано как разделить вкладку интерфейса на две части, и одновременно использовать их для просмотра и редактирования. В комментариях предлагают одновременно держать на экране вкладку быстрого просмотра и вкладку маппинга.
Дата публикации: 2010-08-31, Комментариев: 3

2010-07-01.

ODI 11g - Часть 1/11 - Первый экран.
11g Oracle Data Integrator – Part 1/11g – First Screen
Вышел ODI 11.
Дата публикации: 2010-07-22, Комментариев: 8


Лучшие практики использования ODI.
Best practice of ODI
9 крайне полезных советов о ньюансах при разработке ETL процессов и организации работы с ODI.
Дата публикации: 2010-07-30, Комментариев: 0


Анализируем лог ошибок.
Error Records Log
Пример скрипта для чтения данных из таблицы SNP_CHECK_TAB, содержащей регистрацию ошибок во время работы ETL процедур. Это такие ошибки как неправильность первичных ключей, неправильность внешних ключей, ограничения на NULL в колонке и т.п. Данные из таблицы записываются в файл, который после может быть отправлен по почте для дальнейшего анализа.
Дата публикации: 2010-07-30, Комментариев: 4


Получить информацию о любом проблемном шаге выполнения в пакете ODI.
Get the Error Message of any Failed ODI objects inside Package
Приведен SQL код для получения информации об ошибочно завершенных шагах пакета в переменную и вывода затем значения этой переменной в файл. Код делает выборку данных прямо из репозитория и расшифровывает закодированные типы шагов в текстовый вид. Затем полученный лог может использоваться для анализа ошибок выполнения сценария. Есть перевод.
Дата публикации: 2010-07-30, Комментариев: 3


Историческая таблица тип 3.
SCD Type 3
Преобразование модуля знаний IKM Oracle Incremental Update для построение исторических таблиц третьего типа (SCD Type 3).
Дата публикации: 2010-07-30, Комментариев: 2


Генерация названия колонок для OdiSqlUnload.
Generate Column_name Header for OdiSqlUnload
Описано, как с помощью выборки из системных таблиц получить названия для колонок при выгрузке любых таблиц из БД с помощью утилиты OdiSqlUnload.
Дата публикации: 2010-07-31, Комментариев: 5

BI-Quotient

Oracle Data Integrator: ODIInvokeWebService и Java 6.
Oracle Data Integrator: ODIInvokeWebService and Java 6
Ошибка при совместном использовании встроенного клиента SOAP из ODI и JDK 6. Рекомендуется установить предыдущую версию Java.
Дата публикации: 2010-07-16, Комментариев: 1


Веб-сервис ODI (OdiInvokeWebService) и OBIEE веб-сервис API.
Oracle Data Integrator (ODI) web services (SOAP client via ODIInvokewebservice) and the OBIEE web services API.
Как подключиться через OdiInvokeWebService к Oracle Business Intelligence API и получить через веб-сервис, например, список и иерархию групп и пользователей, перечень разрешений и т.п.
Дата публикации: 2010-07-31, Комментариев: 0

2010-06-01.

odiexperts.com

Ошибка Jython в Windows 7.
Jython OS bug in Windows 7
При работе в Windows 7 ODI Jython неверно определяет ОС и использует для Windows Unix подобные разделители папок. Рассказано, как это исправить и как запускать команды операционной системы независимо от того, Windows это или Unix подобная ОС.
Дата публикации: 2010-06-20, Комментариев: 4


Подсчитываем количество строк с помощью SQL скрипта, подготовленного через Jython.
Writing SQL counts using Jython
Выполнение SQL запроса через Jython
Дата публикации: 2010-06-20, Комментариев: 0


Автоматизация экспорта - импорта сценариев.
Automated ODI Export Import Scenarios
Подробное описание как организовать автоматическую передачу измененных сценариев из одного рабочего репозитория в другой, например, для тестирования. Сам процесс передачи организован как набор из нескольких пакетов и процедур ODI. Таким образом, переброс ODI сценариев в другой репозиторий осуществляется также с помощью сценариев. Я даже знаю проект и человека, который этот подход успешно внедрил в процесс разработки ETL на этом проекте.
Дата публикации: 2010-06-21, Комментариев: 9


Модуль знаний для выгрузки данных из любой СУБД и загрузки их в Oracle.
LKM OdiSqlUnload(File) to Oracle ( SQLLDR )
Специально разработанный модуль знаний для загрузки сверхбольших объемов данных. Для выгрузки используется OdiSqlUnload, т.е. модуль может работать с различными СУБД, для загрузки используется SQLLDR, так что целевая БД - только Oracle. Работает как в Windows так и в Unix без дополнительных модификаций. В комментариях также разбираются вопросы улучшения производительности выбранного метода выгрузки/загрузки данных.
Дата публикации: 2010-06-21, Комментариев: 20

BI-Quotient

Oracle Data Integrator (ODI) обучающее видео от Крейга Стюарта.
Craig Stewart’s Oracle Data Integrator (ODI) video tutorials
Ссылки на обучающее видео об ODI от Крейга Стюарта. Смотри также: Обучающее видео по Oracle Data Integrator.
Дата публикации: 2010-06-05, Комментариев: 10


Вызов Java класса или подключение JAR файла в ODI через Jython или Java BeanShell.
Calling custom Java classes and JAR files in ODI via Jython or Java BeanShell
Простой пошаговый пример создания класса в Java, компиляции этого класса в JAR файл и вызова этого класса из ODI.
Дата публикации: 2010-06-09, Комментариев: 2


Вложенные методы подстановки ODI. Часть 2.
Nesting ODI Substitution Methods. Part II.
Рассказано, как использовать знак кавычки (") во вложенных вызовах методов подстановки ODI.
Дата публикации: 2010-06-24, Комментариев: 0

2010-04-01.

odiexperts.com

Отобразить результат выполнения SQL запроса в Операторе.
Displaying SQL results in Operator
Как отобразить результат выполнения SQL запроса непосредственно в Операторе. Есть перевод данного подхода. Есть перевод.
Дата публикации: 2010-04-04, Комментариев: 4


Контроль потока данных и статический контроль.
Flow Control and Static Control
Описано, зачем используются E$ таблицы и как собирать ошибки в данных. Показано различие между обработкой неверных данных во время загрузки и перед выполнением актуального переноса данных, что позволяет сделать загрузку более продуктивной.
Дата публикации: 2010-04-04, Комментариев: 0


Параллельное выполнение интерфейсов - новое решение.
Interface Parallel Execution – A new solution
Как организовать загрузку данных в параллельном режиме в одну и ту же таблицу путем модификации модуля знаний и изменения наименования временных $ таблиц. Есть перевод.
Дата публикации: 2010-04-09, Комментариев: 24


Загрузить данные из любого (любых) файлов из заданной папки.
Getting one or several unknown files from a directory
Для загрузки данных из файлов, имена которых не стандартизованы, можно использовать простой трюк, при котором сначала необходимо создать файл со списком имен файлов, а затем прочитать этот список по одной строке и поместить имя файла в переменную. Далее можно, например, использовать переменную вместо имени реальной таблицы в модели.
Дата публикации: 2010-04-12, Комментариев: 4

BI-Quotient

ODI и аутентификация в MS SQL Server.
ODI and Integrated Security/Authentication with Microsoft SQL Server
Описано как настраивать подключение агента ODI к MS SQL Server с включенным режимом IntegratedSecurity.
Дата публикации: 2010-05-04, Комментариев: 0