odiRef.getSession() Недокументированные параметры.

Для большей гибкости сценария мониторинга, удаление логов которого было описано в одном из предыдущих сообщений, захотел узнать, возможно ли с помощью функции ODI getSession получить наименование сценария.

В документации описаны только следующие возможные значения параметра этой функции:



Попробовал передать в функцию значение "SCEN_NAME" - получилось!

2010-08-01.

odiexperts.com

Перегенерация сценарив через OdiGenerateAllScen.
Regenerate ODI Objects using OdiGenerateAllScen
Использование команды ODI OdiGenerateAllScen для быстрой перегенерации сценариев в пакетном режиме.
Дата публикации: 2010-08-03, Комментариев: 7


ODI 11g - Часть 2/11 - Создание репозиториев.
11g Oracle Data Integrator – Part 2/11g – Creating Repositories
Описание создания мастер и рабочего репозитория для ODI 11g. В комментариях замечают, что данный подход, в отличие от использования RCU утилиты, позволяет создавать местер репозиторий и рабочий репозиторий в разных схемах.
Дата публикации: 2010-08-05, Комментариев: 5


Историческая таблица тип 2.
SCD Type 2
Как правильно использовать модуль знаний IKM Oracle Slowly Changing Dimension для построения исторической таблицы (SCD Type 2).
Дата публикации: 2010-08-10, Комментариев: 11


Внутренний ID.
Internal ID
Что такое внутренний идентификатор объекта в репозитории ODI, как избежать ошибок при операциях экспорта-импорта, связанных с одинаковыми идентификаторами или хотя бы понимать суть этих ошибок. Как внутренний идентификатор связан с идентификатором репозитория.
Дата публикации: 2010-08-17, Комментариев: 0


Проблема сверхбольшой таблицы SNP_EXP_TXT.
SNP_EXP_TXT – A “huge” table problem
Проблема переполнения таблицы SNP_EXP_TXT. Есть перевод.
Дата публикации: 2010-08-19, Комментариев: 10


Вызов OdiSqlUnload без указания пароля.
Calling OdiSqlUnload using ODI Procedure with no hardcoded password
Как использовать утилиту выгрузки данных OdiSqlUnload без явного указания пароля. Смотри также.
Дата публикации: 2010-08-25, Комментариев: 15


Функция IS_NUMBER (и IS_CHAR) в Oracle.
IS_NUMBER (and IS_CHAR) at Oracle? A workaround…
-
Дата публикации: 2010-08-26, Комментариев: 4


Типы данных - создаем недостающее для любой технологии.
Datatypes – Creating what is missing for any technology
Как добавить недостающие типы данных в технологии, присутствующие в ODI.
Дата публикации: 2010-08-28, Комментариев: 0


ODI 11g - Часть 3/11 - Графический интерфейс пользователя.
11g Oracle Data Integrator – Part 3/11g – Graphical User Interface
Описание некоторых особенностей нового интерфейса ODI 11g. Больше всего уделено внимания новым возможностям при редактировании интерфейсов, в частности, показано как разделить вкладку интерфейса на две части, и одновременно использовать их для просмотра и редактирования. В комментариях предлагают одновременно держать на экране вкладку быстрого просмотра и вкладку маппинга.
Дата публикации: 2010-08-31, Комментариев: 3

Типы репозиториев ODI.

Попытался сделать перевод статьи на тему типов репозиториев ODI, но, под конец работы, понял, что получается слишком коряво.
Поэтому решил написать свое, хоть и по мотивам.

Итак, с точки зрения ODI есть два разных типа рабочих репозиториев. Называются они репозиториями разработки и выполнения. В чем разница между ними, и что такое вообще репозиторий ODI?

Скрытые переменные сценария.

Как известно, при генерации сценария можно выбрать, какие переменные отображать при запуске сценария в окне ввода параметров:



Это удобно, так как можно выбрать только те переменные, значения которых не обновляются в процессе выполнения пакета, и устанавливать которые при запуске сценария имеет смысл.



В Oracle Data Integrator версии 10.1.3.4 - 10.1.3.5 есть одна хитрость, которую я буду считать недокументированной ошибкой. Если запустить сценарий, выбрав контекст, агента и уровень логирования, а затем, на следующем диалоговом окне, именно там, где необходимо ввести значения переменных, выбрать отмену запуска, то при следующем запуске того же сценария можно будет увидеть все переменные, которые используются в этом сценарии. И не только увидеть, но и установить им некие значения!



Вернуть список переменных, указываемых при запуске сценария к первоначальному варианту можно только после перегенерации сценария.

См. также другие записи с ярлыком Переменные.

Удаление логов выполнения сценариев в ODI.

Как известно, при выполнении сценария в ODI, процесс этого выполнения можно просматривать в отдельном приложении, под названием Operator. (В новой версии Oracle Data Integrator отдельного приложения, по слухам, не будет.) Но не все логи выполнения одинаково полезны. Чтобы уменьшить количество просматриваемых логов выполнения, можно ненужные логи удалить. Для этого ODI имеет специальный компонент, который называется OdiPurgeLog.

Приветствие

Всем привет।

Данный блог предназначен для публикации приёмов и методов работы с сервером приложений Oracle Data Integrator (ODI), в частности, при его использовании для построения Хранилищ Данных (Data Warehouse).

2010-07-01.

ODI 11g - Часть 1/11 - Первый экран.
11g Oracle Data Integrator – Part 1/11g – First Screen
Вышел ODI 11.
Дата публикации: 2010-07-22, Комментариев: 8


Лучшие практики использования ODI.
Best practice of ODI
9 крайне полезных советов о ньюансах при разработке ETL процессов и организации работы с ODI.
Дата публикации: 2010-07-30, Комментариев: 0


Анализируем лог ошибок.
Error Records Log
Пример скрипта для чтения данных из таблицы SNP_CHECK_TAB, содержащей регистрацию ошибок во время работы ETL процедур. Это такие ошибки как неправильность первичных ключей, неправильность внешних ключей, ограничения на NULL в колонке и т.п. Данные из таблицы записываются в файл, который после может быть отправлен по почте для дальнейшего анализа.
Дата публикации: 2010-07-30, Комментариев: 4


Получить информацию о любом проблемном шаге выполнения в пакете ODI.
Get the Error Message of any Failed ODI objects inside Package
Приведен SQL код для получения информации об ошибочно завершенных шагах пакета в переменную и вывода затем значения этой переменной в файл. Код делает выборку данных прямо из репозитория и расшифровывает закодированные типы шагов в текстовый вид. Затем полученный лог может использоваться для анализа ошибок выполнения сценария. Есть перевод.
Дата публикации: 2010-07-30, Комментариев: 3


Историческая таблица тип 3.
SCD Type 3
Преобразование модуля знаний IKM Oracle Incremental Update для построение исторических таблиц третьего типа (SCD Type 3).
Дата публикации: 2010-07-30, Комментариев: 2


Генерация названия колонок для OdiSqlUnload.
Generate Column_name Header for OdiSqlUnload
Описано, как с помощью выборки из системных таблиц получить названия для колонок при выгрузке любых таблиц из БД с помощью утилиты OdiSqlUnload.
Дата публикации: 2010-07-31, Комментариев: 5

BI-Quotient

Oracle Data Integrator: ODIInvokeWebService и Java 6.
Oracle Data Integrator: ODIInvokeWebService and Java 6
Ошибка при совместном использовании встроенного клиента SOAP из ODI и JDK 6. Рекомендуется установить предыдущую версию Java.
Дата публикации: 2010-07-16, Комментариев: 1


Веб-сервис ODI (OdiInvokeWebService) и OBIEE веб-сервис API.
Oracle Data Integrator (ODI) web services (SOAP client via ODIInvokewebservice) and the OBIEE web services API.
Как подключиться через OdiInvokeWebService к Oracle Business Intelligence API и получить через веб-сервис, например, список и иерархию групп и пользователей, перечень разрешений и т.п.
Дата публикации: 2010-07-31, Комментариев: 0

2010-06-01.

odiexperts.com

Ошибка Jython в Windows 7.
Jython OS bug in Windows 7
При работе в Windows 7 ODI Jython неверно определяет ОС и использует для Windows Unix подобные разделители папок. Рассказано, как это исправить и как запускать команды операционной системы независимо от того, Windows это или Unix подобная ОС.
Дата публикации: 2010-06-20, Комментариев: 4


Подсчитываем количество строк с помощью SQL скрипта, подготовленного через Jython.
Writing SQL counts using Jython
Выполнение SQL запроса через Jython
Дата публикации: 2010-06-20, Комментариев: 0


Автоматизация экспорта - импорта сценариев.
Automated ODI Export Import Scenarios
Подробное описание как организовать автоматическую передачу измененных сценариев из одного рабочего репозитория в другой, например, для тестирования. Сам процесс передачи организован как набор из нескольких пакетов и процедур ODI. Таким образом, переброс ODI сценариев в другой репозиторий осуществляется также с помощью сценариев. Я даже знаю проект и человека, который этот подход успешно внедрил в процесс разработки ETL на этом проекте.
Дата публикации: 2010-06-21, Комментариев: 9


Модуль знаний для выгрузки данных из любой СУБД и загрузки их в Oracle.
LKM OdiSqlUnload(File) to Oracle ( SQLLDR )
Специально разработанный модуль знаний для загрузки сверхбольших объемов данных. Для выгрузки используется OdiSqlUnload, т.е. модуль может работать с различными СУБД, для загрузки используется SQLLDR, так что целевая БД - только Oracle. Работает как в Windows так и в Unix без дополнительных модификаций. В комментариях также разбираются вопросы улучшения производительности выбранного метода выгрузки/загрузки данных.
Дата публикации: 2010-06-21, Комментариев: 20

BI-Quotient

Oracle Data Integrator (ODI) обучающее видео от Крейга Стюарта.
Craig Stewart’s Oracle Data Integrator (ODI) video tutorials
Ссылки на обучающее видео об ODI от Крейга Стюарта. Смотри также: Обучающее видео по Oracle Data Integrator.
Дата публикации: 2010-06-05, Комментариев: 10


Вызов Java класса или подключение JAR файла в ODI через Jython или Java BeanShell.
Calling custom Java classes and JAR files in ODI via Jython or Java BeanShell
Простой пошаговый пример создания класса в Java, компиляции этого класса в JAR файл и вызова этого класса из ODI.
Дата публикации: 2010-06-09, Комментариев: 2


Вложенные методы подстановки ODI. Часть 2.
Nesting ODI Substitution Methods. Part II.
Рассказано, как использовать знак кавычки (") во вложенных вызовах методов подстановки ODI.
Дата публикации: 2010-06-24, Комментариев: 0

2010-05-01.

BI-Quotient

ODI и аутентификация в MS SQL Server.
ODI and Integrated Security/Authentication with Microsoft SQL Server
Описано как настраивать подключение агента ODI к MS SQL Server с включенным режимом IntegratedSecurity.
Дата публикации: 2010-05-04, Комментариев: 0


ODI и аналитические функции (снова???)
ODI and analytic functions (again???)
Еще один способ обмануть синтаксический анализатор ODI, благодаря которому вызов в маппинге аналитической функции не попадет в команду Group By, генерируемую методом подстановки getGrpBy().
Дата публикации: 2010-05-20, Комментариев: 2

2010-04-01.

odiexperts.com

Отобразить результат выполнения SQL запроса в Операторе.
Displaying SQL results in Operator
Как отобразить результат выполнения SQL запроса непосредственно в Операторе. Есть перевод данного подхода. Есть перевод.
Дата публикации: 2010-04-04, Комментариев: 4


Контроль потока данных и статический контроль.
Flow Control and Static Control
Описано, зачем используются E$ таблицы и как собирать ошибки в данных. Показано различие между обработкой неверных данных во время загрузки и перед выполнением актуального переноса данных, что позволяет сделать загрузку более продуктивной.
Дата публикации: 2010-04-04, Комментариев: 0


Параллельное выполнение интерфейсов - новое решение.
Interface Parallel Execution – A new solution
Как организовать загрузку данных в параллельном режиме в одну и ту же таблицу путем модификации модуля знаний и изменения наименования временных $ таблиц. Есть перевод.
Дата публикации: 2010-04-09, Комментариев: 24


Загрузить данные из любого (любых) файлов из заданной папки.
Getting one or several unknown files from a directory
Для загрузки данных из файлов, имена которых не стандартизованы, можно использовать простой трюк, при котором сначала необходимо создать файл со списком имен файлов, а затем прочитать этот список по одной строке и поместить имя файла в переменную. Далее можно, например, использовать переменную вместо имени реальной таблицы в модели.
Дата публикации: 2010-04-12, Комментариев: 4

BI-Quotient

ODI и аутентификация в MS SQL Server.
ODI and Integrated Security/Authentication with Microsoft SQL Server
Описано как настраивать подключение агента ODI к MS SQL Server с включенным режимом IntegratedSecurity.
Дата публикации: 2010-05-04, Комментариев: 0