Как известно, в ETL процедурах ODI можно использовать переменные. Переменные эти различаются не только по типу возвращаемого результата, но и по тому, каким образом переменная (точнее, ее значение) взаимодействует с процессом ETL преобразований. По этому поводу я планирую написать отдельный пост, а пока хочу просто отметить, что переменные всех типов в ODI хранятся в коде ETL преобразования в виде строковой ссылки вида #Project.Variable.
Если нам необходимо узнать значение переменной, мы можем найти тот Select который обновляет значение переменной, выполнить его, и узнать значение. Или найти переменную в Дизайнере и посмотреть ее значение по умолчанию. Намного удобнее было бы получать значение переменной прямо из приложения Оператор.
Итак, перед вами два возможных подхода к получению значения переменной в логе выполнения ETL преобразования.
четверг, 26 августа 2010 г.
суббота, 21 августа 2010 г.
Оператор ODI: советы по работе, часть 2.
Продолжая систематизировать приемы работы в приложении Оператор приготовил следующие примеры:
Удаление нескольких логов
Для удаления нескольких логов выполнения необходимо их выделить. Выделение производится по тому же принципу, что и в проводнике Windows. Т.е. с зажатой клавишей Ctrl выделяем / снимаем выделение с отдельных логов, с помощью клавиши Shift выделяем последовательность из нескольких логов.
Удаление нескольких логов
Для удаления нескольких логов выполнения необходимо их выделить. Выделение производится по тому же принципу, что и в проводнике Windows. Т.е. с зажатой клавишей Ctrl выделяем / снимаем выделение с отдельных логов, с помощью клавиши Shift выделяем последовательность из нескольких логов.
вторник, 10 августа 2010 г.
Оператор ODI: советы по работе, часть 1.
Небольшой перечень советов и подсказок при работе с приложением Оператор сервера приложений Oracle Data Integrator.
Приложение Оператор используется, в основном, для просмотра логов выполнения сценариев. Есть возможность просматривать как иерархическое выполнение сценариев, где отображается и главный сценарий и его дочерние сессии. так и просто весь список выполнявшихся сценариев, вне зависимости от иерархий.
Приложение Оператор используется, в основном, для просмотра логов выполнения сценариев. Есть возможность просматривать как иерархическое выполнение сценариев, где отображается и главный сценарий и его дочерние сессии. так и просто весь список выполнявшихся сценариев, вне зависимости от иерархий.
четверг, 5 августа 2010 г.
Получение текста ошибки при неправильном выполнении любого объекта ODI внутри пакета
Сегодня хочу опубликовать перевод вот этой статьи, авторства Kshitiz Devendra и Cezar Santos, которая освещает вопрос получения текстов ошибок при выполнении сценариев.
-= Начало перевода =-
Когда мы имеем несколько интерфейсов, переменных и других объектов в дочернем сценарии, и когда, при этом, дочерний сценарий завершается с ошибкой, в главном сценарии нам возвращается ошибка: "Сценарий не завершился должным образом". Чтобы узнать, что произошло, нам необходимо смотреть в Оператор.
-= Начало перевода =-
Когда мы имеем несколько интерфейсов, переменных и других объектов в дочернем сценарии, и когда, при этом, дочерний сценарий завершается с ошибкой, в главном сценарии нам возвращается ошибка: "Сценарий не завершился должным образом". Чтобы узнать, что произошло, нам необходимо смотреть в Оператор.
вторник, 3 августа 2010 г.
odiRef.getSession() Недокументированные параметры.
Для большей гибкости сценария мониторинга, удаление логов которого было описано в одном из предыдущих сообщений, захотел узнать, возможно ли с помощью функции ODI getSession получить наименование сценария.
В документации описаны только следующие возможные значения параметра этой функции:
Попробовал передать в функцию значение "SCEN_NAME" - получилось!
В документации описаны только следующие возможные значения параметра этой функции:
Попробовал передать в функцию значение "SCEN_NAME" - получилось!
воскресенье, 1 августа 2010 г.
2010-08-01.
Перегенерация сценарив через OdiGenerateAllScen.
Regenerate ODI Objects using OdiGenerateAllScen
Использование команды ODI OdiGenerateAllScen для быстрой перегенерации сценариев в пакетном режиме.
Дата публикации: 2010-08-03, Комментариев: 7
ODI 11g - Часть 2/11 - Создание репозиториев.
11g Oracle Data Integrator – Part 2/11g – Creating Repositories
Описание создания мастер и рабочего репозитория для ODI 11g. В комментариях замечают, что данный подход, в отличие от использования RCU утилиты, позволяет создавать местер репозиторий и рабочий репозиторий в разных схемах.
Дата публикации: 2010-08-05, Комментариев: 5
Историческая таблица тип 2.
SCD Type 2
Как правильно использовать модуль знаний IKM Oracle Slowly Changing Dimension для построения исторической таблицы (SCD Type 2).
Дата публикации: 2010-08-10, Комментариев: 11
Внутренний ID.
Internal ID
Что такое внутренний идентификатор объекта в репозитории ODI, как избежать ошибок при операциях экспорта-импорта, связанных с одинаковыми идентификаторами или хотя бы понимать суть этих ошибок. Как внутренний идентификатор связан с идентификатором репозитория.
Дата публикации: 2010-08-17, Комментариев: 0
Проблема сверхбольшой таблицы SNP_EXP_TXT.
SNP_EXP_TXT – A “huge” table problem
Проблема переполнения таблицы SNP_EXP_TXT. Есть перевод.
Дата публикации: 2010-08-19, Комментариев: 10
Вызов OdiSqlUnload без указания пароля.
Calling OdiSqlUnload using ODI Procedure with no hardcoded password
Как использовать утилиту выгрузки данных OdiSqlUnload без явного указания пароля. Смотри также.
Дата публикации: 2010-08-25, Комментариев: 15
Функция IS_NUMBER (и IS_CHAR) в Oracle.
IS_NUMBER (and IS_CHAR) at Oracle? A workaround…
-
Дата публикации: 2010-08-26, Комментариев: 4
Типы данных - создаем недостающее для любой технологии.
Datatypes – Creating what is missing for any technology
Как добавить недостающие типы данных в технологии, присутствующие в ODI.
Дата публикации: 2010-08-28, Комментариев: 0
ODI 11g - Часть 3/11 - Графический интерфейс пользователя.
11g Oracle Data Integrator – Part 3/11g – Graphical User Interface
Описание некоторых особенностей нового интерфейса ODI 11g. Больше всего уделено внимания новым возможностям при редактировании интерфейсов, в частности, показано как разделить вкладку интерфейса на две части, и одновременно использовать их для просмотра и редактирования. В комментариях предлагают одновременно держать на экране вкладку быстрого просмотра и вкладку маппинга.
Дата публикации: 2010-08-31, Комментариев: 3
пятница, 30 июля 2010 г.
Типы репозиториев ODI.
Попытался сделать перевод статьи на тему типов репозиториев ODI, но, под конец работы, понял, что получается слишком коряво.
Поэтому решил написать свое, хоть и по мотивам.
Итак, с точки зрения ODI есть два разных типа рабочих репозиториев. Называются они репозиториями разработки и выполнения. В чем разница между ними, и что такое вообще репозиторий ODI?
Поэтому решил написать свое, хоть и по мотивам.
Итак, с точки зрения ODI есть два разных типа рабочих репозиториев. Называются они репозиториями разработки и выполнения. В чем разница между ними, и что такое вообще репозиторий ODI?
вторник, 27 июля 2010 г.
Скрытые переменные сценария.
Как известно, при генерации сценария можно выбрать, какие переменные отображать при запуске сценария в окне ввода параметров:
Это удобно, так как можно выбрать только те переменные, значения которых не обновляются в процессе выполнения пакета, и устанавливать которые при запуске сценария имеет смысл.
В Oracle Data Integrator версии 10.1.3.4 - 10.1.3.5 есть одна хитрость, которую я буду считать недокументированной ошибкой. Если запустить сценарий, выбрав контекст, агента и уровень логирования, а затем, на следующем диалоговом окне, именно там, где необходимо ввести значения переменных, выбрать отмену запуска, то при следующем запуске того же сценария можно будет увидеть все переменные, которые используются в этом сценарии. И не только увидеть, но и установить им некие значения!
Вернуть список переменных, указываемых при запуске сценария к первоначальному варианту можно только после перегенерации сценария.
См. также другие записи с ярлыком Переменные.
Это удобно, так как можно выбрать только те переменные, значения которых не обновляются в процессе выполнения пакета, и устанавливать которые при запуске сценария имеет смысл.
В Oracle Data Integrator версии 10.1.3.4 - 10.1.3.5 есть одна хитрость, которую я буду считать недокументированной ошибкой. Если запустить сценарий, выбрав контекст, агента и уровень логирования, а затем, на следующем диалоговом окне, именно там, где необходимо ввести значения переменных, выбрать отмену запуска, то при следующем запуске того же сценария можно будет увидеть все переменные, которые используются в этом сценарии. И не только увидеть, но и установить им некие значения!
Вернуть список переменных, указываемых при запуске сценария к первоначальному варианту можно только после перегенерации сценария.
См. также другие записи с ярлыком Переменные.
понедельник, 26 июля 2010 г.
Удаление логов выполнения сценариев в ODI.
Как известно, при выполнении сценария в ODI, процесс этого выполнения можно просматривать в отдельном приложении, под названием Operator. (В новой версии Oracle Data Integrator отдельного приложения, по слухам, не будет.) Но не все логи выполнения одинаково полезны. Чтобы уменьшить количество просматриваемых логов выполнения, можно ненужные логи удалить. Для этого ODI имеет специальный компонент, который называется OdiPurgeLog.
Приветствие
Всем привет।
Данный блог предназначен для публикации приёмов и методов работы с сервером приложений Oracle Data Integrator (ODI), в частности, при его использовании для построения Хранилищ Данных (Data Warehouse).
Данный блог предназначен для публикации приёмов и методов работы с сервером приложений Oracle Data Integrator (ODI), в частности, при его использовании для построения Хранилищ Данных (Data Warehouse).
четверг, 1 июля 2010 г.
2010-07-01.
ODI 11g - Часть 1/11 - Первый экран.
11g Oracle Data Integrator – Part 1/11g – First Screen
Вышел ODI 11.
Дата публикации: 2010-07-22, Комментариев: 8
Лучшие практики использования ODI.
Best practice of ODI
9 крайне полезных советов о ньюансах при разработке ETL процессов и организации работы с ODI.
Дата публикации: 2010-07-30, Комментариев: 0
Анализируем лог ошибок.
Error Records Log
Пример скрипта для чтения данных из таблицы SNP_CHECK_TAB, содержащей регистрацию ошибок во время работы ETL процедур. Это такие ошибки как неправильность первичных ключей, неправильность внешних ключей, ограничения на NULL в колонке и т.п. Данные из таблицы записываются в файл, который после может быть отправлен по почте для дальнейшего анализа.
Дата публикации: 2010-07-30, Комментариев: 4
Получить информацию о любом проблемном шаге выполнения в пакете ODI.
Get the Error Message of any Failed ODI objects inside Package
Приведен SQL код для получения информации об ошибочно завершенных шагах пакета в переменную и вывода затем значения этой переменной в файл. Код делает выборку данных прямо из репозитория и расшифровывает закодированные типы шагов в текстовый вид. Затем полученный лог может использоваться для анализа ошибок выполнения сценария. Есть перевод.
Дата публикации: 2010-07-30, Комментариев: 3
Историческая таблица тип 3.
SCD Type 3
Преобразование модуля знаний IKM Oracle Incremental Update для построение исторических таблиц третьего типа (SCD Type 3).
Дата публикации: 2010-07-30, Комментариев: 2
Генерация названия колонок для OdiSqlUnload.
Generate Column_name Header for OdiSqlUnload
Описано, как с помощью выборки из системных таблиц получить названия для колонок при выгрузке любых таблиц из БД с помощью утилиты OdiSqlUnload.
Дата публикации: 2010-07-31, Комментариев: 5
Oracle Data Integrator: ODIInvokeWebService и Java 6.
Oracle Data Integrator: ODIInvokeWebService and Java 6
Ошибка при совместном использовании встроенного клиента SOAP из ODI и JDK 6. Рекомендуется установить предыдущую версию Java.
Дата публикации: 2010-07-16, Комментариев: 1
Веб-сервис ODI (OdiInvokeWebService) и OBIEE веб-сервис API.
Oracle Data Integrator (ODI) web services (SOAP client via ODIInvokewebservice) and the OBIEE web services API.
Как подключиться через OdiInvokeWebService к Oracle Business Intelligence API и получить через веб-сервис, например, список и иерархию групп и пользователей, перечень разрешений и т.п.
Дата публикации: 2010-07-31, Комментариев: 0
11g Oracle Data Integrator – Part 1/11g – First Screen
Вышел ODI 11.
Дата публикации: 2010-07-22, Комментариев: 8
Лучшие практики использования ODI.
Best practice of ODI
9 крайне полезных советов о ньюансах при разработке ETL процессов и организации работы с ODI.
Дата публикации: 2010-07-30, Комментариев: 0
Анализируем лог ошибок.
Error Records Log
Пример скрипта для чтения данных из таблицы SNP_CHECK_TAB, содержащей регистрацию ошибок во время работы ETL процедур. Это такие ошибки как неправильность первичных ключей, неправильность внешних ключей, ограничения на NULL в колонке и т.п. Данные из таблицы записываются в файл, который после может быть отправлен по почте для дальнейшего анализа.
Дата публикации: 2010-07-30, Комментариев: 4
Получить информацию о любом проблемном шаге выполнения в пакете ODI.
Get the Error Message of any Failed ODI objects inside Package
Приведен SQL код для получения информации об ошибочно завершенных шагах пакета в переменную и вывода затем значения этой переменной в файл. Код делает выборку данных прямо из репозитория и расшифровывает закодированные типы шагов в текстовый вид. Затем полученный лог может использоваться для анализа ошибок выполнения сценария. Есть перевод.
Дата публикации: 2010-07-30, Комментариев: 3
Историческая таблица тип 3.
SCD Type 3
Преобразование модуля знаний IKM Oracle Incremental Update для построение исторических таблиц третьего типа (SCD Type 3).
Дата публикации: 2010-07-30, Комментариев: 2
Генерация названия колонок для OdiSqlUnload.
Generate Column_name Header for OdiSqlUnload
Описано, как с помощью выборки из системных таблиц получить названия для колонок при выгрузке любых таблиц из БД с помощью утилиты OdiSqlUnload.
Дата публикации: 2010-07-31, Комментариев: 5
Oracle Data Integrator: ODIInvokeWebService и Java 6.
Oracle Data Integrator: ODIInvokeWebService and Java 6
Ошибка при совместном использовании встроенного клиента SOAP из ODI и JDK 6. Рекомендуется установить предыдущую версию Java.
Дата публикации: 2010-07-16, Комментариев: 1
Веб-сервис ODI (OdiInvokeWebService) и OBIEE веб-сервис API.
Oracle Data Integrator (ODI) web services (SOAP client via ODIInvokewebservice) and the OBIEE web services API.
Как подключиться через OdiInvokeWebService к Oracle Business Intelligence API и получить через веб-сервис, например, список и иерархию групп и пользователей, перечень разрешений и т.п.
Дата публикации: 2010-07-31, Комментариев: 0
Подписаться на:
Сообщения (Atom)