Всего за 172 евро вы получите пожизненный доступ к материалам курса, включающим 37 лекций и 4 часа видеоматериалов.
https://www.udemy.com/learn-data-warehouse-and-odi-11g-step-by-step-guide/
Я, конечно, ратую за самостоятельно-безоплатное изучение, при помощи, в том числе, этого блога.
С наступающими!
Показаны сообщения с ярлыком 11g. Показать все сообщения
Показаны сообщения с ярлыком 11g. Показать все сообщения
вторник, 22 декабря 2015 г.
суббота, 15 августа 2015 г.
ODI руководство по производительности.
Относительно новое, уже включает версию Oracle Data Integrator 12c. Требует знания ODI, так как при относительно сжатом описании охватывает большинство вариантов увеличения производительности операций, выполняемых данным инструментом.
От производителя.
От производителя.
пятница, 23 января 2015 г.
ODI - лучшие практики.
Попался на глаза обстоятельный ответ на вопрос о лучших практиках Oracle Data Integrator, который дал Jérôme Françoisse в одной из групп ЛинкедИна.
Возможно, будет кому-то инетересен, поэтому я решил его перевести.
Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.
Предупреждение сказано, теперь ссылки:
Возможно, будет кому-то инетересен, поэтому я решил его перевести.
Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.
Предупреждение сказано, теперь ссылки:
понедельник, 17 ноября 2014 г.
Опубликованы структуры репозитория ODI версий 11 и 12.
По сообщению блога a-team компания Oracle опубликовала на сайте support.oracle.com структуры репозиториев для текущих версий ODI - 11.1.1.7, 12.1.2, 12.1.3. Описание находится в документе - Doc ID 1903225.1 в виде приложенных файлов Excel.
Использовать данную информацию рекомендуется строго для чтения. Другие варианты использования также, я думаю, есть, как описанные в этом блоге, так и в виде книги - http://odi-usage.blogspot.com/2013/12/bi-quotient-sonra.html
Использовать данную информацию рекомендуется строго для чтения. Другие варианты использования также, я думаю, есть, как описанные в этом блоге, так и в виде книги - http://odi-usage.blogspot.com/2013/12/bi-quotient-sonra.html
вторник, 11 февраля 2014 г.
Узнать версию ODI и других приложений ПО Fusion Middleware.
Перевод заметки Richard Williams с сайта A-Team под названием Identifying Underlying Middleware BI Software Versions within Fusion Applications. Использованы скриншоты оригинальной заметки.
Иногда администратору может понадобиться узнать версию ПО для какого-либо компонента из набора Fusion Middleware. Например, перед загрузкой и инсталляцией ODI Studio неплохо было бы узнать какая версия ODI используется с текущим набором приложений Fusion.
Узнавать описываемым образом можно не только версии BI компонент, но и большинства других приложений Fusion.
Иногда администратору может понадобиться узнать версию ПО для какого-либо компонента из набора Fusion Middleware. Например, перед загрузкой и инсталляцией ODI Studio неплохо было бы узнать какая версия ODI используется с текущим набором приложений Fusion.
Узнавать описываемым образом можно не только версии BI компонент, но и большинства других приложений Fusion.
понедельник, 27 января 2014 г.
Технология Excel для ODI.
Перевод статьи Excel technology in Oracle Data Integrator. В переводе использованы скриншоты из оригинальной заметки.
Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.
Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.
Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.
Конфигурация ODI.
Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.
Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.
Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.
Конфигурация ODI.
вторник, 21 января 2014 г.
Пакет управления для Oracle Data Integrator.
Вольный перевод полурекламной заметки из блога Data Integration. Используются скриншоты оригинальной заметки.
Для того, чтобы получить максимум от владения Oracle Data Integrator-ом, компания Oracle недавно выпустила пакет управления для ODI, подключаемый к Oracle Enterprise Manager Cloud Control. Данный пакет поддерживает как версию 11g (11.1.1.7.0 и выше) так и ODI 12c.
Пакет управления для Oracle Data Integrator-а дает консолидированный взгляд на всю инфраструктуру ODI, дает пользователям возможность мониторить и управлять всеми частями централизованно через Oracle Enterprise Manager Cloud Control.
Мониторинг и управление производительностью.
Для того, чтобы получить максимум от владения Oracle Data Integrator-ом, компания Oracle недавно выпустила пакет управления для ODI, подключаемый к Oracle Enterprise Manager Cloud Control. Данный пакет поддерживает как версию 11g (11.1.1.7.0 и выше) так и ODI 12c.
Пакет управления для Oracle Data Integrator-а дает консолидированный взгляд на всю инфраструктуру ODI, дает пользователям возможность мониторить и управлять всеми частями централизованно через Oracle Enterprise Manager Cloud Control.
Мониторинг и управление производительностью.
суббота, 14 декабря 2013 г.
BI-Quotient становится Sonra и выпускает книгу.
Привет всем.
Обучающие материалы идут волна за волной. Вот и ирландские блоггеры Ули Бетке и Мачик Кокон выпустили свою книгу по глубинам репозитория ODI. Книгу они эту раздают даром, или предлагают купить ее киндл версию через Амазон.
Чтобы получить PDF версию книги необходимо связаться с ее авторами, предварительно разместив ссылку на книгу в одноклассниках (sic!), ВКонтактах, фейсбуках или собственных блогах.
Я думаю, что в наше время, когда времени заниматься изучением инструмента, которым пользуешься, совсем нет - данная книга будет особенно полезной.
Обучающие материалы идут волна за волной. Вот и ирландские блоггеры Ули Бетке и Мачик Кокон выпустили свою книгу по глубинам репозитория ODI. Книгу они эту раздают даром, или предлагают купить ее киндл версию через Амазон.
Чтобы получить PDF версию книги необходимо связаться с ее авторами, предварительно разместив ссылку на книгу в одноклассниках (sic!), ВКонтактах, фейсбуках или собственных блогах.
Я думаю, что в наше время, когда времени заниматься изучением инструмента, которым пользуешься, совсем нет - данная книга будет особенно полезной.
четверг, 21 ноября 2013 г.
1Z1-482.
Коллеги с odiexperts.com опубликовали короткие весте с экзаменационных полей. Касаются они прохождения сертификационого экзамена "1Z1-482 Oracle Data Integrator 11g Certified Implementation Specialist".
Сообщение о существовании этого экзамена появилось уже достаточно давно, но тогда он был в статусе бета-версии, и к сегодняшнему дню ничего не изменилось. Что еще стало понятно после изучения сайта Oracle?
Сам экзамен не дорогой, всего 39 евро. Стоимость рекомендованных курсов к нему, как онлайн, так и очных, вполне может дойти до 10 тысяч евро. Ну и направлен курс в основном на сотрудников компаний, являющихся партнерами Oracle, как указано в предисловии, тех, кто имеет хороший опыт продажи и внедрения решений на базе Oracle Data Integrator 11g.
Содержание экзаменационного курса (оригинал):
Введение в Oracle Data Integrator (ODI).
Описание преимуществ ODI (включая архитектуру ODI - Извлечение, Загрузка и Преобразование (ELT) ) и типичных примеров использования.
Описание компонентов ODI и их использования.
Архитектура.
Описание архитектуры ODI.
Инсталляция и конфигурирование физической и логической архитектур.
Описание компонентов Fusion Middleware - Upgrade Assistant, Repository Creation Utility и компонентов Java Enterprise Edition (JEE), принципа высокой доступности.
ODI Модели и Таблицы.
Создание абстрактной таблицы ODI.
Создание и правильная организация моделей ODI.
Реверс метаданных.
Объяснение констрейнтов ODI.
Настройка аудита.
Установка и настройка валидации данных.
Разработка проекта.
Создание проекта в ODI.
Что такое ODI интерфейс.
Описание концепции маппинга, соединений, фильтров, реализации бизнес-правил, а также понятие области стейджа и места выполнения.
Создание и запуск простого ODI интерфейса.
Создание лукапов.
Создание ODI интерфейса с несколькими источниками.
Создание соединений, фильтров, лукапов.
Настройка потока выполнения интерфейса. Определение места выполнения и области стейджа для интрефейса.
Изменение и разработка модулей знаний.
Описание процессов, во время выполнения.
Слежение за выполнением интерфейсов.
Исправление ошибок времени выполнения в интерфейсах, предотвращение ошибок путем следования рекомендациям лучших практик.
Настройка использования бизнес-правил, переменных, операций со множествами и последовательностями.
Использование партиционирования, временных индексов и временных интерфейсов.
Использование пользовательских функций и методов подстановки.
Управление выполнением.
Использование пакетов ODI для организации потока выполнения.
Использование переменных в пакетах (обновление, передача параметров).
Создание шагов пакета.
Пакеты - выполнение и мониторинг.
Построение комплексного потока выполнения включая разветвления и циклы.
Генерация и перегенерация ODI сценария.
Использование редактора планов загрузки для разработки планов загрузки.
Разработка последовательности иерархических шагов для плана загрузки.
Создание пакетов и планов загрузки.
Обработка исключений в планах загрузки.
Настройка планов загрузки на перезапуск дочерних сессий.
Интеграция OGG и ODI.
Объяснить задачу отслежевания изменений в данных (CDC) в ODI и типы возможных механизмов реализации CDC в ODI.
Развертывание Голден Гейта вместе с ODI.
Проведение журнализации.
Интерпретация и исправление ошибок CDC.
Углубленное использование ODI.
Дать описание ODI SDK.
Дать описание веб-компонентов ODI.
Объяснить роль ODI в работе с Валом Данных (Big Data).
Объяснить роль ODI в интеграции данных для BI.
Качество и профилирование данных (EDQ).
Описать как ODI и EDQ могут взаимно использовать элементы архитектуры (инфраструктура, источники и приемники данных, и т.п.)
Конфигурирование EDQ для работы с таблицами, снепшотами, данными стейджа, выгрузками данных.
Объяснить базовую статистику данных.
Объяснить слежение за изменением данных из одного источника (тренды).
Объяснить результаты профилирования данных и использование Resultbooks и методов Publish.
EDQ групповая обработка.
Объяснить процесс парсинга и интерпретировать его результаты.
Произвести процесс сопоставления, идентификации дупликатов, уметь балансировать производительность и точность определения дупликатов.
Объяснить процесс и статистику верификации адреса
Создать общий процесс, включающий все созданные ранее процессы и вызвать его из ODI.
Сообщение о существовании этого экзамена появилось уже достаточно давно, но тогда он был в статусе бета-версии, и к сегодняшнему дню ничего не изменилось. Что еще стало понятно после изучения сайта Oracle?
Сам экзамен не дорогой, всего 39 евро. Стоимость рекомендованных курсов к нему, как онлайн, так и очных, вполне может дойти до 10 тысяч евро. Ну и направлен курс в основном на сотрудников компаний, являющихся партнерами Oracle, как указано в предисловии, тех, кто имеет хороший опыт продажи и внедрения решений на базе Oracle Data Integrator 11g.
Содержание экзаменационного курса (оригинал):
Введение в Oracle Data Integrator (ODI).
Описание преимуществ ODI (включая архитектуру ODI - Извлечение, Загрузка и Преобразование (ELT) ) и типичных примеров использования.
Описание компонентов ODI и их использования.
Архитектура.
Описание архитектуры ODI.
Инсталляция и конфигурирование физической и логической архитектур.
Описание компонентов Fusion Middleware - Upgrade Assistant, Repository Creation Utility и компонентов Java Enterprise Edition (JEE), принципа высокой доступности.
ODI Модели и Таблицы.
Создание абстрактной таблицы ODI.
Создание и правильная организация моделей ODI.
Реверс метаданных.
Объяснение констрейнтов ODI.
Настройка аудита.
Установка и настройка валидации данных.
Разработка проекта.
Создание проекта в ODI.
Что такое ODI интерфейс.
Описание концепции маппинга, соединений, фильтров, реализации бизнес-правил, а также понятие области стейджа и места выполнения.
Создание и запуск простого ODI интерфейса.
Создание лукапов.
Создание ODI интерфейса с несколькими источниками.
Создание соединений, фильтров, лукапов.
Настройка потока выполнения интерфейса. Определение места выполнения и области стейджа для интрефейса.
Изменение и разработка модулей знаний.
Описание процессов, во время выполнения.
Слежение за выполнением интерфейсов.
Исправление ошибок времени выполнения в интерфейсах, предотвращение ошибок путем следования рекомендациям лучших практик.
Настройка использования бизнес-правил, переменных, операций со множествами и последовательностями.
Использование партиционирования, временных индексов и временных интерфейсов.
Использование пользовательских функций и методов подстановки.
Управление выполнением.
Использование пакетов ODI для организации потока выполнения.
Использование переменных в пакетах (обновление, передача параметров).
Создание шагов пакета.
Пакеты - выполнение и мониторинг.
Построение комплексного потока выполнения включая разветвления и циклы.
Генерация и перегенерация ODI сценария.
Использование редактора планов загрузки для разработки планов загрузки.
Разработка последовательности иерархических шагов для плана загрузки.
Создание пакетов и планов загрузки.
Обработка исключений в планах загрузки.
Настройка планов загрузки на перезапуск дочерних сессий.
Интеграция OGG и ODI.
Объяснить задачу отслежевания изменений в данных (CDC) в ODI и типы возможных механизмов реализации CDC в ODI.
Развертывание Голден Гейта вместе с ODI.
Проведение журнализации.
Интерпретация и исправление ошибок CDC.
Углубленное использование ODI.
Дать описание ODI SDK.
Дать описание веб-компонентов ODI.
Объяснить роль ODI в работе с Валом Данных (Big Data).
Объяснить роль ODI в интеграции данных для BI.
Качество и профилирование данных (EDQ).
Описать как ODI и EDQ могут взаимно использовать элементы архитектуры (инфраструктура, источники и приемники данных, и т.п.)
Конфигурирование EDQ для работы с таблицами, снепшотами, данными стейджа, выгрузками данных.
Объяснить базовую статистику данных.
Объяснить слежение за изменением данных из одного источника (тренды).
Объяснить результаты профилирования данных и использование Resultbooks и методов Publish.
EDQ групповая обработка.
Объяснить процесс парсинга и интерпретировать его результаты.
Произвести процесс сопоставления, идентификации дупликатов, уметь балансировать производительность и точность определения дупликатов.
Объяснить процесс и статистику верификации адреса
Создать общий процесс, включающий все созданные ранее процессы и вызвать его из ODI.
суббота, 16 ноября 2013 г.
Какой-ты, комит?
Честно говоря, думал, получится средних размеров заметка.
С кучей скриншотов и разными экспериментами по использованию опции Автокоммит в процедурах ODI. А на самом деле вышло вот что.
В, например, стандартном модуле знаний "IKM SQL Control Append" есть такая последовательность шагов
С кучей скриншотов и разными экспериментами по использованию опции Автокоммит в процедурах ODI. А на самом деле вышло вот что.
В, например, стандартном модуле знаний "IKM SQL Control Append" есть такая последовательность шагов
воскресенье, 11 августа 2013 г.
понедельник, 8 июля 2013 г.
Выбрать все джоины и фильтры для интерфейса 11g.
Приветствую.
Когда-то давно я написал скрипт, который должен был помочь найти в репозитории Oracle Data Intergator-а все тексты для соединений таблиц источников в интерфейсе. Этот скрипт мне пригодился не раз, но всегда речь шла о работе со структурой репозитория 10й версии. В ODI 11g структура несколько изменилась, в частности, добавилась возмножность работы с множествами, поэтому мой старый скрипт никаких результатов не возвращал.
Скажу даже больше, новая структура репозитория совсем не содержит информации в двух самых примечательных (ранее) таблицах: SNP_TXT и SNP_EXP_TXT. Они теперь пусты, по крайней мере, на моем текущем проекте в них нет ни одной записи.
Когда-то давно я написал скрипт, который должен был помочь найти в репозитории Oracle Data Intergator-а все тексты для соединений таблиц источников в интерфейсе. Этот скрипт мне пригодился не раз, но всегда речь шла о работе со структурой репозитория 10й версии. В ODI 11g структура несколько изменилась, в частности, добавилась возмножность работы с множествами, поэтому мой старый скрипт никаких результатов не возвращал.
Скажу даже больше, новая структура репозитория совсем не содержит информации в двух самых примечательных (ранее) таблицах: SNP_TXT и SNP_EXP_TXT. Они теперь пусты, по крайней мере, на моем текущем проекте в них нет ни одной записи.
среда, 26 июня 2013 г.
Скидки на обучение по ODI.
По сообщению сайта rb.ru летом на курс Oracle Data Integrator 11g: Integration and Administration компания РДТех дает скидку в 10%. Курс пройдет 9-13 сентября 2013 г. в Москве.
Я об этом курсе писал несколько лет назад, но тогда не было никаких учебников по ODI, которые есть сейчас, так что курсы не единственный вариант обучения, но, скорее всего, самый эффективный для обучения групп сотруников.
Я об этом курсе писал несколько лет назад, но тогда не было никаких учебников по ODI, которые есть сейчас, так что курсы не единственный вариант обучения, но, скорее всего, самый эффективный для обучения групп сотруников.
четверг, 13 июня 2013 г.
Самый смак. Готовим ODI правильно.
Несмотря на недостаток времени, пропустить такую новость я не мог. Итак, по сообщению блога Data Integration вышла очередная книга об Oracle Data Integrator-е, под названием Oracle Data Integrator 11g Cookbook.
Вот как ее описывает издатель, PACKT PUBLISHING:
Ясные, пошаговые рецепты по использованию самых продвинутых возможностей Oracle Data Integrator.
Охватывает все аспекты от администрирования до разработки и внедрения, включая, также, дополнительные возможности кодирования с использованием Oracle Data Integrator SDK.
Многочисленные примеры кода, снимки экрана, диаграммы и рекомендации по лучшим примерам использования.
Вот как ее описывает издатель, PACKT PUBLISHING:
Обзор
Ясные, пошаговые рецепты по использованию самых продвинутых возможностей Oracle Data Integrator.
Охватывает все аспекты от администрирования до разработки и внедрения, включая, также, дополнительные возможности кодирования с использованием Oracle Data Integrator SDK.
Многочисленные примеры кода, снимки экрана, диаграммы и рекомендации по лучшим примерам использования.
Содержание
Предисловие.воскресенье, 16 декабря 2012 г.
Курсы по Oracle Data Integrator.
Коллеги недавно поделились со мной результатами поиска курсов по ODI. Ничего кардинально нового не произошло, все так же доступен курс по версии 11g: Oracle Data Integrator 11g: Integration and Administration (я о нем писал), а также я впервые увидел курс по предыдущей, десятой версии Oracle Data Integrator:Oracle Data Integrator: Administration and Development Ed 3.
Уже третье издание, судя по названию, ну а стоит раза в полтора дороже скорее всего потому, что с каждым годом старый ODI становится только лучше %).
Уже третье издание, судя по названию, ну а стоит раза в полтора дороже скорее всего потому, что с каждым годом старый ODI становится только лучше %).
суббота, 21 июля 2012 г.
5+1.
Как обещал, возвращаюсь к вопросу по новой функциональности ODI версии 11.1.1.6 под названием - отслеживание значений переменных во время выполнения сессии.
Для демонстрации того, как это работает, у меня как раз есть специально не для этого приготовленный пакет. Вот как выглядит его диаграмма:
Для демонстрации того, как это работает, у меня как раз есть специально не для этого приготовленный пакет. Вот как выглядит его диаграмма:
пятница, 13 июля 2012 г.
Последний патч.
Приветствую.
Установил последний патч на ODI, под номером ODI 11.1.1.6.3 Bundle Patch Bug: 14037855.
Что в нем интересного?
Размер: 168643048 байтов
Количество исправленных багов: 39
Среднее количество байтов на (одну описаннуе в файле ридми) багу можно посчитать самому, если вы конечно не фанат ООП, для них размеры апдейтов - дело привычное.
Что мне понравилось?
Исправилась бага с отображением в виде списка дочерних сессий в иерархическом дереве.
13538870 - HIERARCHICAL SESSIONS VIEW TODAY DOES NOT DISPLAY SESSIONS IN HIERARCHICAL ORDER
Установил последний патч на ODI, под номером ODI 11.1.1.6.3 Bundle Patch Bug: 14037855.
Что в нем интересного?
Размер: 168643048 байтов
Количество исправленных багов: 39
Среднее количество байтов на (одну описаннуе в файле ридми) багу можно посчитать самому, если вы конечно не фанат ООП, для них размеры апдейтов - дело привычное.
Что мне понравилось?
Исправилась бага с отображением в виде списка дочерних сессий в иерархическом дереве.
13538870 - HIERARCHICAL SESSIONS VIEW TODAY DOES NOT DISPLAY SESSIONS IN HIERARCHICAL ORDER
среда, 13 июня 2012 г.
Getting tired with Oracle Data Integrator 11g - bugs and errors tutorial.
Недавно по некоторым блогам и группам ЛинкедИна прошла информация о том, что книга по ODI 11g вышла в мае 2012 года.
Вот ссылка на новость в блоге - "Ищите чего-нибудь почитать на тему интеграции?"
Теперь наличие столь большого количества ошибок в ODI последней версии обретает какое-то, пусть эмпирическое, объяснение, а именно - люди, отвечающее за ODI, вместо поиска и исправления ошибок писали книгу.
Вот ссылка на новость в блоге - "Ищите чего-нибудь почитать на тему интеграции?"
Теперь наличие столь большого количества ошибок в ODI последней версии обретает какое-то, пусть эмпирическое, объяснение, а именно - люди, отвечающее за ODI, вместо поиска и исправления ошибок писали книгу.
вторник, 22 мая 2012 г.
Так, все-таки, сколько?
По рабочей необходимости пришлось уточнять, сколько стоит Oracle Data Integrator. По моим предыдущим попыткам, получалось, что стоит очень дорого. А когда мы эту стоимость умножили на количество процессоров на продуктивном сервере, получилось еще в 32 раза дороже. Вру, в 64 раза.
Но, как оказалось, я с самого начала взял неправильный курс. На самом деле ODI стоит раза в три дешевле, так что та заметка была не просто шуткой на первое апреля, по крайней мере в моем случае.
Но, как оказалось, я с самого начала взял неправильный курс. На самом деле ODI стоит раза в три дешевле, так что та заметка была не просто шуткой на первое апреля, по крайней мере в моем случае.
суббота, 28 апреля 2012 г.
Что такое модули знаний реверса (RKM) и зачем они нужны?
Прямой ответ, который дает на этот вопрос документация, достаточно прост. Модули знаний реверса нужны в том случае, если возможностей по реверсу моделей (т.е. по получению характеристик и составных элементов для таблиц модели) у драйвера недостаточно.
Другими словами, то, что JDBC драйвер получить не может, модуль знаний реверса получить сможет. Должен смочь.
Рассмотрим, как же работает модуль знаний реверса. Для этого я создам копию одной из существующих моделей, и включу у нее режим использования модуля знаний реверса и последовательно, в картинках, расскажу, что происходит.
Другими словами, то, что JDBC драйвер получить не может, модуль знаний реверса получить сможет. Должен смочь.
Рассмотрим, как же работает модуль знаний реверса. Для этого я создам копию одной из существующих моделей, и включу у нее режим использования модуля знаний реверса и последовательно, в картинках, расскажу, что происходит.
Подписаться на:
Сообщения (Atom)