Относительно новое, уже включает версию Oracle Data Integrator 12c. Требует знания ODI, так как при относительно сжатом описании охватывает большинство вариантов увеличения производительности операций, выполняемых данным инструментом.
От производителя.
Показаны сообщения с ярлыком ODI. Показать все сообщения
Показаны сообщения с ярлыком ODI. Показать все сообщения
суббота, 15 августа 2015 г.
пятница, 23 января 2015 г.
ODI - лучшие практики.
Попался на глаза обстоятельный ответ на вопрос о лучших практиках Oracle Data Integrator, который дал Jérôme Françoisse в одной из групп ЛинкедИна.
Возможно, будет кому-то инетересен, поэтому я решил его перевести.
Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.
Предупреждение сказано, теперь ссылки:
Возможно, будет кому-то инетересен, поэтому я решил его перевести.
Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.
Предупреждение сказано, теперь ссылки:
четверг, 18 декабря 2014 г.
Ускоряем экстракт при помощи ORDERBY.
Всем привет.
На хабре небольшая заметка о случаях, при которых передача данных по сети по протоколу SQL*Net значительно ускоряется если запрос, формирующий эти данные, готовит его упорядоченным по каким-то полям. То есть, применяя инструкцию ORDER BY мы вполне можем ускорить получение данных из системы источника, если мы эти данные забираем через сеть.
Для добавления упорядочивания вам конечно нужно будет модифицировать модуль знаний. Я бы список полей перечислял простым текстом в отдельном параметре LKM, и добавлял ORDER BY конструкцию в зависимости от того, не пуст ли этот параметр.
Другие полезные мысли по оптимизации и ускорению Oracle Data Integrator.
На хабре небольшая заметка о случаях, при которых передача данных по сети по протоколу SQL*Net значительно ускоряется если запрос, формирующий эти данные, готовит его упорядоченным по каким-то полям. То есть, применяя инструкцию ORDER BY мы вполне можем ускорить получение данных из системы источника, если мы эти данные забираем через сеть.
Для добавления упорядочивания вам конечно нужно будет модифицировать модуль знаний. Я бы список полей перечислял простым текстом в отдельном параметре LKM, и добавлял ORDER BY конструкцию в зависимости от того, не пуст ли этот параметр.
Другие полезные мысли по оптимизации и ускорению Oracle Data Integrator.
суббота, 6 декабря 2014 г.
Новый центр помощи Oracle.
Новый центр - новые версии. В том смысле, что файлов помощи по старым версиям ODI здесь нет. На стандартной странице с документацией остались файлы только для трех версий - ODI 12cR1 (12.1.3.0.0), ODI 12cR1 (12.1.2.0.0), ODI 11gR1 (11.1.1.7.0).
То же самое относится к дистрибутивам, если у вас остались инсталляторы версий ODI более ранних, чем 11.1.1.7 лучше сберегите их, на всякий случай.
Ну и если вам понадобятся старые файлы помощи - они по прежнему доступны на местной странице документации по Oracle Data Integrator.
То же самое относится к дистрибутивам, если у вас остались инсталляторы версий ODI более ранних, чем 11.1.1.7 лучше сберегите их, на всякий случай.
Ну и если вам понадобятся старые файлы помощи - они по прежнему доступны на местной странице документации по Oracle Data Integrator.
четверг, 30 октября 2014 г.
ODI сертифицирован для работы с Hortonworks Data Platform.
По сообщению блога Hortonworks, их совместная с Oracle работа позволила сертифицировать использование Oracle Data Integrator с Hortonworks Data Platform (HDP) версии 2.1.
Я немного изучаю HDP, используя виртуальную машину, но пока не решаюсь удалить половину жесткого диска своих данных, чтобы развернуть две виртуалки по примерно 30 ГБ каждая, чтобы рассмотреть взаимодействие этих платформ.
Кстати, недавно вышла HDP 2.2.
Я немного изучаю HDP, используя виртуальную машину, но пока не решаюсь удалить половину жесткого диска своих данных, чтобы развернуть две виртуалки по примерно 30 ГБ каждая, чтобы рассмотреть взаимодействие этих платформ.
Кстати, недавно вышла HDP 2.2.
понедельник, 29 сентября 2014 г.
Демистификация тэгов подстановки.
Сегодня в блоге перевод свежей статьи Rodrigo Radtke de Souza под названием ODI Substitution Tags demystified
Использовались рисунки оригинального поста.
Всем привет.
Бьюсь об заклад, что все ODI разработчики путаются, когда работают с тэгами методов подстановки. Каждый раз, когда мне нужно с ними поработать, я должен повторить все мои проверки еще раз, так как я забываю, для чего какой тэг используется (несмотря на мой многолетний опыт работы с ODI). Это стало одной из причин, по которым я решил написать этот пост - я, в будущем, смог бы освежить свою память, прочитав его (где ты, память???). Так же потому что это хорошо - делиться своим опытом с другими, что пошло бы на пользу (я надеюсь на это) если у кого-то возникнут те же проблемы.
Что же такое тэги подстановки, для тех, кто с ними не слишком знаком? Тэги подстановки это те символы, которые вы видите если откроете модуль знаний или процедуру в ODI, точнее вот эти символы - <%>, <@>, <?>, <$>. Вот как на этом рисунке.
Использовались рисунки оригинального поста.
Всем привет.
Бьюсь об заклад, что все ODI разработчики путаются, когда работают с тэгами методов подстановки. Каждый раз, когда мне нужно с ними поработать, я должен повторить все мои проверки еще раз, так как я забываю, для чего какой тэг используется (несмотря на мой многолетний опыт работы с ODI). Это стало одной из причин, по которым я решил написать этот пост - я, в будущем, смог бы освежить свою память, прочитав его (где ты, память???). Так же потому что это хорошо - делиться своим опытом с другими, что пошло бы на пользу (я надеюсь на это) если у кого-то возникнут те же проблемы.
Что же такое тэги подстановки, для тех, кто с ними не слишком знаком? Тэги подстановки это те символы, которые вы видите если откроете модуль знаний или процедуру в ODI, точнее вот эти символы - <%>, <@>, <?>, <$>. Вот как на этом рисунке.
вторник, 11 февраля 2014 г.
Узнать версию ODI и других приложений ПО Fusion Middleware.
Перевод заметки Richard Williams с сайта A-Team под названием Identifying Underlying Middleware BI Software Versions within Fusion Applications. Использованы скриншоты оригинальной заметки.
Иногда администратору может понадобиться узнать версию ПО для какого-либо компонента из набора Fusion Middleware. Например, перед загрузкой и инсталляцией ODI Studio неплохо было бы узнать какая версия ODI используется с текущим набором приложений Fusion.
Узнавать описываемым образом можно не только версии BI компонент, но и большинства других приложений Fusion.
Иногда администратору может понадобиться узнать версию ПО для какого-либо компонента из набора Fusion Middleware. Например, перед загрузкой и инсталляцией ODI Studio неплохо было бы узнать какая версия ODI используется с текущим набором приложений Fusion.
Узнавать описываемым образом можно не только версии BI компонент, но и большинства других приложений Fusion.
понедельник, 27 января 2014 г.
Технология Excel для ODI.
Перевод статьи Excel technology in Oracle Data Integrator. В переводе использованы скриншоты из оригинальной заметки.
Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.
Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.
Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.
Конфигурация ODI.
Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.
Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.
Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.
Конфигурация ODI.
вторник, 3 декабря 2013 г.
ODI видео курсов прибыло.
Andreas Nobbmann создал и записал, а Пакт Паблишинг издал новый видео курс "Основы ODI".
В сети уже даже появился краткий обзор этого видео курса вот здесь.
И это еще не последняя ссылка. Если у вас есть желание получить видео курс по Oracle Data Integrator совершенно бесплатно (а через две недели обозреть его где-то в одноклассниках) - вы можете оставить запрос в группе Линкед Ина.
В сети уже даже появился краткий обзор этого видео курса вот здесь.
И это еще не последняя ссылка. Если у вас есть желание получить видео курс по Oracle Data Integrator совершенно бесплатно (а через две недели обозреть его где-то в одноклассниках) - вы можете оставить запрос в группе Линкед Ина.
суббота, 16 ноября 2013 г.
Какой-ты, комит?
Честно говоря, думал, получится средних размеров заметка.
С кучей скриншотов и разными экспериментами по использованию опции Автокоммит в процедурах ODI. А на самом деле вышло вот что.
В, например, стандартном модуле знаний "IKM SQL Control Append" есть такая последовательность шагов
С кучей скриншотов и разными экспериментами по использованию опции Автокоммит в процедурах ODI. А на самом деле вышло вот что.
В, например, стандартном модуле знаний "IKM SQL Control Append" есть такая последовательность шагов
пятница, 4 октября 2013 г.
Радует.
Oracle Data Integrator потихоньку завоевывает место в компаниях пост-советского пространства, что находит отражение и на таком ресурсе как SQL.ru. Помимо (по большей части) лулзонаполненных комментариев в ветках от казахстанского пользователя Elibay начали появляться действительно полезные ветки форума, на которые я бы хотел обратить ваше внимание:
Решение проблемы неправильного использования типа varchar2 в модулях знаний.
Импортирование-экспортирование мастер и рабочих репозиториев.
Решение проблемы неправильного использования типа varchar2 в модулях знаний.
Импортирование-экспортирование мастер и рабочих репозиториев.
среда, 26 июня 2013 г.
Скидки на обучение по ODI.
По сообщению сайта rb.ru летом на курс Oracle Data Integrator 11g: Integration and Administration компания РДТех дает скидку в 10%. Курс пройдет 9-13 сентября 2013 г. в Москве.
Я об этом курсе писал несколько лет назад, но тогда не было никаких учебников по ODI, которые есть сейчас, так что курсы не единственный вариант обучения, но, скорее всего, самый эффективный для обучения групп сотруников.
Я об этом курсе писал несколько лет назад, но тогда не было никаких учебников по ODI, которые есть сейчас, так что курсы не единственный вариант обучения, но, скорее всего, самый эффективный для обучения групп сотруников.
вторник, 30 апреля 2013 г.
John-Goodwin дайджест.
Вот и дошли у меня руки сделать практически полный дайджест сообщений последнего из запланированных блогов, связанных с Oracle Data Integrator. По плану этот блог был последним, но по времени публикаций он является первопроходцем.
Первое сообщение было опубликовано в сентябре 2008 года, так что когда коллеги ODI Experts и BI-Quotient начинали писать об ODI им уже было на кого равняться.
Блог Джона Гудвина посвящен использованию Oracle Data Integrator в связке с приложениями планирования Oracle EPM, Hyperion, Essbase и прочими.
В каждом сообщении Джон очень подробно описывает то, что он делает, что позволяет людям не слишком знакомым с процессами ETL использовать ODI в своей работе.
Дайджест блога находится здесь. Не всегда у меня получались удачные описания статей блога этого автора, не совсем мне понятна, конечно, специфика приложений для финансового анализа, так что читайте оригинал, если вас что-то заинтересовало.
Мир, Труд, ODI.
Первое сообщение было опубликовано в сентябре 2008 года, так что когда коллеги ODI Experts и BI-Quotient начинали писать об ODI им уже было на кого равняться.
Блог Джона Гудвина посвящен использованию Oracle Data Integrator в связке с приложениями планирования Oracle EPM, Hyperion, Essbase и прочими.
В каждом сообщении Джон очень подробно описывает то, что он делает, что позволяет людям не слишком знакомым с процессами ETL использовать ODI в своей работе.
Дайджест блога находится здесь. Не всегда у меня получались удачные описания статей блога этого автора, не совсем мне понятна, конечно, специфика приложений для финансового анализа, так что читайте оригинал, если вас что-то заинтересовало.
Мир, Труд, ODI.
понедельник, 22 апреля 2013 г.
Дайджест ODI публикаций 2012, Октябрь.
Новости BI, Хранилищ и Интеграции данных с Oracle Open World.
BI, Data Warehousing and Data Integration News from Oracle Openworld 2012
Список ключевых моментов, касающихся мира BI, в изложении Марка Риттмана. Также приведены ссылки на презентации, проведенные на конференции Oracle компанией Rittman Mead.
Дата публикации: 2012-10-03, Комментариев: 1
Лучшие практики организации интерфейсов и таблиц ODI в проекты и модели.
Best practice of organizing interfaces and data stores into projects and models in ODI
Ули описывает как правильно организовать хранение метаданных ODI в деревьях проекта (модели). Есть перевод.
Дата публикации: 2012-10-03, Комментариев: 2
Пара слов о паре агентов ODI.
A tale of two agents
Рассуждения о том, в каких случаях стоит использовать более одного выделенного агента ODI.
Дата публикации: 2012-10-14, Комментариев: 0
Как выбрать данные из любой схемы или даже всей базы данных.
How to query a whole schema or even database?! This tip will save you hours and hours of boring work.
Ули описывает подход по которому создается процедура ODI, выгружаются в текстовые файлы все таблицы, затем проводится текстовый поиск средствами ОС.
Дата публикации: 2012-10-22, Комментариев: 0
Что такое контекст оптимизации ODI.
ODI Snippets: What is the Optimization Context in ODI?
Краткий рассказ о том, что такое оптимизационный контекст ODI.
Дата публикации: 2012-10-30, Комментариев: 2
Баг выгрузки аттрибутов Essbase в ODI 11.1.1.6 + исправление.
ODI 11.1.1.6 – Extracting Essbase attribute members bug + fix
При попытке выгрузить иерархию аттрибутов некоторого измерения Essbase при помощи модуля знаний "LKM Hyperion Essbase METADATA to SQL" возникала ошибка на шаге "Begin Essbase Metadata Extract". Патч 13093442 решает эту проблему.
Дата публикации: 2012-10-31, Комментариев: 2
BI, Data Warehousing and Data Integration News from Oracle Openworld 2012
Список ключевых моментов, касающихся мира BI, в изложении Марка Риттмана. Также приведены ссылки на презентации, проведенные на конференции Oracle компанией Rittman Mead.
Дата публикации: 2012-10-03, Комментариев: 1
Лучшие практики организации интерфейсов и таблиц ODI в проекты и модели.
Best practice of organizing interfaces and data stores into projects and models in ODI
Ули описывает как правильно организовать хранение метаданных ODI в деревьях проекта (модели). Есть перевод.
Дата публикации: 2012-10-03, Комментариев: 2
Пара слов о паре агентов ODI.
A tale of two agents
Рассуждения о том, в каких случаях стоит использовать более одного выделенного агента ODI.
Дата публикации: 2012-10-14, Комментариев: 0
Как выбрать данные из любой схемы или даже всей базы данных.
How to query a whole schema or even database?! This tip will save you hours and hours of boring work.
Ули описывает подход по которому создается процедура ODI, выгружаются в текстовые файлы все таблицы, затем проводится текстовый поиск средствами ОС.
Дата публикации: 2012-10-22, Комментариев: 0
Что такое контекст оптимизации ODI.
ODI Snippets: What is the Optimization Context in ODI?
Краткий рассказ о том, что такое оптимизационный контекст ODI.
Дата публикации: 2012-10-30, Комментариев: 2
Баг выгрузки аттрибутов Essbase в ODI 11.1.1.6 + исправление.
ODI 11.1.1.6 – Extracting Essbase attribute members bug + fix
При попытке выгрузить иерархию аттрибутов некоторого измерения Essbase при помощи модуля знаний "LKM Hyperion Essbase METADATA to SQL" возникала ошибка на шаге "Begin Essbase Metadata Extract". Патч 13093442 решает эту проблему.
Дата публикации: 2012-10-31, Комментариев: 2
вторник, 2 апреля 2013 г.
Вышел ODI 11.1.1.7.
По сообщению блога Data Integration вышел очередной релиз Oracle Data Integrator.
Судя по дате выпуска релиз получился шутошный, особо описывать и нечего:
Судя по дате выпуска релиз получился шутошный, особо описывать и нечего:
- ODI агенты и датасорсы теперь могут развертываться не только в Oracle WebLogic сервере но и в IBM WebSphere Application Server.
- Новые JDBC драйвера с более полной поддержкой XML парсера Oracle.
- Поддержка обычными (standalone) агентами SSL протокола.
- Утилита вызова Oracle Enterprise Data Quality теперь встроена в стандартный набор утилит ODI.
понедельник, 1 апреля 2013 г.
ETL в картинках.
Как известно немногим, ETL придумали в Украине в институте кибернетики имени Глушкова. Как то раз, направлясь в ту же сторону, я, тоже будучи за рулем, смог догнать и сфотографировать (через лобовое стекло) одну из передвижных лабораторий, судя по номеру - ответственную за изучение процессов подготовки агрегирующих таблиц для пользовательских отчетов.
вторник, 5 марта 2013 г.
Организация моделей и проектов в ODI.
Приветствую.
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
суббота, 29 декабря 2012 г.
Архивация ODI логов.
Перевод заметки Gürcan Orhan, не сотрудника Оракл, имеющего звание Oracle ACE Director. В оригинальной заметке есть иллюстрации, я же постарался вытащить скрипты без программы распознавания образов, так что возможны мелкие ошибки в текстах.
Были ли у вас проблемы с большим количеством логов в Операторе ODI? Что бы вы сказали о методе сохранения этих логов так долго и в таком количестве, который вам нужен?
Были ли у вас проблемы с большим количеством логов в Операторе ODI? Что бы вы сказали о методе сохранения этих логов так долго и в таком количестве, который вам нужен?
пятница, 21 декабря 2012 г.
О некоторых особенностях вызова команды реверса модели из пакета.
Воплощая идею доступа к собственному репозиторию выполнения через модуль знаний реверса (RKM) столкнулся со странным поведением пакета, из которого вызывал модель с командой 'Model Reverse'
В модуле реверса я задал несколько опций, имеющих тип CheckBox, используя которые я собирался управлять выполнением одного или нескольких шагов модуля. Тот же механизм, впрочем, работает и для простых процедур.
В модуле реверса я задал несколько опций, имеющих тип CheckBox, используя которые я собирался управлять выполнением одного или нескольких шагов модуля. Тот же механизм, впрочем, работает и для простых процедур.
воскресенье, 16 декабря 2012 г.
Курсы по Oracle Data Integrator.
Коллеги недавно поделились со мной результатами поиска курсов по ODI. Ничего кардинально нового не произошло, все так же доступен курс по версии 11g: Oracle Data Integrator 11g: Integration and Administration (я о нем писал), а также я впервые увидел курс по предыдущей, десятой версии Oracle Data Integrator:Oracle Data Integrator: Administration and Development Ed 3.
Уже третье издание, судя по названию, ну а стоит раза в полтора дороже скорее всего потому, что с каждым годом старый ODI становится только лучше %).
Уже третье издание, судя по названию, ну а стоит раза в полтора дороже скорее всего потому, что с каждым годом старый ODI становится только лучше %).
Подписаться на:
Сообщения (Atom)