Всем привет.
На хабре небольшая заметка о случаях, при которых передача данных по сети по протоколу SQL*Net значительно ускоряется если запрос, формирующий эти данные, готовит его упорядоченным по каким-то полям. То есть, применяя инструкцию ORDER BY мы вполне можем ускорить получение данных из системы источника, если мы эти данные забираем через сеть.
Для добавления упорядочивания вам конечно нужно будет модифицировать модуль знаний. Я бы список полей перечислял простым текстом в отдельном параметре LKM, и добавлял ORDER BY конструкцию в зависимости от того, не пуст ли этот параметр.
Другие полезные мысли по оптимизации и ускорению Oracle Data Integrator.
четверг, 18 декабря 2014 г.
суббота, 6 декабря 2014 г.
Новый центр помощи Oracle.
Новый центр - новые версии. В том смысле, что файлов помощи по старым версиям ODI здесь нет. На стандартной странице с документацией остались файлы только для трех версий - ODI 12cR1 (12.1.3.0.0), ODI 12cR1 (12.1.2.0.0), ODI 11gR1 (11.1.1.7.0).
То же самое относится к дистрибутивам, если у вас остались инсталляторы версий ODI более ранних, чем 11.1.1.7 лучше сберегите их, на всякий случай.
Ну и если вам понадобятся старые файлы помощи - они по прежнему доступны на местной странице документации по Oracle Data Integrator.
То же самое относится к дистрибутивам, если у вас остались инсталляторы версий ODI более ранних, чем 11.1.1.7 лучше сберегите их, на всякий случай.
Ну и если вам понадобятся старые файлы помощи - они по прежнему доступны на местной странице документации по Oracle Data Integrator.
понедельник, 17 ноября 2014 г.
Опубликованы структуры репозитория ODI версий 11 и 12.
По сообщению блога a-team компания Oracle опубликовала на сайте support.oracle.com структуры репозиториев для текущих версий ODI - 11.1.1.7, 12.1.2, 12.1.3. Описание находится в документе - Doc ID 1903225.1 в виде приложенных файлов Excel.
Использовать данную информацию рекомендуется строго для чтения. Другие варианты использования также, я думаю, есть, как описанные в этом блоге, так и в виде книги - http://odi-usage.blogspot.com/2013/12/bi-quotient-sonra.html
Использовать данную информацию рекомендуется строго для чтения. Другие варианты использования также, я думаю, есть, как описанные в этом блоге, так и в виде книги - http://odi-usage.blogspot.com/2013/12/bi-quotient-sonra.html
четверг, 30 октября 2014 г.
ODI сертифицирован для работы с Hortonworks Data Platform.
По сообщению блога Hortonworks, их совместная с Oracle работа позволила сертифицировать использование Oracle Data Integrator с Hortonworks Data Platform (HDP) версии 2.1.
Я немного изучаю HDP, используя виртуальную машину, но пока не решаюсь удалить половину жесткого диска своих данных, чтобы развернуть две виртуалки по примерно 30 ГБ каждая, чтобы рассмотреть взаимодействие этих платформ.
Кстати, недавно вышла HDP 2.2.
Я немного изучаю HDP, используя виртуальную машину, но пока не решаюсь удалить половину жесткого диска своих данных, чтобы развернуть две виртуалки по примерно 30 ГБ каждая, чтобы рассмотреть взаимодействие этих платформ.
Кстати, недавно вышла HDP 2.2.
понедельник, 6 октября 2014 г.
Бесплатные курсы самообучения ODI 12c.
1 августа 2014 года Oracle выпустил бесплатный обучающий материал по свежей версии ODI 12c и его совместной работе с Oracle Golden Gate.
Описание:
В этом обучающем курсе вы создадите тестовую базу данных с пользователями и таблицами, сконфигурируете менеджера и агентов Oracle Golden Gate (OGG), настроите сервера данных, модели, таблицы, маппинги, агентов и пакеты Oracle Data Integrator и сможете запускать, останавливать и управлять процессом интеграции данных. Эта интеграция включает в себя как OGG реплицирование (захват и доставка изменений), так и ODI реплицирование (управление изменениями в данных через журнализацию). Oracle Golden Gate будет работать практически в режиме реального времени, Oracle Data Integrator будет запускаться по изменению отдельных строк, примерно раз в секунду.
Для прохождения обучения необходимо скачать образ виртуальной машины (примерно 9Gb), иметь установленный Virtual Box и достаточное количество оперативной памяти, или развернуть необходимые приложения и источники данных самостоятельно. Подробнее в разделе Overview указанного курса.
Oracle Learning Library::Oracle Data Integrator and Oracle GoldenGate Integration
И курс номер два.
Укрощение больших данных с помощью ODI.
Данный курс базируется на выпущенной 25 сентября 2014 года виртуальной машине "Big Data Lite 4.0".
Описание:
Данный демонстрационный курс покажет как вы можете передавать и преобразовывать данные используя Oracle Data Integration - вне зависимости от места расположения данных, будь-то Oracle БД, Hadoop, БД других вендоров, приложения, файлы или комбинация всего перечисленного. Парадигма "создал однажды - запускаешь везде" позволяет фокусироваться на логике преобразования и передачи данных.
Данный курс подчеркивает возможности интеграции Oracle Data Integrator и Oracle GoldenGate с Hadoop, Oracle Big Data SQL, Hive, Sqoop, Flume, Pig, HDFS.
Oracle Learning Library::Tame Big Data using Oracle Data Integration
Описание:
В этом обучающем курсе вы создадите тестовую базу данных с пользователями и таблицами, сконфигурируете менеджера и агентов Oracle Golden Gate (OGG), настроите сервера данных, модели, таблицы, маппинги, агентов и пакеты Oracle Data Integrator и сможете запускать, останавливать и управлять процессом интеграции данных. Эта интеграция включает в себя как OGG реплицирование (захват и доставка изменений), так и ODI реплицирование (управление изменениями в данных через журнализацию). Oracle Golden Gate будет работать практически в режиме реального времени, Oracle Data Integrator будет запускаться по изменению отдельных строк, примерно раз в секунду.
Для прохождения обучения необходимо скачать образ виртуальной машины (примерно 9Gb), иметь установленный Virtual Box и достаточное количество оперативной памяти, или развернуть необходимые приложения и источники данных самостоятельно. Подробнее в разделе Overview указанного курса.
Oracle Learning Library::Oracle Data Integrator and Oracle GoldenGate Integration
И курс номер два.
Укрощение больших данных с помощью ODI.
Данный курс базируется на выпущенной 25 сентября 2014 года виртуальной машине "Big Data Lite 4.0".
Описание:
Данный демонстрационный курс покажет как вы можете передавать и преобразовывать данные используя Oracle Data Integration - вне зависимости от места расположения данных, будь-то Oracle БД, Hadoop, БД других вендоров, приложения, файлы или комбинация всего перечисленного. Парадигма "создал однажды - запускаешь везде" позволяет фокусироваться на логике преобразования и передачи данных.
Данный курс подчеркивает возможности интеграции Oracle Data Integrator и Oracle GoldenGate с Hadoop, Oracle Big Data SQL, Hive, Sqoop, Flume, Pig, HDFS.
Oracle Learning Library::Tame Big Data using Oracle Data Integration
понедельник, 29 сентября 2014 г.
Демистификация тэгов подстановки.
Сегодня в блоге перевод свежей статьи Rodrigo Radtke de Souza под названием ODI Substitution Tags demystified
Использовались рисунки оригинального поста.
Всем привет.
Бьюсь об заклад, что все ODI разработчики путаются, когда работают с тэгами методов подстановки. Каждый раз, когда мне нужно с ними поработать, я должен повторить все мои проверки еще раз, так как я забываю, для чего какой тэг используется (несмотря на мой многолетний опыт работы с ODI). Это стало одной из причин, по которым я решил написать этот пост - я, в будущем, смог бы освежить свою память, прочитав его (где ты, память???). Так же потому что это хорошо - делиться своим опытом с другими, что пошло бы на пользу (я надеюсь на это) если у кого-то возникнут те же проблемы.
Что же такое тэги подстановки, для тех, кто с ними не слишком знаком? Тэги подстановки это те символы, которые вы видите если откроете модуль знаний или процедуру в ODI, точнее вот эти символы - <%>, <@>, <?>, <$>. Вот как на этом рисунке.
Использовались рисунки оригинального поста.
Всем привет.
Бьюсь об заклад, что все ODI разработчики путаются, когда работают с тэгами методов подстановки. Каждый раз, когда мне нужно с ними поработать, я должен повторить все мои проверки еще раз, так как я забываю, для чего какой тэг используется (несмотря на мой многолетний опыт работы с ODI). Это стало одной из причин, по которым я решил написать этот пост - я, в будущем, смог бы освежить свою память, прочитав его (где ты, память???). Так же потому что это хорошо - делиться своим опытом с другими, что пошло бы на пользу (я надеюсь на это) если у кого-то возникнут те же проблемы.
Что же такое тэги подстановки, для тех, кто с ними не слишком знаком? Тэги подстановки это те символы, которые вы видите если откроете модуль знаний или процедуру в ODI, точнее вот эти символы - <%>, <@>, <?>, <$>. Вот как на этом рисунке.
понедельник, 22 сентября 2014 г.
Почитать.
Обсуждение на форуме sql.ru, закономерно, на мой взгляд, изменила направление с оригинального названия "BI-система будущего - умный ETL" на
...Что может и не может ODI? :).
среда, 10 сентября 2014 г.
Их Х.
В блог не пишу достаточно долгое время, но тут зашел посмотреть статистику и увидел вот это вот на третьем месте.
Ясно, что это накрутки ботов, но аудитория то совсем не целевая, как мне кажется.
Буду волюнтаристки считать, что для большинства моих читателей он не хрест, а другое слово на букву Х.
Слава Украине.
Ясно, что это накрутки ботов, но аудитория то совсем не целевая, как мне кажется.
Буду волюнтаристки считать, что для большинства моих читателей он не хрест, а другое слово на букву Х.
Слава Украине.
суббота, 12 апреля 2014 г.
Познавательно о NoSQL.
От Андрея Зубинского.
Как всегда, глубоко, интересно и профессионально, что, к сожалению, редкость в наше время.
Статья 1. NoSQL. И никаких "революций"
Статья 2. NoSQL. Column-Oriented
Статья 3. NoSQL СУБД, часть вторая, "KVS"
Следующую статью цикла, судя по периодичности уже опубликованных, ожидать стоит не раньшевесны лета.
P.S. Следить за появлением продолжения можно по этой ссылке - http://ko.com.ua/user/48
Как всегда, глубоко, интересно и профессионально, что, к сожалению, редкость в наше время.
Статья 1. NoSQL. И никаких "революций"
Статья 2. NoSQL. Column-Oriented
Статья 3. NoSQL СУБД, часть вторая, "KVS"
Следующую статью цикла, судя по периодичности уже опубликованных, ожидать стоит не раньше
P.S. Следить за появлением продолжения можно по этой ссылке - http://ko.com.ua/user/48
вторник, 11 февраля 2014 г.
Узнать версию ODI и других приложений ПО Fusion Middleware.
Перевод заметки Richard Williams с сайта A-Team под названием Identifying Underlying Middleware BI Software Versions within Fusion Applications. Использованы скриншоты оригинальной заметки.
Иногда администратору может понадобиться узнать версию ПО для какого-либо компонента из набора Fusion Middleware. Например, перед загрузкой и инсталляцией ODI Studio неплохо было бы узнать какая версия ODI используется с текущим набором приложений Fusion.
Узнавать описываемым образом можно не только версии BI компонент, но и большинства других приложений Fusion.
Иногда администратору может понадобиться узнать версию ПО для какого-либо компонента из набора Fusion Middleware. Например, перед загрузкой и инсталляцией ODI Studio неплохо было бы узнать какая версия ODI используется с текущим набором приложений Fusion.
Узнавать описываемым образом можно не только версии BI компонент, но и большинства других приложений Fusion.
понедельник, 3 февраля 2014 г.
Сравнение IBM Datastage, Informatica и Microsoft SSIS.
Ну и немного затронут ODI - дискуссия на форуме sql.ru.
понедельник, 27 января 2014 г.
Технология Excel для ODI.
Перевод статьи Excel technology in Oracle Data Integrator. В переводе использованы скриншоты из оригинальной заметки.
Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.
Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.
Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.
Конфигурация ODI.
Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.
Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.
Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.
Конфигурация ODI.
вторник, 21 января 2014 г.
Пакет управления для Oracle Data Integrator.
Вольный перевод полурекламной заметки из блога Data Integration. Используются скриншоты оригинальной заметки.
Для того, чтобы получить максимум от владения Oracle Data Integrator-ом, компания Oracle недавно выпустила пакет управления для ODI, подключаемый к Oracle Enterprise Manager Cloud Control. Данный пакет поддерживает как версию 11g (11.1.1.7.0 и выше) так и ODI 12c.
Пакет управления для Oracle Data Integrator-а дает консолидированный взгляд на всю инфраструктуру ODI, дает пользователям возможность мониторить и управлять всеми частями централизованно через Oracle Enterprise Manager Cloud Control.
Мониторинг и управление производительностью.
Для того, чтобы получить максимум от владения Oracle Data Integrator-ом, компания Oracle недавно выпустила пакет управления для ODI, подключаемый к Oracle Enterprise Manager Cloud Control. Данный пакет поддерживает как версию 11g (11.1.1.7.0 и выше) так и ODI 12c.
Пакет управления для Oracle Data Integrator-а дает консолидированный взгляд на всю инфраструктуру ODI, дает пользователям возможность мониторить и управлять всеми частями централизованно через Oracle Enterprise Manager Cloud Control.
Мониторинг и управление производительностью.
вторник, 14 января 2014 г.
ODI 12c, Часть 2.
Перевод второй части заметок Jérôme Françoisse о новшествах Oracle Data Integrator-а облачной версии 12c. Оригинал находится здесь. Использованы скриншоты из оригинальных заметок.
WebLogic Management Framework
Другое большое новшество в этом релизе это то, что инфраструктура управления WebLogic сервера используется для контроля агентов ODI вместо ранее использовавшегося OPMN сервера. Теперь агенты управляются тем же образом, что и остальные компоненты промежуточного ПО Fusion Middleware и для настройки используется специальный мастер - Fusion Middleware Configuration Wizzard.
WebLogic Management Framework
Другое большое новшество в этом релизе это то, что инфраструктура управления WebLogic сервера используется для контроля агентов ODI вместо ранее использовавшегося OPMN сервера. Теперь агенты управляются тем же образом, что и остальные компоненты промежуточного ПО Fusion Middleware и для настройки используется специальный мастер - Fusion Middleware Configuration Wizzard.
ODI 12c. Часть 1.
В новом году захотелось начать с чего-то нового, поэтому сегодня будет перевод первой части заметок Jérôme Françoisse о новшествах Oracle Data Integrator-а облачной версии 12c. Оригинал находится здесь. Использованы скриншоты из оригинальных заметок.
Вот оно! Долгожданный Oracle Data Integrator 12c выпущен! Вы можете найти 12.1.2 версию на странице загрузки ODI и изучить новые возможности здесь, пока идет загрузка. Главная новость, безусловно, в новой потоковой парадигме и возможности загружать множество целевых таблиц в одном интерфейсе. О, погодите-ка, мы теперь не говорим "интерфейсы", теперь это называется "маппинги"! Фантастика, ODI разработчики теперь смогут общаться с разработчики использующими другие ETL инструменты, используя тот же набор терминов. Новая терминология и парадигма потоковости также сближают ODI и Oracle Warehouse Builder. Давайте бросим взгляд на некоторые из новых возможностей.
Новые маппинги.
Вот оно! Долгожданный Oracle Data Integrator 12c выпущен! Вы можете найти 12.1.2 версию на странице загрузки ODI и изучить новые возможности здесь, пока идет загрузка. Главная новость, безусловно, в новой потоковой парадигме и возможности загружать множество целевых таблиц в одном интерфейсе. О, погодите-ка, мы теперь не говорим "интерфейсы", теперь это называется "маппинги"! Фантастика, ODI разработчики теперь смогут общаться с разработчики использующими другие ETL инструменты, используя тот же набор терминов. Новая терминология и парадигма потоковости также сближают ODI и Oracle Warehouse Builder. Давайте бросим взгляд на некоторые из новых возможностей.
Новые маппинги.
Подписаться на:
Сообщения (Atom)