пятница, 23 января 2015 г.

ODI - лучшие практики.

Попался на глаза обстоятельный ответ на вопрос о лучших практиках Oracle Data Integrator, который дал Jérôme Françoisse в одной из групп ЛинкедИна.

Возможно, будет кому-то инетересен, поэтому я решил его перевести.



Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.

Предупреждение сказано, теперь ссылки:

среда, 14 января 2015 г.

Календарь для хранилища.

Создание календаря для Хранилища Данных. Или Date dimension. Или измерения времени.

В процессе работы понадобилось найти алгоритмы создания таблицы с перечнем дат, в котором бы присутствовала информация о днях недели, начале и конце месяца и другой календарной информации, используемой при загрузке данных в ХД (в основном в датамарты) и при построении отчетности для конечных пользователей.

Результаты поисков, все что нашлось поиском по интернету и сообщениям наших коллег с SQL.ru (спасибо им) представлены ниже.

Наибольшее количество ссылок применимо для MS SQL Server:

Календарь для хранилища данных на основе MS SQL.

DATE AND TIME DIMENSION TEMPLATE.

MS SQL запрос, формирующий список дат (порадовал наличием украинских и белорусских наименований для дней и сезонов).

SSAS - пример измерения времени.

Вьюха для календаря (с рекурсивным запросом).


Элегантный скрипт для БД PostgreSQL

PostgreSQL: Auto generate a sample Dataset.


Пример для Oracle DB.

Пример создания календаря (time dimension table)

Vertica
Пример создания календаря для Vertica с использованием временных таблиц, которые при перемножении дают нужное количество записей. Метод выглядит наиболее универсальным.

CREATING A CALENDAR TABLE.

Второй пример для Вертики, использующий неизвестный мне ранее механизм TIMESERIES
Vertica - Creating a calendar table


И напоследок Teradata. Эта СУБД имеет стандартный календарь в виде представления SYS_CALENDAR.CALENDAR, хранящее даты с 1 января 1900 по 31 декабря 2100 года. По одной записи на каждый день.

System Calendar - SYS_CALENDAR.CALENDAR

Вот такой вот первый в этом году пост. С Новым Годом!


четверг, 18 декабря 2014 г.

Ускоряем экстракт при помощи ORDERBY.

Всем привет.

На хабре небольшая заметка о случаях, при которых передача данных по сети по протоколу SQL*Net значительно ускоряется если запрос, формирующий эти данные, готовит его упорядоченным по каким-то полям. То есть, применяя инструкцию ORDER BY мы вполне можем ускорить получение данных из системы источника, если мы эти данные забираем через сеть.

Для добавления упорядочивания вам конечно нужно будет модифицировать модуль знаний. Я бы список полей перечислял простым текстом в отдельном параметре LKM, и добавлял ORDER BY конструкцию в зависимости от того, не пуст ли этот параметр.

Другие полезные мысли по оптимизации и ускорению Oracle Data Integrator.

суббота, 6 декабря 2014 г.

Новый центр помощи Oracle.

Новый центр - новые версии. В том смысле, что файлов помощи по старым версиям ODI здесь нет. На стандартной странице с документацией остались файлы только для трех версий - ODI 12cR1 (12.1.3.0.0), ODI 12cR1 (12.1.2.0.0), ODI 11gR1 (11.1.1.7.0).


То же самое относится к дистрибутивам, если у вас остались инсталляторы версий ODI более ранних, чем 11.1.1.7 лучше сберегите их, на всякий случай.

Ну и если вам понадобятся старые файлы помощи - они по прежнему доступны на местной странице документации по Oracle Data Integrator.

понедельник, 17 ноября 2014 г.

Опубликованы структуры репозитория ODI версий 11 и 12.

По сообщению блога a-team компания Oracle опубликовала на сайте support.oracle.com структуры репозиториев для текущих версий ODI - 11.1.1.7, 12.1.2, 12.1.3. Описание находится в документе - Doc ID 1903225.1 в виде приложенных файлов Excel.


Использовать данную информацию рекомендуется строго для чтения. Другие варианты использования также, я думаю, есть, как описанные в этом блоге, так и в виде книги - http://odi-usage.blogspot.com/2013/12/bi-quotient-sonra.html

четверг, 30 октября 2014 г.

ODI сертифицирован для работы с Hortonworks Data Platform.

По сообщению блога Hortonworks, их совместная с Oracle работа позволила сертифицировать использование Oracle Data Integrator с Hortonworks Data Platform (HDP) версии 2.1.

Я немного изучаю HDP, используя виртуальную машину, но пока не решаюсь удалить половину жесткого диска своих данных, чтобы развернуть две виртуалки по примерно 30 ГБ каждая, чтобы рассмотреть взаимодействие этих платформ.

Кстати, недавно вышла HDP 2.2.

понедельник, 6 октября 2014 г.

Бесплатные курсы самообучения ODI 12c.

1 августа 2014 года Oracle выпустил бесплатный обучающий материал по свежей версии ODI 12c и его совместной работе с Oracle Golden Gate.

Описание:
В этом обучающем курсе вы создадите тестовую базу данных с пользователями и таблицами, сконфигурируете менеджера и агентов Oracle Golden Gate (OGG), настроите сервера данных, модели, таблицы, маппинги, агентов и пакеты Oracle Data Integrator и сможете запускать, останавливать и управлять процессом интеграции данных. Эта интеграция включает в себя как OGG реплицирование (захват и доставка изменений), так и ODI реплицирование (управление изменениями в данных через журнализацию). Oracle Golden Gate будет работать практически в режиме реального времени, Oracle Data Integrator будет запускаться по изменению отдельных строк, примерно раз в секунду.

Для прохождения обучения необходимо скачать образ виртуальной машины (примерно 9Gb), иметь установленный Virtual Box и достаточное количество оперативной памяти, или развернуть необходимые приложения и источники данных самостоятельно. Подробнее в разделе Overview указанного курса.

Oracle Learning Library::Oracle Data Integrator and Oracle GoldenGate Integration

И курс номер два.

Укрощение больших данных с помощью ODI.

Данный курс базируется на выпущенной 25 сентября 2014 года виртуальной машине "Big Data Lite 4.0".

Описание:
Данный демонстрационный курс покажет как вы можете передавать и преобразовывать данные используя Oracle Data Integration - вне зависимости от места расположения данных, будь-то Oracle БД, Hadoop, БД других вендоров, приложения, файлы или комбинация всего перечисленного. Парадигма "создал однажды - запускаешь везде" позволяет фокусироваться на логике преобразования и передачи данных.
Данный курс подчеркивает возможности интеграции Oracle Data Integrator и Oracle GoldenGate с Hadoop, Oracle Big Data SQL, Hive, Sqoop, Flume, Pig, HDFS.

Oracle Learning Library::Tame Big Data using Oracle Data Integration

понедельник, 29 сентября 2014 г.

Демистификация тэгов подстановки.

Сегодня в блоге перевод свежей статьи Rodrigo Radtke de Souza под названием ODI Substitution Tags demystified

Использовались рисунки оригинального поста.



Всем привет.

Бьюсь об заклад, что все ODI разработчики путаются, когда работают с тэгами методов подстановки. Каждый раз, когда мне нужно с ними поработать, я должен повторить все мои проверки еще раз, так как я забываю, для чего какой тэг используется (несмотря на мой многолетний опыт работы с ODI). Это стало одной из причин, по которым я решил написать этот пост - я, в будущем, смог бы освежить свою память, прочитав его (где ты, память???). Так же потому что это хорошо - делиться своим опытом с другими, что пошло бы на пользу (я надеюсь на это) если у кого-то возникнут те же проблемы.

Что же такое тэги подстановки, для тех, кто с ними не слишком знаком? Тэги подстановки это те символы, которые вы видите если откроете модуль знаний или процедуру в ODI, точнее вот эти символы - <%>, <@>, <?>, <$>. Вот как на этом рисунке.

понедельник, 22 сентября 2014 г.

Почитать.

Обсуждение на форуме sql.ru, закономерно, на мой взгляд, изменила направление с оригинального названия "BI-система будущего - умный ETL" на
...Что может и не может ODI? :)
.

среда, 10 сентября 2014 г.

Их Х.

В блог не пишу достаточно долгое время, но тут зашел посмотреть статистику и увидел вот это вот на третьем месте.


Ясно, что это накрутки ботов, но аудитория то совсем не целевая, как мне кажется.
Буду волюнтаристки считать, что для большинства моих читателей он не хрест, а другое слово на букву Х.

Слава Украине.