вторник, 31 мая 2011 г.

ChaVo.

Привет.

Добавлена новая страница в блог с переводом часто задаваемых вопросов по Oracle Data Integrator. Находится вот здесь. Пока делал перевод - нашел одну ошибочную ссылку в оригинале, попробовал разобраться, сколько стоит Oracle Data Integrator, почитал ODI форум.

Занятие это было более-менее интересным, результаты, надеюсь, будут также и полезными кому-нибудь из вас.

понедельник, 30 мая 2011 г.

Переполнение главной таблицы SNP_EXP_TXT.

Привет всем.

Как известно, таблица SNP_EXP_TXT содержит текстовые части команд ODI.
В старых версиях, с 10.1.3.2.0 по 10.1.3.5.1 для ключевой колонки I_TXT из этой таблицы выделялось недостаточно места, таким образом, с течением времени могла возникнуть ситуация, когда свободные номера в колонке заканчивались, и она начинала выделять значения с 0, что приводило к ошибке ORA-00001: unique constraint (SDS1.PK_EXP_TXT) violated.

пятница, 27 мая 2011 г.

Обновлена страница патчей.

Привет всем.

Поддержка Оракла справедливо решила собрать весь список обновлений для ODI в один бюллетень. Так что у кого есть доступ на металинк может поискать по его названию, оно следующее - Master Note For Oracle Data Integrator (ODI) And Legacy Sunopsis, Releases and Patches [ID 456313.1].

У кого такого доступа нет - часть описаний патчей доступна как обычно на вот этой странице блога.

Кстати, в вышеупомянутом бюллетне не указано, что вышел ODI 11.1.1.5, видимо, упоминание о нем вскоре будет туда добавлено.

Так же в бюллетне есть упоминание о том, что начиная с версии ODI 10.1.3.6.1 отдельно выходят обновления для адаптеров приложений, то есть, если я правильно понял, для модулей знаний.

Список изменений для модулей знаинй доступен на той же странице патчей для ODI.

четверг, 26 мая 2011 г.

Об ODI уже рассказывают по телевизору!

Привет всем.

Заинтригованы?

На самом деле это некий вебинар, правда, показывают его со специального сайта с интернет телевидением, название которого я расшифровал как ИмяКомпанииТВ.

Так что с названием заметки я не сильно преувеличил.

Так что, кто хочет послушать об инструменте загрузки о согласования данных - вам сюда. Там, правда, вначеле идет минут 5 рекламы, ну так на то оно и телевидение, правда?

понедельник, 23 мая 2011 г.

Вышел ODI 11.1.1.5.0

Привет всем.

Некоторое время назад, а точнее - 9 мая, появилась обновленная версия ODI, которая теперь имеет номер 11gR1 (11.1.1.5.0) и название - ODI с патчами номер 1. Тем, кто ждал первого сервис пака - уже можно начинать работать с ODI без отговорок.

Со странички с описаниями изменений переведу правильно только те описания, которые понимаю, а за оригиналом - по ссылке сюда.

Первый набор исправлений для ODI включает в себя следующие вещи:

Планы загрузки (Load Plans) - новые объекты, представленные в этом релизе, для организации высокоуровневых последовательностей выполнения пакетов и сценариев. Планы загрузки позволяют организовывать параллельное, последовательное или условное выполнение сценариев, перестартовывать упавшие сценарии и обрабатывать исключительные ситуации. Планы загрузки могут быть созданы и модифицированы в ПРОД среде.

Другими словами, появилась возможность писать свои шедулеры более просто. Более того, при правильной организации набора сценариев, сами шедулеры могут делать администраторы ПРОД систем.


Развертка данных для OBIEE (OBIEE Lineage)
Пользователям Oracle Business Intelligence Enterprise Edition необходимо знать из каких данных составлены их отчеты. Если данные из систем источников загружаются с помощью ODI - есть возможность соединять метаданные ODI с OBIEE и пользоваться стандартным дашбордом отчет-источник.

Инициализация-финализация дата сервера (Commands on Connect/Disconnect)
Появилась возможность задавать для дата сервера команды, которые автоматически запускаются после установления или завершения соединения с дата сервером из компонентов ODI или из сессий.

В принципе в 10 версии примерно того же результата можно было добиться путем модификации модуля знаний, добавляя команды инициализации, например, выбор языка, до начала получения данных из источника. Но такой подход срабатывал, конечно, не во всех случаях.


Обработка файлов сложных форматов (Complex File Technology)
Файлы с несколькими типами записей теперь могут быть обработаны с использованием CFT. Эта технология использует новый драйвер для подключения файлов со сложными форматами в виде реляционной структуры к ODI, а затем этот файл может использоваться как источник или приемник данных.

Подробнее о Complex File Technology


Добавление технологии Groovy (Groovy Technology)
Очередной скриптовый язык добавлен в список поддерживаемых в ODI. Может использоваться как в модулях знаний так и в процедурах.

Что такое груви в русской википедии.


Улучшения в веб сервисах (Web Services Enhancements)
  • Поддержка контейнерной аутентификации. Что это?
  • Поддержка асинхронных и обратных вызовов. Сценарий или сессия могут быть запущены через веб сервис в асинхронном режиме без дальнейшего ожидания результатов выполнения. Когда сессия закончит свою работу, можно осуществить обратный вызов по заданному адресу и обработать результат работы сессии. Этот механизм поможет лучше работать с длительно выполняющимися сессиями.
  • Утилита OdiInvokeWebService теперь полностью поддерживает SOAP в исходящих сообщениях, включая полноценные SOAP заголовки и тела сообщения.

Изменения в используемых технологиях (Built-in Technology Additions and Updates)
Следующие механизмы были изменены в ODI.
  • Обновился движок HSQL до версии 2.0. Он используется для обработки данных в памяти (Memory Engine), а также при хранении данных драйверами XML и LDAP
  • Обновился Jython до версии 2.1.
  • Стандартный стэк для обработки web запросов теперь JAX-WS/JRF. Предыдущий - Axis - больше не используется.

Расширенная поддержка джоинов (Support for Technologies with Ordered and Non-Ordered Join Syntax)
Технологии СУБД теперь могут поддерживать оба типа джоинов, как упорядоченные соединения таблиц, так и не упорядоченные. Технология Oracle для ODI теперь может использовать оба варианта одновременно.

У меня в планах есть желание рассказать об одном очень интересном опыте использования Ordered and Non-Ordered джоинов на одном из проектов.


Новый метод именования шагов (New Method for Setting Task Names)
Для задания имени шага во время выполнения предоставляется новый метод setTaskName.

Интересно, называют ли старым методом статическое наименование шагов в Дизайнере.


Общие библиотеки для агентов Web Logic Server (Shared Library for WLS Agent)
Добавился дополнительный шаблон для развертывания наборов библиотек, общих для всех агентов WLS для домена. Этот шаблон должен выполняться до деплоя агентов.

Оптимизация производительности (Performance Optimization)
Некоторые компоненты были модифицированы, чтобы достичь большей производительности как во время разработки, так и во время выполнения.
  • Таблицы для хранения текстовых полей модифицированы для использования типа CLOB.
  • Уменьшено время требующееся при взаимодействиях между агентом и репозиторием.
  • Пересмотрен и оптимизирован механизм загрузки используемый агентами в сценариях загрузки JDBC-JDBC

среда, 18 мая 2011 г.

Несколько ссылок про DBA.

Привет всем.

Пока не получается писать в блог длинно, но еще находится пара минут, чтобы прочитать что-то короткое. Чем и поделюсь.

Помните, теперь обычный DBA вполне нормально администрит? Вот тут продолжение истории, только читать начните с Compression in Action, дальше вверх страницы, а затем уже комментарии, если я правильно разобрался...

И второй момент, небольшой опросник сопоставляющий количество админов и БД.

среда, 11 мая 2011 г.

Разработка нового ETL продукта.

Привет всем.

На днях обнаружил при поиске вот такой кусочек текста:

Ayende Rahien (разработчик Rhino Mocks, NHibernate Profiler, etc.) настолько возненавидел SQL Server Integation Services, что решил написать свой ETL framework, в чем и преуспел - Rhino ETL.


Достаточно редкий случай, наверное, когда отрицательные эмоции пошли на хорошее дело.

Заинтересовался, конечно, обнаружил несколько любопытных заметок от автора блога Андрея Чарнова. Так что рекомендую ознакомиться начав, например, с тэга ETL или Паттерны.

Насчет же выделенной цитаты Ayende Rahien, Oracle Data Integrator именно тем и хорош, что позволяет, при необходимости, сделать достаточно глубокие изменения в логике работы ETL процесса, не испытывая при этом особой ненависти %).

Кстати, сам ODI, еще когда он назывался Sunopsis, вырос, если я правильно понял нашего лектора на семинаре, из заказной разработки для одного французского заказчика. Именно по этой причине префикс временных таблиц модулей знаний загрузки (LKM) имеет вид C$_ (от французского слова charge - загрузка).

среда, 4 мая 2011 г.

Параллельное программирование выборок из БД.

Где-то схожая концепция с загрузкой данных в ХД. Если считать показ страницы фейсбука результатом построения отчета, то сканирование страниц друзей где-то похоже на загрузку данных из зависимых источников в ХД.

Если ничего непонятно - читайте полную статью Александра Москалюка.

воскресенье, 1 мая 2011 г.

2011-05-01.


Oracle Data Integrator (ODI) 11g: Ограничения планов загрузки.
Oracle Data Integrator (ODI) 11g: limitation of load plans
Описаны ограничения планов загрузки, новых объектов, появившихся в ODI 11g. В частности, не очень гибкий механизм задания параллелизма при выполнении сценариев и отсутствие ограничения на количество одновременно запущенных сценариев.
Дата публикации: 2011-05-18, Комментариев: 4