Использование MS Excel для ETL.

Думаю, все знают программу для работы с электронными таблицами, название которой стоит в заголовке этой записи. А такая программа, даже по названию, очень близка к специфике работы ETL разработчиков, так как тоже работает с таблицами, как и мы.

Итак, как же можно использовать Microsoft Excel для ETL? Я предпочитаю версию 2003, но и с более поздними тоже можно работать.

Русскоязычная страница по Oracle Data Integration.

На сайта oracle.com в подразделе ru появилась страница, посвященная "перенесению данных для преобразования бизнеса". Большинство ссылок ведет на англоязычные ресурсы, но все равно такой прогресс радует.

Три метра колючей проволоки.

Пока я работаю с кардинально другими инструментами, c Oracle Open World поступают не очень веселые новости. Вот что Марк Ритман написал по поводу будущего релиза ODI.

---

Краткий план выхода следующих релизов ODI:
ODI 11.1.1.7 - выходит осенью 2012 года. Основной фокус на обработку и парсинг XML.  
ODI 12c - возможно, выйдет в течение 2013 года. Будет конвергентным выпуском, соединяющим возможности ODI и OWB. Данный релиз позволит переключаться между старым стилем разработки ODI и новым подходом, базирующемся на маппингах.

Дайджест ODI публикаций 2012, Июнь.

ODI 11g - Быстрые файлы.
ODI 11g – Faster Files
Краткое описание нового модуля знаний, появившегося в ODI 11.1.1.5.2. для быстрой интеграции данных через файлы. Данный IKM использует Java для работы с файлами (используются классы java.io) и имеет опции выполнения в многопоточном режиме. В своем тестовом примере автор переместил 1.3Гб данных в два потока за 140 секунд.
Дата публикации: 2012-06-07, Комментариев: 1


Hadoop, огромные XML файлы и ODI.
Hadoop, Humongus XML files and ODI
Подробный рассказ о том, как использовать Hadoop для обработки XML файлов большого размера, а также приведены наброски созданного автором модуля знаний, помогающего автоматизировать этот процесс при загрузке данных через ODI. Сам файл модуля знаний автор так и не предоставил.
Дата публикации: 2012-06-17, Комментариев: 2


ODI 11g Логгирование/Трассировка агента.
ODI 11g Agent Logging / Tracing
Рассказ о настройках уровней логгирования агента в файле ODI-logging-config.XML и о том, как настраивать логгирование для ODI Studio.
Дата публикации: 2012-06-18, Комментариев: 3


ODI 11g - Экспертное создание модели.
ODI 11g – Expert Accelerator for Model Creation
Дэвид Алан добавил к своему ранее опубликованному Groovy скрипту для создания модели в топологии ODI часть, отвечающую за ввод данных от пользователя через диалоговое окно.
Дата публикации: 2012-06-19, Комментариев: 0


ODI 11g - Создание репозитория скриптом.
ODI 11g – Scripting Repository Creation
Приведен скрипт на Groovy для создания мастер и рабочего репозиториев. В комментариях приведена ссылка на статью на сайте OTN с описанием ручного создания репозиториев через ODI Studio. Скрипт хорош также и как пример, на основе которого можно разрабатывать свои собственные деплоймент пакеты.
Дата публикации: 2012-06-20, Комментариев: 1

Погружение в детали эталонной архитектуры Хранилищ Данных от Oracle.

Примечание переводчика.

Статья довольно старая, но я все же решил ее перевести, потому что многие, до сих пор, несколько неверно воспринимают описываемые ниже подходы к построению архитектуры хранилищ данных.
Источник: http://www.rittmanmead.com/2009/07/drilling-down-in-the-oracle-next-generation-reference-dw-architecture/

---

Погружение в детали эталонной архитектуры Хранилищ Данных от Oracle.

Дайджест ODI публикаций 2012, Май.

Oracle Data Integrator 11g Groovy: добавление колонок к таблицам модели.
Oracle Data Integrator 11g Groovy: Add Columns to a Datastore
Описание скрипта на Groovy для добавления колонки ко всем таблицам модели.
Дата публикации: 2012-05-08, Комментариев: 1


Внешняя аутентификация в Microsoft Active Directory для ODI 11g. Часть 3.
External authentication with Microsoft Active Directory in ODI 11g – Part 3
В третьей части рассказа о подключении ODI к Microsoft Active Directory рассматривается вопрос подключения Java EE агентов и консоли к внешнему механизму аутентификации.
Дата публикации: 2012-05-16, Комментариев: 1


ODI 11g Новые возможности.
ODI 11g New Features
Автор приводит ссылку на самый полный вариант официального документа от Oracle по новым возможностям ODI 11 версии. См. также: Практика использования Oracle Data Integrator (ODI): Новые возможности ODI 11g Часть 2.
Дата публикации: 2012-05-28, Комментариев: 0

Очередной этап.

Два года и два дня ведется этот блог.
Две заметки на Хабре уже опубликовано.
Два месяца осталается валидной моя шенгенская виза, и если у вас есть необходимость привлечь на короткое время меня в проект, связанный с ODI, пишите, так как очередной этап моей рабочей жизни тоже закончен.

Скрипт для сравнения двух БД Oracle на Хабре.

5+1.

Как обещал, возвращаюсь к вопросу по новой функциональности ODI версии 11.1.1.6 под названием - отслеживание значений переменных во время выполнения сессии.

Для демонстрации того, как это работает, у меня как раз есть специально не для этого приготовленный пакет. Вот как выглядит его диаграмма:

Яркая вакансия.

На SQL.ru опубликована вакансия для ODI/OBI/DWH разработчиков. Два аспекта яркости присутствуют в этом сообщении: название компании и предполагаемая ЗП.

Подробности и оценочные комментарии по ссылке.

Последний патч.

Приветствую.

Установил последний патч на ODI, под номером ODI 11.1.1.6.3 Bundle Patch Bug: 14037855.

Что в нем интересного?
Размер: 168643048 байтов
Количество исправленных багов: 39

Среднее количество байтов на (одну описаннуе в файле ридми) багу можно посчитать самому, если вы конечно не фанат ООП, для них размеры апдейтов - дело привычное.

Что мне понравилось?
Исправилась бага с отображением в виде списка дочерних сессий в иерархическом дереве.
13538870 - HIERARCHICAL SESSIONS VIEW TODAY DOES NOT DISPLAY SESSIONS IN HIERARCHICAL ORDER