понедельник, 31 января 2011 г.

ODI 11g. Настройка репозиториев (Setting up Repositories).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.

Стандартная схема использования репозиториев Oracle Data Integrator

Обычно, в проектах по построению ХД, вам может понадобиться создать следующие репозитории:

четверг, 27 января 2011 г.

Что такое модель ODI (What is a Model) Часть 2.

Рассмотрим более подробно, какие возможности по настройке и редактированию свойств моделей предоставляет нам клиентское приложение Дизайнер. Первая часть описания моделей ODI находится здесь.

Примеры моделей взяты из инсталляции ODI на SQL сервер, которую я сделал как раз для экспериментов.


Модели.

понедельник, 24 января 2011 г.

ODI 11g. Стратегии загрузки и интеграции данных в СУБД Oracle (Loading and Integration Strategies).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.


Стратегии загрузки данных

При загрузке данных в ХД, построенное на СУБД Oracle, одна из главных задач это загрузка данных наиболее эффективным способом. ODI предоставляет несколько модулей знаний, оптимизированных для разных типов загрузки данных в Oracle, и позволяющих достичь необходимой эффективности. Выбрав подходящие модули знаний для каждого типа загрузки вы существенно улучшите свой процесс интеграции данных в ХД.
Следующая таблица отображает список модулей знаний загрузки, оптимизированных для СУБД Oracle:

четверг, 20 января 2011 г.

Что такое модель ODI (What is a Model).

Приветствую.

Первая часть перевода документации о том, что такое модели данных в Oracle Data Integrator.



понедельник, 17 января 2011 г.

ODI 11g. Разработка дополнительных операций над данными (Developing Additional Components).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.


Не все типичные задачи по загрузке данных в ХД могут быть реализованы с помощью интерфейсов ODI. Обычно, для таких задач разрабатывают дополнительные механизмы, которые занимаются решением следуюшего списка вопросов:

  • Отправка и получение электронной почты.
  • Копирование, перемещение, слияние, переименование файлов в операционной системе.
  • Архивирование и разархивирование файлов.
  • Запуск веб сервисов.
  • Написание и выполнение скриптов командной оболочки для специфических операционных систем.
  • Написание и запуск JAVA программ.
  • И т.п.

четверг, 13 января 2011 г.

GetObjectName и другие способы обращения к таблице.

Приветствую.

При подготовке сообщений в блог начальная идея иногда трансформируется в нечто совершенно другое. Более того, иногда, изучив документацию и примеры - понимаешь, что некоторые вещи, которые раньше делал, делал понимая не до конца, хотя и с правильными результатами.

Я планировал рассказать о двух методах для получения имен таблиц БД в процедурах. Эти методы отличаются от методов, которые используются в модулях знаний, так как модули знаний обычно применяются в интерфейсах, а, значит, можно пользоваться такими понятиями (и связанными с ними методами подстановки), как целевая таблица, или таблицы источники данных.

понедельник, 10 января 2011 г.

ODI 11g. Разработка схемы хранилища данных (Designing and Implementing the Data Warehouse’s Schema).

Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.


Этот раздел мог бы быть отдельной книгой. Цель этого раздела - дать некоторые общие указания и подсказки по тому, как разрабатывать схему ХД с использованием ODI, а вовсе не предоставить полное руководство по хранилищам данных.

Всегда хорошо, при построении ХД, иметь некое место для хранения данных систем источников в их исходном виде. Это место - специальная БД, называемая ODS (Operational Data Store), содержит модели данных, которые очень похожи на модели данных систем источников, она содержит таблицы для хранения любых необходимых данных, и, практически, не содержит правил по качеству этих данных. Наличие ODS позволяет оперировать данными из всех систем источников за день.

вторник, 4 января 2011 г.

Итоги года.

Приветствую в новом году.

Хочу сегодня подвести итоги прошедшего года для этого блога.

Итак, первое и второе сообщения были опубликованы 26 июля 2010 года.
На сегодня опубликовано 80 сообщений, на которые сделано 46 комментариев.

Самые популярные сообщения следующие:

Как работает СУБД глазами программиста. 166 просмотров.
Устанавливаем значения переменных для сценария. 124 просмотра.
Из чего состоит проект ODI. 114 просмотров.
Что такое переменная в Oracle Data Integrator. 93 просмотра.
Диаграмма выполнения пакета в Oracle Data Integrator. 82 просмотра.
Приветствие. 64 просмотра.
Что такое модули знаний ODI. 37 просмотров.
Описание архитектуры Oracle Data Integrator. 35 просмотров.
Как узнать значение переменной ODI во время выполнения. 32 просмотра.
Семинар по ODI. 32 просмотра.

Статистика по страницам блога:

О блоге. 80 просмотров.
Инсталляция. 77 просмотров.
Поиск. 29 просмотров.

Не для каждого сообщения в этом перечне, я могу объяснить себе причины такой статистики.

Аудитория.


На первых местах - братские славянские страны, firefox и windows, что вполне ожидаемо.

Следите за обновлениями блога, как минимум десяток сообщений еще планируются к опубликованию.

Если вам есть что рассказать или спросить об ODI - пишите письма на адрес, указанный на странице О блоге.

суббота, 1 января 2011 г.

2011-01-01.

Много сценариев в первую поставку - проще поддерживать и развертывать в дальнейшем.
Scenarios, a lot in the first delivery makes maintenance very simple!
Как упростить поддержку и дальнейшее развитие ETL проекта путем подготовки и единоразовой передачи в промышленную эксплуатацию всех ключевых сценариев. Или вообще всех сценариев, даже если в данный момент они не готовы.
Дата публикации: 2011-01-10, Комментариев: 6


Jython скрипт не находит подключаемый модуль в ODI 11g.
Jython Scripts fails to recognize the module during scenario run in ODI 11g
При работе Jython кода в виде сценария возможно возникновение ошибки "не найден модуль". При этом подобной проблемы нет при запуске из ODI Studio. В качестве решения предлагается скопировать библиотеке в ту же папку, из которой запускается агент.
Дата публикации: 2011-01-17, Комментариев: 2


ODI 11g - Часть 8/11 - Поддержка партиционирования таблиц.
11g Oracle Data Integrator – Part 8/11g – Table Partitioning supported
Использование партиционирования в интерфейсах ODI. На момент написания статьи не во всех случаях партиции создавались автоматически. Возможно, в новых версиях модулей знаний этот недостаток уже исправлен.
Дата публикации: 2011-01-25, Комментариев: 0