Какой-ты, комит?

Честно говоря, думал, получится средних размеров заметка.

С кучей скриншотов и разными экспериментами по использованию опции Автокоммит в процедурах ODI. А на самом деле вышло вот что.

В, например, стандартном модуле знаний "IKM SQL Control Append" есть такая последовательность шагов

10 принципов производительного ETL от Ральфа Кимбала.

Приветствую.

Перевод статьи "Increasing ETL Throughput" от Ezequiel Gallardo.

---

Ключевые концепции, которые
должен знать разработчик перед тем,
как создавать "ETL процесс"

  От ETL команды ожидают создания максимально производительного набора ETL процессов. Мы рекомендуем эти 10 правил, которые применимы как для самописных решений так и при использовании некоторых ETL инструментов, для поднятия производительности на максимальный уровень.
Ральф Кимбал.

10. Уменьшайте операции ввода - вывода.

Минимизируйте использование стейджевых таблиц. Держите данные в памяти, обрабатывая их на конвеере ETL преобразований, начиная с момента загрузки данных из источников до момента записи в целевые таблицы.

Я настаиваю на том, что ввод-вывод должен быть сведен к абсолютному минимуму. Безусловно, вам может понадобиться сохранить данные источников по многим причинам. Одна из допустимых причин этого может заключаться в том, что вам необходимо минимизировать доступ к источнику, или ваш источник позволяет сделать только одно чтение данных.

Коллекция обучающего видео по Хранилищам Данных.

Коллеги из BISP подготовили большое количество видеороликов на самые разные темы. Я просмотрел, частями, только видео по Oracle Data Integrator, и из явных недостатков отмечу не совсем внятный английский и среднее качество самого видео.

Но, в тоже время, задремать на работе, или, наоборот, почувствовать себя частью большого аутсорсингового митинга - данный набор видеокурсов вам поможет.

Так что смотрим и слушаем.

---

Что такое Oracle Data Integrator: http://youtu.be/TrADMRVYmMk

Informatica введение: http://youtu.be/lMNFEib5poU
Informatica архитектура: http://youtu.be/gCsQbL3qT1g

Что такое Oracle SOA: http://youtu.be/aY4q99LSbzo
Oracle WebLogic: http://youtu.be/BpXICuQ6x44
WebLogic введение в администрирование: http://www.youtube.com/watch?v=ZftuQqCQElg
Что такое Oracle Hyperion Interactive Reporting: http://youtu.be/IkrzGYtnPxs
Что такое Teradata: http://youtu.be/-I8lnr5Rp-w
Что такое ETL: http://youtu.be/hfDv-Zoa3Qs

Что такое схема Звезда (Star Schema) на примере Hyperion: http://youtu.be/2g-xX2aT8WE
Что такое факт и измерение (Dimension and Fact) на примере Hyperion: http://youtu.be/N3Q4NqwEGMY

Загрузка метаданных в Essbase: http://www.youtube.com/watch?v=F_I0C20_KI8
Hyperion Financial Management: http://youtu.be/1lmPbxGaxmU
Essbase скрипт вычислений: http://youtu.be/O_2nk9eQMzY
Essbase ASO: http://youtu.be/mpKfUVEtto8
Что такое Essbase: http://youtu.be/w_zK56abFPk
Зачем нужен Hyperion: http://youtu.be/-7WhvPYVQmM
Что такое Hyperion Planning: Часть 1, Часть 2, Часть 3, Часть 4

Основные команды Unix: Часть 1, Часть 2, Часть 3, Часть 4, Часть 5

Что такое отчетность Cognos: http://youtu.be/EYxvJgBT2ik

---

В случае, если качество данных видеокурсов вас не устроит - ютуб выдает массу других роликов по связанным темам, возможно, они окажутся лучше вышеперечисленных.

Смотри также:
Обучающее видео по ODI.

Использование MS Excel для ETL.

Думаю, все знают программу для работы с электронными таблицами, название которой стоит в заголовке этой записи. А такая программа, даже по названию, очень близка к специфике работы ETL разработчиков, так как тоже работает с таблицами, как и мы.

Итак, как же можно использовать Microsoft Excel для ETL? Я предпочитаю версию 2003, но и с более поздними тоже можно работать.

Что такое модули знаний реверса (RKM) и зачем они нужны?

Прямой ответ, который дает на этот вопрос документация, достаточно прост. Модули знаний реверса нужны в том случае, если возможностей по реверсу моделей (т.е. по получению характеристик и составных элементов для таблиц модели) у драйвера недостаточно.

Другими словами, то, что JDBC драйвер получить не может, модуль знаний реверса получить сможет. Должен смочь.

Рассмотрим, как же работает модуль знаний реверса. Для этого я создам копию одной из существующих моделей, и включу у нее режим использования модуля знаний реверса и последовательно, в картинках, расскажу, что происходит.

Работа с последовательностями в ODI (Sequences).

Ко многим вещам в ODI 11g надо привыкать, даже к документации. Файлов стало меньше, информация в них собрана немного по другому. Но, мне кажется, что этой информации стало больше, или она стала немного полнее.

Я не использовал для работы последовательности, поэтому решил посмотреть, что пишет документация об этом. Пока листал документ, увидел - в предыдущих разделах - как описаны переменные ODI. Так вот, судя по заголовкам разделов, они описаны чуточку более полно, чем раньше. Есть даже о том, как использовать переменную внутри другой переменной.

Приступим.

ODI 11g. Где всё?

Всех с наступающим.

Собираюсь открыть клуб ретроградов, любителей старой версии ODI. Мне, конечно же, нравятся новые возможности ODI 11g, но к интерфейсу пока не привык. А, как уже "доказали" исследователи, новое не значит лучшее.

Какие отличия удалось заметить после достаточно длительной работы с предыдущей версией ODI, когда у меня появилась возможность начать новый проект на 11g? Для интересующихся - создал такой перечень:

Топология ODI (Topology).

В процессе подготовки перевода документации по контекстам, заметил, что совсем немного осталось, чтобы полностью рассказать, что пишет документация о Менеджере Топологии ODI.

---

Используя Менеджер Топологии вы можете описывать используемые вами информационные системы. Технологии и их типы данных, дата серверы (серверы данных) связанные с этими технологиями и схемы, входящие в эти серверы; контексты, языки и агентов. Дополнительно, Менеджер Топологии позволяет вам управлять репозиториями.

ODI для начинающих.

Какой бы вы использовали подход, если бы вам нужно было рассказать о том, что из себя представляет ODI и как с его помощью можно было бы построить какой-нибудь интеграционный процесс? Хранилище данных, например?

История одного расследования (missing expression).

Всем привет.

Хочу рассказать историю, как я пытался создать простой интерфейс, нашел "ошибку" в одном из модулей знаний свежего ODI и как я узнал, где используется то, что я не понимал зачем нужно.

Часть 1.
Решил я создать интерфейс. Интерфейс должен был затянуть данные из одной таблицы в Oracle в другую таблицу в Oracle, но на другом сервере. Для того, чтобы данный интеграционный процесс заработал, необходимо было правильно создать серверы данных, прописать схемы и контексты, об этом есть немного в описании инсталляции ODI.

Логика контекста физики.

В: Скажите, есть ли у вас какая-нибудь недвижимость?
С: Нет.
В: Вклады в банке?
С: Нет.
В: Как я понимаю, вы сейчас учитесь?
С: Да, я студент.
В: Понимаете, я просто хочу определить, есть ли что-то, что будет удерживать вас в Украине.
С: Удерживать? Конечно есть, учёба удерживает.

Из разговора между студентом и сотрудником визового центра одной из стран шенгена при оформлении визы.

Попробуем почувствовать важность знаний и рассмотрим, что говорит документация ODI обо всех этих понятиях: логических и физических архитектурах и контексте.

Два полюса архитектур ХД.

Просто для себя запишу, чтобы потом использовать, если будет нужна отправная точка.

Различия

Первое существенное отличие между этими архитектурами - различные подходы к построению баз данных, составляющих основу Хранилища. Если Ральф Кимболл (Ralph Kimball) использует пространственную организацию баз данных (dimensional data bases) c так называемой архитектурой "звезда" как на стадии подготовки, так и презентации данных, то Билл Инмон (Bill Inmon) комбинирует два подхода. В его модели атомарные данные организованы в реляционные базы и находятся в нормализованном Хранилище данных, причем суммарные данные доступны для использования через специализированные Хранилища, средства data mining и OLAP; что же касается зависимых витрин данных, то только они организованы с помощью пространственных моделей, как и у Ральфа Кимболла.

Таким образом, по сути дела архитектуры отличаются только способами обращения с атомарными данными: их пространственной организацией у Кимболла и нормализованной - у Инмона.

Второе принципиальное отличие этих двух подходов, отчасти вытекающее из первого, - вопрос физической организации Хранилища. Если у Инмона Хранилище данных - это физически целостный реально существующий объект, то Хранилище Кимболла - скорее "виртуальный" объект. Это коллекция витрин данных, которые могут быть пространственно разобщенными.

Этими двумя основными отличиями в целом и исчерпывается принципиальная разница между той и другой моделью.

Источник.

Еще одна ссылка по теме.

Использование маркеров и мемо полей в проекте ODI (Using Markers and Memos).

Приветствую.

Сегодня сделаю небольшой перевод документации о том, что такое маркеры, и как их использовать, а затем, для демонстрации, создам несколько групп маркеров в тестовом проекте.

---

Практически все объекты проекта или модели имеют возможность быть помечеными некоторыми флагами, а также имеют поле Memo для внесения в него произвольного текста любого объема.

ODI Common Format Designer (Часть 2).

Приветствую всех.

Сегодня продолжение перевода документации о конструкторе моделей ODI. Здесь находится первая часть перевода.

---

Генерация DDL скриптов.

Когда изменения в структурах таблиц происходят на сервере СУБД, вы обычно делаете реверс-инжиниринг измененных таблиц, чтобы получить новые метаданные и сохранить их в репозитории ODI.

Что такое ODI Common Format Designer (Часть 1).

Приветствую.

Сегодня хочу рассказать об одной интересной технологии создания моделей данных, которая есть в ODI, и которая называется Common Format Designer. На русский язык я попробую перевести этот термин как Конструктор Моделей.

Сам я конструктором моделей не пользовался в своей работе, о чем и сожалею, так как некоторые вещи с его помощью делались бы намного проще.

Ниже первая часть перевода документации, которая касается конструктора моделей.

---

Конструктор Моделей

КМ используется для быстрой разработки модели данных в клиентском приложении Дизайнер. Эта модель данных может быть разработана как полностью новая модель, или составлена из таблиц других моделей, уже существующих в ODI. КМ может автоматически генерировать DDL скрипты для физического создания таблиц на сервере данных.

КМ позволяет пользователю модифицировать существующую модель, а так же может автоматически генерировать DDL скрипты для синхронизации между моделью данных, хранящейся в ODI и реальными структурами данных, которые находятся в СУБД.

Использовать КМ можно при, например, разработке витрин данных, области стейджа, мастер данных или области преобразования данных (ODS), используя при этом структуры данных из гетерогенных систем источников.

Разработка Модели

Что такое диаграма?

Диаграма это графическое представление некоторого подмножества абстрактных таблиц, находящихся в модели или подмодели данных. Модель данных может иметь несколько диаграм.

Диаграма строится:

• Путем сбора в диаграму существующих таблиц из моделей и подмоделей.
• Созданием новой абстрактной таблицы, затем:
• добавлением колонок в эту таблицу из других таблиц;
• созданием новых колонок в этой таблице.

Зачем брать таблицы и колонки из других моделей?

Во время сбора таблиц или их колонок из других моделей в диаграму, Oracle Data Integrator сохраняет источник происхождения колонки или таблицы, добавляемой в модель. Хранение ссылок на источники оригинальных структур позволяет ODI автоматически генерировать интерфейсы интеграции для получения данных из таблиц источников (Interfaces IN).

Автоматически созданные интерфейсы не работают для загрузки таблиц или колонок, полученных не из других таблиц и колонок. Но для сгенерированных интерфейсов по-прежнему доступна возможность их редактирования и их можно доработать для загрузки тех данных, которые не были автоматически отмапированны.

Графические синонимы

В диаграме таблица может использоваться несколько раз как графический синоним. Синоним это просто вид отображения таблицы в графическом виде, позволяющий сделать диаграму более читабельной.

Если вы будете удалять таблицу из диаграмы, приложение Дизайнер выдаст запрос, хотите ли вы удалить просто синоним из диаграмы (оригинальная таблица модели сохранится), или хотите удалить как таблицу, так и все ее синонимы.

Использование диаграм.

Из диаграмы можно редактировать все элементы модели (таблицы, колонки, связи, фильтры и т.п.) присутствующие в диаграме. Так же, как и для пакетов, двойной клик в диаграме открывает для редактирования оригинальные объекты, так что изменения сразу вносятся в таблицы модели.

Для создания новой диаграмы необходимо:

1. В режиме отображения моделей, раскрыть дерево конкретной модели и выбрать узел Diagrams.
2. Правой кнопкой мыши выбрать команду Insert Diagram.
3. Ввести наименование и описание новой диаграмы

Добавление существующей таблицы в диаграму:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выбрать таблицу из модели.
3. Перетащить таблицу в окно диаграмы.
   Если таблица перетаскивается не из текущей модели или подмодели, будет выдан запрос на создание копии выбранной таблицы в текущей модели.
   Если таблица уже присутствует на диаграме, Oracle Data Integrator спросит, желаете ли вы создать еще один графический синоним таблицы или хотите ее сдуплицировать.

Новый графический синоним для таблицы отобразится в диаграме. В случае, если вы добавляли таблицу в диаграму из другой модели, или выбрали режим дуплицирования существующей таблицы, новая таблица появится в текущей модели и отобразится в дереве модели.

Примечание: для создания графического синонима для существующей в диаграме таблицы выберите команду Create Graphical Synonym из контекстного меню таблицы.

Примечание: Если связь (джоин) существует в оригинальной модели между таблицами, добавленными в диаграму, эта связь также копируется.

Для создания новой таблицы в диаграме необходимо:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выбрать колонку из таблицы модели.
3. Перетащить колонку в диаграму.
   Появится окно редактирования новой таблицы, в котором уже будет добавлена выбранная колонка.
4. Нажать ОК для сохранения результатов.

Для добавления колонок, условия, фильтров или ключей:

1. Выберите таблицу в диаграме.
2. По клику правой кнопкой мыши выберите нужную команду добавления ключа, фильтра и т.п.

Для добавления существующих условий, связей или фильтров к таблице:

1. Перетащите из дерева модели существующие условия, связи или фильтры на диаграму.

Таблица, для которой вы перетаскиваете условие, связи или фильтры уже должна присутствовать на диаграме. Такое бывает, если эти объекты для таблицы были созданы позднее, чем таблица была добавлена на диаграму.

Для редактирования колонки таблицы в диаграме:

1. Выбрать в диаграме необходимую таблицу, затем выбрать колонку.
2. Правым кликом выбрать команду из контекстного меню (редактировать, просмотреть, дуплицировать, удалить).
   Для тех колонок, которые являются часть ключа (первичного или альтернативного), есть возможность редактирования объекта ключ, через команду контекстного меню Primary Key - Edit.

Для создания связи между двумя таблицами:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выберите на панели инструментов команду Add Reference.
3. Кликните на первой таблице и протащите курсор, не отпуская клавиши мыши, ко второй таблице.
4. Отпустите клавишу мыши, после чего появится диалоговое окно редактирования новой связи.
5. Задайте параметры связи и сохраните изменения нажатием клавиши ОК.

Для перемещения линии отображения связи на другой синоним:

Диаграма отображает связи между таблицами только от одного синонима к другому. Есть возможность, для таблиц у которых на диаграме несколько графических синонимов, выбрать к какому синониму будет проведена линия связи.
Изменение этого не меняет свойств связи, а влияет только на визуальное отображение в диаграме.

1. Выберите линию связи на диаграме.
2. По правой кнопе мыши выберите команду Display Options.
3. В появившемся окне выберите к какому синониму таблицы необходимо отображать связь.

---

Продолжение следует

Зачем нужен пользователь supervisor ODI?

Приветствую.

Именно по поисковому запросу, текст которого вынесен в заголовок, кто-то попал в этот блог. Ниже короткая заметка о том, кто такой супервизор и зачем он нужен.

Итак, supervisor это аналог администратора для ОС. Т.е. некий суперпользователь, которому доступны все привелегии по работе с данными, хранящимися в репозиториях ODI.

При инсталляции ODI, создается пользователь SUPERVISOR, у которого есть пароль по-умолчанию для первого входа в систему. Далее рекомендуется сменить этот пароль как можно быстрее.

Что такое модель ODI (What is a Model) Часть 2.

Рассмотрим более подробно, какие возможности по настройке и редактированию свойств моделей предоставляет нам клиентское приложение Дизайнер. Первая часть описания моделей ODI находится здесь.

Примеры моделей взяты из инсталляции ODI на SQL сервер, которую я сделал как раз для экспериментов.

---

Модели.

Что такое модель ODI (What is a Model).

Приветствую.

Первая часть перевода документации о том, что такое модели данных в Oracle Data Integrator.

---

Как создать workflow в ODI. Часть 2.

Продолжим о построении workflow с помощью пакетов. Из первой части понятно, как организовать загрузку в таблицу(ы) последовательно, возможно, с дополнительными действиями, организованными в виде процедур ODI, теперь же попробуем сделать загрузку данных в параллельном режиме.

Для этого необходимо в пакет добавлять не вызовы интерфейсов, а запуск сценариев, созданных из этих интерфейсов или других пакетов.

Что такое сценарий ODI (Scenario).

Как уже упоминалось, сценарий, это скомпилированная версия интерфейса, процедуры, пакета или переменной. Именно сценарии передаются как результат окончания разработки в репозиторий тестирования, а затем в репозиторий промышленной среды загрузки данных в ХД.

Особенностью сценария является его независимость, в определенном смысле, от того объекта, из которого сценарий сгенерирован. Эта незавимость не полная в том смысле, что в репозитории разработки сценарии привязываются, в дереве проекта, к тому объекту, от которого они сгенерированы.