Перевод второй части заметок Jérôme Françoisse о новшествах Oracle Data Integrator-а облачной версии 12c. Оригинал находится здесь. Использованы скриншоты из оригинальных заметок.
WebLogic Management Framework
Другое большое новшество в этом релизе это то, что инфраструктура управления WebLogic сервера используется для контроля агентов ODI вместо ранее использовавшегося OPMN сервера. Теперь агенты управляются тем же образом, что и остальные компоненты промежуточного ПО Fusion Middleware и для настройки используется специальный мастер - Fusion Middleware Configuration Wizzard.
О работе в Oracle Data Integrator (ODI) и других захватывающих вещах из мира BI.
Показаны сообщения с ярлыком Model. Показать все сообщения
Показаны сообщения с ярлыком Model. Показать все сообщения
вторник, 14 января 2014 г.
понедельник, 9 сентября 2013 г.
Маленькие хитрOсDI.
Сегодня хочу рассказать (или напомнить) о некоторых приемах, помогающих в работе с Oracle Data Integrator.
Большая часть этих приемов касается пользовательского интерфейса, но есть и связанные с архитектурой, а потому отличающиеся от версии к версии, особенности.
Где - Вкладка Топология, раздел Репозитории.
Большая часть этих приемов касается пользовательского интерфейса, но есть и связанные с архитектурой, а потому отличающиеся от версии к версии, особенности.
Перенумерация репозиториев
В 11g появилась возможность перенумерации репозиториев. Эта возможность позволит иметь для каждого вашего репозитория свой уникальный идентификатор, что является необходимым условием для успешного импорта-экспорта объектов между разными репозиториями. Все внутренние идентификаторы объектов, созданных в репозитории, будут автоматически изменены.Где - Вкладка Топология, раздел Репозитории.
вторник, 5 марта 2013 г.
Организация моделей и проектов в ODI.
Приветствую.
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
среда, 12 декабря 2012 г.
Обновление таблицы в модели (когда реверс работает не так).
Приветствую.
Особенности реверса таблиц (и других объектов БД) в Oracle Data Integrator не всегда понятны, и требуют отдельного рассмотрения, в этой же заметке я хочу описать подход, при котором вы сможете достаточно быстро решить проблему несовпадения структур таблиц из модели и из физической БД.
Особенности реверса таблиц (и других объектов БД) в Oracle Data Integrator не всегда понятны, и требуют отдельного рассмотрения, в этой же заметке я хочу описать подход, при котором вы сможете достаточно быстро решить проблему несовпадения структур таблиц из модели и из физической БД.
суббота, 28 апреля 2012 г.
Что такое модули знаний реверса (RKM) и зачем они нужны?
Прямой ответ, который дает на этот вопрос документация, достаточно прост. Модули знаний реверса нужны в том случае, если возможностей по реверсу моделей (т.е. по получению характеристик и составных элементов для таблиц модели) у драйвера недостаточно.
Другими словами, то, что JDBC драйвер получить не может, модуль знаний реверса получить сможет. Должен смочь.
Рассмотрим, как же работает модуль знаний реверса. Для этого я создам копию одной из существующих моделей, и включу у нее режим использования модуля знаний реверса и последовательно, в картинках, расскажу, что происходит.
Другими словами, то, что JDBC драйвер получить не может, модуль знаний реверса получить сможет. Должен смочь.
Рассмотрим, как же работает модуль знаний реверса. Для этого я создам копию одной из существующих моделей, и включу у нее режим использования модуля знаний реверса и последовательно, в картинках, расскажу, что происходит.
вторник, 21 февраля 2012 г.
Создание представления через модуль знаний (Create View IKM).
God aften!
Представления (или, как их еще называют - вьюхи) очень важны, иногда они являются непосредственным воплощением ETL процесса. Например, на этапе загрузки данных из источников вполне вероятно использование представлений для простейших преобразований данных.
Нельзя сказать, что такое важное значение представлений никак не отражено в фольклоре. Как поет фронтмен группы ETaLlica - James_PK_Head_Field:
I am the View
I am the Table(t).
I am the View, I am the Table(t).
Даже из этого отрывка ясно, что представления многими ставятся на одно из первых мест.
Представления (или, как их еще называют - вьюхи) очень важны, иногда они являются непосредственным воплощением ETL процесса. Например, на этапе загрузки данных из источников вполне вероятно использование представлений для простейших преобразований данных.
Нельзя сказать, что такое важное значение представлений никак не отражено в фольклоре. Как поет фронтмен группы ETaLlica - James_PK_Head_Field:
I am the View
I am the Table(t).
I am the View, I am the Table(t).
Даже из этого отрывка ясно, что представления многими ставятся на одно из первых мест.
вторник, 31 января 2012 г.
Не все то хорошо, что новая версия.
Эпопея с закатом OWB тянется уже давно, и где-то на протяжении полутора лет мне, с разной частотой, попадались мнения разных людей, которые говорили или писали, что ODI и OWB скоро сольются.
Что вам сказать, похоже, сливание уже началось. Слияние. В текущей версии ODI мы имеем кучу багов и странных, тормознутых или кривых интерфейсных загогулин.
Попробуем пройтись по списку найденного.
Все это лучше было бы смотреть на видео, но, пока, до видео руки не дошли.
Что вам сказать, похоже, сливание уже началось. Слияние. В текущей версии ODI мы имеем кучу багов и странных, тормознутых или кривых интерфейсных загогулин.
Попробуем пройтись по списку найденного.
Все это лучше было бы смотреть на видео, но, пока, до видео руки не дошли.
четверг, 26 января 2012 г.
Модельный совет.
Небольшой совет для тех, кому иногда необходимо затянуть в ODI достаточно большое количество таблиц в модель.
Итак, если из вашей БД после реверса в список попало слишком много таблиц:
И убрать ненужные таблицы с помощью маски не получается:
Итак, если из вашей БД после реверса в список попало слишком много таблиц:
И убрать ненужные таблицы с помощью маски не получается:
пятница, 30 декабря 2011 г.
ODI 11g. Где всё?
Всех с наступающим.
Собираюсь открыть клуб ретроградов, любителей старой версии ODI. Мне, конечно же, нравятся новые возможности ODI 11g, но к интерфейсу пока не привык. А, как уже "доказали" исследователи, новое не значит лучшее.
Какие отличия удалось заметить после достаточно длительной работы с предыдущей версией ODI, когда у меня появилась возможность начать новый проект на 11g? Для интересующихся - создал такой перечень:
Собираюсь открыть клуб ретроградов, любителей старой версии ODI. Мне, конечно же, нравятся новые возможности ODI 11g, но к интерфейсу пока не привык. А, как уже "доказали" исследователи, новое не значит лучшее.
Какие отличия удалось заметить после достаточно длительной работы с предыдущей версией ODI, когда у меня появилась возможность начать новый проект на 11g? Для интересующихся - создал такой перечень:
пятница, 18 марта 2011 г.
ODI Common Format Designer (Часть 2).
Приветствую всех.
Сегодня продолжение перевода документации о конструкторе моделей ODI. Здесь находится первая часть перевода.
Генерация DDL скриптов.
Когда изменения в структурах таблиц происходят на сервере СУБД, вы обычно делаете реверс-инжиниринг измененных таблиц, чтобы получить новые метаданные и сохранить их в репозитории ODI.
Сегодня продолжение перевода документации о конструкторе моделей ODI. Здесь находится первая часть перевода.
Генерация DDL скриптов.
Когда изменения в структурах таблиц происходят на сервере СУБД, вы обычно делаете реверс-инжиниринг измененных таблиц, чтобы получить новые метаданные и сохранить их в репозитории ODI.
четверг, 24 февраля 2011 г.
Что такое ODI Common Format Designer (Часть 1).
Приветствую.
Сегодня хочу рассказать об одной интересной технологии создания моделей данных, которая есть в ODI, и которая называется Common Format Designer. На русский язык я попробую перевести этот термин как Конструктор Моделей.
Сам я конструктором моделей не пользовался в своей работе, о чем и сожалею, так как некоторые вещи с его помощью делались бы намного проще.
Ниже первая часть перевода документации, которая касается конструктора моделей.
Конструктор Моделей
КМ используется для быстрой разработки модели данных в клиентском приложении Дизайнер. Эта модель данных может быть разработана как полностью новая модель, или составлена из таблиц других моделей, уже существующих в ODI. КМ может автоматически генерировать DDL скрипты для физического создания таблиц на сервере данных.
КМ позволяет пользователю модифицировать существующую модель, а так же может автоматически генерировать DDL скрипты для синхронизации между моделью данных, хранящейся в ODI и реальными структурами данных, которые находятся в СУБД.
Использовать КМ можно при, например, разработке витрин данных, области стейджа, мастер данных или области преобразования данных (ODS), используя при этом структуры данных из гетерогенных систем источников.
Разработка Модели
Что такое диаграма?
Диаграма это графическое представление некоторого подмножества абстрактных таблиц, находящихся в модели или подмодели данных. Модель данных может иметь несколько диаграм.
Диаграма строится:
Зачем брать таблицы и колонки из других моделей?
Во время сбора таблиц или их колонок из других моделей в диаграму, Oracle Data Integrator сохраняет источник происхождения колонки или таблицы, добавляемой в модель. Хранение ссылок на источники оригинальных структур позволяет ODI автоматически генерировать интерфейсы интеграции для получения данных из таблиц источников (Interfaces IN).
Автоматически созданные интерфейсы не работают для загрузки таблиц или колонок, полученных не из других таблиц и колонок. Но для сгенерированных интерфейсов по-прежнему доступна возможность их редактирования и их можно доработать для загрузки тех данных, которые не были автоматически отмапированны.
Графические синонимы
В диаграме таблица может использоваться несколько раз как графический синоним. Синоним это просто вид отображения таблицы в графическом виде, позволяющий сделать диаграму более читабельной.
Если вы будете удалять таблицу из диаграмы, приложение Дизайнер выдаст запрос, хотите ли вы удалить просто синоним из диаграмы (оригинальная таблица модели сохранится), или хотите удалить как таблицу, так и все ее синонимы.
Использование диаграм.
Из диаграмы можно редактировать все элементы модели (таблицы, колонки, связи, фильтры и т.п.) присутствующие в диаграме. Так же, как и для пакетов, двойной клик в диаграме открывает для редактирования оригинальные объекты, так что изменения сразу вносятся в таблицы модели.
Для создания новой диаграмы необходимо:
Добавление существующей таблицы в диаграму:
Новый графический синоним для таблицы отобразится в диаграме. В случае, если вы добавляли таблицу в диаграму из другой модели, или выбрали режим дуплицирования существующей таблицы, новая таблица появится в текущей модели и отобразится в дереве модели.
Для создания новой таблицы в диаграме необходимо:
Для добавления колонок, условия, фильтров или ключей:
Для добавления существующих условий, связей или фильтров к таблице:
Для редактирования колонки таблицы в диаграме:
Для создания связи между двумя таблицами:
Для перемещения линии отображения связи на другой синоним:
Диаграма отображает связи между таблицами только от одного синонима к другому. Есть возможность, для таблиц у которых на диаграме несколько графических синонимов, выбрать к какому синониму будет проведена линия связи.
Изменение этого не меняет свойств связи, а влияет только на визуальное отображение в диаграме.
Продолжение следует
Сегодня хочу рассказать об одной интересной технологии создания моделей данных, которая есть в ODI, и которая называется Common Format Designer. На русский язык я попробую перевести этот термин как Конструктор Моделей.
Сам я конструктором моделей не пользовался в своей работе, о чем и сожалею, так как некоторые вещи с его помощью делались бы намного проще.
Ниже первая часть перевода документации, которая касается конструктора моделей.
Конструктор Моделей
КМ используется для быстрой разработки модели данных в клиентском приложении Дизайнер. Эта модель данных может быть разработана как полностью новая модель, или составлена из таблиц других моделей, уже существующих в ODI. КМ может автоматически генерировать DDL скрипты для физического создания таблиц на сервере данных.
КМ позволяет пользователю модифицировать существующую модель, а так же может автоматически генерировать DDL скрипты для синхронизации между моделью данных, хранящейся в ODI и реальными структурами данных, которые находятся в СУБД.
Использовать КМ можно при, например, разработке витрин данных, области стейджа, мастер данных или области преобразования данных (ODS), используя при этом структуры данных из гетерогенных систем источников.
Разработка Модели
Что такое диаграма?
Диаграма это графическое представление некоторого подмножества абстрактных таблиц, находящихся в модели или подмодели данных. Модель данных может иметь несколько диаграм.
Диаграма строится:
- Путем сбора в диаграму существующих таблиц из моделей и подмоделей.
- Созданием новой абстрактной таблицы, затем:
- добавлением колонок в эту таблицу из других таблиц;
- созданием новых колонок в этой таблице.
Зачем брать таблицы и колонки из других моделей?
Во время сбора таблиц или их колонок из других моделей в диаграму, Oracle Data Integrator сохраняет источник происхождения колонки или таблицы, добавляемой в модель. Хранение ссылок на источники оригинальных структур позволяет ODI автоматически генерировать интерфейсы интеграции для получения данных из таблиц источников (Interfaces IN).
Автоматически созданные интерфейсы не работают для загрузки таблиц или колонок, полученных не из других таблиц и колонок. Но для сгенерированных интерфейсов по-прежнему доступна возможность их редактирования и их можно доработать для загрузки тех данных, которые не были автоматически отмапированны.
Графические синонимы
В диаграме таблица может использоваться несколько раз как графический синоним. Синоним это просто вид отображения таблицы в графическом виде, позволяющий сделать диаграму более читабельной.
Если вы будете удалять таблицу из диаграмы, приложение Дизайнер выдаст запрос, хотите ли вы удалить просто синоним из диаграмы (оригинальная таблица модели сохранится), или хотите удалить как таблицу, так и все ее синонимы.
Использование диаграм.
Из диаграмы можно редактировать все элементы модели (таблицы, колонки, связи, фильтры и т.п.) присутствующие в диаграме. Так же, как и для пакетов, двойной клик в диаграме открывает для редактирования оригинальные объекты, так что изменения сразу вносятся в таблицы модели.
Для создания новой диаграмы необходимо:
- В режиме отображения моделей, раскрыть дерево конкретной модели и выбрать узел Diagrams.
- Правой кнопкой мыши выбрать команду Insert Diagram.
- Ввести наименование и описание новой диаграмы
Добавление существующей таблицы в диаграму:
- В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
- Выбрать таблицу из модели.
- Перетащить таблицу в окно диаграмы.
Если таблица перетаскивается не из текущей модели или подмодели, будет выдан запрос на создание копии выбранной таблицы в текущей модели.
Если таблица уже присутствует на диаграме, Oracle Data Integrator спросит, желаете ли вы создать еще один графический синоним таблицы или хотите ее сдуплицировать.
Новый графический синоним для таблицы отобразится в диаграме. В случае, если вы добавляли таблицу в диаграму из другой модели, или выбрали режим дуплицирования существующей таблицы, новая таблица появится в текущей модели и отобразится в дереве модели.
Примечание: для создания графического синонима для существующей в диаграме таблицы выберите команду Create Graphical Synonym из контекстного меню таблицы.
Примечание: Если связь (джоин) существует в оригинальной модели между таблицами, добавленными в диаграму, эта связь также копируется.
Для создания новой таблицы в диаграме необходимо:
- В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
- Выбрать колонку из таблицы модели.
- Перетащить колонку в диаграму.
Появится окно редактирования новой таблицы, в котором уже будет добавлена выбранная колонка. - Нажать ОК для сохранения результатов.
Для добавления колонок, условия, фильтров или ключей:
- Выберите таблицу в диаграме.
- По клику правой кнопкой мыши выберите нужную команду добавления ключа, фильтра и т.п.
Для добавления существующих условий, связей или фильтров к таблице:
- Перетащите из дерева модели существующие условия, связи или фильтры на диаграму.
Для редактирования колонки таблицы в диаграме:
- Выбрать в диаграме необходимую таблицу, затем выбрать колонку.
- Правым кликом выбрать команду из контекстного меню (редактировать, просмотреть, дуплицировать, удалить).
Для тех колонок, которые являются часть ключа (первичного или альтернативного), есть возможность редактирования объекта ключ, через команду контекстного меню Primary Key - Edit.
Для создания связи между двумя таблицами:
- В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
- Выберите на панели инструментов команду Add Reference.
- Кликните на первой таблице и протащите курсор, не отпуская клавиши мыши, ко второй таблице.
- Отпустите клавишу мыши, после чего появится диалоговое окно редактирования новой связи.
- Задайте параметры связи и сохраните изменения нажатием клавиши ОК.
Для перемещения линии отображения связи на другой синоним:
Диаграма отображает связи между таблицами только от одного синонима к другому. Есть возможность, для таблиц у которых на диаграме несколько графических синонимов, выбрать к какому синониму будет проведена линия связи.
Изменение этого не меняет свойств связи, а влияет только на визуальное отображение в диаграме.
- Выберите линию связи на диаграме.
- По правой кнопе мыши выберите команду Display Options.
- В появившемся окне выберите к какому синониму таблицы необходимо отображать связь.
Продолжение следует
четверг, 27 января 2011 г.
Что такое модель ODI (What is a Model) Часть 2.
Рассмотрим более подробно, какие возможности по настройке и редактированию свойств моделей предоставляет нам клиентское приложение Дизайнер. Первая часть описания моделей ODI находится здесь.
Примеры моделей взяты из инсталляции ODI на SQL сервер, которую я сделал как раз для экспериментов.
Модели.
Примеры моделей взяты из инсталляции ODI на SQL сервер, которую я сделал как раз для экспериментов.
Модели.
четверг, 20 января 2011 г.
Что такое модель ODI (What is a Model).
Приветствую.
Первая часть перевода документации о том, что такое модели данных в Oracle Data Integrator.
Первая часть перевода документации о том, что такое модели данных в Oracle Data Integrator.
понедельник, 10 января 2011 г.
ODI 11g. Разработка схемы хранилища данных (Designing and Implementing the Data Warehouse’s Schema).
Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.
Этот раздел мог бы быть отдельной книгой. Цель этого раздела - дать некоторые общие указания и подсказки по тому, как разрабатывать схему ХД с использованием ODI, а вовсе не предоставить полное руководство по хранилищам данных.
Всегда хорошо, при построении ХД, иметь некое место для хранения данных систем источников в их исходном виде. Это место - специальная БД, называемая ODS (Operational Data Store), содержит модели данных, которые очень похожи на модели данных систем источников, она содержит таблицы для хранения любых необходимых данных, и, практически, не содержит правил по качеству этих данных. Наличие ODS позволяет оперировать данными из всех систем источников за день.
Этот раздел мог бы быть отдельной книгой. Цель этого раздела - дать некоторые общие указания и подсказки по тому, как разрабатывать схему ХД с использованием ODI, а вовсе не предоставить полное руководство по хранилищам данных.
Всегда хорошо, при построении ХД, иметь некое место для хранения данных систем источников в их исходном виде. Это место - специальная БД, называемая ODS (Operational Data Store), содержит модели данных, которые очень похожи на модели данных систем источников, она содержит таблицы для хранения любых необходимых данных, и, практически, не содержит правил по качеству этих данных. Наличие ODS позволяет оперировать данными из всех систем источников за день.
среда, 29 декабря 2010 г.
ODI 11g. Реверс-инжиниринг, изучение и профилирование источников данных (Reverse-engineering, Auditing and Profiling Source Applications).
Продолжаю публикацию перевода некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.
Хорошей отправной точкой для проекта является изучение данных и их структуры. Даже при наличии документации на системы источники данных, хорошей практикой будет подключиться к этим источникам через ODI и получить метаданные для них.
Подключение источников поможет вам создать в моделях ODI бизнес правила, связанные с качеством данных. А определение этих правил поможет проверить полноту и непротиворечивость данных в системах источниках, а также, будет способствовать более глубокому пониманию моделей данных.
Хорошей отправной точкой для проекта является изучение данных и их структуры. Даже при наличии документации на системы источники данных, хорошей практикой будет подключиться к этим источникам через ODI и получить метаданные для них.
Подключение источников поможет вам создать в моделях ODI бизнес правила, связанные с качеством данных. А определение этих правил поможет проверить полноту и непротиворечивость данных в системах источниках, а также, будет способствовать более глубокому пониманию моделей данных.
среда, 27 октября 2010 г.
Создание временной таблицы через ODI интерфейс.
Интересный метод создания временных таблиц подсмотрел вот в этой публикации.
Я, до начала перевода статьи, так никогда сам не делал, но, возможно, это кому-нибудь будет полезно.
Как создать временную таблицу в интерфейсе ODI.
Создайте новый интерфейс, задайте его имя, выберите контекст оптимизации и выберите подходящую схему для установленной опции Стейджинговая область отлична от целевой области (Staging Area Different From Target).
Я, до начала перевода статьи, так никогда сам не делал, но, возможно, это кому-нибудь будет полезно.
Как создать временную таблицу в интерфейсе ODI.
Создайте новый интерфейс, задайте его имя, выберите контекст оптимизации и выберите подходящую схему для установленной опции Стейджинговая область отлична от целевой области (Staging Area Different From Target).
понедельник, 25 октября 2010 г.
Быстрый и легкий путь создания интерфейсов в ODI.
Сегодня я хочу опубликовать перевод статьи "Faster and Easiest way to design Interfaces". Описанный там способ позволяет быстро создавать интерфейсы, имея только модель данных целевых таблиц. Хорошо применять этот метод, когда необходимо загрузить данные из систем источников в хранилище данных без преобразований.
1. Определите папку с моделью, в которой уже есть модели целевых таблиц. По нажатию правой кнопки мыши на модели выберите команду генерации загрузочных интерфейсов (Generate Interface In)
1. Определите папку с моделью, в которой уже есть модели целевых таблиц. По нажатию правой кнопки мыши на модели выберите команду генерации загрузочных интерфейсов (Generate Interface In)
Подписаться на:
Сообщения (Atom)