Приветствую.
Небольшая экспресс презентация Алекса Грановского по решениям по интеграции данных. Но более интересным для меня оказался момент связанный с тем, что во многих проектах в задачи интеграции данных добавляется такой ненадежный элемент как человек. Подробнее в комментариях по ссылке.
воскресенье, 27 февраля 2011 г.
четверг, 24 февраля 2011 г.
Что такое ODI Common Format Designer (Часть 1).
Приветствую.
Сегодня хочу рассказать об одной интересной технологии создания моделей данных, которая есть в ODI, и которая называется Common Format Designer. На русский язык я попробую перевести этот термин как Конструктор Моделей.
Сам я конструктором моделей не пользовался в своей работе, о чем и сожалею, так как некоторые вещи с его помощью делались бы намного проще.
Ниже первая часть перевода документации, которая касается конструктора моделей.
Конструктор Моделей
КМ используется для быстрой разработки модели данных в клиентском приложении Дизайнер. Эта модель данных может быть разработана как полностью новая модель, или составлена из таблиц других моделей, уже существующих в ODI. КМ может автоматически генерировать DDL скрипты для физического создания таблиц на сервере данных.
КМ позволяет пользователю модифицировать существующую модель, а так же может автоматически генерировать DDL скрипты для синхронизации между моделью данных, хранящейся в ODI и реальными структурами данных, которые находятся в СУБД.
Использовать КМ можно при, например, разработке витрин данных, области стейджа, мастер данных или области преобразования данных (ODS), используя при этом структуры данных из гетерогенных систем источников.
Разработка Модели
Что такое диаграма?
Диаграма это графическое представление некоторого подмножества абстрактных таблиц, находящихся в модели или подмодели данных. Модель данных может иметь несколько диаграм.
Диаграма строится:
Зачем брать таблицы и колонки из других моделей?
Во время сбора таблиц или их колонок из других моделей в диаграму, Oracle Data Integrator сохраняет источник происхождения колонки или таблицы, добавляемой в модель. Хранение ссылок на источники оригинальных структур позволяет ODI автоматически генерировать интерфейсы интеграции для получения данных из таблиц источников (Interfaces IN).
Автоматически созданные интерфейсы не работают для загрузки таблиц или колонок, полученных не из других таблиц и колонок. Но для сгенерированных интерфейсов по-прежнему доступна возможность их редактирования и их можно доработать для загрузки тех данных, которые не были автоматически отмапированны.
Графические синонимы
В диаграме таблица может использоваться несколько раз как графический синоним. Синоним это просто вид отображения таблицы в графическом виде, позволяющий сделать диаграму более читабельной.
Если вы будете удалять таблицу из диаграмы, приложение Дизайнер выдаст запрос, хотите ли вы удалить просто синоним из диаграмы (оригинальная таблица модели сохранится), или хотите удалить как таблицу, так и все ее синонимы.
Использование диаграм.
Из диаграмы можно редактировать все элементы модели (таблицы, колонки, связи, фильтры и т.п.) присутствующие в диаграме. Так же, как и для пакетов, двойной клик в диаграме открывает для редактирования оригинальные объекты, так что изменения сразу вносятся в таблицы модели.
Для создания новой диаграмы необходимо:
Добавление существующей таблицы в диаграму:
Новый графический синоним для таблицы отобразится в диаграме. В случае, если вы добавляли таблицу в диаграму из другой модели, или выбрали режим дуплицирования существующей таблицы, новая таблица появится в текущей модели и отобразится в дереве модели.
Для создания новой таблицы в диаграме необходимо:
Для добавления колонок, условия, фильтров или ключей:
Для добавления существующих условий, связей или фильтров к таблице:
Для редактирования колонки таблицы в диаграме:
Для создания связи между двумя таблицами:
Для перемещения линии отображения связи на другой синоним:
Диаграма отображает связи между таблицами только от одного синонима к другому. Есть возможность, для таблиц у которых на диаграме несколько графических синонимов, выбрать к какому синониму будет проведена линия связи.
Изменение этого не меняет свойств связи, а влияет только на визуальное отображение в диаграме.
Продолжение следует
Сегодня хочу рассказать об одной интересной технологии создания моделей данных, которая есть в ODI, и которая называется Common Format Designer. На русский язык я попробую перевести этот термин как Конструктор Моделей.
Сам я конструктором моделей не пользовался в своей работе, о чем и сожалею, так как некоторые вещи с его помощью делались бы намного проще.
Ниже первая часть перевода документации, которая касается конструктора моделей.
Конструктор Моделей
КМ используется для быстрой разработки модели данных в клиентском приложении Дизайнер. Эта модель данных может быть разработана как полностью новая модель, или составлена из таблиц других моделей, уже существующих в ODI. КМ может автоматически генерировать DDL скрипты для физического создания таблиц на сервере данных.
КМ позволяет пользователю модифицировать существующую модель, а так же может автоматически генерировать DDL скрипты для синхронизации между моделью данных, хранящейся в ODI и реальными структурами данных, которые находятся в СУБД.
Использовать КМ можно при, например, разработке витрин данных, области стейджа, мастер данных или области преобразования данных (ODS), используя при этом структуры данных из гетерогенных систем источников.
Разработка Модели
Что такое диаграма?
Диаграма это графическое представление некоторого подмножества абстрактных таблиц, находящихся в модели или подмодели данных. Модель данных может иметь несколько диаграм.
Диаграма строится:
- Путем сбора в диаграму существующих таблиц из моделей и подмоделей.
- Созданием новой абстрактной таблицы, затем:
- добавлением колонок в эту таблицу из других таблиц;
- созданием новых колонок в этой таблице.
Зачем брать таблицы и колонки из других моделей?
Во время сбора таблиц или их колонок из других моделей в диаграму, Oracle Data Integrator сохраняет источник происхождения колонки или таблицы, добавляемой в модель. Хранение ссылок на источники оригинальных структур позволяет ODI автоматически генерировать интерфейсы интеграции для получения данных из таблиц источников (Interfaces IN).
Автоматически созданные интерфейсы не работают для загрузки таблиц или колонок, полученных не из других таблиц и колонок. Но для сгенерированных интерфейсов по-прежнему доступна возможность их редактирования и их можно доработать для загрузки тех данных, которые не были автоматически отмапированны.
Графические синонимы
В диаграме таблица может использоваться несколько раз как графический синоним. Синоним это просто вид отображения таблицы в графическом виде, позволяющий сделать диаграму более читабельной.
Если вы будете удалять таблицу из диаграмы, приложение Дизайнер выдаст запрос, хотите ли вы удалить просто синоним из диаграмы (оригинальная таблица модели сохранится), или хотите удалить как таблицу, так и все ее синонимы.
Использование диаграм.
Из диаграмы можно редактировать все элементы модели (таблицы, колонки, связи, фильтры и т.п.) присутствующие в диаграме. Так же, как и для пакетов, двойной клик в диаграме открывает для редактирования оригинальные объекты, так что изменения сразу вносятся в таблицы модели.
Для создания новой диаграмы необходимо:
- В режиме отображения моделей, раскрыть дерево конкретной модели и выбрать узел Diagrams.
- Правой кнопкой мыши выбрать команду Insert Diagram.
- Ввести наименование и описание новой диаграмы
Добавление существующей таблицы в диаграму:
- В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
- Выбрать таблицу из модели.
- Перетащить таблицу в окно диаграмы.
Если таблица перетаскивается не из текущей модели или подмодели, будет выдан запрос на создание копии выбранной таблицы в текущей модели.
Если таблица уже присутствует на диаграме, Oracle Data Integrator спросит, желаете ли вы создать еще один графический синоним таблицы или хотите ее сдуплицировать.
Новый графический синоним для таблицы отобразится в диаграме. В случае, если вы добавляли таблицу в диаграму из другой модели, или выбрали режим дуплицирования существующей таблицы, новая таблица появится в текущей модели и отобразится в дереве модели.
Примечание: для создания графического синонима для существующей в диаграме таблицы выберите команду Create Graphical Synonym из контекстного меню таблицы.
Примечание: Если связь (джоин) существует в оригинальной модели между таблицами, добавленными в диаграму, эта связь также копируется.
Для создания новой таблицы в диаграме необходимо:
- В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
- Выбрать колонку из таблицы модели.
- Перетащить колонку в диаграму.
Появится окно редактирования новой таблицы, в котором уже будет добавлена выбранная колонка. - Нажать ОК для сохранения результатов.
Для добавления колонок, условия, фильтров или ключей:
- Выберите таблицу в диаграме.
- По клику правой кнопкой мыши выберите нужную команду добавления ключа, фильтра и т.п.
Для добавления существующих условий, связей или фильтров к таблице:
- Перетащите из дерева модели существующие условия, связи или фильтры на диаграму.
Для редактирования колонки таблицы в диаграме:
- Выбрать в диаграме необходимую таблицу, затем выбрать колонку.
- Правым кликом выбрать команду из контекстного меню (редактировать, просмотреть, дуплицировать, удалить).
Для тех колонок, которые являются часть ключа (первичного или альтернативного), есть возможность редактирования объекта ключ, через команду контекстного меню Primary Key - Edit.
Для создания связи между двумя таблицами:
- В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
- Выберите на панели инструментов команду Add Reference.
- Кликните на первой таблице и протащите курсор, не отпуская клавиши мыши, ко второй таблице.
- Отпустите клавишу мыши, после чего появится диалоговое окно редактирования новой связи.
- Задайте параметры связи и сохраните изменения нажатием клавиши ОК.
Для перемещения линии отображения связи на другой синоним:
Диаграма отображает связи между таблицами только от одного синонима к другому. Есть возможность, для таблиц у которых на диаграме несколько графических синонимов, выбрать к какому синониму будет проведена линия связи.
Изменение этого не меняет свойств связи, а влияет только на визуальное отображение в диаграме.
- Выберите линию связи на диаграме.
- По правой кнопе мыши выберите команду Display Options.
- В появившемся окне выберите к какому синониму таблицы необходимо отображать связь.
Продолжение следует
понедельник, 21 февраля 2011 г.
Поисковые запросы.
Заканчивая начатую в прошлом сообщении тему поисковых запросов, по которым читатели иногда попадают в этот блог, хочу рассказать о некоторых из них.
Самые популярные, вроде Оракл Дата Интегратор рассматривать смысла нет, но вот другие запросы, менее популярные, могут несколько развлечь.
Нашлось, при анализе результатов этих запросов, и одно интересное обсуждение ODI vs Informatica.
Самые популярные, вроде Оракл Дата Интегратор рассматривать смысла нет, но вот другие запросы, менее популярные, могут несколько развлечь.
- что делает практикант в архитектуре?
- субд интересное
- практика субд
- Довольно интересный запрос (и его результаты) на тему как умножить программиста: как * программиста
- Ну и выбор редакции, а заодно и запрос года: oracle напротив функции крестик
Нашлось, при анализе результатов этих запросов, и одно интересное обсуждение ODI vs Informatica.
пятница, 18 февраля 2011 г.
Зачем нужен пользователь supervisor ODI?
Приветствую.
Именно по поисковому запросу, текст которого вынесен в заголовок, кто-то попал в этот блог. Ниже короткая заметка о том, кто такой супервизор и зачем он нужен.
Итак, supervisor это аналог администратора для ОС. Т.е. некий суперпользователь, которому доступны все привелегии по работе с данными, хранящимися в репозиториях ODI.
При инсталляции ODI, создается пользователь SUPERVISOR, у которого есть пароль по-умолчанию для первого входа в систему. Далее рекомендуется сменить этот пароль как можно быстрее.
Именно по поисковому запросу, текст которого вынесен в заголовок, кто-то попал в этот блог. Ниже короткая заметка о том, кто такой супервизор и зачем он нужен.
Итак, supervisor это аналог администратора для ОС. Т.е. некий суперпользователь, которому доступны все привелегии по работе с данными, хранящимися в репозиториях ODI.
При инсталляции ODI, создается пользователь SUPERVISOR, у которого есть пароль по-умолчанию для первого входа в систему. Далее рекомендуется сменить этот пароль как можно быстрее.
четверг, 17 февраля 2011 г.
Подменяем код пакетов Oracle для изменения работы закрытых приложений.
Описание подхода, позволяющего изменить некоторые аспекты работы приложений под СУБД Oracle, путем написания "вирусов".
вторник, 15 февраля 2011 г.
Как создать workflow в ODI. Часть 3.
Попробую рассказать о двух вариантах организации общего процесса загрузки данных в ХД, с точки зрения того, как именно реализована загрузка зависимых данных.
Итак, если посмотреть на вот эту картинку, которая приводилась для описания области стейджа,
Итак, если посмотреть на вот эту картинку, которая приводилась для описания области стейджа,
суббота, 12 февраля 2011 г.
42?
Некоторые вопросы о жизни, ODI и всем таком...
Если кто не видел эту ссылку с обсуждением тех вопросов, которые необходимо задать разработчикам ODI - ознакомьтесь.
Если кто не видел эту ссылку с обсуждением тех вопросов, которые необходимо задать разработчикам ODI - ознакомьтесь.
четверг, 10 февраля 2011 г.
Как подключиться к репозиторию ODI без пароля (without password).
Приветствую.
Как известно, громкий заголовок - половина посещаемости. Но я не буду долго держать интригу, скажу лишь, что речь идет о подключении к мастер репозиторию, и иметь пароль этого подключения необходимо, даже если вы его не знаете или забыли.
Описываемый ниже подход решает не слишком распространённую задачу. Встретиться такая ситуация может, когда у вас уже есть подключение к рабочему репозиторию разработки, а вы хотите подключиться к репозиторию выполнения, и мастер репозиторий в инфраструктуре один.
Как известно, громкий заголовок - половина посещаемости. Но я не буду долго держать интригу, скажу лишь, что речь идет о подключении к мастер репозиторию, и иметь пароль этого подключения необходимо, даже если вы его не знаете или забыли.
Описываемый ниже подход решает не слишком распространённую задачу. Встретиться такая ситуация может, когда у вас уже есть подключение к рабочему репозиторию разработки, а вы хотите подключиться к репозиторию выполнения, и мастер репозиторий в инфраструктуре один.
понедельник, 7 февраля 2011 г.
ODI 11g. Настройка агентов (Setting up Agents).
Последняя публикация в серии переводов некоторых частей документа Oracle Data Integrator Best Practices for a Data Warehouse.
Где инсталлировать агента(ов)?
Типичная для хранилищ данных ситуация, когда для загрузки данных используется несколько агентов ODI. При этом агенты обычно устанавливаются на том сервере, который используется для загрузки данных в ХД. Агенту необходима возможность подключения к БД источников данных и(или) к файлам с данными для загрузки, а также агент должен иметь возможность вызова утилит для выгрузки/загрузки данных для соответствующих СУБД.
Где инсталлировать агента(ов)?
Типичная для хранилищ данных ситуация, когда для загрузки данных используется несколько агентов ODI. При этом агенты обычно устанавливаются на том сервере, который используется для загрузки данных в ХД. Агенту необходима возможность подключения к БД источников данных и(или) к файлам с данными для загрузки, а также агент должен иметь возможность вызова утилит для выгрузки/загрузки данных для соответствующих СУБД.
пятница, 4 февраля 2011 г.
Используем методы подстановки для изменения модулей знаний ODI.
Приветствую.
В прошлом году один из читателей этого блога задал по почте такой вопрос:
Добавим немного практики в этот блог, и попробуем сделать два улучшения в один из модулей знаний, поставляемый вместе с ODI для MS SQL Server.
В прошлом году один из читателей этого блога задал по почте такой вопрос:
Как можно передать хинт на уровень запроса. К примеру, у нас есть интерфейс, он формирует запрос в LKM - шаг называется load data, но план не оптимальный, хочу улучшить, как я могу передать хинт в этот запрос?
Добавим немного практики в этот блог, и попробуем сделать два улучшения в один из модулей знаний, поставляемый вместе с ODI для MS SQL Server.
четверг, 3 февраля 2011 г.
CNews зачастил с новостями про продукты Oracle.
Ну, а там где Оракл, там и упоминание Oracle Data Integrator.
Корпорация Oracle объявила о начале продаж новых версий программных продуктов Oracle Transportation Management и Oracle Global Trade Management.
Корпорация Oracle объявила о начале продаж новых версий программных продуктов Oracle Transportation Management и Oracle Global Trade Management.
вторник, 1 февраля 2011 г.
Описание инсталляции ODI 11g на ОС Linux.
Краткое описание процедуры инсталляции новой версии Oracle Data Integrator 11g на Linux машину.
http://www.oraclegis.com/blog/?p=1644.
Там же, в конце указанной заметки, ссылки на записи об ODI, например о том, как осуществить загрузку плоских файлов в ODI 11g и другие связанные с ODI публикации.
http://www.oraclegis.com/blog/?p=1644.
Там же, в конце указанной заметки, ссылки на записи об ODI, например о том, как осуществить загрузку плоских файлов в ODI 11g и другие связанные с ODI публикации.
2011-02-01.
Остановка выполнение сессии в ODI 11g.
Killing session in ODI 11g
Описание новой возможности ODI 11g по немедленному останову SQL запросов.
Дата публикации: 2011-02-13, Комментариев: 3
Скрипты в ODI: Jython, Java BeanShell, Java, Open Tools, ODI API и SDK, методы подстановки.
Scripting in Oracle Data Integrator: Jython, Java BeanShell, Java, Open Tools, ODI API & SDK, ODI Substitution API
Перечень доступных для использования средств написания скриптов в ODI с примерами и объяснениями. Также в этом посте есть ссылка на матрицу, помогающую определить, в каких случаях какой из скриптовых языков лучше всего использовать.
Дата публикации: 2011-02-20, Комментариев: 2
Подписаться на:
Сообщения (Atom)