ODI 11g. Где всё?

Всех с наступающим.

Собираюсь открыть клуб ретроградов, любителей старой версии ODI. Мне, конечно же, нравятся новые возможности ODI 11g, но к интерфейсу пока не привык. А, как уже "доказали" исследователи, новое не значит лучшее.

Какие отличия удалось заметить после достаточно длительной работы с предыдущей версией ODI, когда у меня появилась возможность начать новый проект на 11g? Для интересующихся - создал такой перечень:

Топология ODI (Topology).

В процессе подготовки перевода документации по контекстам, заметил, что совсем немного осталось, чтобы полностью рассказать, что пишет документация о Менеджере Топологии ODI.

---

Используя Менеджер Топологии вы можете описывать используемые вами информационные системы. Технологии и их типы данных, дата серверы (серверы данных) связанные с этими технологиями и схемы, входящие в эти серверы; контексты, языки и агентов. Дополнительно, Менеджер Топологии позволяет вам управлять репозиториями.

Городасти.

В тему к предыдущему сообщению.

Читаю как-то описание вакансии для ODI разработчика. В одной из груп Линкеда. Вакансия в Санкт-Петербурге. И, по ходу этого, достаточно беглого, чтения, все больше повторяю про себя: "Ого! Ничего же себе!!!".

В описании там и работа на Министерство Обороны, и общение с крупными правительственными чиновниками и прочие страсти. Ну, думаю, вот что крест животворящий углеводород абиогенный делает.

В общем, перечитал еще раз этот длинный текст на правильном английском языке. И понял, как указание города ввело меня в заблуждение. Коротко говоря - не Ленинград то был, не Ленинград.

Требуется ODI специалист.

Кто по этой ссылке сможет угадать город, в который требуется этот специалист - тот молодец, наверняка хорошо знает ODI и обладает навыками аналитика.

Перелетная история.

Все думал, как бы рассказать, что видел рекламу Экзадаты в аэропорту Франкфурта. И никак бы я об этом не рассказал, если бы не нашлась одна рекламная статья с небольшим технмческим уклоном, о стандартизации бизнес процессов авиакомпании «Эйр Астана».

Oracle Data Integrator будет использоваться для перемещения данных по уровням хранения (речь не о ХД, как я понял).

Да, насчет рекламы. Это был не бигборд, не плакат и не лайтбокс. Это была такая тумба. Маленькая. Тумбочка, я бы сказал. Где-то 1/32 полной Экзадаты. На ноутбук ее все равно не поставишь.

ODI для начинающих.

Какой бы вы использовали подход, если бы вам нужно было рассказать о том, что из себя представляет ODI и как с его помощью можно было бы построить какой-нибудь интеграционный процесс? Хранилище данных, например?

Една табулька.

Всем привет.

Если вы знаете кого-нибудь, знающего ODI, чешский язык очень хорошо, а английский может быть даже и хуже и желающего поработать в Праге на интеграции данных на одном из пивоваренных комбинатов - черкните мне письмо, я перешлю контакты человеку, который вышел на меня через Линкед Ин.

Если вас туда возьмут - то благодарить понятно чем. Если возьмут, а окажется, что не на пивзавод - я не виноват, я подумал, что проект на 10 месяцев как раз на таких предприятиях и бывает.

Только чтобы добавить тэг Линки, даю ссылку на страницу, где есть мой емейл.

Я к этой вакансии, кроме этой заметки, не имею отношения совсем, так что письма имеет смысл посылать до следующего понедельника, до 12 декабря 2011 года.

История одного расследования (missing expression).

Всем привет.

Хочу рассказать историю, как я пытался создать простой интерфейс, нашел "ошибку" в одном из модулей знаний свежего ODI и как я узнал, где используется то, что я не понимал зачем нужно.

Часть 1.
Решил я создать интерфейс. Интерфейс должен был затянуть данные из одной таблицы в Oracle в другую таблицу в Oracle, но на другом сервере. Для того, чтобы данный интеграционный процесс заработал, необходимо было правильно создать серверы данных, прописать схемы и контексты, об этом есть немного в описании инсталляции ODI.

2011-12-01.

odiexperts.com

Интерфейс с Union или Minus операторами через ODI SDK.
Interface with Union, Minus Operator using ODI SDK
Создание интерфейса с операциями MINUS и UNION с использованием ODI SDK.
Дата публикации: 2011-12-13, Комментариев: 0

BI-Quotient

ODI 11g в сервисо-ориентированной архитектуре (SOA)? Часть 1. Выдача и потребление данных с помощью веб-сервисов.
ODI 11g in a Services Oriented Architecture? Exposing data services and consuming web services with ODI 11g. Part I.
ODI может быть полезен не только для загрузки массивных объемов данных, но и для использования в среде SOA. В заметке рассматриваются вопросы как проинсталлировать, развернуть и оттестировать веб-сервис с помощью ODI.
Дата публикации: 2011-12-12, Комментариев: 0

Новый блог.

Писать об ODI становится все моднее. Количество блогов о нем растет не по дням, а по часам и мы уже обогнали любителей писать об аэродинамических свойствах плоских камней при скольжении по волнам с разной степенью электропроводности воды.

Новый блог, под названием http://odi-consulting.blogspot.com/, пугает количеством сообщений за октябрь и ноябрь. Появившихся, скорее всего, в один день каждого месяца. Т.е. за один день ноября и за один день октября.

Языки пламени на заднем фоне и золотые часы, символизируют, видимо, планы ODI по захвату ETL мира и его идеи насчет пользователей конкурирующих решений.

На всякий случай добавил в список блогов, хотя есть там кое-что, что меня смущает. В частности, копии чужих записей, без указания авторства.

Логика контекста физики.

В: Скажите, есть ли у вас какая-нибудь недвижимость?
С: Нет.
В: Вклады в банке?
С: Нет.
В: Как я понимаю, вы сейчас учитесь?
С: Да, я студент.
В: Понимаете, я просто хочу определить, есть ли что-то, что будет удерживать вас в Украине.
С: Удерживать? Конечно есть, учёба удерживает.

Из разговора между студентом и сотрудником визового центра одной из стран шенгена при оформлении визы.

Попробуем почувствовать важность знаний и рассмотрим, что говорит документация ODI обо всех этих понятиях: логических и физических архитектурах и контексте.

Что скрывает Oracle?

На чем хотелось бы акцентировать внимание если описанное по ссылке (на английском) действительно имеет существенное место в жизни многих компаний?

Из описанного в той части, что касается Oracle, можно выделить две мысли:
1. OWB еще, возможно, поживет помучается. Что скорее не очень хорошо.
2. Интегрировать (в том числе и данные) предстоит самостоятельно, что скорее хорошо, чем плохо, значит учиться, как это можно делать с помощью ODI, совсем не поздно.

Надеюсь следующая заметка поможет в этом.

Продолжаем патчить.

Продолжаю наполнять страницу с описаниями патчей для ODI. Появились уже патчи и для 11g версии. Не все из них являются обязательными, скорее, Oracle рекомендует устанавливать их только в том случае, если вы действительно испытываете описанные проблемы.

Социальный SQL.

Привет всем.

Аналитика как Сервис. Какие могут быть ассоциации? Похоже ли это больше на Тестирование как Сервис, ПО как Сервис, Железо как Сервис или на Службу печати как Сервис?

Попробую добавить ассоциаций.

... позволяет пользователям, аналитикам, ученым, руководству или менеджерам следить за запросами друг друга, связывать запросы, лайкать их, плюсовать их, создавать группы и публиковать аналитику, исследовать новые данные и формировать новый взгляд на данные на лету.

...

Представьте, что вы собирали все запросы к данным, миллиарды запросов за последние несколько лет, от самых простых до самых сложных. Теперь добавьте развёрнутый план выполнения для каждого запроса и данные о том, кто и когда его выполнял.

Теперь самое важное, показывайте людям, которые работают над запросами, во что этот запрос им выльется, прямо во время этой работы.

...

Это будет некое онлайн SQL средство, позволяющее людям искать запросы, искать метаданные, показывающее, кто и какие части данных использует в своей работе, средство, имеющее систему выдачи рекомендаций во время составления запроса, предлагающее рассмотреть те элементы общих данных, о которых вы даже и не задумывались.

...

позволит вашей организации стать более самодостаточной и независимой от IT чем раньше.

Аналитика как сервис - Социальный SQL оригинал на английском языке.


Спасибо Apex-у за ссылку.

Долго ли живут модели?

Как раз в процессе думания над моделью попалась эта заметка. На самом деле она не только про банки, я думаю.

Описание объектов, атрибутов, связей модели анализа большей частью отвечает на вопрос: «как ЭТО МОЖНО интерпретировать?», не давая четкого ответа на вопрос: «как ЭТО НУЖНО интерпретировать?», оставляя ИТ специалистам и бизнес-аналитикам широкие возможности для самостоятельного нахождения нужного ответа

Ссылка.

Перезагрузка данных в ХД.

Приветствую.

Последняя из найденных интересных статей при подготовке вот этого перевода касается проблемы перегрузки (перезагрузки, повторной загрузки и обновления) данных в ХД.

В настоящее время явно не хватает информации о том, как правильно разрабатывать и как правильно проектировать подобные процессы. Более того, на рынке всё больше появляется специальных продуктов для «эффективной разработки» процессов перегрузок, разработчики которых просто подменяют эффективность разработки, эксплуатации и сопровождения скоростью самого процесса перегрузки.

Какую именно информацию стоит поддерживать в системе метаданных, чтобы эффективно эксплуатировать и сопровождать ХД?

...вполне обоснован вопрос: чем определяется минимально необходимый объём метаданных, требуемый для поддержания ХД?

...какие условия необходимо иметь в виду при проектировании информационной модели БД хранилища данных, учитывая технологические потребности операций перегрузки?

Ссылка.

2011-11-01.

odiexperts.com

Добавление ORDER BY в интефейс.
Handling the “ORDER BY” clause in an interface
Два простых способа организовать сортировку при работе с данными (ORDER BY) путем модификации модуля знаний или добавления опции.
Дата публикации: 2011-11-13, Комментариев: 0


Автоматическое добавление интерфесов/сценариев в новый пакет через ODI SDK.
Automatically add Interfaces/Scenarios to new ODIPackage using ODI SDK
Автоматическое добавление интерфейсов или сценариев из заданной папки в новый пакет с помощью ODI SDK.
Дата публикации: 2011-11-15, Комментариев: 0


Создание пакета через ODI SDK.
Creating Package using SDK
Как создать пакет и определить вызов переменных в разных режимах использования (объявление, обновление и т.п.), добавить интерфейс или сценарий в пакет с помощью ODI SDK.
Дата публикации: 2011-11-15, Комментариев: 2


Создание интерфейса из одного источника и одного приемника.
Creating Interface for Single Source and Target
Использование ODI SDK для создания интерфейса из одной таблицы источника и целевой таблицы.
Дата публикации: 2011-11-16, Комментариев: 0


Создание постоянного интерфейса на основании модели.
Creating Permanent Interface based on Model Level
Создание интерфейса с одним источником и одним приемником данных, которые имеют одинаковое название но находятся в разных моделях с использованием ODI SDK.
Дата публикации: 2011-11-16, Комментариев: 0


Экспорт - импорт сценариев для заданного проекта или папки.
Export and Importing Scenarios based on Project (or)Folder
Копирование всех сценариев из папки или проекта за заданный период времени из репозитория разработки в репозиторий выполнения с помощью ODI SDK. В комментариях приведена ссылка на документ описывающий API для работы с планами загрузки, а также отмечается несомненная важность автоматизации процесса передачи сценариев ODI в промышленную эксплуатацию, так как ручное развертывание чревато многочисленными ошибками.
Дата публикации: 2011-11-27, Комментариев: 5

Оптимизация производительности ODI.

Продолжаем начатый здесь перевод документа 423726.1 "What Are The Best Approaches For Performance Optimization Strategies For ODI Scenario Execution".

Оптимизация выполнения.

Получение оптимального времени выполнения ETL процессов может быть достигнуто благодаря настройкам агента ODI, балансировке нагрузки и правильному выбору места для установки агентов.

OWB всё.

Тем, кто выбирает в данный момент на чем начинать разработку нового ХД, возможно, будут полезны следующие два перевода.

Oracle Warehouse Builder идет на пенсию. Что делать?

Три основных недостатка современных хранилищ данных.

Интересно, изменились ли за последние лет восемь эти недостатки?

... три основных проблемы, которым уделяется недостаточное внимание при создании хранилищ данных: качество данных, оптимальный выбор источников данных и производительность и масштабируемость.

Ссылка.

ODI vs BODI.

Привет всем.

Сегодня публикую перевод одного из обсуждений, проходившего в группе Data Warehousing (Business Intelligence, ETL) Professional's... в Линкед Ин.

Тема, начатая Mohammed, собрала 15 комментариев.

Методы оптимизации загрузки данных для ODI.

По наводке Uli, за что ему большое спасибо, перевод первой части документа с металинка относительно "What Are The Best Approaches For Performance Optimization Strategies For ODI Scenario Execution [ID 423726.1]".

---

Область применения:
Oracle Data Integrator - начиная с версии 3.2.03.01...
Информация в этом документе применима к любым платформам.

Модуль знаний для новой СУБД Oracle.

в составе нового продукта можно найти специальные средства для Hadoop (Oracle Data Integrator Application Adapter for Hadoop и Oracle Loader for Hadoop), а также Open Source-реализацию языка программирования R.

Oracle Big Data Appliance - NoSQL-хранилище с Apache Hadoop от Oracle заметка на interface.ru

Текст ниже, с конца марта этого года, ждет своего воплощения в виде заметки. Наконец-то пригодился! Для интересующихся почитать что-то на тему NoSQL:

---

Найти какую-то подходящую статью связанную с ХД и порекомендовать
http://highload.com.ua/

---

Ищут экспертов.

Достаточно знания ODI и еще как минимум одной из технологий Oracle.
Москва.

Ссылка.

2011-10-01.

BI-Quotient

OWB идет на пенсию. Что делать?
Oracle Warehouse Builder to go into retirement. What to do?
Смотри перевод здесь.
Дата публикации: 2011-10-25, Комментариев: 0

Лучший опен сорс ETL (Pervasive, Talend, Pentaho).

Привет всем.

Перевод небольшого обсуждения, состоявшегося в группе Data Warehousing (Business Intelligence, ETL) Professional's Group на сайте Линкед Ин.

Я буду указывать только имена участников. Дискуссия начата Прашантом.

Использование утилит Oracle Data Integrator.

Сентябрь еще на дворе, а в нашей профессии без постоянного изучения чего-нибудь нового - никуда. Поэтому сегодня будет перевод части документации из файла Tools Reference Guide посвященной командам ODI.

---

Использование утилит Oracle Data Integrator.

Список для чтения (ODI RSS Feed).

Привет всем.

Пока у меня есть масса работы на работе и времени писать полноценные сообщения в блог категорически не хватает, я решил собрать все блоги, по которым уже есть поиск, список последних сообщений из которых выводится в отдельной области блога, в отдельный поток.

Проше говоря, можно подписаться сразу на все блоги, включая этот, используя вот эту кнопочку:

Если кому-то интересно, как это сделано - смотрите, где я это прочитал.

Услышимся.

Два полюса архитектур ХД.

Просто для себя запишу, чтобы потом использовать, если будет нужна отправная точка.

Различия

Первое существенное отличие между этими архитектурами - различные подходы к построению баз данных, составляющих основу Хранилища. Если Ральф Кимболл (Ralph Kimball) использует пространственную организацию баз данных (dimensional data bases) c так называемой архитектурой "звезда" как на стадии подготовки, так и презентации данных, то Билл Инмон (Bill Inmon) комбинирует два подхода. В его модели атомарные данные организованы в реляционные базы и находятся в нормализованном Хранилище данных, причем суммарные данные доступны для использования через специализированные Хранилища, средства data mining и OLAP; что же касается зависимых витрин данных, то только они организованы с помощью пространственных моделей, как и у Ральфа Кимболла.

Таким образом, по сути дела архитектуры отличаются только способами обращения с атомарными данными: их пространственной организацией у Кимболла и нормализованной - у Инмона.

Второе принципиальное отличие этих двух подходов, отчасти вытекающее из первого, - вопрос физической организации Хранилища. Если у Инмона Хранилище данных - это физически целостный реально существующий объект, то Хранилище Кимболла - скорее "виртуальный" объект. Это коллекция витрин данных, которые могут быть пространственно разобщенными.

Этими двумя основными отличиями в целом и исчерпывается принципиальная разница между той и другой моделью.

Источник.

Еще одна ссылка по теме.

2011-09-01.

odiexperts.com

Создание процедуры ODI через SDK.
Creating ODI Procedure using SDK
Создание процедуры ODI с помощью SDK.
Дата публикации: 2011-09-18, Комментариев: 0


Создание интерфейса временной таблицы через ODI SDK.
Creating Temporary Interface using ODI SDK
Создание интерфейса для заполнения временной таблицы с помощью ODI SDK
Дата публикации: 2011-09-26, Комментариев: 0

Обманываем синтаксический анализатор ODI.

Продолжаем начатое ранее рассмотрение как, с помощью уловки с комментариями, можно сделать некоторые вещи, такие как использование аналитических функций, более удобными.

Рассмотрим интересный пример от Cezar Santos с сайта odiexperts о том, как в интерфейсе получить константу или псевдоколонку из источника.

Кто такой DBA?

В дополнение к предыдущей заметке об ODI разработчиках небольшая заметка, описывающая, чем занимаются их ближайшие коллеги - админы БД.
Админы баз данных, кто они?

Хранилища данных уже не справляются.

Сегодня уровня структурированности любых СУБД уже недостаточно. Традиционное поисковое ПО не так интеллектуально, чтобы быстро разобраться в неструктурированных данных, например, понять содержание видео или музыкального трека.

Будущее за видеодашбордами и анимационными годовыми отчетами?

Как стать (ODI) разработчиком Хранилищ Данных.

Датафлоу изучать, SQL не забывать,
учат в блоге, учать в блоге, учат в блоге.
Скриптописерами быть, и лоады проводить
учат в блоге, учать в блоге, учат в блоге.

Всем привет.

Те, кто читает этот блог на постоянной основе, думаю, имеют свой вариант ответа на этот вопрос.

Multitenancy в хранилищах данных. Подходы.

В процессе подготовки заметки наткнулся на обсуждение методов реализации концепции Multitenancy через JPA+Hibernate для построения бизнес-приложений. В тексте упоминаются хранилища данных, но это, скорее, базы данных для приложений.

Как обычно, достаточно много идей находится в комментариях.

Когда у меня на текущем проекте получится построить настоящее многовладельческое ХД с использованием ODI - я обязательно распишу, какие особенности Oracle Data Integrator помогали нам в этом, а какие - наоборот.

С чего начинался Оракл.

С патчей.

Помогает смириться.

via Дмитрий Волков.

Сбор статистики для таблиц MS SQL Server.

Приветствую.

Продолжим изучать описанный ранее подход сбора статистики для таблиц БД.

Моя цель - улучшить скрипт и разобраться немного с процессом сбора статистики для таблиц MS SQL Server. Статистику буду собирать по всем колонкам заданной таблицы.

Итак, документация дает следующее описание синтаксиса команды сбора статистики:

Больше DRAM-а для данных.

Не знаю, можно ли сильно ускорить выполнение запросов, если вся БД лежит в памяти, но упростить саму СУБД при этом наверняка можно. Я имею ввиду ее код.

MemSQL стартап.

Желающим составить свое собственное мнение о возможном ускорении работы СУБД рекомендую вот это - как работает СУБД глазами программиста.

P.S. В качестве бонуса часть шестая - зачем нужны вообще CUBE/ROLLUP?

2011-08-01.

odiexperts.com

Установка и настройка ODI SDK в Eclipse.
ODI SDK Setup and Config in Eclipse
Как подключенить ODI SDK к Eclipse. Также приведены примеры создания проекта, папки, контекста, физической и логической схем, дата сервера и т.п.
Дата публикации: 2011-08-18, Комментариев: 0

BI-Quotient

Настройка и оптимизация производительности ODI.
ODI performance tuning, and optimisation
Большинство вопросов, касающихся настроек и оптимизации производительности работы ODI рассмотрены в документе Oracle Note 423726.1. Смотри перевод здесь.
Дата публикации: 2011-08-15, Комментариев: 0


Какие умения необходимы для разработчика ODI 11g.
Skills an ETL developer on ODI 11g (Oracle Data Integrator) requires.
Смотри перевод здесь.
Дата публикации: 2011-08-16, Комментариев: 1

Вакансия.

Как обычно, для жителей Москвы или московской области.

Ищут, как я понял из заголовка, сисадмина, способного не только разговаривать с разработчиками на средних тонах, но и ставить им задачи, проектировать ХД и писать документацию.
SYSAdmins.RU -> JOB

Новая линейка продуктов для управления качеством данных.

Новость на CNews.

Интересно, развитие ли это Oracle Data Quality для Oracle Data Integrator или совершенно новый продукт?

Oracle анонсирует новую линейку продуктов для управления качеством мастер-данных

Корпорация Oracle представила новую линейку продуктов для управления качеством мастер-данных Oracle Enterprise Data Quality. Она объединяет решения для управления данными по клиентам от недавно приобретенной компании Datanomic и для управления данными по продуктам Oracle Product Data Quality. По мнению Oracle, новая линейка продуктов позволит предоставить заказчикам широкие возможности по обеспечению качества данных для любой отрасли и типа основных данных, включая специальные возможности для да… полный текст

Источник: CNews

День рождения.

Вот и лето прошло в разгаре.
Вернее, блог пережил свой первый ровно год и один день с момента первой заметки. Не буду рассказывать, как много миллиардов нано евро заработал аккаунт AdSense в этом блоге за этот год, поверьте, их больше одного.

Но, как говорится, не имей сто гривней, а имей сто друзей. И с этой стороны блог тоже успешен - некоторые из выражений даже попали в скайп, а, возможно, и в емейл.

Спасибо за это, друзья! Спасибо, также, за ваши комментарии и идеи, они вдохновляют автора и помогают читателям.

Нельзя сказать, что автор собирается останавливаться на достигнутом. В ближайших планах сделать вычитку уже опубликованных сообщений, возможно, добавить в них перекрестные ссылки, повысив связность информации.

Так что, если вы читаете блог через какие-то программы ридеры, не пугайтесь, если будет уведомление об измениях в записях. Кардинальных изменений в опубликованном не будет.

Если же вы еще не читаете блог в постоянном режиме - самое время подписаться на обновления через РСС.

Интернет предоставит какой-то ответ на самый какой-то вопрос.

Привет всем.

В эти летние дни многие думают об отпуске, отдыхе, холодном пиве и прочих плотских утехах, но не все из нас, хвала Сарасвати, столь приземленные личности. Есть еще люди, которые считают, что программирование это не ремесло, а искусство.

Именно они ведут поиск в сети по таким запросам:
oracle odi искусство создания km.

Решил и я приобщиться к результатам этого запроса. Интересных не так уж и много. Даже мало, всего два. Вкратце, их можно описать так - режим благоприятствования для ODI уже есть, хоть и в отдельно выбранном городе, и - после трех лет работы с ELT утилитами по плечу даже такие сложные задачи, как задача связи между востоком и западом.

Удачных всем отпусков и безтеррорного отдыха.

Автоматический сбор статистики для таблиц.

Привет всем.

Почти год назад получилось помочь коллегам в решении такой задачи как автоматизация сбора статистики по колонкам стейджевой таблицы. Суть заключалась в том, что необходимо было создать механизм, позволяющий не беспокоиться администратору или ETL разработчику об изменениях в одной из таблиц промежуточной области (длинное название для стейджа).

Используем аналитические функции SQL в ODI.

Приветствую.

Сегодня хочу рассказать о том, что давно уже всем известно. Вернее, я так думал, что все, кто работал с ODI об этом давно знают.

Но, пару недель назад, я услышал, что ODI не знает как ему работать с аналитическими функциями в маппингах.

Вернее, мой собеседник сообщил, что ODI умеет работать с аналитическими максимумами или минимумами, но не совсем правильно это делает. И чтобы исправить это дело, нужно долго копаться в модулях знаний, изучать методы подстановки и т.п. и т.д.

Exadata как iPhone среди хранилищ.

Коллеги продолжают обсуждать достоинства и недостатки Exadata и Netezza путем обдумывания презентаций.

Не спешите, кстати, читать по ссылке, чем больше будет комментариев, тем интереснее.

Добавлен список блогов.

Ahoj

Есть на земле аэропорты с беплатным wi-fi, но ни почта, ни скайп в них не работают. Это ли не повод написать небольшое обновление в блог? Блоггер, кстати, тут почему-то доступен.

Новости сегодня большей частью связаны с дизайном. Я добавил в правой колонке, после списка последний комментариев, список тех блогов или сайтов, по которым ведется поиск, когда вы вводите запрос на соответствующей странице поиска. Каждый из этих блогов, как минимум несколько раз, публиковал что-то полезное относительно Oracle Data Integrator, и, я уверен, сами по себе эти блоги тоже хороши и интересны.

Конечно, я добавил этот список не просто так, теперь я смогу задействовать еще один блок рекламы, потому что близится конец финансового года, надо будет подбивать итоги, а тендеции пока не очень вдохноляющие. Не пойму, кризис же вроде закончился, почему никто не переходит по рекламным ссылкам? %)

Exadata vs Netezza.

Доброго дня.

Давно я не писал ничего про Терадату. Зато, следуя сложившейся традиции, слелаю заголовок очень броским. Согласно статистике посещаемости, заметка с названием Реклама поднялась на четвертое место по количеству просмотров, хотя ни к каким результатам для рекламируемого сервиса это и не привело.

Пора бы объяснить, как эти вещи связаны, причем тут Терадата, реклама и ссылка на обсуждение сжатия в СУБД от IBM и Oracle. Про Терадату мне напомнил один из комментариев, в котором вспоминают архитектуру специализированных машин для ХД, при которой часть работы по фильтрации строк в запросе передается фактически на процессоры дискового хранилища.

Немножко сумбурно там все написано, но, я думаю, вы уже привыкли.

Структура таблиц рабочего репозитория ODI.

Приветствую.

Не все статьи в блоге одинаково полезны. Но даже из не очень популярной, зато длинной и расцвеченной, статьи о перенумерации строк в SNP_EXP_TXT, можно добыть полезную информацию.

Если внимательно посмотреть на комментарии к коду в указанной заметке, можно получить некоторое представление о том, что именно хранится в некоторых таблицах репозитория разработки ODI.

2011-07-01.

BI-Quotient

Где лучше всего расположить ODI агента?
What’s the best location for the ODI agent?
Рассмотрен вопрос о том, где лучше всего и в каких случаях, располагать агента ODI.
Дата публикации: 2011-07-24, Комментариев: 0

1000 примеров построения ETL.

Привет всем.

Топик на sql.ru, посвященный книгам для самообразования ETL разработчиков. Там пока не очень много информации, по ODI нет ни одной ссылки, и это было бы грустно, если бы не было этого и других блогов.

Обещаю обязательно дописать и опубликовать существующие черновики, коих уже накопилось 32 штуки. Думаю, изучение практических примеров решения задач загрузки, описанных в этом блоге, помогают кому-то в работе с ODI. Кстати, самый старый черновик за 9 сентября прошлого года, уже наполовину закончен, да.

Построение реальных хранилищ данных.

Коллеги.

Довольно большая и интересная статья на тему использования Oracle Golden Gate для построения Хранилищ Данных работающих в режиме реального времени. Одна половина документа рассказывает о том, зачем и почему возникла необходимость в такого типа ХД, вторая - как их строить и кому это удалось.
Спасибо Александру Рындину за перевод.

Я планировал рассказать о Golden Gate то немногое, что узнал на семинаре, в частности, как именно он интегрируется с ODI. Но у Александра там намного больше о GG написано, а я обожду, вдруг через пару лет представится возможность использовать Golden Gate самому, тогда уже и расскажу об этом.

P.S. Я уже кстати давал ссылку на блог Александра вот здесь.
P.P.S. Было большое желание начать заметку словом "пацаны", вместо - "коллеги", но с хранилищами работает и слабый пол, так что короче оказался текущий вариант.

Многотабличность интерфейсов ODI.

Один из поисковых запросов, по которым попал в этот блог кто-то из наших коллег, звучал так - odi многотабличные интерфейсы.

Я решил записать свои мысли на этот счет, так как думать над этой идеей начал еще во время курсов по Информатике, на которых реализация многотабличности была частью одного из заданий курса. Единственное, что все мои рассуждения основаны на опыте использования 10 версии ODI. Возможно, в новых версиях будут какие-то изменения, но не думаю, что сильно кардинальные.

Прячем пароль при вызове внешних утилит.

Всем привет.

Идея этой заметки появилась после вот такой беседы:

...мне нужно внутри пакета выполнить sql файл. Через OS command можно, но получается, что явно пароль указывается. Вроде как не хорошо. Может ещё вариант есть?
   ...я могу написать sqlplus user/pass@Database @file.sql
но хочется логин пароль и имя базы не прописывать явно

ODI 11g. Некоторые ограничения планов загрузки.

Продолжаем.

Второе сообщение по поводу свежей версии ODI исследует новую возможность, появившуюся в этом релизе, связанную с построением планов загрузки.

---

Когда я впервые услышал о новых объектах ODI создающих планы загрузки, я подумал, что это может заменить разработанный нами шедулер (загрузчик).

И, хотя планы загрузки облегают запуск сценариев в параллельном режиме, существующие ограничения на определение зависимостей делают этот механизм не слишком эффективным.

В примере ниже, мы загружаем две таблицы фактов. Факт 1 зависит от таблиц справочников 1 и 2, тогда как Факт 2 зависит только от таблицы Справочника 2.

Факт 1 должен ожидать загрузки обеих таблиц справочников, перед тем как начать свою загрузку. Факт 2 должен ждать только Справочник 2. Таким образом самый эффективный план мог бы быть таким: загружаем Справочник 1 и Справочник 2 параллельно, затем, когда Справочник 2 загрузится, должен состояться запуск загрузки Фактa 2.
В тоже время по окончанию загрузки Справочника 1 должна запуститься загрузка Факта 1.
Проблема в том, что планы загрузки в ODI не могут быть настроены описанным выше способом.

В плане загрузки настроеном на рисунке, ODI запустит обе таблицы фактов в параллельную загрузку только после того, как параллельно выполнеяемые сессии для таблиц справочников закончат свою работу.

Эта недоработка в использовании параллелизма обычно не сильно влияет на загрузку, особенно если эта загрузка происходит в определенное временное окно, например ночью, или если количество сценариев не больше ста.

Другая возможность, которой не хватает - это ограничение количества одновременно запущенных сессий. Например, у вас может быть 10 сценариев, выполняющихся параллельно, но СУБД ограничивает вас только пятью одновременными подключениями. И когда один из выполняющихся 5-ти сценариев завершится, необходимо запустить очередной сценарий на выполнение.

Так что мы пока остаемся на своем собственном варианте организации загрузки зависимых таблиц.

---

Рисунки я взял у автора, сам в этот раз не проверял как работают планы загрузки, так как никак не доберусь до инсталляции 11g.

С помошью планов загрузки можно более просто организовать workflow загрузки зависимых таблиц. Единственное, что пока непонятно, имеется ли механизм автоматического (или хотя бы полуавтоматического) определения зависимых сценариев, или это необходимо делать вручную.

Если зависимости строятся автоматически, можно ли вмешаться в этот процесс, чтобы, например, некоторые особо ресурсоемкие операции обработки данных выделить в отдельный уровень.

Проблемы инсталляции ODI 11.1.1.5

Приветствую.

Пока я только думал о том, что необходимо написать о выходе ODI 11.1.1.5 другие люди уже установили эту версию и, даже, описали некоторые проблемы и пути их решения.

Поэтому сегодня перевод первого сообщения по этому поводу.

Описано Игорем Слуцким в группе LinkedIn с названием Oracle Data Integrator (ODI).

Это сообщение рассказывает, как обойти ошибку при инсталляции ODI 11.1.1.5 связанную с ошибкой в конфигурацией инсталлятора.

---

Когда вы инсталлируете ODI 11.1.1.5 выпущенный на прошлой неделе, вы получаете ошибку о том, что инсталлятор не может найти Java. Причины этого следующие:
1. Эта версия ODI включает jdk1.6.0_24 версию Java
2. Параметры в файле oraparam.ini ссылаются на jdk1.6.0_17 версию (просто забыли обновить ссылку с версии 11.1.1.3)
РЕШЕНИЕ:
1. Зайдите в папку где вы распаковали инсталляцию диска 1.
2. Найдите файл ORAPARM.INI. Таких файлов будет 2: один под windows и второй под solaris.
3. Откройте каждый файл на редактирование и найдите упоминание jdk1.6.0_17
4. Замените 17 на 24 и сохраните изменения.
Теперь можно попробовать запустить инсталляцию снова.

---

Тот же подход применяется при инсталляции ODI на Windows 7.

2011-06-01.

odiexperts.com

Есть чем гордиться.
Things to be pride of….
-
Дата публикации: 2011-06-14, Комментариев: 1

BI-Quotient

Апгрейд ODI 10 на ODI 11g. Клонирование репозиториев.
ODI snippets: Upgrade ODI 10g to ODI 11g – Cloning repositories
Если для перехода на новую версию ODI вы решите клонировать репозитории старой версии, чтобы потом сверху поставить более новую версию, и ваши репозитории находятся в Oracle 11g, то нельзя использовать утилиты экспорта/импорта, так как в этом случае таблицы из репозитория без строк не попадут в экспорт.
Дата публикации: 2011-06-01, Комментариев: 0


Анонс книги по ODI 11g.
ODI 11g book announced for July
По ODI написана книга - Oracle Data Integrator 11g: Getting Started.
Дата публикации: 2011-06-14, Комментариев: 2

ChaVo.

Привет.

Добавлена новая страница в блог с переводом часто задаваемых вопросов по Oracle Data Integrator. Находится вот здесь. Пока делал перевод - нашел одну ошибочную ссылку в оригинале, попробовал разобраться, сколько стоит Oracle Data Integrator, почитал ODI форум.

Занятие это было более-менее интересным, результаты, надеюсь, будут также и полезными кому-нибудь из вас.

Переполнение главной таблицы SNP_EXP_TXT.

Привет всем.

Как известно, таблица SNP_EXP_TXT содержит текстовые части команд ODI.
В старых версиях, с 10.1.3.2.0 по 10.1.3.5.1 для ключевой колонки I_TXT из этой таблицы выделялось недостаточно места, таким образом, с течением времени могла возникнуть ситуация, когда свободные номера в колонке заканчивались, и она начинала выделять значения с 0, что приводило к ошибке ORA-00001: unique constraint (SDS1.PK_EXP_TXT) violated.

Обновлена страница патчей.

Привет всем.

Поддержка Оракла справедливо решила собрать весь список обновлений для ODI в один бюллетень. Так что у кого есть доступ на металинк может поискать по его названию, оно следующее - Master Note For Oracle Data Integrator (ODI) And Legacy Sunopsis, Releases and Patches [ID 456313.1].

У кого такого доступа нет - часть описаний патчей доступна как обычно на вот этой странице блога.

Кстати, в вышеупомянутом бюллетне не указано, что вышел ODI 11.1.1.5, видимо, упоминание о нем вскоре будет туда добавлено.

Так же в бюллетне есть упоминание о том, что начиная с версии ODI 10.1.3.6.1 отдельно выходят обновления для адаптеров приложений, то есть, если я правильно понял, для модулей знаний.

Список изменений для модулей знаинй доступен на той же странице патчей для ODI.

Об ODI уже рассказывают по телевизору!

Привет всем.

Заинтригованы?

На самом деле это некий вебинар, правда, показывают его со специального сайта с интернет телевидением, название которого я расшифровал как ИмяКомпанииТВ.

Так что с названием заметки я не сильно преувеличил.

Так что, кто хочет послушать об инструменте загрузки о согласования данных - вам сюда. Там, правда, вначеле идет минут 5 рекламы, ну так на то оно и телевидение, правда?

Вышел ODI 11.1.1.5.0

Привет всем.

Некоторое время назад, а точнее - 9 мая, появилась обновленная версия ODI, которая теперь имеет номер 11gR1 (11.1.1.5.0) и название - ODI с патчами номер 1. Тем, кто ждал первого сервис пака - уже можно начинать работать с ODI без отговорок.

Со странички с описаниями изменений переведу правильно только те описания, которые понимаю, а за оригиналом - по ссылке сюда.

Первый набор исправлений для ODI включает в себя следующие вещи:

Планы загрузки (Load Plans) - новые объекты, представленные в этом релизе, для организации высокоуровневых последовательностей выполнения пакетов и сценариев. Планы загрузки позволяют организовывать параллельное, последовательное или условное выполнение сценариев, перестартовывать упавшие сценарии и обрабатывать исключительные ситуации. Планы загрузки могут быть созданы и модифицированы в ПРОД среде.

Другими словами, появилась возможность писать свои шедулеры более просто. Более того, при правильной организации набора сценариев, сами шедулеры могут делать администраторы ПРОД систем.

Развертка данных для OBIEE (OBIEE Lineage)
Пользователям Oracle Business Intelligence Enterprise Edition необходимо знать из каких данных составлены их отчеты. Если данные из систем источников загружаются с помощью ODI - есть возможность соединять метаданные ODI с OBIEE и пользоваться стандартным дашбордом отчет-источник.

Инициализация-финализация дата сервера (Commands on Connect/Disconnect)
Появилась возможность задавать для дата сервера команды, которые автоматически запускаются после установления или завершения соединения с дата сервером из компонентов ODI или из сессий.

В принципе в 10 версии примерно того же результата можно было добиться путем модификации модуля знаний, добавляя команды инициализации, например, выбор языка, до начала получения данных из источника. Но такой подход срабатывал, конечно, не во всех случаях.

Обработка файлов сложных форматов (Complex File Technology)
Файлы с несколькими типами записей теперь могут быть обработаны с использованием CFT. Эта технология использует новый драйвер для подключения файлов со сложными форматами в виде реляционной структуры к ODI, а затем этот файл может использоваться как источник или приемник данных.

Подробнее о Complex File Technology

Добавление технологии Groovy (Groovy Technology)
Очередной скриптовый язык добавлен в список поддерживаемых в ODI. Может использоваться как в модулях знаний так и в процедурах.

Что такое груви в русской википедии.

Улучшения в веб сервисах (Web Services Enhancements)

• Поддержка контейнерной аутентификации. Что это?
• Поддержка асинхронных и обратных вызовов. Сценарий или сессия могут быть запущены через веб сервис в асинхронном режиме без дальнейшего ожидания результатов выполнения. Когда сессия закончит свою работу, можно осуществить обратный вызов по заданному адресу и обработать результат работы сессии. Этот механизм поможет лучше работать с длительно выполняющимися сессиями.
• Утилита OdiInvokeWebService теперь полностью поддерживает SOAP в исходящих сообщениях, включая полноценные SOAP заголовки и тела сообщения.

Изменения в используемых технологиях (Built-in Technology Additions and Updates)
Следующие механизмы были изменены в ODI.

• Обновился движок HSQL до версии 2.0. Он используется для обработки данных в памяти (Memory Engine), а также при хранении данных драйверами XML и LDAP
• Обновился Jython до версии 2.1.
• Стандартный стэк для обработки web запросов теперь JAX-WS/JRF. Предыдущий - Axis - больше не используется.

Расширенная поддержка джоинов (Support for Technologies with Ordered and Non-Ordered Join Syntax)
Технологии СУБД теперь могут поддерживать оба типа джоинов, как упорядоченные соединения таблиц, так и не упорядоченные. Технология Oracle для ODI теперь может использовать оба варианта одновременно.

У меня в планах есть желание рассказать об одном очень интересном опыте использования Ordered and Non-Ordered джоинов на одном из проектов.

Новый метод именования шагов (New Method for Setting Task Names)
Для задания имени шага во время выполнения предоставляется новый метод setTaskName.

Интересно, называют ли старым методом статическое наименование шагов в Дизайнере.

Общие библиотеки для агентов Web Logic Server (Shared Library for WLS Agent)
Добавился дополнительный шаблон для развертывания наборов библиотек, общих для всех агентов WLS для домена. Этот шаблон должен выполняться до деплоя агентов.

Оптимизация производительности (Performance Optimization)
Некоторые компоненты были модифицированы, чтобы достичь большей производительности как во время разработки, так и во время выполнения.

• Таблицы для хранения текстовых полей модифицированы для использования типа CLOB.
• Уменьшено время требующееся при взаимодействиях между агентом и репозиторием.
• Пересмотрен и оптимизирован механизм загрузки используемый агентами в сценариях загрузки JDBC-JDBC

Несколько ссылок про DBA.

Привет всем.

Пока не получается писать в блог длинно, но еще находится пара минут, чтобы прочитать что-то короткое. Чем и поделюсь.

Помните, теперь обычный DBA вполне нормально администрит? Вот тут продолжение истории, только читать начните с Compression in Action, дальше вверх страницы, а затем уже комментарии, если я правильно разобрался...

И второй момент, небольшой опросник сопоставляющий количество админов и БД.

Разработка нового ETL продукта.

Привет всем.

На днях обнаружил при поиске вот такой кусочек текста:

Ayende Rahien (разработчик Rhino Mocks, NHibernate Profiler, etc.) настолько возненавидел SQL Server Integation Services, что решил написать свой ETL framework, в чем и преуспел - Rhino ETL.

Достаточно редкий случай, наверное, когда отрицательные эмоции пошли на хорошее дело.

Заинтересовался, конечно, обнаружил несколько любопытных заметок от автора блога Андрея Чарнова. Так что рекомендую ознакомиться начав, например, с тэга ETL или Паттерны.

Насчет же выделенной цитаты Ayende Rahien, Oracle Data Integrator именно тем и хорош, что позволяет, при необходимости, сделать достаточно глубокие изменения в логике работы ETL процесса, не испытывая при этом особой ненависти %).

Кстати, сам ODI, еще когда он назывался Sunopsis, вырос, если я правильно понял нашего лектора на семинаре, из заказной разработки для одного французского заказчика. Именно по этой причине префикс временных таблиц модулей знаний загрузки (LKM) имеет вид C$_ (от французского слова charge - загрузка).

Параллельное программирование выборок из БД.

Где-то схожая концепция с загрузкой данных в ХД. Если считать показ страницы фейсбука результатом построения отчета, то сканирование страниц друзей где-то похоже на загрузку данных из зависимых источников в ХД.

Если ничего непонятно - читайте полную статью Александра Москалюка.

2011-05-01.

BI-Quotient

Oracle Data Integrator (ODI) 11g: Ограничения планов загрузки.
Oracle Data Integrator (ODI) 11g: limitation of load plans
Описаны ограничения планов загрузки, новых объектов, появившихся в ODI 11g. В частности, не очень гибкий механизм задания параллелизма при выполнении сценариев и отсутствие ограничения на количество одновременно запущенных сценариев.
Дата публикации: 2011-05-18, Комментариев: 4

Зеленые запросы.

Hallo.

Немного в продолжение предыдущей темы относительно сравнений двух СУБД - маркетинговое видео с особенностями Экзадаты, специального программно-аппаратного комплекса для построения всяких больших баз и других Хранилищ данных.

Экза в иерархии мультипликаторов на две ступени выше Теры, но развивать эту систему Ораклу еще есть куда, как мне кажется.



http://youtu.be/4qzFFBff34g

Ну а нам с вами тоже есть куда развиваться - правильно написанный SQL запрос снижает нагрузку на оставшиеся в строю атомные электростанции...

За ссылку спасибо Сергею Данилову.

Сравнение особенностей SQL (Teradata vs Oracle).

Привет всем.

Я долгое время работал над построеннием Хранилища Данных в СУБД Терадата, поэтому привык к хорошему ;-)

А вот по ссылке ниже Boris Knizhnik потрудился и свел, хоть и не до конца, различия между языками SQL запросов в Терадате и Оракле. Очень занимательная заметка.

Уменьшаем количество переменных ODI.

Привет всем.

Мне кажется, что я уже писал о том, что надо стремиться сдерживать рост количества переменных в проекте. Можно минимизировать этот показатель организационными методами, например, установлением правил наименования переменных или запретом на изменение переменных обычными разработчиками. Можно минимизировать необходимость использования переменных в интерфейсе с помошью новых возможностей ODI 11g по использованию lookup-ов.

Начнем с документации.

Как и обещал вот здесь, попробую, где это возможно и имеет смысл, добавлять к заметкам файлы. Начало положено добавлением страницы с документацией по ODI.

Ну а вы, когда надумаете пользоваться каким-нибудь из описанных сервисов хранения файлов в облаке, не забудьте сделать это через ссылки, указанные в этой первоапрельской заметке.

Также немного изменил настройки стандартного гаджета для самых популярных сообщений в блоге. Теперь будут отображаться самые популярные заметки за последние 30 дней.

А уж для общего рейтинга подведу в конце года "Итоги года", если к этому моменту достанет сил, времени и воодушевления.

Добавление сайтов к поиску.

Привет всем.

Благодаря коллеге Uli Bethke из BI-Quotient пользовательский поиск, который используется в блоге, пополнился новыми сайтами.

Таким образом, когда вы ищите что-то связанное с ODI рекомендую пользоваться вот этой страницей сайта, или воспользоваться ссылкой прямо на сайте гугл Система поиска информации об Oracle Data Integrator.

Обсуждение Informatica vs ODI.

Кто не читал этот топик на sql.ru, ознакомьтесь.

Я знаю информатику исключительно в пределах двухнедельных курсов, и мое отношение к этому инструменту не совсем, конечно, подкреплено реальным опытом использования. Многое там хотелось изменить, но, ближе к концу курсов, Информатика начинала выглядеть все лучше. Очень понравилась возможность использовать один поток данных из одного источника для загрузки в несколько целевых таблиц.

Но я, конечно, считаю что ODI все равно лучше.

Ну а когда лучше, в каких случаях не лучше - как раз по ссылке.

Реклама.

Привет всем.

Хочу рассказать о небольших изменениях, которые планируются в блоге.

Когда у меня действительно появится время написать те несколько заметок, которые давно хочу написать, я бы хотел иметь возможность дополнять заметки в блоге некоторыми файлами.

Возможно, это будут файлы с кодом, или выгруженные процедуры или пакеты.

Чтобы иметь возможность указать ссылку на файл в сообщении, мне бы пришлось выкладывать на какой-то хостинг мой файл, разбираться с тем, как долго файл будет храниться на этом хостинге и тому подобное.

Но, как мне кажется, я нашел более удобный способ сделать это. Я собираюсь воспользоваться сервисом хранения файлов в интернете, который называется SugarSync. С его помощью я уже синхронизирую свои файлы между двумя рабочими и одним домашним компьютером, причем синхронизирую как документы, над которыми мне может понадобиться работать из нескольких мест, так и, например, настройки браузера, что позволяет мне иметь те же открытые вкладки на каждой машине.

Главное, на текущий момент, отличие SugarSync от более известного Dropbox-а в том, что первый позволяет синхронизировать любую выбранную вами папку. Остальные отличия можно посмотреть вот здесь.

Да, если вам, мои дорогие читатели, захочется зарегистрироваться в одном из этих удобных сервисов, используйте пожалуйста указанные ниже линки:

Регистрация в Dropbox
Регистрация в SugarSync

Это реферальные ссылки, используя их для регистрации оба участника получат бонус. На текущий день для SugarSync бонус составляет 500Мб при общем объеме бесплатного предложения в 5Гб. Для Dropbox показатели несколько более скромные, 250Мб за регистрацию, начальный бесплатный объем - 2Гб.

P.S. Все догадались, что название поста первоапрельское?

2011-04-01.

BI-Quotient

Пять новых блогов об ODI, на которые я подписался.
Five newish ODI blogs I have subscribed to recently
-
Дата публикации: 2011-04-04, Комментариев: 0


Даем работу ODI и OBI разработчикам.
Looking for ODI and OBIEE developers (permanent and/or contract), Dublin Ireland
-
Дата публикации: 2011-04-20, Комментариев: 0


Инсталляция ODI 11g, Weblogic, JDK на Windows x64.
Installing ODI 11g, Weblogic, JDK on 64 Bit Windows
Краткое описание инсталляции ODI 11g, Weblogic сервера на Windows x64. Смотри также: Инсталлируем ODI 11g на Windows x64 и MS SQL Server.
Дата публикации: 2011-04-24, Комментариев: 2

Клиентские приложения ODI и использование памяти (Heap Size).

Всем привет.

Сегодня хочу рассказать об одной неудачной попытке произвести импорт рабочего репозитория. Попытка эта, кроме всего прочего, была вызвана нехваткой памяти, о чем приложение Дизайнер честно и сообщало мне после нескольких часов работы:

Дополнение к описанию инсталляции ODI.

Дополнил страницу с описанием инсталляции ODI на ms-sql сервер разделом "Настройка СУБД для работы ODI".

Использование маркеров и мемо полей в проекте ODI (Using Markers and Memos).

Приветствую.

Сегодня сделаю небольшой перевод документации о том, что такое маркеры, и как их использовать, а затем, для демонстрации, создам несколько групп маркеров в тестовом проекте.

---

Практически все объекты проекта или модели имеют возможность быть помечеными некоторыми флагами, а также имеют поле Memo для внесения в него произвольного текста любого объема.

ODI Common Format Designer (Часть 2).

Приветствую всех.

Сегодня продолжение перевода документации о конструкторе моделей ODI. Здесь находится первая часть перевода.

---

Генерация DDL скриптов.

Когда изменения в структурах таблиц происходят на сервере СУБД, вы обычно делаете реверс-инжиниринг измененных таблиц, чтобы получить новые метаданные и сохранить их в репозитории ODI.

Teradata покупает Aster Data.

Уже как-то давал ссылку на новость о покупке компанией IBM специализированной СУБД Netezza, а тут коллеги прислали ссылку на сайт, который декларирует свое желание стать Хабром для BI.

Я пока там для себя нашел вот такую новость.

Поглядите, почитайте, возможно даже, станете одним из авторов BI Review.

(mind) Маппинг для Oracle Data Integrator.

Кто умеет пользоваться диаграммами связей (которые mind map, карты разума, ментальные карты и т.п.) могут попробовать поразглядывать вот эту диаграмму связей для Oracle Data Integrator.
Надеюсь, она попала в свободный доступ не случайно, соответственно, может быть еще кому-то полезна.

Строим workflow на основе пользовательского ввода (User Input).

Приветствую.

В комментариях к записи Что такое переменная ODI, один из наших коллег спросил, каким образом можно сравнить две переменные, одна из которых имеет тип alphanumeric, а вторая - date.

Как отмечено в указанной записи, я не знаю удачных примеров использования переменных типа даты. Теперь есть пример не очень удачного использования, но, тем не менее, с помощью исключений и использования KO перехода в пакете задача решена.

Веб-трансляция стратегий оптимизации Хранилищ Данных при помощи ODI 11g.

У кого есть желание может, после регистрации, прослушать эту трансляцию от сотрудников Оракла, относительно того, как "раскрыть потенциал ваших ХД, оптимизировать загрузку данных, их очистку, и вообще доверять данным, которые хранятся в ХД".

Вольный перевод маркетингового описания данного вебинара, который провели 3 марта старший маркетинг менеджер Mala Narasimharajan и главный продуктовый менеджер Denis Gray.

Ссылка.

Новые курсы по ODI (11gIA).

Привет всем.

Совсем недавно, 2 марта, нашлись очередные авторизованные курсы по Oracle Data Integrator. Нашлись они на этом сайте, проводит их компания РДТЕХ, так что они только для москвичей и гостей столицы России, как я понимаю.

И обратил я внимание, когда вчитался в программу курса, что курс то должен быть весьма интересным. Такой курс я бы посетил, в отличие от вот этого недоразумения.

Список патчей для Oracle Data Integrator.

Всем привет.

На новой странице блога доступен перечень патчей, которые выпускались для 10 версии ODI. Это пока все, что удалось найти, дальше попытаюсь обновлять эту страницу по мере выхода новых патчей.

2011-03-01.

odiexperts.com

Упорядоченные соединения.
Ordered SQL
Как с помощью включения режима упорядоченных соединений ускорить загрузку данных, убрать лишние временные таблицы и т.п.
Дата публикации: 2011-03-02, Комментариев: 0


Консистентное отслеживание изменения данных.
CDC CONSISTENT
Объемная и подробная заметка о том, как настраивать работу по отслеживанию изменений в данных в консистентном режиме (CDC consistent). Этот режим, в отличие от режима Simple CDC позволяет оперировать и отслеживать изменения не на уровне отдельной таблицы, а на уровне всей модели, как набора взаимосвязанных таблиц.
Дата публикации: 2011-03-27, Комментариев: 6

BI-Quotient

Модуль знаний загрузки Oracle-Oracle с использованием dblink-ов.
Load Knowledge Module Oracle to Oracle using database links
Критический взгляд на стандартный модуль знаний загрузки, предполагающий создание представления в БД источника, что зачастую может быть запрещено. Предлагается модифицированный модуль знаний, который для выборки данных из удаленной базы создает представление на приемнике данных (в целевой или стейджевой схемах БД). Также показана интересная техника подстановки к имени ресурса таблицы в модели имени дблинка передаваемого через переменную. Для более полного понимания принципов работы LKM Oracle to Oracle (DBLINK) смотрите: Создание представления через модуль знаний (Create View IKM).
Дата публикации: 2011-03-11, Комментариев: 8


Тестирование настроек JDBC драйверов для достижения наилучшей производительности загрузки данных в ODI.
ODI JDBC variable binding: 500% performance gains, Array Fetch Size, Batch Update Size, Row Prefetching, and the Array Interface; and an issue when running the agent in Weblogic.
Приведены объяснения и примеры тестов по следующим аспектам работы агентов ODI и драйверов JDBC: упреждаюшая выборка строк из БД (Array Fetch Size), передача параметров для операций изменения данных через массивы (Batch Update Size) и влияние этих параметров на используемую агентом оперативную память и производительность загрузки.
Дата публикации: 2011-03-22, Комментариев: 6


ODI 11g: не обнаружен osal.dll.
ODI 11g snippets: Could not locate osal.dll
Описана проблема и возможное решение при совместном использовании ODI 10 и ODI 11g. Версия ODI 11g использует jrockit JDK, версия 10 использует Sun JDK.
Дата публикации: 2011-03-15, Комментариев: 0

Загрузка данных с человеческим лицом.

Приветствую.

Небольшая экспресс презентация Алекса Грановского по решениям по интеграции данных. Но более интересным для меня оказался момент связанный с тем, что во многих проектах в задачи интеграции данных добавляется такой ненадежный элемент как человек. Подробнее в комментариях по ссылке.

Что такое ODI Common Format Designer (Часть 1).

Приветствую.

Сегодня хочу рассказать об одной интересной технологии создания моделей данных, которая есть в ODI, и которая называется Common Format Designer. На русский язык я попробую перевести этот термин как Конструктор Моделей.

Сам я конструктором моделей не пользовался в своей работе, о чем и сожалею, так как некоторые вещи с его помощью делались бы намного проще.

Ниже первая часть перевода документации, которая касается конструктора моделей.

---

Конструктор Моделей

КМ используется для быстрой разработки модели данных в клиентском приложении Дизайнер. Эта модель данных может быть разработана как полностью новая модель, или составлена из таблиц других моделей, уже существующих в ODI. КМ может автоматически генерировать DDL скрипты для физического создания таблиц на сервере данных.

КМ позволяет пользователю модифицировать существующую модель, а так же может автоматически генерировать DDL скрипты для синхронизации между моделью данных, хранящейся в ODI и реальными структурами данных, которые находятся в СУБД.

Использовать КМ можно при, например, разработке витрин данных, области стейджа, мастер данных или области преобразования данных (ODS), используя при этом структуры данных из гетерогенных систем источников.

Разработка Модели

Что такое диаграма?

Диаграма это графическое представление некоторого подмножества абстрактных таблиц, находящихся в модели или подмодели данных. Модель данных может иметь несколько диаграм.

Диаграма строится:

• Путем сбора в диаграму существующих таблиц из моделей и подмоделей.
• Созданием новой абстрактной таблицы, затем:
• добавлением колонок в эту таблицу из других таблиц;
• созданием новых колонок в этой таблице.

Зачем брать таблицы и колонки из других моделей?

Во время сбора таблиц или их колонок из других моделей в диаграму, Oracle Data Integrator сохраняет источник происхождения колонки или таблицы, добавляемой в модель. Хранение ссылок на источники оригинальных структур позволяет ODI автоматически генерировать интерфейсы интеграции для получения данных из таблиц источников (Interfaces IN).

Автоматически созданные интерфейсы не работают для загрузки таблиц или колонок, полученных не из других таблиц и колонок. Но для сгенерированных интерфейсов по-прежнему доступна возможность их редактирования и их можно доработать для загрузки тех данных, которые не были автоматически отмапированны.

Графические синонимы

В диаграме таблица может использоваться несколько раз как графический синоним. Синоним это просто вид отображения таблицы в графическом виде, позволяющий сделать диаграму более читабельной.

Если вы будете удалять таблицу из диаграмы, приложение Дизайнер выдаст запрос, хотите ли вы удалить просто синоним из диаграмы (оригинальная таблица модели сохранится), или хотите удалить как таблицу, так и все ее синонимы.

Использование диаграм.

Из диаграмы можно редактировать все элементы модели (таблицы, колонки, связи, фильтры и т.п.) присутствующие в диаграме. Так же, как и для пакетов, двойной клик в диаграме открывает для редактирования оригинальные объекты, так что изменения сразу вносятся в таблицы модели.

Для создания новой диаграмы необходимо:

1. В режиме отображения моделей, раскрыть дерево конкретной модели и выбрать узел Diagrams.
2. Правой кнопкой мыши выбрать команду Insert Diagram.
3. Ввести наименование и описание новой диаграмы

Добавление существующей таблицы в диаграму:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выбрать таблицу из модели.
3. Перетащить таблицу в окно диаграмы.
   Если таблица перетаскивается не из текущей модели или подмодели, будет выдан запрос на создание копии выбранной таблицы в текущей модели.
   Если таблица уже присутствует на диаграме, Oracle Data Integrator спросит, желаете ли вы создать еще один графический синоним таблицы или хотите ее сдуплицировать.

Новый графический синоним для таблицы отобразится в диаграме. В случае, если вы добавляли таблицу в диаграму из другой модели, или выбрали режим дуплицирования существующей таблицы, новая таблица появится в текущей модели и отобразится в дереве модели.

Примечание: для создания графического синонима для существующей в диаграме таблицы выберите команду Create Graphical Synonym из контекстного меню таблицы.

Примечание: Если связь (джоин) существует в оригинальной модели между таблицами, добавленными в диаграму, эта связь также копируется.

Для создания новой таблицы в диаграме необходимо:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выбрать колонку из таблицы модели.
3. Перетащить колонку в диаграму.
   Появится окно редактирования новой таблицы, в котором уже будет добавлена выбранная колонка.
4. Нажать ОК для сохранения результатов.

Для добавления колонок, условия, фильтров или ключей:

1. Выберите таблицу в диаграме.
2. По клику правой кнопкой мыши выберите нужную команду добавления ключа, фильтра и т.п.

Для добавления существующих условий, связей или фильтров к таблице:

1. Перетащите из дерева модели существующие условия, связи или фильтры на диаграму.

Таблица, для которой вы перетаскиваете условие, связи или фильтры уже должна присутствовать на диаграме. Такое бывает, если эти объекты для таблицы были созданы позднее, чем таблица была добавлена на диаграму.

Для редактирования колонки таблицы в диаграме:

1. Выбрать в диаграме необходимую таблицу, затем выбрать колонку.
2. Правым кликом выбрать команду из контекстного меню (редактировать, просмотреть, дуплицировать, удалить).
   Для тех колонок, которые являются часть ключа (первичного или альтернативного), есть возможность редактирования объекта ключ, через команду контекстного меню Primary Key - Edit.

Для создания связи между двумя таблицами:

1. В окне редактирования диаграмы необходимо выбрать вкладку Diagram.
2. Выберите на панели инструментов команду Add Reference.
3. Кликните на первой таблице и протащите курсор, не отпуская клавиши мыши, ко второй таблице.
4. Отпустите клавишу мыши, после чего появится диалоговое окно редактирования новой связи.
5. Задайте параметры связи и сохраните изменения нажатием клавиши ОК.

Для перемещения линии отображения связи на другой синоним:

Диаграма отображает связи между таблицами только от одного синонима к другому. Есть возможность, для таблиц у которых на диаграме несколько графических синонимов, выбрать к какому синониму будет проведена линия связи.
Изменение этого не меняет свойств связи, а влияет только на визуальное отображение в диаграме.

1. Выберите линию связи на диаграме.
2. По правой кнопе мыши выберите команду Display Options.
3. В появившемся окне выберите к какому синониму таблицы необходимо отображать связь.

---

Продолжение следует