Показаны сообщения с ярлыком Interface. Показать все сообщения
Показаны сообщения с ярлыком Interface. Показать все сообщения
воскресенье, 11 августа 2013 г.
понедельник, 1 апреля 2013 г.
ETL в картинках.
Как известно немногим, ETL придумали в Украине в институте кибернетики имени Глушкова. Как то раз, направлясь в ту же сторону, я, тоже будучи за рулем, смог догнать и сфотографировать (через лобовое стекло) одну из передвижных лабораторий, судя по номеру - ответственную за изучение процессов подготовки агрегирующих таблиц для пользовательских отчетов.
вторник, 5 марта 2013 г.
Организация моделей и проектов в ODI.
Приветствую.
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
среда, 12 декабря 2012 г.
Обновление таблицы в модели (когда реверс работает не так).
Приветствую.
Особенности реверса таблиц (и других объектов БД) в Oracle Data Integrator не всегда понятны, и требуют отдельного рассмотрения, в этой же заметке я хочу описать подход, при котором вы сможете достаточно быстро решить проблему несовпадения структур таблиц из модели и из физической БД.
Особенности реверса таблиц (и других объектов БД) в Oracle Data Integrator не всегда понятны, и требуют отдельного рассмотрения, в этой же заметке я хочу описать подход, при котором вы сможете достаточно быстро решить проблему несовпадения структур таблиц из модели и из физической БД.
пятница, 13 июля 2012 г.
Последний патч.
Приветствую.
Установил последний патч на ODI, под номером ODI 11.1.1.6.3 Bundle Patch Bug: 14037855.
Что в нем интересного?
Размер: 168643048 байтов
Количество исправленных багов: 39
Среднее количество байтов на (одну описаннуе в файле ридми) багу можно посчитать самому, если вы конечно не фанат ООП, для них размеры апдейтов - дело привычное.
Что мне понравилось?
Исправилась бага с отображением в виде списка дочерних сессий в иерархическом дереве.
13538870 - HIERARCHICAL SESSIONS VIEW TODAY DOES NOT DISPLAY SESSIONS IN HIERARCHICAL ORDER
Установил последний патч на ODI, под номером ODI 11.1.1.6.3 Bundle Patch Bug: 14037855.
Что в нем интересного?
Размер: 168643048 байтов
Количество исправленных багов: 39
Среднее количество байтов на (одну описаннуе в файле ридми) багу можно посчитать самому, если вы конечно не фанат ООП, для них размеры апдейтов - дело привычное.
Что мне понравилось?
Исправилась бага с отображением в виде списка дочерних сессий в иерархическом дереве.
13538870 - HIERARCHICAL SESSIONS VIEW TODAY DOES NOT DISPLAY SESSIONS IN HIERARCHICAL ORDER
вторник, 21 февраля 2012 г.
Создание представления через модуль знаний (Create View IKM).
God aften!
Представления (или, как их еще называют - вьюхи) очень важны, иногда они являются непосредственным воплощением ETL процесса. Например, на этапе загрузки данных из источников вполне вероятно использование представлений для простейших преобразований данных.
Нельзя сказать, что такое важное значение представлений никак не отражено в фольклоре. Как поет фронтмен группы ETaLlica - James_PK_Head_Field:
I am the View
I am the Table(t).
I am the View, I am the Table(t).
Даже из этого отрывка ясно, что представления многими ставятся на одно из первых мест.
Представления (или, как их еще называют - вьюхи) очень важны, иногда они являются непосредственным воплощением ETL процесса. Например, на этапе загрузки данных из источников вполне вероятно использование представлений для простейших преобразований данных.
Нельзя сказать, что такое важное значение представлений никак не отражено в фольклоре. Как поет фронтмен группы ETaLlica - James_PK_Head_Field:
I am the View
I am the Table(t).
I am the View, I am the Table(t).
Даже из этого отрывка ясно, что представления многими ставятся на одно из первых мест.
вторник, 31 января 2012 г.
Не все то хорошо, что новая версия.
Эпопея с закатом OWB тянется уже давно, и где-то на протяжении полутора лет мне, с разной частотой, попадались мнения разных людей, которые говорили или писали, что ODI и OWB скоро сольются.
Что вам сказать, похоже, сливание уже началось. Слияние. В текущей версии ODI мы имеем кучу багов и странных, тормознутых или кривых интерфейсных загогулин.
Попробуем пройтись по списку найденного.
Все это лучше было бы смотреть на видео, но, пока, до видео руки не дошли.
Что вам сказать, похоже, сливание уже началось. Слияние. В текущей версии ODI мы имеем кучу багов и странных, тормознутых или кривых интерфейсных загогулин.
Попробуем пройтись по списку найденного.
Все это лучше было бы смотреть на видео, но, пока, до видео руки не дошли.
пятница, 6 января 2012 г.
Что это, Берриссон?
Логично было бы предположить, что первая запись после НГ будет об итогах года. Так как итоги будут уже вторые - они и пойдут вторыми.
Так что первой в этом году будет запись о странном баге в ODI. Чувствую я, что год пройдет как раз под знаком разбирательств с багами в нашем любимом инструменте.
Начнем.
Некоторые вещи, как описываемая ниже, очень огорчают. В частности, вот эта ошибка, понять причины которой я пока так и не смог.
Предистория.
Так что первой в этом году будет запись о странном баге в ODI. Чувствую я, что год пройдет как раз под знаком разбирательств с багами в нашем любимом инструменте.
Начнем.
Некоторые вещи, как описываемая ниже, очень огорчают. В частности, вот эта ошибка, понять причины которой я пока так и не смог.
Предистория.
пятница, 30 декабря 2011 г.
ODI 11g. Где всё?
Всех с наступающим.
Собираюсь открыть клуб ретроградов, любителей старой версии ODI. Мне, конечно же, нравятся новые возможности ODI 11g, но к интерфейсу пока не привык. А, как уже "доказали" исследователи, новое не значит лучшее.
Какие отличия удалось заметить после достаточно длительной работы с предыдущей версией ODI, когда у меня появилась возможность начать новый проект на 11g? Для интересующихся - создал такой перечень:
Собираюсь открыть клуб ретроградов, любителей старой версии ODI. Мне, конечно же, нравятся новые возможности ODI 11g, но к интерфейсу пока не привык. А, как уже "доказали" исследователи, новое не значит лучшее.
Какие отличия удалось заметить после достаточно длительной работы с предыдущей версией ODI, когда у меня появилась возможность начать новый проект на 11g? Для интересующихся - создал такой перечень:
четверг, 1 декабря 2011 г.
История одного расследования (missing expression).
Всем привет.
Хочу рассказать историю, как я пытался создать простой интерфейс, нашел "ошибку" в одном из модулей знаний свежего ODI и как я узнал, где используется то, что я не понимал зачем нужно.
Часть 1.
Решил я создать интерфейс. Интерфейс должен был затянуть данные из одной таблицы в Oracle в другую таблицу в Oracle, но на другом сервере. Для того, чтобы данный интеграционный процесс заработал, необходимо было правильно создать серверы данных, прописать схемы и контексты, об этом есть немного в описании инсталляции ODI.
Хочу рассказать историю, как я пытался создать простой интерфейс, нашел "ошибку" в одном из модулей знаний свежего ODI и как я узнал, где используется то, что я не понимал зачем нужно.
Часть 1.
Решил я создать интерфейс. Интерфейс должен был затянуть данные из одной таблицы в Oracle в другую таблицу в Oracle, но на другом сервере. Для того, чтобы данный интеграционный процесс заработал, необходимо было правильно создать серверы данных, прописать схемы и контексты, об этом есть немного в описании инсталляции ODI.
среда, 12 октября 2011 г.
Методы оптимизации загрузки данных для ODI.
По наводке Uli, за что ему большое спасибо, перевод первой части документа с металинка относительно "What Are The Best Approaches For Performance Optimization Strategies For ODI Scenario Execution [ID 423726.1]".
Область применения:
Oracle Data Integrator - начиная с версии 3.2.03.01...
Информация в этом документе применима к любым платформам.
Область применения:
Oracle Data Integrator - начиная с версии 3.2.03.01...
Информация в этом документе применима к любым платформам.
среда, 31 августа 2011 г.
Обманываем синтаксический анализатор ODI.
Продолжаем начатое ранее рассмотрение как, с помощью уловки с комментариями, можно сделать некоторые вещи, такие как использование аналитических функций, более удобными.
Рассмотрим интересный пример от Cezar Santos с сайта odiexperts о том, как в интерфейсе получить константу или псевдоколонку из источника.
Рассмотрим интересный пример от Cezar Santos с сайта odiexperts о том, как в интерфейсе получить константу или псевдоколонку из источника.
пятница, 5 августа 2011 г.
Сбор статистики для таблиц MS SQL Server.
Приветствую.
Продолжим изучать описанный ранее подход сбора статистики для таблиц БД.
Моя цель - улучшить скрипт и разобраться немного с процессом сбора статистики для таблиц MS SQL Server. Статистику буду собирать по всем колонкам заданной таблицы.
Итак, документация дает следующее описание синтаксиса команды сбора статистики:
Продолжим изучать описанный ранее подход сбора статистики для таблиц БД.
Моя цель - улучшить скрипт и разобраться немного с процессом сбора статистики для таблиц MS SQL Server. Статистику буду собирать по всем колонкам заданной таблицы.
Итак, документация дает следующее описание синтаксиса команды сбора статистики:
пятница, 15 июля 2011 г.
Используем аналитические функции SQL в ODI.
Приветствую.
Сегодня хочу рассказать о том, что давно уже всем известно. Вернее, я так думал, что все, кто работал с ODI об этом давно знают.
Но, пару недель назад, я услышал, что ODI не знает как ему работать с аналитическими функциями в маппингах.
Вернее, мой собеседник сообщил, что ODI умеет работать с аналитическими максимумами или минимумами, но не совсем правильно это делает. И чтобы исправить это дело, нужно долго копаться в модулях знаний, изучать методы подстановки и т.п. и т.д.
Сегодня хочу рассказать о том, что давно уже всем известно. Вернее, я так думал, что все, кто работал с ODI об этом давно знают.
Но, пару недель назад, я услышал, что ODI не знает как ему работать с аналитическими функциями в маппингах.
Вернее, мой собеседник сообщил, что ODI умеет работать с аналитическими максимумами или минимумами, но не совсем правильно это делает. И чтобы исправить это дело, нужно долго копаться в модулях знаний, изучать методы подстановки и т.п. и т.д.
вторник, 23 ноября 2010 г.
Типология интерфейсов (Interface Typology)
Перевод очередной части файла документации snps_users.pdf, посвященный описанию различных категорий интерфейсов. Этот раздел показался мне достаточно любопытным, чтобы сделать его перевод. Сильной стороной ODI как раз и является возможность достаточно быстрого и простого перевода интерфейсов из одной категории в другую с помощью модулей знаний.
пятница, 19 ноября 2010 г.
Что такое интерфейс ODI?
Как уже упоминалось ранее, интерфейс это такой объект, который позволяет преобразовывать данные из источника в приемник. Или, в терминах построения ХД, это реализация маппинга. Интерфейс состоит из таких главных частей:
В документации рекомендуют создавать интерфейс согласно такому порядку:
- одна или более таблиц источников и их связи;
- одна таблица приемник данных;
- шаблон(ы) преобразования данных из источников в целевую таблицу.
В документации рекомендуют создавать интерфейс согласно такому порядку:
среда, 27 октября 2010 г.
Создание временной таблицы через ODI интерфейс.
Интересный метод создания временных таблиц подсмотрел вот в этой публикации.
Я, до начала перевода статьи, так никогда сам не делал, но, возможно, это кому-нибудь будет полезно.
Как создать временную таблицу в интерфейсе ODI.
Создайте новый интерфейс, задайте его имя, выберите контекст оптимизации и выберите подходящую схему для установленной опции Стейджинговая область отлична от целевой области (Staging Area Different From Target).
Я, до начала перевода статьи, так никогда сам не делал, но, возможно, это кому-нибудь будет полезно.
Как создать временную таблицу в интерфейсе ODI.
Создайте новый интерфейс, задайте его имя, выберите контекст оптимизации и выберите подходящую схему для установленной опции Стейджинговая область отлична от целевой области (Staging Area Different From Target).
понедельник, 25 октября 2010 г.
Быстрый и легкий путь создания интерфейсов в ODI.
Сегодня я хочу опубликовать перевод статьи "Faster and Easiest way to design Interfaces". Описанный там способ позволяет быстро создавать интерфейсы, имея только модель данных целевых таблиц. Хорошо применять этот метод, когда необходимо загрузить данные из систем источников в хранилище данных без преобразований.
1. Определите папку с моделью, в которой уже есть модели целевых таблиц. По нажатию правой кнопки мыши на модели выберите команду генерации загрузочных интерфейсов (Generate Interface In)
1. Определите папку с моделью, в которой уже есть модели целевых таблиц. По нажатию правой кнопки мыши на модели выберите команду генерации загрузочных интерфейсов (Generate Interface In)
вторник, 28 сентября 2010 г.
Из чего состоит проект ODI.
В поисках вдохновения решил почитать документацию по Oracle Data Integrator. Хотел, отталкиваясь от описания в документации, рассказать о том, что такое процедура. Но нашел более интересные части, их и переведу.
Составляющие проекта Oracle Data Integrator.
Следующие компоненты входят в дерево проекта ODI:
Составляющие проекта Oracle Data Integrator.
Следующие компоненты входят в дерево проекта ODI:
- Папка (Folder)
Объекты ODI могут находиться в папках или подпапках. - Пакет (Package)
Пакет это наибольший возможный выполняемый объект ODI. Пакет состоит из последовательности шагов огранизованных в виде цепочки выполнения.
понедельник, 27 сентября 2010 г.
Поиск одинаковых JOIN-ов в ODI.
Иногда бывает нужно найти среди множества интерфейсов определенные соединения (join-ы). Например, при тестировании одного интерфейса обнаружилась ошибка при соединении таблицы фактов с одной из таблиц размерностей. В среде разработки таблица измерений имела только одну строку, подпадающую под условие соединения, а в тестовом окружении строк оказалось больше.
В этом случае, чтобы внести исправления во все интерфейсы, которые используют эту таблицу измерений достаточно пойти в модель, найти нужную нам таблицу, и посмотреть, в каких интерфейсах она используется как источник:
В этом случае, чтобы внести исправления во все интерфейсы, которые используют эту таблицу измерений достаточно пойти в модель, найти нужную нам таблицу, и посмотреть, в каких интерфейсах она используется как источник:
Подписаться на:
Сообщения (Atom)