Вот и дошли у меня руки сделать практически полный дайджест сообщений последнего из запланированных блогов, связанных с Oracle Data Integrator. По плану этот блог был последним, но по времени публикаций он является первопроходцем.
Первое сообщение было опубликовано в сентябре 2008 года, так что когда коллеги ODI Experts и BI-Quotient начинали писать об ODI им уже было на кого равняться.
Блог Джона Гудвина посвящен использованию Oracle Data Integrator в связке с приложениями планирования Oracle EPM, Hyperion, Essbase и прочими.
В каждом сообщении Джон очень подробно описывает то, что он делает, что позволяет людям не слишком знакомым с процессами ETL использовать ODI в своей работе.
Дайджест блога находится здесь. Не всегда у меня получались удачные описания статей блога этого автора, не совсем мне понятна, конечно, специфика приложений для финансового анализа, так что читайте оригинал, если вас что-то заинтересовало.
Мир, Труд, ODI.
вторник, 30 апреля 2013 г.
понедельник, 22 апреля 2013 г.
Дайджест ODI публикаций 2012, Октябрь.
Новости BI, Хранилищ и Интеграции данных с Oracle Open World.
BI, Data Warehousing and Data Integration News from Oracle Openworld 2012
Список ключевых моментов, касающихся мира BI, в изложении Марка Риттмана. Также приведены ссылки на презентации, проведенные на конференции Oracle компанией Rittman Mead.
Дата публикации: 2012-10-03, Комментариев: 1
Лучшие практики организации интерфейсов и таблиц ODI в проекты и модели.
Best practice of organizing interfaces and data stores into projects and models in ODI
Ули описывает как правильно организовать хранение метаданных ODI в деревьях проекта (модели). Есть перевод.
Дата публикации: 2012-10-03, Комментариев: 2
Пара слов о паре агентов ODI.
A tale of two agents
Рассуждения о том, в каких случаях стоит использовать более одного выделенного агента ODI.
Дата публикации: 2012-10-14, Комментариев: 0
Как выбрать данные из любой схемы или даже всей базы данных.
How to query a whole schema or even database?! This tip will save you hours and hours of boring work.
Ули описывает подход по которому создается процедура ODI, выгружаются в текстовые файлы все таблицы, затем проводится текстовый поиск средствами ОС.
Дата публикации: 2012-10-22, Комментариев: 0
Что такое контекст оптимизации ODI.
ODI Snippets: What is the Optimization Context in ODI?
Краткий рассказ о том, что такое оптимизационный контекст ODI.
Дата публикации: 2012-10-30, Комментариев: 2
Баг выгрузки аттрибутов Essbase в ODI 11.1.1.6 + исправление.
ODI 11.1.1.6 – Extracting Essbase attribute members bug + fix
При попытке выгрузить иерархию аттрибутов некоторого измерения Essbase при помощи модуля знаний "LKM Hyperion Essbase METADATA to SQL" возникала ошибка на шаге "Begin Essbase Metadata Extract". Патч 13093442 решает эту проблему.
Дата публикации: 2012-10-31, Комментариев: 2
BI, Data Warehousing and Data Integration News from Oracle Openworld 2012
Список ключевых моментов, касающихся мира BI, в изложении Марка Риттмана. Также приведены ссылки на презентации, проведенные на конференции Oracle компанией Rittman Mead.
Дата публикации: 2012-10-03, Комментариев: 1
Лучшие практики организации интерфейсов и таблиц ODI в проекты и модели.
Best practice of organizing interfaces and data stores into projects and models in ODI
Ули описывает как правильно организовать хранение метаданных ODI в деревьях проекта (модели). Есть перевод.
Дата публикации: 2012-10-03, Комментариев: 2
Пара слов о паре агентов ODI.
A tale of two agents
Рассуждения о том, в каких случаях стоит использовать более одного выделенного агента ODI.
Дата публикации: 2012-10-14, Комментариев: 0
Как выбрать данные из любой схемы или даже всей базы данных.
How to query a whole schema or even database?! This tip will save you hours and hours of boring work.
Ули описывает подход по которому создается процедура ODI, выгружаются в текстовые файлы все таблицы, затем проводится текстовый поиск средствами ОС.
Дата публикации: 2012-10-22, Комментариев: 0
Что такое контекст оптимизации ODI.
ODI Snippets: What is the Optimization Context in ODI?
Краткий рассказ о том, что такое оптимизационный контекст ODI.
Дата публикации: 2012-10-30, Комментариев: 2
Баг выгрузки аттрибутов Essbase в ODI 11.1.1.6 + исправление.
ODI 11.1.1.6 – Extracting Essbase attribute members bug + fix
При попытке выгрузить иерархию аттрибутов некоторого измерения Essbase при помощи модуля знаний "LKM Hyperion Essbase METADATA to SQL" возникала ошибка на шаге "Begin Essbase Metadata Extract". Патч 13093442 решает эту проблему.
Дата публикации: 2012-10-31, Комментариев: 2
воскресенье, 14 апреля 2013 г.
Не докой единой.
Вещи, изменяющие мир, происходили не только в 20м столетии. Видимые изменения происходят и сейчас, и об этом иногда пишут в блогах. Прочитал я о рынке онлайн образования у Александра Москалюка и решил посмотреть, что интересного можно найти среди курсов ведущего сайта онлайн обучения - Coursera.
Из близких к BI курсов для себя я выделил вот этот: Metadata: Organizing and Discovering Information, более традиционные вещи, вроде языков программирования, собраны здесь.
Ну а кого интересуют не только технические вещи могут начать поиск обучения с вот этой заметки.
P.S. Кроме того, еще 9 сайтов, которые учат кодингу и куче всяких других вещей.
Из близких к BI курсов для себя я выделил вот этот: Metadata: Organizing and Discovering Information, более традиционные вещи, вроде языков программирования, собраны здесь.
Ну а кого интересуют не только технические вещи могут начать поиск обучения с вот этой заметки.
P.S. Кроме того, еще 9 сайтов, которые учат кодингу и куче всяких других вещей.
вторник, 2 апреля 2013 г.
Вышел ODI 11.1.1.7.
По сообщению блога Data Integration вышел очередной релиз Oracle Data Integrator.
Судя по дате выпуска релиз получился шутошный, особо описывать и нечего:
Судя по дате выпуска релиз получился шутошный, особо описывать и нечего:
- ODI агенты и датасорсы теперь могут развертываться не только в Oracle WebLogic сервере но и в IBM WebSphere Application Server.
- Новые JDBC драйвера с более полной поддержкой XML парсера Oracle.
- Поддержка обычными (standalone) агентами SSL протокола.
- Утилита вызова Oracle Enterprise Data Quality теперь встроена в стандартный набор утилит ODI.
понедельник, 1 апреля 2013 г.
ETL в картинках.
Как известно немногим, ETL придумали в Украине в институте кибернетики имени Глушкова. Как то раз, направлясь в ту же сторону, я, тоже будучи за рулем, смог догнать и сфотографировать (через лобовое стекло) одну из передвижных лабораторий, судя по номеру - ответственную за изучение процессов подготовки агрегирующих таблиц для пользовательских отчетов.
пятница, 29 марта 2013 г.
Почти апрель.
Из-за нас, работников отрасли деловой разведки и аналитики, закрывают гуглоридер.
Вот оно как, оказывается...
вторник, 26 марта 2013 г.
Как работают над ХД в банках.
В процессе подготовки заметки о принципах разработки производительного ETL, наткнулся на старый, зато достаточно подробный рассказ о том, как создаются хранилища данных в банковских структурах. Кому интересно - вот ссылка.
Абзац для интереса:
Финансовое хранилище служит для построения внутренней финансовой отчетности для группы компаний и для построения IFRS отчетности для «материнской» компании. Раньше все финансовые показатели агрегировались в отдельных кубах и автоматического выхода на общий результат не было, а потому отчеты собирались вручную. Сейчас мы достигли такой степени зрелости, что хотим полностью автоматизировать этот процесс, а для этого нам необходимо выделить финансовые кубы в отдельное хранилище. В результате трудозатраты должны сократиться на порядок.
Абзац для интереса:
Финансовое хранилище служит для построения внутренней финансовой отчетности для группы компаний и для построения IFRS отчетности для «материнской» компании. Раньше все финансовые показатели агрегировались в отдельных кубах и автоматического выхода на общий результат не было, а потому отчеты собирались вручную. Сейчас мы достигли такой степени зрелости, что хотим полностью автоматизировать этот процесс, а для этого нам необходимо выделить финансовые кубы в отдельное хранилище. В результате трудозатраты должны сократиться на порядок.
вторник, 19 марта 2013 г.
10 принципов производительного ETL от Ральфа Кимбала.
Приветствую.
Перевод статьи "Increasing ETL Throughput" от Ezequiel Gallardo.
Ключевые концепции, которые
От ETL команды ожидают создания максимально производительного набора ETL процессов. Мы рекомендуем эти 10 правил, которые применимы как для самописных решений так и при использовании некоторых ETL инструментов, для поднятия производительности на максимальный уровень.
Ральф Кимбал.
Я настаиваю на том, что ввод-вывод должен быть сведен к абсолютному минимуму. Безусловно, вам может понадобиться сохранить данные источников по многим причинам. Одна из допустимых причин этого может заключаться в том, что вам необходимо минимизировать доступ к источнику, или ваш источник позволяет сделать только одно чтение данных.
Перевод статьи "Increasing ETL Throughput" от Ezequiel Gallardo.
Ключевые концепции, которые
должен знать разработчик перед тем,
как создавать "ETL процесс"
От ETL команды ожидают создания максимально производительного набора ETL процессов. Мы рекомендуем эти 10 правил, которые применимы как для самописных решений так и при использовании некоторых ETL инструментов, для поднятия производительности на максимальный уровень.
Ральф Кимбал.
10. Уменьшайте операции ввода - вывода.
Минимизируйте использование стейджевых таблиц. Держите данные в памяти, обрабатывая их на конвеере ETL преобразований, начиная с момента загрузки данных из источников до момента записи в целевые таблицы.Я настаиваю на том, что ввод-вывод должен быть сведен к абсолютному минимуму. Безусловно, вам может понадобиться сохранить данные источников по многим причинам. Одна из допустимых причин этого может заключаться в том, что вам необходимо минимизировать доступ к источнику, или ваш источник позволяет сделать только одно чтение данных.
вторник, 12 марта 2013 г.
Дайджест ODI публикаций 2012, Сентябрь.
Получить список всех объектов ODI включая полный путь для проекта или модели.
Get a list of all of your ODI objects including the path in your project or model
Очень удобный скрипт если вам необходимо получить список всех объектов ODI, отфильтровав его, например, по дате последнего изменения или месте в иерархии папок проекта.
Дата публикации: 2012-09-17, Комментариев: 0
Копирование и перемещение объектов между проектами ODI.
Copying and moving objects between projects in ODI
18-шаговое подробное объяснение каким образом необходимо правильно копировать/перемещать пакет из одного проекта ODI в другой.
Дата публикации: 2012-09-18, Комментариев: 0
ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 4. Потребление данных из OBIEE веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part IV. Consuming a SOAP OBIEE web service using ODI 11g
В четвертой части этой серии рассказывается как вызывать веб-сервис OBIEE и получить информацию из Презентационного сервиса о пользователях, группах, правах и т.п.
Дата публикации: 2012-09-25, Комментариев: 0
вторник, 5 марта 2013 г.
Организация моделей и проектов в ODI.
Приветствую.
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
Подписаться на:
Сообщения (Atom)