пятница, 29 марта 2013 г.
Почти апрель.
Из-за нас, работников отрасли деловой разведки и аналитики, закрывают гуглоридер.
Вот оно как, оказывается...
вторник, 26 марта 2013 г.
Как работают над ХД в банках.
В процессе подготовки заметки о принципах разработки производительного ETL, наткнулся на старый, зато достаточно подробный рассказ о том, как создаются хранилища данных в банковских структурах. Кому интересно - вот ссылка.
Абзац для интереса:
Финансовое хранилище служит для построения внутренней финансовой отчетности для группы компаний и для построения IFRS отчетности для «материнской» компании. Раньше все финансовые показатели агрегировались в отдельных кубах и автоматического выхода на общий результат не было, а потому отчеты собирались вручную. Сейчас мы достигли такой степени зрелости, что хотим полностью автоматизировать этот процесс, а для этого нам необходимо выделить финансовые кубы в отдельное хранилище. В результате трудозатраты должны сократиться на порядок.
Абзац для интереса:
Финансовое хранилище служит для построения внутренней финансовой отчетности для группы компаний и для построения IFRS отчетности для «материнской» компании. Раньше все финансовые показатели агрегировались в отдельных кубах и автоматического выхода на общий результат не было, а потому отчеты собирались вручную. Сейчас мы достигли такой степени зрелости, что хотим полностью автоматизировать этот процесс, а для этого нам необходимо выделить финансовые кубы в отдельное хранилище. В результате трудозатраты должны сократиться на порядок.
вторник, 19 марта 2013 г.
10 принципов производительного ETL от Ральфа Кимбала.
Приветствую.
Перевод статьи "Increasing ETL Throughput" от Ezequiel Gallardo.
Ключевые концепции, которые
От ETL команды ожидают создания максимально производительного набора ETL процессов. Мы рекомендуем эти 10 правил, которые применимы как для самописных решений так и при использовании некоторых ETL инструментов, для поднятия производительности на максимальный уровень.
Ральф Кимбал.
Я настаиваю на том, что ввод-вывод должен быть сведен к абсолютному минимуму. Безусловно, вам может понадобиться сохранить данные источников по многим причинам. Одна из допустимых причин этого может заключаться в том, что вам необходимо минимизировать доступ к источнику, или ваш источник позволяет сделать только одно чтение данных.
Перевод статьи "Increasing ETL Throughput" от Ezequiel Gallardo.
Ключевые концепции, которые
должен знать разработчик перед тем,
как создавать "ETL процесс"
От ETL команды ожидают создания максимально производительного набора ETL процессов. Мы рекомендуем эти 10 правил, которые применимы как для самописных решений так и при использовании некоторых ETL инструментов, для поднятия производительности на максимальный уровень.
Ральф Кимбал.
10. Уменьшайте операции ввода - вывода.
Минимизируйте использование стейджевых таблиц. Держите данные в памяти, обрабатывая их на конвеере ETL преобразований, начиная с момента загрузки данных из источников до момента записи в целевые таблицы.Я настаиваю на том, что ввод-вывод должен быть сведен к абсолютному минимуму. Безусловно, вам может понадобиться сохранить данные источников по многим причинам. Одна из допустимых причин этого может заключаться в том, что вам необходимо минимизировать доступ к источнику, или ваш источник позволяет сделать только одно чтение данных.
вторник, 12 марта 2013 г.
Дайджест ODI публикаций 2012, Сентябрь.
Получить список всех объектов ODI включая полный путь для проекта или модели.
Get a list of all of your ODI objects including the path in your project or model
Очень удобный скрипт если вам необходимо получить список всех объектов ODI, отфильтровав его, например, по дате последнего изменения или месте в иерархии папок проекта.
Дата публикации: 2012-09-17, Комментариев: 0
Копирование и перемещение объектов между проектами ODI.
Copying and moving objects between projects in ODI
18-шаговое подробное объяснение каким образом необходимо правильно копировать/перемещать пакет из одного проекта ODI в другой.
Дата публикации: 2012-09-18, Комментариев: 0
ODI 11g в сервисо-ориентированной архитектуре (SOA). Часть 4. Потребление данных из OBIEE веб-сервиса.
ODI 11g in a Services Oriented Architecture. Part IV. Consuming a SOAP OBIEE web service using ODI 11g
В четвертой части этой серии рассказывается как вызывать веб-сервис OBIEE и получить информацию из Презентационного сервиса о пользователях, группах, правах и т.п.
Дата публикации: 2012-09-25, Комментариев: 0
вторник, 5 марта 2013 г.
Организация моделей и проектов в ODI.
Приветствую.
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
Перевод заметки Ули Бетке под названием Best practice of organizing interfaces and data stores into projects and models in ODI.
<Начало перевода>
Задумывались ли вы как лучше всего организовать структуру объектов в проекте ODI? Можно дальше не искать, я обрисую то, что хорошо подходит для Корпоративного Хранилища Данных (EDW).
воскресенье, 27 января 2013 г.
Дайджест ODI публикаций 2012, Июль-Август.
ODI Фильтрация.
ODI Filter Transformation-2
Обучающая заметка с примерами как создать интерфейс с фильтрацией данных для переноса всех сотрудников по заданным критериям из одной таблицы в другую.
Дата публикации: 2012-07-04, Комментариев: 1
Скидочные купоны на книгу по ODI.
Discount Codes for 'Getting Started with ODI 11g: A Hands-On Tutorial' Book
Скидки до 15% на бумажную и 25% на электронную версии книги Getting Started with ODI 11g: A Hands-On Tutorial. Трудно сказать, работают ли эти скидки до сих пор, напишите в комментариях, если кто-то попробует.
Дата публикации: 2012-07-12, Комментариев: 0
Настройка отказоустойчивых ODI агентов через Oracle OPMN.
ODI Series – Standalone Agent High Availability using OPMN
Подробное объяснение как проинсталлировать Oracle Process Manager and Notification Server и настроить несколько обычных (standalone) агентов ODI для обеспечения отказоустойчивости, так как использование J2EE агентов и сопутствующей избыточной инфраструктуры не всегда оправдано.
Дата публикации: 2012-07-31, Комментариев: 0
ODI 11g - курс самообучения для Hadoop.
ODI 11g - Hadoop integration self study
Приведены ссылки на заметку в блоге о том, как работать с модулем знаний, включенным в ODI 11.1.1.6. для связки с Hadoop, а также ссылка на курс самообучения Oracle Apex, где расскажут как загрузить данные из файла в улей данных (hive), преобразовать данные улья и забрать из улья обратно в БД.
Дата публикации: 2012-08-01, Комментариев: 0
Дедупликация и создание списков при помощи функции Oracle LISTAGG в ODI.
Deduplicating and Creating Lists – Oracle SQL LISTAGG
Показано, как добавить аналитическую функцию LISTAGG в список поддерживаемый технологией Oracle в ODI и использовать ее в интерфейсах. Смотри также: Используем аналитические функции SQL в ODI.
Дата публикации: 2012-08-06, Комментариев: 2
Обзор книги Getting Started with Oracle Data Integrator 11g.
Book Review Getting Started with Oracle Data Integrator 11g
Краткий обзор книги от Девида Аллана. Краткое описание краткого обзора - книга для тех, кто хочет быстро начать работать с ODI, это не полное описание и не книга рецептов. Каждая глава затрагивает конкретную область приложения сил и достаточна для того, чтобы получить работоспособные результаты.
Дата публикации: 2012-08-20, Комментариев: 0
Hadoop - Вызов задач Map Reduce.
Hadoop - Invoke Map Reduce
Рассказ о том, как вызывать задачи Map Reduce с помощью специально подготовленных подключаемых к ODI утилит из Hadoop JobConf SDK.
Дата публикации: 2012-08-20, Комментариев: 0
Знакомство с Oracle Enterprise Data Quality.
Introducing Oracle Enterprise Data Quality
Подробное представление решения Oracle, касающегося качества данных, которое раньше принадлежало компании Datanomic. Данное решение также может подключаться к ODI как внешняя утилита и обеспечивать работу над качеством данных в интеграционных проектах.
Дата публикации: 2012-08-23, Комментариев: 0
Баг в модуле знаний для Hyperion в ODI 11.1.1.6. и его исправление.
ODI 11.1.1.6 – Planning KM bug + fix
Описание того, в каком месте и как необходимо устанавливать типы используемых технологий в модулях знаний для выгрузки данных в приложение планирования Oracle Hyperion.
Дата публикации: 2012-08-28, Комментариев: 1
Статья по планам загрузки в Oracle Magazine.
Load Plan article in Oracle Magazine
Девид Аллан привел ссылку на статью Марка Риттмана в сентябрь-октябрьском журнале Oracle Magazine посвященную теме планов загрузки ODI (load plans).
Дата публикации: 2012-08-29, Комментариев: 0
ODI Filter Transformation-2
Обучающая заметка с примерами как создать интерфейс с фильтрацией данных для переноса всех сотрудников по заданным критериям из одной таблицы в другую.
Дата публикации: 2012-07-04, Комментариев: 1
Скидочные купоны на книгу по ODI.
Discount Codes for 'Getting Started with ODI 11g: A Hands-On Tutorial' Book
Скидки до 15% на бумажную и 25% на электронную версии книги Getting Started with ODI 11g: A Hands-On Tutorial. Трудно сказать, работают ли эти скидки до сих пор, напишите в комментариях, если кто-то попробует.
Дата публикации: 2012-07-12, Комментариев: 0
Настройка отказоустойчивых ODI агентов через Oracle OPMN.
ODI Series – Standalone Agent High Availability using OPMN
Подробное объяснение как проинсталлировать Oracle Process Manager and Notification Server и настроить несколько обычных (standalone) агентов ODI для обеспечения отказоустойчивости, так как использование J2EE агентов и сопутствующей избыточной инфраструктуры не всегда оправдано.
Дата публикации: 2012-07-31, Комментариев: 0
ODI 11g - курс самообучения для Hadoop.
ODI 11g - Hadoop integration self study
Приведены ссылки на заметку в блоге о том, как работать с модулем знаний, включенным в ODI 11.1.1.6. для связки с Hadoop, а также ссылка на курс самообучения Oracle Apex, где расскажут как загрузить данные из файла в улей данных (hive), преобразовать данные улья и забрать из улья обратно в БД.
Дата публикации: 2012-08-01, Комментариев: 0
Дедупликация и создание списков при помощи функции Oracle LISTAGG в ODI.
Deduplicating and Creating Lists – Oracle SQL LISTAGG
Показано, как добавить аналитическую функцию LISTAGG в список поддерживаемый технологией Oracle в ODI и использовать ее в интерфейсах. Смотри также: Используем аналитические функции SQL в ODI.
Дата публикации: 2012-08-06, Комментариев: 2
Обзор книги Getting Started with Oracle Data Integrator 11g.
Book Review Getting Started with Oracle Data Integrator 11g
Краткий обзор книги от Девида Аллана. Краткое описание краткого обзора - книга для тех, кто хочет быстро начать работать с ODI, это не полное описание и не книга рецептов. Каждая глава затрагивает конкретную область приложения сил и достаточна для того, чтобы получить работоспособные результаты.
Дата публикации: 2012-08-20, Комментариев: 0
Hadoop - Вызов задач Map Reduce.
Hadoop - Invoke Map Reduce
Рассказ о том, как вызывать задачи Map Reduce с помощью специально подготовленных подключаемых к ODI утилит из Hadoop JobConf SDK.
Дата публикации: 2012-08-20, Комментариев: 0
Знакомство с Oracle Enterprise Data Quality.
Introducing Oracle Enterprise Data Quality
Подробное представление решения Oracle, касающегося качества данных, которое раньше принадлежало компании Datanomic. Данное решение также может подключаться к ODI как внешняя утилита и обеспечивать работу над качеством данных в интеграционных проектах.
Дата публикации: 2012-08-23, Комментариев: 0
Баг в модуле знаний для Hyperion в ODI 11.1.1.6. и его исправление.
ODI 11.1.1.6 – Planning KM bug + fix
Описание того, в каком месте и как необходимо устанавливать типы используемых технологий в модулях знаний для выгрузки данных в приложение планирования Oracle Hyperion.
Дата публикации: 2012-08-28, Комментариев: 1
Статья по планам загрузки в Oracle Magazine.
Load Plan article in Oracle Magazine
Девид Аллан привел ссылку на статью Марка Риттмана в сентябрь-октябрьском журнале Oracle Magazine посвященную теме планов загрузки ODI (load plans).
Дата публикации: 2012-08-29, Комментариев: 0
вторник, 22 января 2013 г.
четверг, 17 января 2013 г.
Коллекция обучающего видео по Хранилищам Данных.
Коллеги из BISP подготовили большое количество видеороликов на самые разные темы. Я просмотрел, частями, только видео по Oracle Data Integrator, и из явных недостатков отмечу не совсем внятный английский и среднее качество самого видео.
Но, в тоже время, задремать на работе, или, наоборот, почувствовать себя частью большого аутсорсингового митинга - данный набор видеокурсов вам поможет.
Так что смотрим и слушаем.
Что такое Oracle Data Integrator: http://youtu.be/TrADMRVYmMk
Informatica введение: http://youtu.be/lMNFEib5poU
Informatica архитектура: http://youtu.be/gCsQbL3qT1g
Что такое Oracle SOA: http://youtu.be/aY4q99LSbzo
Oracle WebLogic: http://youtu.be/BpXICuQ6x44
WebLogic введение в администрирование: http://www.youtube.com/watch?v=ZftuQqCQElg
Что такое Oracle Hyperion Interactive Reporting: http://youtu.be/IkrzGYtnPxs
Что такое Teradata: http://youtu.be/-I8lnr5Rp-w
Что такое ETL: http://youtu.be/hfDv-Zoa3Qs
Что такое схема Звезда (Star Schema) на примере Hyperion: http://youtu.be/2g-xX2aT8WE
Что такое факт и измерение (Dimension and Fact) на примере Hyperion: http://youtu.be/N3Q4NqwEGMY
Загрузка метаданных в Essbase: http://www.youtube.com/watch?v=F_I0C20_KI8
Hyperion Financial Management: http://youtu.be/1lmPbxGaxmU
Essbase скрипт вычислений: http://youtu.be/O_2nk9eQMzY
Essbase ASO: http://youtu.be/mpKfUVEtto8
Что такое Essbase: http://youtu.be/w_zK56abFPk
Зачем нужен Hyperion: http://youtu.be/-7WhvPYVQmM
Что такое Hyperion Planning: Часть 1, Часть 2, Часть 3, Часть 4
Основные команды Unix: Часть 1, Часть 2, Часть 3, Часть 4, Часть 5
Что такое отчетность Cognos: http://youtu.be/EYxvJgBT2ik
В случае, если качество данных видеокурсов вас не устроит - ютуб выдает массу других роликов по связанным темам, возможно, они окажутся лучше вышеперечисленных.
Смотри также:
Обучающее видео по ODI.
Но, в тоже время, задремать на работе, или, наоборот, почувствовать себя частью большого аутсорсингового митинга - данный набор видеокурсов вам поможет.
Так что смотрим и слушаем.
Что такое Oracle Data Integrator: http://youtu.be/TrADMRVYmMk
Informatica введение: http://youtu.be/lMNFEib5poU
Informatica архитектура: http://youtu.be/gCsQbL3qT1g
Что такое Oracle SOA: http://youtu.be/aY4q99LSbzo
Oracle WebLogic: http://youtu.be/BpXICuQ6x44
WebLogic введение в администрирование: http://www.youtube.com/watch?v=ZftuQqCQElg
Что такое Oracle Hyperion Interactive Reporting: http://youtu.be/IkrzGYtnPxs
Что такое Teradata: http://youtu.be/-I8lnr5Rp-w
Что такое ETL: http://youtu.be/hfDv-Zoa3Qs
Что такое схема Звезда (Star Schema) на примере Hyperion: http://youtu.be/2g-xX2aT8WE
Что такое факт и измерение (Dimension and Fact) на примере Hyperion: http://youtu.be/N3Q4NqwEGMY
Загрузка метаданных в Essbase: http://www.youtube.com/watch?v=F_I0C20_KI8
Hyperion Financial Management: http://youtu.be/1lmPbxGaxmU
Essbase скрипт вычислений: http://youtu.be/O_2nk9eQMzY
Essbase ASO: http://youtu.be/mpKfUVEtto8
Что такое Essbase: http://youtu.be/w_zK56abFPk
Зачем нужен Hyperion: http://youtu.be/-7WhvPYVQmM
Что такое Hyperion Planning: Часть 1, Часть 2, Часть 3, Часть 4
Основные команды Unix: Часть 1, Часть 2, Часть 3, Часть 4, Часть 5
Что такое отчетность Cognos: http://youtu.be/EYxvJgBT2ik
В случае, если качество данных видеокурсов вас не устроит - ютуб выдает массу других роликов по связанным темам, возможно, они окажутся лучше вышеперечисленных.
Смотри также:
Обучающее видео по ODI.
пятница, 11 января 2013 г.
пятница, 4 января 2013 г.
Дайджест SQL.ru.
Приветствую в новом году.
Хочу поделиться небольшим набором интересных тем с форума SQL.ru подфорума OLAP и DWH. Ниже список тем по категориям, с моими краткими анонсами; темы выбирались за последнее полугодие 2012 года.
Мнения посетителей форума о Talend, его применимости для задач ETL, работе с БД Vertica.
Хочу поделиться небольшим набором интересных тем с форума SQL.ru подфорума OLAP и DWH. Ниже список тем по категориям, с моими краткими анонсами; темы выбирались за последнее полугодие 2012 года.
ETL
Talend ETL.Мнения посетителей форума о Talend, его применимости для задач ETL, работе с БД Vertica.
Подписаться на:
Сообщения (Atom)