Всего за 172 евро вы получите пожизненный доступ к материалам курса, включающим 37 лекций и 4 часа видеоматериалов.
https://www.udemy.com/learn-data-warehouse-and-odi-11g-step-by-step-guide/
Я, конечно, ратую за самостоятельно-безоплатное изучение, при помощи, в том числе, этого блога.
С наступающими!
Показаны сообщения с ярлыком Links. Показать все сообщения
Показаны сообщения с ярлыком Links. Показать все сообщения
вторник, 22 декабря 2015 г.
понедельник, 7 декабря 2015 г.
суббота, 15 августа 2015 г.
ODI руководство по производительности.
Относительно новое, уже включает версию Oracle Data Integrator 12c. Требует знания ODI, так как при относительно сжатом описании охватывает большинство вариантов увеличения производительности операций, выполняемых данным инструментом.
От производителя.
От производителя.
суббота, 13 июня 2015 г.
Аналитика не для пользователей.
Приветствую.
Для аналитиков компаний, в противовес обычным сотрудникам, получающим уже готовые отчеты, есть программные продукты и помимо Microsoft Excel. Заметка на Хабре - 5 инструментов в помощь аналитику, возможно, поможет подобрать необходимый инструмент быстрее, чем за полгода.
Для аналитиков компаний, в противовес обычным сотрудникам, получающим уже готовые отчеты, есть программные продукты и помимо Microsoft Excel. Заметка на Хабре - 5 инструментов в помощь аналитику, возможно, поможет подобрать необходимый инструмент быстрее, чем за полгода.
воскресенье, 22 марта 2015 г.
Человеческий фактор.
О пользе профессионализма и грамотности.
Результат: сервер с фантастическими характеристиками, на котором считаются бесполезные кубы, чтобы в веб-интерфейсе иметь возможность смотреть на диаграммы.
вторник, 17 марта 2015 г.
Конвертация кода Informatica -> ODI.
Вдруг кому-то понадобится, знайте, что уже есть утилиты по преобразованию маппингов, воркфлоу, маплетов Информатики в соответствующие объекты Oracle Data Integrator. Судя по сайту - за деньги.
Ссылка: informaticatoodi.jadeglobal.com/
Ссылка: informaticatoodi.jadeglobal.com/
понедельник, 9 февраля 2015 г.
Чтение.
Приветствую.
Сегодня две ссылки, которые вызвали интерес.
Первая - оптимизация запросов в СУБД Oracle, которая заключается в исключении тех таблиц из запроса, соединение с которыми не повлияет на результат. Подробная заметка на Хабре - Oracle Join Elimination.
Автор справедливо отмечает, что описываемые запросы обычно являются результатом работы неких инструментов. И совсем недавно я сам наблюдал ситуацию, когда на достаточно давно идущем проекте по загрузке ХД, некоторые интерфейсы содержат как раз такой тип соединения двух таблиц, при котором ничего из соединяемой таблицы не отбирается в целевую таблицу, а соединение идет по условию outer join.
Проект старый, идет давно, работали над этим интерфейсом как минимум пятеро ODI разработчиков и несколько разных аналитиков, вот и потерялся смысл такого соединения.
Вторая заметка касается построения катастрофоустойчивого ETL, описана здесь - Проект Dual ETL или как мы строили Disaster Recovery для Greenplum
Сегодня две ссылки, которые вызвали интерес.
Первая - оптимизация запросов в СУБД Oracle, которая заключается в исключении тех таблиц из запроса, соединение с которыми не повлияет на результат. Подробная заметка на Хабре - Oracle Join Elimination.
Автор справедливо отмечает, что описываемые запросы обычно являются результатом работы неких инструментов. И совсем недавно я сам наблюдал ситуацию, когда на достаточно давно идущем проекте по загрузке ХД, некоторые интерфейсы содержат как раз такой тип соединения двух таблиц, при котором ничего из соединяемой таблицы не отбирается в целевую таблицу, а соединение идет по условию outer join.
Проект старый, идет давно, работали над этим интерфейсом как минимум пятеро ODI разработчиков и несколько разных аналитиков, вот и потерялся смысл такого соединения.
Вторая заметка касается построения катастрофоустойчивого ETL, описана здесь - Проект Dual ETL или как мы строили Disaster Recovery для Greenplum
пятница, 23 января 2015 г.
ODI - лучшие практики.
Попался на глаза обстоятельный ответ на вопрос о лучших практиках Oracle Data Integrator, который дал Jérôme Françoisse в одной из групп ЛинкедИна.
Возможно, будет кому-то инетересен, поэтому я решил его перевести.
Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.
Предупреждение сказано, теперь ссылки:
Возможно, будет кому-то инетересен, поэтому я решил его перевести.
Не воспринимайте лучшие практики как некие трюки, которые неким магическим образом улучшат производительность. Нужно попробовать каждый из подходов, понять их и провести сравнение, чтобы решить, подходят ли они под ваши нужды.
Предупреждение сказано, теперь ссылки:
среда, 14 января 2015 г.
Календарь для хранилища.
Создание календаря для Хранилища Данных. Или Date dimension. Или измерения времени.
В процессе работы понадобилось найти алгоритмы создания таблицы с перечнем дат, в котором бы присутствовала информация о днях недели, начале и конце месяца и другой календарной информации, используемой при загрузке данных в ХД (в основном в датамарты) и при построении отчетности для конечных пользователей.
Результаты поисков, все что нашлось поиском по интернету и сообщениям наших коллег с SQL.ru (спасибо им) представлены ниже.
Наибольшее количество ссылок применимо для MS SQL Server:
Календарь для хранилища данных на основе MS SQL.
DATE AND TIME DIMENSION TEMPLATE.
MS SQL запрос, формирующий список дат (порадовал наличием украинских и белорусских наименований для дней и сезонов).
SSAS - пример измерения времени.
Вьюха для календаря (с рекурсивным запросом).
Элегантный скрипт для БД PostgreSQL
PostgreSQL: Auto generate a sample Dataset.
Пример для Oracle DB.
Пример создания календаря (time dimension table)
Vertica
Пример создания календаря для Vertica с использованием временных таблиц, которые при перемножении дают нужное количество записей. Метод выглядит наиболее универсальным.
CREATING A CALENDAR TABLE.
Второй пример для Вертики, использующий неизвестный мне ранее механизм TIMESERIES
Vertica - Creating a calendar table
И напоследок Teradata. Эта СУБД имеет стандартный календарь в виде представления SYS_CALENDAR.CALENDAR, хранящее даты с 1 января 1900 по 31 декабря 2100 года. По одной записи на каждый день.
System Calendar - SYS_CALENDAR.CALENDAR
Вот такой вот первый в этом году пост. С Новым Годом!
В процессе работы понадобилось найти алгоритмы создания таблицы с перечнем дат, в котором бы присутствовала информация о днях недели, начале и конце месяца и другой календарной информации, используемой при загрузке данных в ХД (в основном в датамарты) и при построении отчетности для конечных пользователей.
Результаты поисков, все что нашлось поиском по интернету и сообщениям наших коллег с SQL.ru (спасибо им) представлены ниже.
Наибольшее количество ссылок применимо для MS SQL Server:
Календарь для хранилища данных на основе MS SQL.
DATE AND TIME DIMENSION TEMPLATE.
MS SQL запрос, формирующий список дат (порадовал наличием украинских и белорусских наименований для дней и сезонов).
SSAS - пример измерения времени.
Вьюха для календаря (с рекурсивным запросом).
Элегантный скрипт для БД PostgreSQL
PostgreSQL: Auto generate a sample Dataset.
Пример для Oracle DB.
Пример создания календаря (time dimension table)
Vertica
Пример создания календаря для Vertica с использованием временных таблиц, которые при перемножении дают нужное количество записей. Метод выглядит наиболее универсальным.
CREATING A CALENDAR TABLE.
Второй пример для Вертики, использующий неизвестный мне ранее механизм TIMESERIES
Vertica - Creating a calendar table
И напоследок Teradata. Эта СУБД имеет стандартный календарь в виде представления SYS_CALENDAR.CALENDAR, хранящее даты с 1 января 1900 по 31 декабря 2100 года. По одной записи на каждый день.
System Calendar - SYS_CALENDAR.CALENDAR
Вот такой вот первый в этом году пост. С Новым Годом!
суббота, 6 декабря 2014 г.
Новый центр помощи Oracle.
Новый центр - новые версии. В том смысле, что файлов помощи по старым версиям ODI здесь нет. На стандартной странице с документацией остались файлы только для трех версий - ODI 12cR1 (12.1.3.0.0), ODI 12cR1 (12.1.2.0.0), ODI 11gR1 (11.1.1.7.0).
То же самое относится к дистрибутивам, если у вас остались инсталляторы версий ODI более ранних, чем 11.1.1.7 лучше сберегите их, на всякий случай.
Ну и если вам понадобятся старые файлы помощи - они по прежнему доступны на местной странице документации по Oracle Data Integrator.
То же самое относится к дистрибутивам, если у вас остались инсталляторы версий ODI более ранних, чем 11.1.1.7 лучше сберегите их, на всякий случай.
Ну и если вам понадобятся старые файлы помощи - они по прежнему доступны на местной странице документации по Oracle Data Integrator.
понедельник, 17 ноября 2014 г.
Опубликованы структуры репозитория ODI версий 11 и 12.
По сообщению блога a-team компания Oracle опубликовала на сайте support.oracle.com структуры репозиториев для текущих версий ODI - 11.1.1.7, 12.1.2, 12.1.3. Описание находится в документе - Doc ID 1903225.1 в виде приложенных файлов Excel.
Использовать данную информацию рекомендуется строго для чтения. Другие варианты использования также, я думаю, есть, как описанные в этом блоге, так и в виде книги - http://odi-usage.blogspot.com/2013/12/bi-quotient-sonra.html
Использовать данную информацию рекомендуется строго для чтения. Другие варианты использования также, я думаю, есть, как описанные в этом блоге, так и в виде книги - http://odi-usage.blogspot.com/2013/12/bi-quotient-sonra.html
четверг, 30 октября 2014 г.
ODI сертифицирован для работы с Hortonworks Data Platform.
По сообщению блога Hortonworks, их совместная с Oracle работа позволила сертифицировать использование Oracle Data Integrator с Hortonworks Data Platform (HDP) версии 2.1.
Я немного изучаю HDP, используя виртуальную машину, но пока не решаюсь удалить половину жесткого диска своих данных, чтобы развернуть две виртуалки по примерно 30 ГБ каждая, чтобы рассмотреть взаимодействие этих платформ.
Кстати, недавно вышла HDP 2.2.
Я немного изучаю HDP, используя виртуальную машину, но пока не решаюсь удалить половину жесткого диска своих данных, чтобы развернуть две виртуалки по примерно 30 ГБ каждая, чтобы рассмотреть взаимодействие этих платформ.
Кстати, недавно вышла HDP 2.2.
понедельник, 6 октября 2014 г.
Бесплатные курсы самообучения ODI 12c.
1 августа 2014 года Oracle выпустил бесплатный обучающий материал по свежей версии ODI 12c и его совместной работе с Oracle Golden Gate.
Описание:
В этом обучающем курсе вы создадите тестовую базу данных с пользователями и таблицами, сконфигурируете менеджера и агентов Oracle Golden Gate (OGG), настроите сервера данных, модели, таблицы, маппинги, агентов и пакеты Oracle Data Integrator и сможете запускать, останавливать и управлять процессом интеграции данных. Эта интеграция включает в себя как OGG реплицирование (захват и доставка изменений), так и ODI реплицирование (управление изменениями в данных через журнализацию). Oracle Golden Gate будет работать практически в режиме реального времени, Oracle Data Integrator будет запускаться по изменению отдельных строк, примерно раз в секунду.
Для прохождения обучения необходимо скачать образ виртуальной машины (примерно 9Gb), иметь установленный Virtual Box и достаточное количество оперативной памяти, или развернуть необходимые приложения и источники данных самостоятельно. Подробнее в разделе Overview указанного курса.
Oracle Learning Library::Oracle Data Integrator and Oracle GoldenGate Integration
И курс номер два.
Укрощение больших данных с помощью ODI.
Данный курс базируется на выпущенной 25 сентября 2014 года виртуальной машине "Big Data Lite 4.0".
Описание:
Данный демонстрационный курс покажет как вы можете передавать и преобразовывать данные используя Oracle Data Integration - вне зависимости от места расположения данных, будь-то Oracle БД, Hadoop, БД других вендоров, приложения, файлы или комбинация всего перечисленного. Парадигма "создал однажды - запускаешь везде" позволяет фокусироваться на логике преобразования и передачи данных.
Данный курс подчеркивает возможности интеграции Oracle Data Integrator и Oracle GoldenGate с Hadoop, Oracle Big Data SQL, Hive, Sqoop, Flume, Pig, HDFS.
Oracle Learning Library::Tame Big Data using Oracle Data Integration
Описание:
В этом обучающем курсе вы создадите тестовую базу данных с пользователями и таблицами, сконфигурируете менеджера и агентов Oracle Golden Gate (OGG), настроите сервера данных, модели, таблицы, маппинги, агентов и пакеты Oracle Data Integrator и сможете запускать, останавливать и управлять процессом интеграции данных. Эта интеграция включает в себя как OGG реплицирование (захват и доставка изменений), так и ODI реплицирование (управление изменениями в данных через журнализацию). Oracle Golden Gate будет работать практически в режиме реального времени, Oracle Data Integrator будет запускаться по изменению отдельных строк, примерно раз в секунду.
Для прохождения обучения необходимо скачать образ виртуальной машины (примерно 9Gb), иметь установленный Virtual Box и достаточное количество оперативной памяти, или развернуть необходимые приложения и источники данных самостоятельно. Подробнее в разделе Overview указанного курса.
Oracle Learning Library::Oracle Data Integrator and Oracle GoldenGate Integration
И курс номер два.
Укрощение больших данных с помощью ODI.
Данный курс базируется на выпущенной 25 сентября 2014 года виртуальной машине "Big Data Lite 4.0".
Описание:
Данный демонстрационный курс покажет как вы можете передавать и преобразовывать данные используя Oracle Data Integration - вне зависимости от места расположения данных, будь-то Oracle БД, Hadoop, БД других вендоров, приложения, файлы или комбинация всего перечисленного. Парадигма "создал однажды - запускаешь везде" позволяет фокусироваться на логике преобразования и передачи данных.
Данный курс подчеркивает возможности интеграции Oracle Data Integrator и Oracle GoldenGate с Hadoop, Oracle Big Data SQL, Hive, Sqoop, Flume, Pig, HDFS.
Oracle Learning Library::Tame Big Data using Oracle Data Integration
суббота, 12 апреля 2014 г.
Познавательно о NoSQL.
От Андрея Зубинского.
Как всегда, глубоко, интересно и профессионально, что, к сожалению, редкость в наше время.
Статья 1. NoSQL. И никаких "революций"
Статья 2. NoSQL. Column-Oriented
Статья 3. NoSQL СУБД, часть вторая, "KVS"
Следующую статью цикла, судя по периодичности уже опубликованных, ожидать стоит не раньшевесны лета.
P.S. Следить за появлением продолжения можно по этой ссылке - http://ko.com.ua/user/48
Как всегда, глубоко, интересно и профессионально, что, к сожалению, редкость в наше время.
Статья 1. NoSQL. И никаких "революций"
Статья 2. NoSQL. Column-Oriented
Статья 3. NoSQL СУБД, часть вторая, "KVS"
Следующую статью цикла, судя по периодичности уже опубликованных, ожидать стоит не раньше
P.S. Следить за появлением продолжения можно по этой ссылке - http://ko.com.ua/user/48
понедельник, 3 февраля 2014 г.
Сравнение IBM Datastage, Informatica и Microsoft SSIS.
Ну и немного затронут ODI - дискуссия на форуме sql.ru.
вторник, 21 января 2014 г.
Пакет управления для Oracle Data Integrator.
Вольный перевод полурекламной заметки из блога Data Integration. Используются скриншоты оригинальной заметки.
Для того, чтобы получить максимум от владения Oracle Data Integrator-ом, компания Oracle недавно выпустила пакет управления для ODI, подключаемый к Oracle Enterprise Manager Cloud Control. Данный пакет поддерживает как версию 11g (11.1.1.7.0 и выше) так и ODI 12c.
Пакет управления для Oracle Data Integrator-а дает консолидированный взгляд на всю инфраструктуру ODI, дает пользователям возможность мониторить и управлять всеми частями централизованно через Oracle Enterprise Manager Cloud Control.
Мониторинг и управление производительностью.
Для того, чтобы получить максимум от владения Oracle Data Integrator-ом, компания Oracle недавно выпустила пакет управления для ODI, подключаемый к Oracle Enterprise Manager Cloud Control. Данный пакет поддерживает как версию 11g (11.1.1.7.0 и выше) так и ODI 12c.
Пакет управления для Oracle Data Integrator-а дает консолидированный взгляд на всю инфраструктуру ODI, дает пользователям возможность мониторить и управлять всеми частями централизованно через Oracle Enterprise Manager Cloud Control.
Мониторинг и управление производительностью.
пятница, 20 декабря 2013 г.
Самописные ETL.
И тут многие переходят на скрипты внутри SSIS. Мы тоже перешли. А потом я задался вопросом - а зачем вообще этот SSIS, если он мешает?
Интересная ветка форума SQL.ru немного затрагивающая Microsoft SSIS.
суббота, 14 декабря 2013 г.
BI-Quotient становится Sonra и выпускает книгу.
Привет всем.
Обучающие материалы идут волна за волной. Вот и ирландские блоггеры Ули Бетке и Мачик Кокон выпустили свою книгу по глубинам репозитория ODI. Книгу они эту раздают даром, или предлагают купить ее киндл версию через Амазон.
Чтобы получить PDF версию книги необходимо связаться с ее авторами, предварительно разместив ссылку на книгу в одноклассниках (sic!), ВКонтактах, фейсбуках или собственных блогах.
Я думаю, что в наше время, когда времени заниматься изучением инструмента, которым пользуешься, совсем нет - данная книга будет особенно полезной.
Обучающие материалы идут волна за волной. Вот и ирландские блоггеры Ули Бетке и Мачик Кокон выпустили свою книгу по глубинам репозитория ODI. Книгу они эту раздают даром, или предлагают купить ее киндл версию через Амазон.
Чтобы получить PDF версию книги необходимо связаться с ее авторами, предварительно разместив ссылку на книгу в одноклассниках (sic!), ВКонтактах, фейсбуках или собственных блогах.
Я думаю, что в наше время, когда времени заниматься изучением инструмента, которым пользуешься, совсем нет - данная книга будет особенно полезной.
четверг, 12 декабря 2013 г.
Вебкаст по миграции OWB-ODI.
В 10 часов утра по времени Сан-Франциско сегодня, 12 декабря, будет проводиться вебкаст по утилите миграции OWB-ODI. По словам Девида Аллана, вы сможете посмотреть на демонстрацию работы утилиты миграции и углубиться в некоторые детали (всего не затронут, так как длительность вебкаста всего 1 час).
Так что если вы собираетесь мигрировать - может быть полезным. По киевскому времени это будет 8 часов вечера.
Так что если вы собираетесь мигрировать - может быть полезным. По киевскому времени это будет 8 часов вечера.
вторник, 3 декабря 2013 г.
ODI видео курсов прибыло.
Andreas Nobbmann создал и записал, а Пакт Паблишинг издал новый видео курс "Основы ODI".
В сети уже даже появился краткий обзор этого видео курса вот здесь.
И это еще не последняя ссылка. Если у вас есть желание получить видео курс по Oracle Data Integrator совершенно бесплатно (а через две недели обозреть его где-то в одноклассниках) - вы можете оставить запрос в группе Линкед Ина.
В сети уже даже появился краткий обзор этого видео курса вот здесь.
И это еще не последняя ссылка. Если у вас есть желание получить видео курс по Oracle Data Integrator совершенно бесплатно (а через две недели обозреть его где-то в одноклассниках) - вы можете оставить запрос в группе Линкед Ина.
Подписаться на:
Сообщения (Atom)