суббота, 12 апреля 2014 г.

Познавательно о NoSQL.

От Андрея Зубинского.

Как всегда, глубоко, интересно и профессионально, что, к сожалению, редкость в наше время.

Статья 1. NoSQL. И никаких "революций"
Статья 2. NoSQL. Column-Oriented
Статья 3. NoSQL СУБД, часть вторая, "KVS"

Следующую статью цикла, судя по периодичности уже опубликованных, ожидать стоит не раньше весны лета.

P.S. Следить за появлением продолжения можно по этой ссылке - http://ko.com.ua/user/48

вторник, 11 февраля 2014 г.

Узнать версию ODI и других приложений ПО Fusion Middleware.

Перевод заметки Richard Williams с сайта A-Team под названием Identifying Underlying Middleware BI Software Versions within Fusion Applications. Использованы скриншоты оригинальной заметки.


Иногда администратору может понадобиться узнать версию ПО для какого-либо компонента из набора Fusion Middleware. Например, перед загрузкой и инсталляцией ODI Studio неплохо было бы узнать какая версия ODI используется с текущим набором приложений Fusion.

Узнавать описываемым образом можно не только версии BI компонент, но и большинства других приложений Fusion.

понедельник, 27 января 2014 г.

Технология Excel для ODI.

Перевод статьи Excel technology in Oracle Data Integrator. В переводе использованы скриншоты из оригинальной заметки.


Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.

Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.

Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.

Конфигурация ODI.

вторник, 21 января 2014 г.

Пакет управления для Oracle Data Integrator.

Вольный перевод полурекламной заметки из блога Data Integration. Используются скриншоты оригинальной заметки.

Для того, чтобы получить максимум от владения Oracle Data Integrator-ом, компания Oracle недавно выпустила пакет управления для ODI, подключаемый к Oracle Enterprise Manager Cloud Control. Данный пакет поддерживает как версию 11g (11.1.1.7.0 и выше) так и ODI 12c.

Пакет управления для Oracle Data Integrator-а дает консолидированный взгляд на всю инфраструктуру ODI, дает пользователям возможность мониторить и управлять всеми частями централизованно через Oracle Enterprise Manager Cloud Control.

Мониторинг и управление производительностью.

вторник, 14 января 2014 г.

ODI 12c, Часть 2.

Перевод второй части заметок Jérôme Françoisse о новшествах Oracle Data Integrator-а облачной версии 12c. Оригинал находится здесь. Использованы скриншоты из оригинальных заметок.



WebLogic Management Framework

Другое большое новшество в этом релизе это то, что инфраструктура управления WebLogic сервера используется для контроля агентов ODI вместо ранее использовавшегося OPMN сервера. Теперь агенты управляются тем же образом, что и остальные компоненты промежуточного ПО Fusion Middleware и для настройки используется специальный мастер - Fusion Middleware Configuration Wizzard.

ODI 12c. Часть 1.

В новом году захотелось начать с чего-то нового, поэтому сегодня будет перевод первой части заметок Jérôme Françoisse о новшествах Oracle Data Integrator-а облачной версии 12c. Оригинал находится здесь. Использованы скриншоты из оригинальных заметок.

Вот оно! Долгожданный Oracle Data Integrator 12c выпущен! Вы можете найти 12.1.2 версию на странице загрузки ODI и изучить новые возможности здесь, пока идет загрузка. Главная новость, безусловно, в новой потоковой парадигме и возможности загружать множество целевых таблиц в одном интерфейсе. О, погодите-ка, мы теперь не говорим "интерфейсы", теперь это называется "маппинги"! Фантастика, ODI разработчики теперь смогут общаться с разработчики использующими другие ETL инструменты, используя тот же набор терминов. Новая терминология и парадигма потоковости также сближают ODI и Oracle Warehouse Builder. Давайте бросим взгляд на некоторые из новых возможностей.


Новые маппинги.

четверг, 26 декабря 2013 г.

Дайджест ODI публикаций 2013, Полугодие 1.

ODI 11g на предприятии, часть 4. Автоматизация, использование ODI SDK, Groovy скриптов и открытых утилит.
ODI 11g in the Enterprise Part 4: Build Automation and Devops using the ODI SDK, Groovy and ODI Tools
Обзорная статья по использованию ODI на предприятии с точки зрения автоматизации процессов развертывания новых версий ETL процедур, использования Groovy скриптов и бесплатных утилит типа Jenkins, Ant и Maven со ссылками на подробные описания в других блогах или документации.
Дата публикации: 2013-01-01, Комментариев: 3


Установка опций модуля знаний через SDK.
Set ODI KM option value using SDK
Пример кода для установки опции во всех интерфейсах проекта через ODI SDK.
Дата публикации: 2013-01-02, Комментариев: 2


Улей и NoSQL данные, кодируем.
ODI - Hive and NoSQL, the code
Продолжение рассказа об обработке NoSQL данных в ODI.
Дата публикации: 2013-01-02, Комментариев: 0


ODI 11g на предприятии, часть 5. Устойчивость и высокая доступность ETL процессов.
ODI 11g in the Enterprise Part 5: ETL Resilience and High-Availability
Марк рассматривает типовые причины, которые могут повлиять на процесс загрузки и преобразования данных. Это как ошибки собственно в данных, ошибка в логике процесса ETL преобразований и возможные ошибки как на БД источника, так и в целевой БД. И второй большой класс ошибок - ошибки в тех процессах, которые запускают ETL процедуры, т.е. ошибки агентов или БД репозиториев.
По первому классу причин рассматриваются ньюансы использования планов загрузки, по второму классу причин - использование JavaEE агентов.
Дата публикации: 2013-01-04, Комментариев: 3


Повторное использование кода в ODI.
Extreme re-usability in ODI 11g.
На примере повторяющегося шага по сбору статистики в одном из модулей знаний автор показывает возможное применение пользовательских функций для повторного использования одного и того же кода.
Дата публикации: 2013-01-07, Комментариев: 1


БД Mongo и табличная Java функция.
ODI - MongoDB and Java Table Functions Anyone?
Рассказ о том, как с помощью модуля знаний LKM JavaTableFunction to SQL читать документы из MongoDB.
Дата публикации: 2013-01-10, Комментариев: 0


Вызов ODI сценария через веб-сервис.
Invoke ODI Scenario using Web Service
Вызов сценария ODI из JDeveloper путем создания приложения из WSDL файла.
Дата публикации: 2013-01-11, Комментариев: 3


Табличная Java функция для БД Mongo.
ODI - Java Table Function for MongoDB
Продолжение рассказа об обработке MongoDB данных в ODI. Показаны функции преобразования makeRow и readCollection.
Дата публикации: 2013-01-11, Комментариев: 0


Загружаем данные из PDF при помощи iText.
ODI - Integrating PDF using iText
Чтение данных из PDF файла при помощи библиотеки iText.
Дата публикации: 2013-01-14, Комментариев: 7


Работа с ульем MongoDB.
ODI - Hive and MongoDB
Работа с внешними таблицами для улья MongoDB.
Дата публикации: 2013-01-15, Комментариев: 5


Изменение ИД репозитория.
Change Internal ID of ODI Repository
История в скриншотах о том, как изменить внутренний идентификатор ODI репозитория.
Дата публикации: 2013-01-16, Комментариев: 0


Создание репозитория через ODI SDK.
Create ODI repository using SDK
Пример создания репозитория через SDK.
Дата публикации: 2013-01-21, Комментариев: 2


Создание агентов через SDK
Create Agent in ODI using SDK
Создание физического и логического агентов через SDK.
Дата публикации: 2013-01-22, Комментариев: 0


Вызов ODI сценария через OdiInvokeWebService
Invoke ODI Scenario using OdiInvokeWebService
Показан пример вызова сценария ODI через утилиту OdiInvokeWebService при использовании локального агента.
Дата публикации: 2013-01-25, Комментариев: 2


Безопасность использования snps_login_work.xml файла.
Security Concern with ODI snps_login_work.xml
Как расшифровать закриптованный пароль к мастер репозиторию, распространяемый вместе с файлом snps_login_work.xml.
Дата публикации: 2013-02-05, Комментариев: 6


Добавление хинтов к модулю знаний.
Adding HINTS in ODI
Как использовать функцию getOption в модуле знаний, чтобы передавать хинты в сгенерированный модулем SQL код.
Дата публикации: 2013-02-05, Комментариев: 6


Загружаем данные из PDF, видео.
ODI - Extracting data from PDF Forms in 0 to 60
Видео-иллюстрация загрузки данных из форм PDF файла в ODI.
Дата публикации: 2013-02-06, Комментариев: 2


Добавление хинтов к модулю знаний через переменные.
Adding Variabled HINTS in ODI
В блоге рассказано, как использовать параметры, хранящиеся в таблице БД в модуле знаний. Примером использования автор выбрал передачу в модули знаний хинтов для запросов выборки и вставки данных.
Дата публикации: 2013-02-18, Комментариев: 2


Медленно изменяющиеся размерности в ODI, видео.
ODI - Slowly Changing Dimensions in 0 to 60
Видео-иллюстрация процесса настройки абстрактной таблицы ODI для работы в качестве медленно изменяющегося измерения с использованием модуля знаний IKM Slowly Changing Dimension на примере сохранения истории изменений семейного положения.
Дата публикации: 2013-02-26, Комментариев: 4


Подсказка, выбираем самый последний сгенерированный сценарий для запуска.
ODI - Tip of the day, latest scenario version
Чтобы запускать самый последний сценарий, везде, где используется команда odiStartScen необходимо передавать значение "-1" в качестве номера версии.
Дата публикации: 2013-03-11, Комментариев: 2


Упаковка и распаковка файлов в параллельном режиме.
ODI - Compressing/Decompressing Files in Parallel
Девид привел пример двух пользовательских функций, написанных на Java, которые позволяют запаковывать и/или распаковывать файлы в заданной директории или записывать результаты в другую директорию. Количество параллельно работающих процессов задается при вызове функции.
Дата публикации: 2013-03-12, Комментариев: 0


Настройка SCD таблиц через ODI SDK.
ODI - Slowly Changing Dimension Quick SDK Setup
Пример использования setScdType метода класса OdiColumn для установки признака использования колонки в качестве члена медленно изменяющегося измерения. Список абстрактных таблиц и колонок с типами задается через текстовый файл.
Дата публикации: 2013-03-20, Комментариев: 0


Оракл выпустил ODI 11.1.1.7.
Oracle Releases Oracle Data Integrator 11.1.1.7.0
См. Вышел ODI 11.1.1.7.
Дата публикации: 2013-04-01, Комментариев: 2


Внедряем код, выполняющийся перед и после соединения с сервером данных.
ODI - Tip of the day, Connect/Disconnect call outs
Показан пример использования механизма вызова заданного кода, выполняющего перед (или после) соединением с сервером данных.
Дата публикации: 2013-04-01, Комментариев: 0


Создание архивной копии репозиториев ODI.
Repository Backup in ODI
Автор рассказывает в какой последовательности и какие объекты необходимо экспортировать из ODI Studio чтобы создать полноценную работающую архивную копию рабочего репозитория ODI.
Дата публикации: 2013-04-04, Комментариев: 9


Интегрируем социальные данные из Facebook, видео.
ODI - Integrating social data from Facebook Graph API in 0 to 60
Показан пример загрузки данных, позволяющий получать данные из многих источников, таких как Twitter, Facebook, Google и т.п.
Дата публикации: 2013-04-16, Комментариев: 11


OBIEE, ODI и Hadoop, часть 1: Так что такое Hadoop, MapReduce и Улей?
OBIEE, ODI and Hadoop Part 1: So What Is Hadoop, MapReduce and Hive?
Во вводной части статьи Марк рассказывает, что такое Hadoop и MapReduce алгоритм, а также дает общий взгляд на их использование с OBIEE и ODI.
Дата публикации: 2013-04-18, Комментариев: 2


OBIEE, ODI и Hadoop, часть 2: Коннектимся из OBIEE 11.1.1.7. к источнику данных Hadoop.
OBIEE, ODI and Hadoop Part 2: Connecting OBIEE 11.1.1.7 to Hadoop Data Sources
Рассказывается, как подключить OBIEE к Hadoop, настроить ODBC и загрузить метаданные из этого источника данных, создать слой бизнес данных и получить пару тестовых отчетов.
Дата публикации: 2013-04-19, Комментариев: 5


OBIEE, ODI и Hadoop, часть 3: Более пристальный взгляд на Улей, HDFS и дистрибутив Cloudera CDH3.
OBIEE, ODI and Hadoop Part 3: A Closer Look at Hive, HFDS and Cloudera CDH3
Более подробный рассказ об архитектуре распределенной файловой системы Hadoop, утилите Hue - веб приложении для работы с HDFS как с обычной файловой системой. Как создать таблицу и загрузить ее данными даже без использования ODI, через Hue или команду HiveQL LOAD DATA. И как подключить ODI к источнику данных, настроить топологию, отреверсить таблицы и залить данные через интерфейс.
Дата публикации: 2013-04-25, Комментариев: 0


OBIEE, ODI и Hadoop, часть 4: Трансформация и интеграция данных улья через ODI 11g.
OBIEE, ODI and Hadoop Part 4: Hive Data Transformation & Integration via ODI 11g
Рассказ о том, как ODI может быть использован для загрузки Хранилища Больших Данных, с описанием доступного для таких задач перечня адептеров для работы с Hadoop и некоторыми особенностями использования соответствующих модулей знаний.
Дата публикации: 2013-04-28, Комментариев: 0


Интегрируем социальные данные, продолжение.
ODI - Integrating more social data
Аллан, в продолжение заметки об интеграции данных из графа Facebook-а приводит код двух функций: JSON_to_XML и Zipped_JSON_to_XML, которые могут вызывать напрямую из процедур и модулей знаний.
Дата публикации: 2013-05-07, Комментариев: 0


Использование пользовательских функций для генерации SQL кода во время выполнения.
Using ODI user functions to dynamically inject SQL into Interfaces
Впечатляющая демонстрация того, как с помощью пользовательских функций и кода на Java Bean Shell добиться возможности подставлять фактические значения переменных в генерируемый интерфейсом SQL код.
Дата публикации: 2013-05-19, Комментариев: 7


Лучшая ETL книга для лучшего ETL инструмента.
ODI 11g Cookbook – The leading ETL tool now also has the best ETL book
Впечатления автора от книги рецептов для ODI 11g.
Дата публикации: 2013-06-15, Комментариев: 0


пятница, 20 декабря 2013 г.

Самописные ETL.

И тут многие переходят на скрипты внутри SSIS. Мы тоже перешли. А потом я задался вопросом - а зачем вообще этот SSIS, если он мешает?

Интересная ветка форума SQL.ru немного затрагивающая Microsoft SSIS.

суббота, 14 декабря 2013 г.

BI-Quotient становится Sonra и выпускает книгу.

Привет всем.

Обучающие материалы идут волна за волной. Вот и ирландские блоггеры Ули Бетке и Мачик Кокон выпустили свою книгу по глубинам репозитория ODI. Книгу они эту раздают даром, или предлагают купить ее киндл версию через Амазон.

Чтобы получить PDF версию книги необходимо связаться с ее авторами, предварительно разместив ссылку на книгу в одноклассниках (sic!), ВКонтактах, фейсбуках или собственных блогах.

Я думаю, что в наше время, когда времени заниматься изучением инструмента, которым пользуешься, совсем нет - данная книга будет особенно полезной.