Перевод статьи Excel technology in Oracle Data Integrator. В переводе использованы скриншоты из оригинальной заметки.
Работа с данными Excel в ODI нелегка, плюс именованные диапазоны данных (named ranges) должны быть созданы в файле Excel. Это происходит по причине того, что существующая технология ODI работает на основе преобразования именованных диапазонов в таблицы.
Мы можем изменить стандартную конфигурацию чтобы работать с данными Excel так же легко, как это происходит с данными других технологий.
Конфигурационные изменения, которые я имею ввиду, были опробованы в ODI 10.3 и java 1.4. Сделать необходимо следующее.
Конфигурация ODI.
О работе в Oracle Data Integrator (ODI) и других захватывающих вещах из мира BI.
Показаны сообщения с ярлыком ms-sql. Показать все сообщения
Показаны сообщения с ярлыком ms-sql. Показать все сообщения
понедельник, 27 января 2014 г.
суббота, 1 июня 2013 г.
Готовим описание MS SQL серверов.
Публикую перевод заметки Jes Schultz Borland о важности документирования при использовании MS SQL Server под названием Documentation: It Doesn’t Suck!.
Некоторая часть нашей работы не слишком очаровательна, но необходима. Например, мне приходится чистить парик Боба Дилана каждую неделю, чтобы быть уверенным в его красоте и блеске. Документирование - это как раз та задача, которую многие не хотят начинать, которую тяжело поддерживать актуальной и, в общем, работы над которой стараются избегать.
Прекратите отлынивать и получите от этого пользу.
Некоторая часть нашей работы не слишком очаровательна, но необходима. Например, мне приходится чистить парик Боба Дилана каждую неделю, чтобы быть уверенным в его красоте и блеске. Документирование - это как раз та задача, которую многие не хотят начинать, которую тяжело поддерживать актуальной и, в общем, работы над которой стараются избегать.
Прекратите отлынивать и получите от этого пользу.
воскресенье, 27 мая 2012 г.
MS SQL Server 2012. Кое-что полезное для ХД.
Просто хотел дать ссылку на заметку на хабре. В ней половина описываемых фич может пригодиться при разработке ETL или аналитики.
Надеюсь, ODI будет использоваться совместно с MS SQL Server не только на моих виртуальных машинах "для опытов".
Подробности.
Надеюсь, ODI будет использоваться совместно с MS SQL Server не только на моих виртуальных машинах "для опытов".
- Новые предложения OFFSET и FETCH для ограничения числа возвращаемых строк.
- В предложении OVER была расширена поддержка оконных функций.
- Добавлены аналитические функции.
- Появились последовательности (SEQUENCE).
- На смену RAISERROR пришла инструкция THROW.
- Появилось 14 новых функций.
- Таблицы FileTable.
- Статистический семантический поиск.
Подробности.
воскресенье, 11 марта 2012 г.
Инсталлируем ODI 11 на Windows x64 и MS SQL сервер.
Настала и мне (месяцев восемь назад) пора проинсталлировать новый ODI. А так как виртуальных машин уже слишком много, решил сделать это прямо на своем рабочем ноутбуке. Который, очень удачно, оказался с Windows 7 x64 на борту.
Для начала я прочитал вот эту заметку Uli об установке. Вроде бы ничего сложного, плюс в процессе подготовки ЧАВО для ODI 11g увидел, что есть возможность ручной инсталляции Oracle Data Integrator-а.
Итак, список того, что понадобилось мне для инсталляции.
Обратите внимание, что приведенная ссылка указывает на тот вариант инсталлятора MS SQL Server, который не содержит SQL Server Management Studio. Так что для создания пользователей и баз я пользовался клиентской программой из инсталляции ODI на виртуальной машине.
Итак, что можно сказать по-поводу инсталляции, на самом деле все было практически так же, как и для 10й версии, описание которой находится на третьей слева странице блога вот там вот вверху.
Шаг 1. Инсталлируем JDK.
Тут в общем-то описывать особо и нечего.
Шаг 2. Сам процесс инсталляции я проходил строго по описанию ручной инсталляции Oracle Data Integrator.
Начав с пункта 2.2. ODI Studio and XML Reference
Распаковать oracledi-studio.zip в папку C:\Oracle\ODI
Распаковать oracledi-xml-reference.zip туда же.
Запустить C:\Oracle\ODI\oracledi\client\odi.exe на выполнение.
Дальше, при первой загрузке, ODI спросит где же установлен JDK. Вот здесь пришлось немного повозиться. Смысл заключался в том, что ODI Studio должен использовать 32 битный вариант JDK, а не тот, что я указал вначале - как раз 64 битный.
Вместо запуска студия показывала ошибку - unable to launch the Java Virtual Machine. Поиски привели вот к этой ветке форума.
https://forums.oracle.com/forums/thread.jspa?threadID=2142472
Таким образом, если что-то пойдет не так, необходимо найти файл odi.conf и убрать заданный путь к JDK именно там.
Приступая к созданию репозиториев, я решил поступить по тому же принципу, что и для 10й версии. Создал БД, создал пользователя, указал пользователя владельцем этой БД.
Первая попытка не увенчалась успехом, так как я оставил по умолчанию базу tempdb для созданного логина snpm. Создание мастер репозитория упало на третьем файле.
[16:27:51] Applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_DROP.xml
[16:27:52] Applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_CREATE.xml
[16:27:52] Error while applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_CREATE.xml
После успешного создания и коннекта к мастер репозиторию, ничего из элементов Дизайнера или Оператора не доступно. Необходимо пойти во вкладку Топология и создать новый рабочий репозиторий по той же схеме, что и в 10й версии.
Если используемый для доступа к рабочему репозиторию логин MS SQL Server имеет базу tempdb как БД по-умолчанию, ODI выведет такую ошибку:
После исправления дефолтной БД создание рабочего репозитория завершается успешно.
Эта заметка находится в черновиках с 09.09.2010 года. Теперь, после выхода версии 11.1.1.6 она не так актуальна, но, все же, может быть кому-то полезна.
P.S. А кому после двух подряд описаний инсталляции хочется еще чего-то более замороченного - вариант инсталляции с использованием облегченного дизайнера, метадата навигатора и т.п.
Для начала я прочитал вот эту заметку Uli об установке. Вроде бы ничего сложного, плюс в процессе подготовки ЧАВО для ODI 11g увидел, что есть возможность ручной инсталляции Oracle Data Integrator-а.
Итак, список того, что понадобилось мне для инсталляции.
JDK для Windows x64.- 32 битный JDK для Windows. По ссылке уже старенькая версия, лучше взять последнюю, я думаю.
- Инсталляционный диск (скорее всего это была версия 11.1.1.3) для ODI и сопроводительный диск.
- Microsoft SQL Server 2008 SP2 Express Edition Service Pack 2.
Обратите внимание, что приведенная ссылка указывает на тот вариант инсталлятора MS SQL Server, который не содержит SQL Server Management Studio. Так что для создания пользователей и баз я пользовался клиентской программой из инсталляции ODI на виртуальной машине.
Итак, что можно сказать по-поводу инсталляции, на самом деле все было практически так же, как и для 10й версии, описание которой находится на третьей слева странице блога вот там вот вверху.
Шаг 1. Инсталлируем JDK.
Тут в общем-то описывать особо и нечего.
Шаг 2. Сам процесс инсталляции я проходил строго по описанию ручной инсталляции Oracle Data Integrator.
Начав с пункта 2.2. ODI Studio and XML Reference
Распаковать oracledi-studio.zip в папку C:\Oracle\ODI
Распаковать oracledi-xml-reference.zip туда же.
Запустить C:\Oracle\ODI\oracledi\client\odi.exe на выполнение.
Дальше, при первой загрузке, ODI спросит где же установлен JDK. Вот здесь пришлось немного повозиться. Смысл заключался в том, что ODI Studio должен использовать 32 битный вариант JDK, а не тот, что я указал вначале - как раз 64 битный.
Вместо запуска студия показывала ошибку - unable to launch the Java Virtual Machine. Поиски привели вот к этой ветке форума.
https://forums.oracle.com/forums/thread.jspa?threadID=2142472
Таким образом, если что-то пойдет не так, необходимо найти файл odi.conf и убрать заданный путь к JDK именно там.
Приступая к созданию репозиториев, я решил поступить по тому же принципу, что и для 10й версии. Создал БД, создал пользователя, указал пользователя владельцем этой БД.
Первая попытка не увенчалась успехом, так как я оставил по умолчанию базу tempdb для созданного логина snpm. Создание мастер репозитория упало на третьем файле.
[16:27:51] Applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_DROP.xml
[16:27:52] Applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_CREATE.xml
[16:27:52] Error while applying DDL from file C:\Oracle\ODI\oracledi\client\jdev\extensions\oracle.odi.navigator\lib\scripts\MICROSOFT_SQL_SERVER\M_CREATE.xml
После успешного создания и коннекта к мастер репозиторию, ничего из элементов Дизайнера или Оператора не доступно. Необходимо пойти во вкладку Топология и создать новый рабочий репозиторий по той же схеме, что и в 10й версии.
Если используемый для доступа к рабочему репозиторию логин MS SQL Server имеет базу tempdb как БД по-умолчанию, ODI выведет такую ошибку:
java.sql.SQLException: [FMWGEN][SQLServer JDBC Driver][SQLServer]Cannot open user default database. Login failed.
После исправления дефолтной БД создание рабочего репозитория завершается успешно.
Эта заметка находится в черновиках с 09.09.2010 года. Теперь, после выхода версии 11.1.1.6 она не так актуальна, но, все же, может быть кому-то полезна.
P.S. А кому после двух подряд описаний инсталляции хочется еще чего-то более замороченного - вариант инсталляции с использованием облегченного дизайнера, метадата навигатора и т.п.
пятница, 5 августа 2011 г.
Сбор статистики для таблиц MS SQL Server.
Приветствую.
Продолжим изучать описанный ранее подход сбора статистики для таблиц БД.
Моя цель - улучшить скрипт и разобраться немного с процессом сбора статистики для таблиц MS SQL Server. Статистику буду собирать по всем колонкам заданной таблицы.
Итак, документация дает следующее описание синтаксиса команды сбора статистики:
Продолжим изучать описанный ранее подход сбора статистики для таблиц БД.
Моя цель - улучшить скрипт и разобраться немного с процессом сбора статистики для таблиц MS SQL Server. Статистику буду собирать по всем колонкам заданной таблицы.
Итак, документация дает следующее описание синтаксиса команды сбора статистики:
пятница, 15 июля 2011 г.
Используем аналитические функции SQL в ODI.
Приветствую.
Сегодня хочу рассказать о том, что давно уже всем известно. Вернее, я так думал, что все, кто работал с ODI об этом давно знают.
Но, пару недель назад, я услышал, что ODI не знает как ему работать с аналитическими функциями в маппингах.
Вернее, мой собеседник сообщил, что ODI умеет работать с аналитическими максимумами или минимумами, но не совсем правильно это делает. И чтобы исправить это дело, нужно долго копаться в модулях знаний, изучать методы подстановки и т.п. и т.д.
Сегодня хочу рассказать о том, что давно уже всем известно. Вернее, я так думал, что все, кто работал с ODI об этом давно знают.
Но, пару недель назад, я услышал, что ODI не знает как ему работать с аналитическими функциями в маппингах.
Вернее, мой собеседник сообщил, что ODI умеет работать с аналитическими максимумами или минимумами, но не совсем правильно это делает. И чтобы исправить это дело, нужно долго копаться в модулях знаний, изучать методы подстановки и т.п. и т.д.
понедельник, 30 мая 2011 г.
Переполнение главной таблицы SNP_EXP_TXT.
Привет всем.
Как известно, таблица SNP_EXP_TXT содержит текстовые части команд ODI.
В старых версиях, с 10.1.3.2.0 по 10.1.3.5.1 для ключевой колонки I_TXT из этой таблицы выделялось недостаточно места, таким образом, с течением времени могла возникнуть ситуация, когда свободные номера в колонке заканчивались, и она начинала выделять значения с 0, что приводило к ошибке ORA-00001: unique constraint (SDS1.PK_EXP_TXT) violated.
Как известно, таблица SNP_EXP_TXT содержит текстовые части команд ODI.
В старых версиях, с 10.1.3.2.0 по 10.1.3.5.1 для ключевой колонки I_TXT из этой таблицы выделялось недостаточно места, таким образом, с течением времени могла возникнуть ситуация, когда свободные номера в колонке заканчивались, и она начинала выделять значения с 0, что приводило к ошибке ORA-00001: unique constraint (SDS1.PK_EXP_TXT) violated.
суббота, 26 марта 2011 г.
Дополнение к описанию инсталляции ODI.
Дополнил страницу с описанием инсталляции ODI на ms-sql сервер разделом "Настройка СУБД для работы ODI".
пятница, 11 марта 2011 г.
Строим workflow на основе пользовательского ввода (User Input).
Приветствую.
В комментариях к записи Что такое переменная ODI, один из наших коллег спросил, каким образом можно сравнить две переменные, одна из которых имеет тип alphanumeric, а вторая - date.
Как отмечено в указанной записи, я не знаю удачных примеров использования переменных типа даты. Теперь есть пример не очень удачного использования, но, тем не менее, с помощью исключений и использования KO перехода в пакете задача решена.
В комментариях к записи Что такое переменная ODI, один из наших коллег спросил, каким образом можно сравнить две переменные, одна из которых имеет тип alphanumeric, а вторая - date.
Как отмечено в указанной записи, я не знаю удачных примеров использования переменных типа даты. Теперь есть пример не очень удачного использования, но, тем не менее, с помощью исключений и использования KO перехода в пакете задача решена.
пятница, 4 февраля 2011 г.
Используем методы подстановки для изменения модулей знаний ODI.
Приветствую.
В прошлом году один из читателей этого блога задал по почте такой вопрос:
Добавим немного практики в этот блог, и попробуем сделать два улучшения в один из модулей знаний, поставляемый вместе с ODI для MS SQL Server.
В прошлом году один из читателей этого блога задал по почте такой вопрос:
Как можно передать хинт на уровень запроса. К примеру, у нас есть интерфейс, он формирует запрос в LKM - шаг называется load data, но план не оптимальный, хочу улучшить, как я могу передать хинт в этот запрос?
Добавим немного практики в этот блог, и попробуем сделать два улучшения в один из модулей знаний, поставляемый вместе с ODI для MS SQL Server.
четверг, 27 января 2011 г.
Что такое модель ODI (What is a Model) Часть 2.
Рассмотрим более подробно, какие возможности по настройке и редактированию свойств моделей предоставляет нам клиентское приложение Дизайнер. Первая часть описания моделей ODI находится здесь.
Примеры моделей взяты из инсталляции ODI на SQL сервер, которую я сделал как раз для экспериментов.
Модели.
Примеры моделей взяты из инсталляции ODI на SQL сервер, которую я сделал как раз для экспериментов.
Модели.
среда, 22 декабря 2010 г.
Инсталлируем и настраиваем ODI на MS SQL Server Часть 2.
Приветствую.
Дополнил страницу с описанием инсталляции ODI на MS SQL Server.
Теперь там описано, как создать физическую и логическую схемы данных, агентов, определить модель данных, сделать реверс таблиц из БД в модель данных, импортировать модули знаний в проект и т.п.
Дополнил страницу с описанием инсталляции ODI на MS SQL Server.
Теперь там описано, как создать физическую и логическую схемы данных, агентов, определить модель данных, сделать реверс таблиц из БД в модель данных, импортировать модули знаний в проект и т.п.
среда, 10 ноября 2010 г.
Небольшое описание инсталляции ODI на MS SQL Server.
Приветствую.
Попытался описать процесс инсталляции ODI на Microsoft SQL Server 2008. Это описание доступно по ссылке, а в блоге на него будет ссылка с верхнего перечня страниц блога. Там где Поиск и т.п.
Пока описано только до момента запуска Дизайнера, т.е. инсталляция самого ODI, инсталляция SQL сервера, дополнительно необходимое ПО и перечень драйверов, а также создание мастер репозитория и рабочего репозитория.
Планирую эту страницу дополнять в будущем.
Попытался описать процесс инсталляции ODI на Microsoft SQL Server 2008. Это описание доступно по ссылке, а в блоге на него будет ссылка с верхнего перечня страниц блога. Там где Поиск и т.п.
Пока описано только до момента запуска Дизайнера, т.е. инсталляция самого ODI, инсталляция SQL сервера, дополнительно необходимое ПО и перечень драйверов, а также создание мастер репозитория и рабочего репозитория.
Планирую эту страницу дополнять в будущем.
Подписаться на:
Сообщения (Atom)