среда, 29 февраля 2012 г.

Vivam os Especialistas!

Некоторое количество времени, потраченного на подготовку дайджеста для сайта, который вы все знаете, наконец-то подошло к концу. Время это было потрачено не зря, результаты есть. Полезная часть этих результатов будет опубликована на ODI-digest в ближайшее время, а пока я бы хотел поделиться результатами побочными.

Количество опубликованных сообщений в блоге odiexperts.com - 118. Из них всего 4 не касаются непосредственно технических аспектов ODI. Количество комментариев - 493!, большинство из которых о проблемах и способах их решения для ODI. Я бы назвал это стопроцентной эффективностью и хорошим примером, на который стоит равняться.

пятница, 24 февраля 2012 г.

Вышла следующая версия ODI - 11.1.1.6.

Блог Oracle, посвященный интеграции данных, сообщает, что Oracle анонсировал выход следующей версии ODI.

Коротко о новых ошибках возможностях свежего ODI релиза, полный перечень которых можно найти в этом документе:

  1. Шорткаты (Shortcuts). Из описания мне не совсем пока ясно, как их использовать, но планируется что они помогут лучше управлять общими таблицами, колонками, преобразованиями. Возможно, это будет что-то похожее на хард линки в файловой системе.
  2. Отслеживание значений переменных и последовательностей (Tracking Variables and Sequences). Всего лишь пара-тройка лет и около 20 сообщений в разных блогах с разными вариантами того, как получить значение переменной во время выполнения сессии, и в новом релизе ODI мы имеем возможность узнать это через GUI.


  3. Глобальные модули знаний (Global Knowledge Modules).
  4. Улучшилась читабельной кода (Enhanced Session Logging), который выполняется в рамках сессии. Что там конкретно улучшилось в отображении шагов процедур и модулей знаний - надо будет смотреть.
  5. Появилась возможность модифицировать поведение Планов Загрузки (Handling Failed Load Plan Enhancements). В частности, если какой-то шаг падает, и убрать причину падения в данный момент невозможно, а вы не просто хотите закончить оставшуюся часть Плана загрузки сегодня, но и хотите чтобы при следующем запуске испорченая часть плана загрузки не помешала закончиться всему плану, вы легко это можете сделать.

    Как именно вы можете это сделать? Вы просто открываете шаг плана с ошибкой и меняете ему статус на успешный. Дальше вы уходите в отпуск и все визуально работает без ошибок.
  6. Можно не отображать неиспользуемые в Планах загрузки переменные (Enhanced Variable Handling in Load Plans), чтобы улучшить читабельность выполнения.
  7. Умный экспорт-импорт (Smart Export and Import). Улучшенный и более понятный механизм передачи кода между репозиториями разработки, тестирования и промышленного использования.
  8. Добавили Oracle Enterprise Data Quality к ODI. Теперь можно из пакета вызывать задачу Datanomic-а по улучшению качества данных прямо по ходу ETL процесса.
  9. Редактор Groovy. Позволяет создавать, изменять и запускать Груви скрипты в ODI Студии.
  10. Поддержка Отмены и Отмены Отмены (Support of Undo and Redo Operations). Запомните эти сокращения - CTRL+Z и CTRL+Y
  11. Автодополнение в именах полей и списках (Autocomplete for Text Fields and Lists). В некоторых текстовых полях ввода и списка работает автодополнение. Интересно, в каких не работает.
  12. Версионирование для модулей знаний (Version Numbering for Knowledge Modules). Теперь, например, можно узнать, оригинальный у вас модуль знаний (т.е. от Oracle) или вы там уже что-то изменили, в лучшую, как вам сейчас кажется, сторону.

Что тут сказать, надо качать.

Самые важные нововведения по мнению сайта BI-Quotient:
http://www.business-intelligence-quotient.com/?p=1521

вторник, 21 февраля 2012 г.

Создание представления через модуль знаний (Create View IKM).

God aften!

Представления (или, как их еще называют - вьюхи) очень важны, иногда они являются непосредственным воплощением ETL процесса. Например, на этапе загрузки данных из источников вполне вероятно использование представлений для простейших преобразований данных.

Нельзя сказать, что такое важное значение представлений никак не отражено в фольклоре. Как поет фронтмен группы ETaLlica - James_PK_Head_Field:
I am the View
I am the Table(t).
I am the View, I am the Table(t).


Даже из этого отрывка ясно, что представления многими ставятся на одно из первых мест.

воскресенье, 12 февраля 2012 г.

Работа с последовательностями в ODI (Sequences).

Ко многим вещам в ODI 11g надо привыкать, даже к документации. Файлов стало меньше, информация в них собрана немного по другому. Но, мне кажется, что этой информации стало больше, или она стала немного полнее.

Я не использовал для работы последовательности, поэтому решил посмотреть, что пишет документация об этом. Пока листал документ, увидел - в предыдущих разделах - как описаны переменные ODI. Так вот, судя по заголовкам разделов, они описаны чуточку более полно, чем раньше. Есть даже о том, как использовать переменную внутри другой переменной.

Приступим.

четверг, 9 февраля 2012 г.

Загрузка нетрадиционных данных.

Время не стоит на месте, теперь, после того как традиционные источники данных, такие как бухгалтерские, складские и прочие оперативные базы уже загружены в хранилище и успешно не анализируются там, настал черед загрузки и неспешного анализа других, менее структурированных данных.

Теперь ваши сообщения в фейсбуках и вконтактах (а может даже и в скайпах с гуглтоками) могут быть успешно загружены не загружены, а организованы и проанализированны с помощью специальных программно-аппаратных средств.

Вводная статья про Oracle Big Data. И продолжение.

Еще одна ссылка по теме:
Практика использованияOracle Data Integrator (ODI): Модуль знаний для новой СУБД Oracle.

понедельник, 6 февраля 2012 г.

Тренды.

Как говорится, работать хорошо, а хорошо работать - еще лучше.

В одном из обсуждений, когда одни люди спрашивают в интернетах других людей, стоит ли им начинать изучение ODI, я высмотрел такой аргумент, как частота упоминаний того или иного ETL инструмента в текстах вакансий.

И, несмотря на то, что количество вакансий в абсолютных величинах больше у Informatica и Data Stage:

среда, 1 февраля 2012 г.

2012-02-01.


Ограничения при построении развертки данных для OBIEE из ODI.
Limitations ODI – OBIEE data lineage
Описаны ограничения OBIEE lineage: не участвуют временные интерфейсы (желтые), при использовании формул ломается структура развертки данных, не учитываются представления и процедуры.
Дата публикации: 2012-02-08, Комментариев: 2


Вышел Oracle Data Integrator 11.1.1.6.
Oracle Data Integrator 11.1.1.6 has been released
Наиболее ожидаемые усовершенствования новой версии ODI.
Дата публикации: 2012-02-23, Комментариев: 0