Календарь для хранилища.

Создание календаря для Хранилища Данных. Или Date dimension. Или измерения времени.

В процессе работы понадобилось найти алгоритмы создания таблицы с перечнем дат, в котором бы присутствовала информация о днях недели, начале и конце месяца и другой календарной информации, используемой при загрузке данных в ХД (в основном в датамарты) и при построении отчетности для конечных пользователей.

Результаты поисков, все что нашлось поиском по интернету и сообщениям наших коллег с SQL.ru (спасибо им) представлены ниже.

Наибольшее количество ссылок применимо для MS SQL Server:

Календарь для хранилища данных на основе MS SQL.

DATE AND TIME DIMENSION TEMPLATE.

MS SQL запрос, формирующий список дат (порадовал наличием украинских и белорусских наименований для дней и сезонов).

SSAS - пример измерения времени.

Вьюха для календаря (с рекурсивным запросом).


Элегантный скрипт для БД PostgreSQL

PostgreSQL: Auto generate a sample Dataset.


Пример для Oracle DB.

Пример создания календаря (time dimension table)

Vertica
Пример создания календаря для Vertica с использованием временных таблиц, которые при перемножении дают нужное количество записей. Метод выглядит наиболее универсальным.

CREATING A CALENDAR TABLE.

Второй пример для Вертики, использующий неизвестный мне ранее механизм TIMESERIES
Vertica - Creating a calendar table


И напоследок Teradata. Эта СУБД имеет стандартный календарь в виде представления SYS_CALENDAR.CALENDAR, хранящее даты с 1 января 1900 по 31 декабря 2100 года. По одной записи на каждый день.

System Calendar - SYS_CALENDAR.CALENDAR

Вот такой вот первый в этом году пост. С Новым Годом!

Загружаем данные.

При загрузке данных в ХД, как и, например, при загрузке данных от множества датчиков в реляционную СУБД, применяются похожие механизмы - отключение констрейнтов и индексов, кеширование последовательностей, хинт /*+ append */, отключение логгирования таблиц и настройки использования места в блоках данных. Подробнее на примере Oracle DB заметка и комментарии на хабре - http://habrahabr.ru/post/196828/.

Новое в новых БД.

Ссылки для чтения.

Teradata 14:

Что такое Teradata Columnar?

До недавнего времени все СУБД, работающие со структурированными данными (и не только их), можно было разделить на 2 категории: хранящие записи в построчном формате и хранящие записи в поколоночном формате... Долгое время СУБД Teradata относилась к первой группе, но с выходом 14-й версии представилась возможность определять, как хранить данные конкретной таблицы – в виде колонок или строк. Таким образом, появилось гибридное хранение.

Что такое статистика и зачем она нужна

Статистическая информация о данных нужна, в первую очередь, для обеспечения работы оптимизатора запросов. Зная статистические характеристики данных и то, по каким критериям пользователь их запрашивает, оптимизатор может выбирать те или иные способы извлечения этих данных.

Oracle 12с:

Data Redaction

В Oracle 12c добавлена возможность изменять выдаваемые sql запросом значения полей (полностью или частично), в зависимости от условий. Эта возможность получила название Oracle Data Redaction и состоит в применении специальных policy.

Multitenant Architecture

Суть технологии состоит в возможности запустить несколько независимых баз (pluggable database, PDB) в рамках одного инстанса (container database, CDB). Каждая база имеет свой набор схем и табличных пространств, но при этом у них общая SGA и один набор серверных процессов. Есть возможность клонировать pluggable database, как в рамках одного контейнера, так и между контейнерами. Вот эту возможность и будем использовать для создания копий тестовых баз и экономии ресурсов.

Новые фичи приносят новые подводные камни.

Первый двенадцатый пошел.

По сообщениям коллег, Оракл выложил следующую версию своей СУБД.

Вместе с новой версией из поставки исключили и документацию по Oracle Warehouse Builder. Думаю, что сам билдер тоже убрали.

Доставить OWB все же можно, для этого необходимо установить версию 11.2.0.4, если я правильно понял идею Аллана.

Скидки на обучение по ODI.

По сообщению сайта rb.ru летом на курс Oracle Data Integrator 11g: Integration and Administration компания РДТех дает скидку в 10%. Курс пройдет 9-13 сентября 2013 г. в Москве.

Я об этом курсе писал несколько лет назад, но тогда не было никаких учебников по ODI, которые есть сейчас, так что курсы не единственный вариант обучения, но, скорее всего, самый эффективный для обучения групп сотруников.

Как работают над ХД в банках.

В процессе подготовки заметки о принципах разработки производительного ETL, наткнулся на старый, зато достаточно подробный рассказ о том, как создаются хранилища данных в банковских структурах. Кому интересно - вот ссылка.

Абзац для интереса:

   Финансовое хранилище служит для построения внутренней финансовой отчетности для группы компаний и для построения IFRS отчетности для «материнской» компании. Раньше все финансовые показатели агрегировались в отдельных кубах и автоматического выхода на общий результат не было, а потому отчеты собирались вручную. Сейчас мы достигли такой степени зрелости, что хотим полностью автоматизировать этот процесс, а для этого нам необходимо выделить финансовые кубы в отдельное хранилище. В результате трудозатраты должны сократиться на порядок.

10 принципов производительного ETL от Ральфа Кимбала.

Приветствую.

Перевод статьи "Increasing ETL Throughput" от Ezequiel Gallardo.

---

Ключевые концепции, которые
должен знать разработчик перед тем,
как создавать "ETL процесс"

  От ETL команды ожидают создания максимально производительного набора ETL процессов. Мы рекомендуем эти 10 правил, которые применимы как для самописных решений так и при использовании некоторых ETL инструментов, для поднятия производительности на максимальный уровень.
Ральф Кимбал.

10. Уменьшайте операции ввода - вывода.

Минимизируйте использование стейджевых таблиц. Держите данные в памяти, обрабатывая их на конвеере ETL преобразований, начиная с момента загрузки данных из источников до момента записи в целевые таблицы.

Я настаиваю на том, что ввод-вывод должен быть сведен к абсолютному минимуму. Безусловно, вам может понадобиться сохранить данные источников по многим причинам. Одна из допустимых причин этого может заключаться в том, что вам необходимо минимизировать доступ к источнику, или ваш источник позволяет сделать только одно чтение данных.

Коллекция обучающего видео по Хранилищам Данных.

Коллеги из BISP подготовили большое количество видеороликов на самые разные темы. Я просмотрел, частями, только видео по Oracle Data Integrator, и из явных недостатков отмечу не совсем внятный английский и среднее качество самого видео.

Но, в тоже время, задремать на работе, или, наоборот, почувствовать себя частью большого аутсорсингового митинга - данный набор видеокурсов вам поможет.

Так что смотрим и слушаем.

---

Что такое Oracle Data Integrator: http://youtu.be/TrADMRVYmMk

Informatica введение: http://youtu.be/lMNFEib5poU
Informatica архитектура: http://youtu.be/gCsQbL3qT1g

Что такое Oracle SOA: http://youtu.be/aY4q99LSbzo
Oracle WebLogic: http://youtu.be/BpXICuQ6x44
WebLogic введение в администрирование: http://www.youtube.com/watch?v=ZftuQqCQElg
Что такое Oracle Hyperion Interactive Reporting: http://youtu.be/IkrzGYtnPxs
Что такое Teradata: http://youtu.be/-I8lnr5Rp-w
Что такое ETL: http://youtu.be/hfDv-Zoa3Qs

Что такое схема Звезда (Star Schema) на примере Hyperion: http://youtu.be/2g-xX2aT8WE
Что такое факт и измерение (Dimension and Fact) на примере Hyperion: http://youtu.be/N3Q4NqwEGMY

Загрузка метаданных в Essbase: http://www.youtube.com/watch?v=F_I0C20_KI8
Hyperion Financial Management: http://youtu.be/1lmPbxGaxmU
Essbase скрипт вычислений: http://youtu.be/O_2nk9eQMzY
Essbase ASO: http://youtu.be/mpKfUVEtto8
Что такое Essbase: http://youtu.be/w_zK56abFPk
Зачем нужен Hyperion: http://youtu.be/-7WhvPYVQmM
Что такое Hyperion Planning: Часть 1, Часть 2, Часть 3, Часть 4

Основные команды Unix: Часть 1, Часть 2, Часть 3, Часть 4, Часть 5

Что такое отчетность Cognos: http://youtu.be/EYxvJgBT2ik

---

В случае, если качество данных видеокурсов вас не устроит - ютуб выдает массу других роликов по связанным темам, возможно, они окажутся лучше вышеперечисленных.

Смотри также:
Обучающее видео по ODI.

Дайджест SQL.ru.

Приветствую в новом году.

Хочу поделиться небольшим набором интересных тем с форума SQL.ru подфорума OLAP и DWH. Ниже список тем по категориям, с моими краткими анонсами; темы выбирались за последнее полугодие 2012 года.

ETL

Talend ETL.
Мнения посетителей форума о Talend, его применимости для задач ETL, работе с БД Vertica.

Погружение в детали эталонной архитектуры Хранилищ Данных от Oracle.

Примечание переводчика.

Статья довольно старая, но я все же решил ее перевести, потому что многие, до сих пор, несколько неверно воспринимают описываемые ниже подходы к построению архитектуры хранилищ данных.
Источник: http://www.rittmanmead.com/2009/07/drilling-down-in-the-oracle-next-generation-reference-dw-architecture/

---

Погружение в детали эталонной архитектуры Хранилищ Данных от Oracle.

Философия оптимизации - Хинты.

Перевод.
Оригинал находится по ссылке.

---

Одна из частей моей работы здесь в Rittman Mead состоит в чтобы следить за производительностью ХД, как с точки зрения запросов, сформированных пользователями, так и с точки зрения ETL процессов, загружающих данные в хранилище данных. Иногда я изучаю ситуацию в уже существующей системе, иногда же моя работа является частью процесса разработки нового комплекса.

Недавно, меня попросили посмотреть на таблицу, использующую очень сложную логику агрегации и расчетов, при этом расчеты проводились в ситуации почти реального времени. Передо мной поставили три жестких условия: генерировать как можно более малый объем redo лога, обновление таблицы должно быть максимально быстрым и данные в целевой таблице должны быть доступны все время – нет такого периода времени, даже во время обновления, в течение которого к данным нельзя обратиться через запрос. Я решил, что в этом случае подход с обменом секциями (партициями), с использованием операции truncate и вставки добавлением в обменную таблицу сработает лучше всего.

MS SQL Server 2012. Кое-что полезное для ХД.

Просто хотел дать ссылку на заметку на хабре. В ней половина описываемых фич может пригодиться при разработке ETL или аналитики.

Надеюсь, ODI будет использоваться совместно с MS SQL Server не только на моих виртуальных машинах "для опытов".

1. Новые предложения OFFSET и FETCH для ограничения числа возвращаемых строк.
2. В предложении OVER была расширена поддержка оконных функций.
3. Добавлены аналитические функции.
4. Появились последовательности (SEQUENCE).
5. На смену RAISERROR пришла инструкция THROW.
6. Появилось 14 новых функций.
7. Таблицы FileTable.
8. Статистический семантический поиск.

Подробности.

Новый стандарт SQL ISO 2011.

Всем привет.

По сообщению Craig Baumunk 15 декабря 2011 года пять частей нового стандарта ISO SQL 2011 было опубликовано на сайте магазина ISO. Так что теперь каждый, у кого есть много денег, может сразу зайти и купить себе стандарт. Вот ссылка.

Craig организовал специальную группу в ЛинкедИн для обсуждения новых возможностей, определяемых этим стандартом для работы с периодизацией данных.

Зачем нужна регистрация ошибок в ETL.

Всем привет.

Прислали ссылку на любопытную статью об основных принципах, которых необходимо придерживаться, если вы действительно собираетесь передавать ваш ETL в промышленную эксплуатацию.

Примеры приводятся для Microsoft SSIS, но, я думаю, для столь гибкого инструмента как ODI реализовать похожие подходы не будет сложно.

Ищут ETL тестеров в Белоруссию.

Всем привет.

Чтобы помочь братскому народу в тяжелую годину кризису, запощу сюда объявление из одной из груп ЛинкедИна.

---

Ищем ETL Data warehouse тестировщиков в Беларуссии (город - любой!!!) Если вы заинтересованы в этой позиции шлите резюме по адресу: natashag[собачка]4tegroup.com!!!

---

Там Наталье уже стали из Индии отвечать, готовы приехать, видимо, в страну, расположенную рядом с Украиной и Россией...

Долго ли живут модели?

Как раз в процессе думания над моделью попалась эта заметка. На самом деле она не только про банки, я думаю.

Описание объектов, атрибутов, связей модели анализа большей частью отвечает на вопрос: «как ЭТО МОЖНО интерпретировать?», не давая четкого ответа на вопрос: «как ЭТО НУЖНО интерпретировать?», оставляя ИТ специалистам и бизнес-аналитикам широкие возможности для самостоятельного нахождения нужного ответа

Ссылка.

Перезагрузка данных в ХД.

Приветствую.

Последняя из найденных интересных статей при подготовке вот этого перевода касается проблемы перегрузки (перезагрузки, повторной загрузки и обновления) данных в ХД.

В настоящее время явно не хватает информации о том, как правильно разрабатывать и как правильно проектировать подобные процессы. Более того, на рынке всё больше появляется специальных продуктов для «эффективной разработки» процессов перегрузок, разработчики которых просто подменяют эффективность разработки, эксплуатации и сопровождения скоростью самого процесса перегрузки.

Какую именно информацию стоит поддерживать в системе метаданных, чтобы эффективно эксплуатировать и сопровождать ХД?

...вполне обоснован вопрос: чем определяется минимально необходимый объём метаданных, требуемый для поддержания ХД?

...какие условия необходимо иметь в виду при проектировании информационной модели БД хранилища данных, учитывая технологические потребности операций перегрузки?

Ссылка.

OWB всё.

Тем, кто выбирает в данный момент на чем начинать разработку нового ХД, возможно, будут полезны следующие два перевода.

Oracle Warehouse Builder идет на пенсию. Что делать?

Три основных недостатка современных хранилищ данных.

Интересно, изменились ли за последние лет восемь эти недостатки?

... три основных проблемы, которым уделяется недостаточное внимание при создании хранилищ данных: качество данных, оптимальный выбор источников данных и производительность и масштабируемость.

Ссылка.

ODI vs BODI.

Привет всем.

Сегодня публикую перевод одного из обсуждений, проходившего в группе Data Warehousing (Business Intelligence, ETL) Professional's... в Линкед Ин.

Тема, начатая Mohammed, собрала 15 комментариев.