.



   

 Каталог

Корпоративные порталы
Информационные порталы
Экспертные порталы
Порталы приложений
Порталы совместной работы
Порталы управления знаниями
Порталы интеграции корпоративных систем

Методологии
Системы поддержки принятия решений (Decision Support Systems — DSS)
Data Warehouse - хранилища данных
Data Mart - Витрины данных
OLAP (On-Line Analytical Processing) - интерактивная аналитическая обработка
Business Intelligence (BI) - бизнес-интеллект
Интеллектуальный анализ данных (Data Mining)
Управление знаниями (Knowledge Management)

Корпоративные сети
Экстранет (Extranet , Экстрасеть)
Защита корпоративных сетей
Интернет (Internet)
Интранет (Intranet)

О проекте

             

Портал о Корпоративных порталах
Консалтинг, создание, внедрение и поддержка

УслугиЭнциклопедияСтатьиРесурсыИсторияНовости
Главная > Статьи > Методологии > Data Warehouse - хранилища данных

Закрома корпораций. Часть I. Что, зачем, как

Смотри также статью "Хранилища данных (Data Warehouse)" на сайте CorpSys.ru
 
Автор: Игорь Гордиенко
Опубликовано в журнале "CIO" №3 от 03 апреля 2003 года

В воспоминания моей бедной старенькой мамы закрадывается беспорядок. Картины прошлых событий мешаются, рвутся, стираются, а поскольку нет у них рамок — совсем как у тех старых поблекших фотографий с обтрепанными уголками и нечетким, смазанным изображением, то они легко совмещаются с другими картинами минувшего. Противясь этому сумбуру, мама пытается навести порядок в своих воспоминаниях.

Корнель Филипович. Как одуванчик


Что может быть очевиднее, чем необходимость хранилища данных для каждого из наделенных разумом существ, организованных объектов, даже для каждого из таких простых образований, как, например, государственные структуры. Конечно, я немножко иронизирую, ибо именно государственные структуры должны, по определению, проявлять особый интерес к вопросам долговременного хранения и архивирования данных. Об этом аспекте ситуации я постараюсь развить разговор в одном из будущих выпусков нашего издания. А сейчас о прозе корпоративной действительности и о том, как к ней относиться.



Хранилище можно сравнить с мозгом, который обеспечивает существование создания в этом материальном мире.Хранилище данных (data warehouse), важно понимать каждому CIO, — это не просто база данных. Хранилище — это метафора того, что должно происходить с информацией, которая возникает в процессе функционирования учреждения, и способ ее обработки для большей эффективности этого функционирования. То есть хранилище можно сравнивать с мозгом, который обеспечивает существование создания в этом материальном мире.

Вопрос наличия корпоративного хранилища данных — не менее чем вопрос о жизнеспособности этого учреждения, в частности, его способности к дальнейшему развитию. Конечно же, это не единственный фактор, влияющий на эффективность корпоративной деятельности в нынешних динамичных условиях, но наличие хорошего хранилища данных существенно повышает конкурентоспособность, давая возможность более быстро и гибко реагировать на изменения этих самых условий.

Тише едешь…

Несмотря на весь технологический прогресс, происшедший с начала 70-х, те самые мэйнфреймы IBM и те же программы 70-х и сейчас замечательно служат в  большинстве (!) промышленных предприятий и учреждений США. Оценки Вивека Гупты* говорят о том, что и в наши дни 60–70 процентов компаний США пользуются именно этими «динозаврами», характеризующимися невероятной надежностью.

Такому явлению есть несколько причин. Во-первых, в этих системах накоплены незаменимые данные и знания нескольких десятилетий, которые вообще слишком трудно и дорого переносить в новые компьютерные системы и структуры.

Во-вторых, именно эти унаследованные системы предоставляют большую часть данных для самой ценной и изощренной аналитики. Сейчас все, что делалось в рамках средств IBM DB2, IMS, VSAM**, CICS и т. д., собрано на магнитных лентах в вычислительных центрах. Ценнейшие данные, которые останутся нужными часто и всегда. А потому становится понятно, что даже небольшие перерывы или задержки в пользовании унаследованными данными обходятся слишком дорого; этого не оправдает никакая последующая оперативность или же перенос данных на новейшие эргономичные платформы, пусть они все из себя блестят металликом и размещаются на квадратном дюйме офисного стола.

Но мэйнфреймы, эти рабочие лошади корпоративного движения, как были, так и остаются тягачами прогресса в США и в развитых Европах и Азиях. И если версия системы мэйнфрейма IBM уже не 360, а 390, то это и есть следование традиции, преемственности, именно самому принципу хранения накопленных данных.

У нас в стране история всегда одна и та же (помимо плохих дорог и лихоимства):   хроническое технологическое отставание и экономические неурядицы определили то, что в годы перестройки была прекращена поддержка Единой системы ЭВМ. А ведь в 70-х шло обрастание промышленности и всего еще социалистического хозяйства теми же программными средствами для хранения данных — от IBM. В свое время, это было начало 80-х годов, мой руководитель по аспирантуре Ярослав Афанасьевич Хетагуров однажды сказал: «Ну, все, персоналки — конец делу». В общем-то, так оно и получилось.

Как бы то ни было странно, если строить относительные распределения количества используемой на предприятиях вычислительной техники по годам выпуска, то оказывается, что у нас все гораздо более новое, чем в США. Что, впрочем, не должно задавать патриотического оптимизма: это именно означает дефицит накопленных, унаследованных данных.
* (назад) Gupta, Vivek R. An Introduction to Data Warehousing. - www.dwinfocenter.org.
**(назад) Virtual Sequential Access Method.

С другой стороны, несмотря на вышеследовавшие грозные предупреждения, на уровне физическом хранилище данных — не более чем база данных предприятия или учреждения, структура и механизмы которой учитывают основную цель деятельности и способствуют ее достижению. Есть и более формализованное определение по Ральфу Кимбеллу1: «Хранилище данных — это копия данных, возникающих в ходе ведения дел (транзакций), которые подвергнуты структурированию для выставления запросов и получения отчетов».

 Недавние изменения природы бизнеса стали существенными факторами распространения хранилищ данных.Ценность хранилища приобретается в процессе наполнения его данными из разных источников: внутрикорпоративных, конкурирующих компаний, статистической и аналитической информации, данных от заказчиков и покупателей. Все это, хранимое компактно, может дать профилирование, наводящее на мысли и пробуждающее интуицию.

Полезность наличия хранилища, исходя из цели существования организации, вроде бы, сомнений не вызывает. Но, нужно отметить, сами хранилища данных являются непростыми объектами, у которых множество свойств и аспектов. Для того чтобы в полной мере оценить высказанный тезис, очень полезно обратиться к истории возникновения и развития хранилищ и методов управления ими. Именно история проявляет тенденции дня нынешнего. Конечно, находясь в самой сердцевине корпорации, хранилища не могут быть уж очень прозрачными компонентами, но почти каждая история успеха предприятия в какой-то части является историей успешного внедрения хранилища данных.

Краткая история предмета

Рискуя вызвать раздражение нетерпеливого читателя (вот, мол, снова «от Адама»), считаю полезным углубиться в ту пору, когда само понятие хранилищ данных еще не оформилось.

В начале разработок информационных систем основное внимание уделялось операционным системам и данным, которые они обрабатывали. Но постоянно хранить данные внутри операционных систем совершенно невозможно, а потому естественным шагом явились структуры для хранения данных.

Нужно отметить, что принципиальные требования к операционной системе и к средствам обобщения и анализа данных антагонистичны: операционная система должна обеспечивать высокую общую производительность, а средства структурной  и содержательной обработки данных должны обладать гибкостью и широтой возможностей. Потому редко случается так, что удается построить удобную систему хранения и обработки данных без ущерба для производительности всей информационной системы.

В 70-х годах минувшего века практически все информационные системы для промышленности создавались на основе мэйнфреймов IBM, на которых размещались программные решения, естественно, главным образом, IBM. Использовался язык программирования COBOL, такие программные комплексы, как CICS, IMS, DB2.2

 Главные причины для вывода данных из операционных систем.80-е годы обозначил приход мини-ЭВМ, таких как AS/400 и VAX/VMS. (Конечно, на нынешних единицах масштабов мы не захотели бы называть эти системы «мини».) Те же годы были отмечены массовым распространением UNIX, операционной системы, органически обладавшей развитыми средствами межмашинных взаимодействий, что дало толчок последующему развитию архитектур типа «клиент-сервер».

На этапе феноменального распространения персональных компьютеров для деловой аналитики возникло множество новых возможностей, что немедленно вызвало изменения и в системах хранения данных. Промежуток между программистами (в том смысле, в каком они воспринимались публикой в 70-е годы) и деловыми пользователями стремительно сужался — тем, кто имеет дело с деловой информацией, пришлось осваивать и создавать самостоятельно новые программные  инструменты. Примеры такого рода электронных таблиц для некоторой (хотя бы и простой) аналитики и графики известны всем. Чего уж тут вспоминать Excel? Хотя это и есть типичная программа для работы с хранилищами данных, позволяющая импортировать данные даже в унаследованных форматах.

 Окончательный аргумент «за» использование корпоративных хранилищ  данных придумывает сама корпорация.Другими признаками иных времен стало появление систем поддержки принятия решений (DSS — Decision Support Systems), иначе — информационных систем для решений (EIS — Executive Information Systems). Не претендуя на обладание собственным интеллектом, в отличие от всего того, что обсуждалось в 60–70-е годы и что осталось в области вечных идей (по Платону), системы DSS и EIS оказались практически полезными: они стали прототипами современных систем вскрытия данных, онлайновой аналитики, новой дисциплины корпоративного управления на основе знаний.
Системы DSS были изначально настроены на менеджмент среднего звена, а EIS пытались дать более общее и многомерное видение над полем данных — для руководителей корпоративного уровня. Именно эти две глубоко пересекавшиеся между собой технологические идеи явились, наиболее вероятно, прямыми предками современной концепции хранилищ данных. Они, системы этого типа, тоже остались, в большей части, идеями: слишком дороги они были в те времена, а потому известно лишь несколько былых элитарных решений, но массовый рынок не был создан.

Сегодняшние системы хранилищ данных безусловно предоставляют аналитические возможности их предшественников. Но, нужно заметить, общие конструкции этих хранилищ теперь не зависят от специфических требований аналитиков. Гораздо более эффективным подходом сейчас признано соответствие конструкции хранилища данных конкретному бизнес-процессу.



1(назад)  Ralph Kimbell, The Data Warehouse Toolkit: Practical Techniques for Building Dimentional Data Warehouses. — J. Willey & Sons. — N. J. — 1999.
 2(назад) CICS — Customer Information Control System, IMS — Information Management System, DB2 — просто Data Base 2.


28.04.2007
Компьютерра


Кроме этой статьи Вы можете посмотреть по тематеке текущего раздела:
1 статью в разделе "Энциклопедия"
1 статью в разделе "Статьи".
__________________
Версия для печати

 


 
 

        Поиск

   
        Расширенный поиск

Статьи

Маркетинговое хранилище данных: эффективный инструмент для руководителей

Энциклопедия

Хранилища данных (Data Warehouse)

Ресурсы

Хранилище данных (Data Warehouse). Обзор технологий

Особенности построения информационных хранилищ

Тенденции в области Хранилищ данных на 2007 год

Три основных недостатка современных хранилищ данных

Производительность систем Хранилищ данных (часть 1)

Архитектуры отчетности

Создание систем поддержки принятия решений на основе хранилищ данных

Что должен знать бухгалтер о хранении данных. Витрины данных

Основные подходы к архитектуре Хранилищ данных

Фундамент корпоративного самоанализа

Технологии DWH, OLAP и Data Mining в образовании

Практика построения хранилищ данных: SAS System

Обзор возможностей применения ведущих СУБД для построения хранилищ данных (DataWarehouse)

Microsoft облегчает создание хранилищ данных

Сходство и различия двух подходов к архитектуре Хранилищ данных

Технология построения информационного блока управленческой отчетности и аналитической обработки данных в сфере управления финансами. Часть 1. Построение хранилища данных

Архитектурные решения и моделирование данных для хранилищ и витрин данных

Хранилища, витрины. Что дальше?

Оцените, насколько совершенно ваше Хранилище данных

Хранилища данных в начале века

CorPortal.ru Все права защищены. Инспро

Рейтинг@Mail.ru
!