Хранилища данных
Лекция 6
Тема лекции: «Хранилища данных и системы бизнес-аналитики».
1. Системы бизнес-интеллекта (Business Intelligence, BI).
2. Системы бизнес-аналитики. Системы управления эффективностью бизнеса (Business Performance Management, BPM).
3. Эффективность аналитических систем.
1. СИСТЕМЫ БИЗНЕС-ИНТЕЛЛЕКТА (BUSINESS INTELLIGENCE, BI).
1.1. Аналитическая пирамида.
Информационную инфраструктуру компании можно представить в виде нескольких иерархических уровней, каждый из которых характеризуется степенью агрегированности информации и своей ролью в процессе управления. В качестве примера схематического представлений информационной инфраструктуры можно привести так называемую «аналитическую пирамиду» (analytical stack), разработанную компанией Gartner (рисунок 1).
В этой иерархии прослеживаются несколько уровней:
1. Уровень транзакционных систем.
2. Уровень систем бизнес-интеллекта, включая хранилища данных, витрины данных и OLAP-системы.
3. Уровень аналитических приложений.
Рисунок 1. Аналитическая пирамида.
Основанием аналитической пирамиды служат ERP-системы и другие транзакционные системы. По мере движения от основания пирамиды к ее вершине происходит постепенное преобразование детальных операционных данных в агрегированную информацию, предназначенную для поддержки принятия управленческих решений.
Заметим, что отнести тот или иной программный продукт к какому-либо одному классу не всегда возможно, поскольку многие системы позволяют решать аналитические задачи нескольких категорий.
1.2. Уровень транзакционных систем.
К числу транзакционных относятся ERP-системы, автоматизированные банковские системы (АБС), биллинговые системы, учетные системы и некоторые другие. Часто для обозначения таких систем используется термин OLTP (On-Line Transaction Processing – обработка транзакций в режиме реального времени). Эти системы представляют собой источники первичной информации, используемой для аналитической обработки. Данные из этих источников требуется собрать, структурировать и представить в виде, удобном для принятия решений. Сами транзакционные системы тоже содержат некоторые аналитические возможности, но, строго говоря, не относятся к категории аналитических систем. В то же время именно они являются поставщиками информации для систем бизнес-интеллекта и аналитических приложений.
Передача данных из транзакционных систем в аналитические приложения может производиться как последовательно, через все обозначенные ярусы аналитической пирамиды (хранилища данных, OLAP-системы) так и более коротким путем, минуя один или несколько уровней (это отражено на схеме в виде стрелочки bypass – «прямая передача»). Способ передачи данных зависит как от технических возможностей программных продуктов, так и от того, каким образом предполагается использовать те или иные данные.
1.3. Уровень систем бизнес-интеллекта.
Как показывает практика, попытки экономиста, пытающегося с помощью электронных таблиц по крупицам свести данные в отчет, необходимый руководству, и подобная модель взаимодействия пользователя отчета (руководителя) и самих данных неизменно приводит к эффекту «испорченного телефона», не говоря уже о существенных затратах времени. Вдобавок экономист зачастую оказывается просто не в состоянии без помощи программиста оперативно подготовить необходимую выборку и ответить на вопросы о том, каким образом были получены те или иные цифры. А о том, чтобы моделировать возможные ситуации, отслеживать влияние одних показателей на другие, прогнозировать тенденции развития, проводить сравнительный анализ и отображать различные срезы данных, как правило, не идет и речи.
Приблизительно в 80-е годы прошлого века все перечисленные выше соображения привели к идее централизованного хранения данных, необходимых для последующего анализа. При этом все «информационное сырье» должно храниться в одном месте в простой и понятной (а значит, удобной для анализа) структуре. Именно в этот период возник термин «хранилище данных».
Многозначность английского слова «Intelligence» приводит к неопределенности трактовки термина «Business Intelligence» как в российских, так и в зарубежных литературных источниках, посвященных тематике использования информационных технологий для аналитической поддержки бизнеса.
Английское слово «Intelligence» означает способность узнавать и понимать, готовность к пониманию, знания, переданные или приобретенные путем обучения, исследования или опыта, действие или состояние в процессе познания, разведку, разведывательные данные.
В русском языке слово «интеллект» означает мыслительную способность человека.
Термин «Business Intelligence» получил широкое распространение, когда был введен в обращение аналитиками компании Gartner Group в конце 80-х годов прошлого века как «пользователецентрический процесс, включающий доступ и исследование информации, ее анализ, выработку интуиции и понимания, которые ведут к улучшенному и неформальному принятию решений». Хотя ранее этот термин, например, использовался в компании IBM в качестве внутрикорпоративного термина.
К 1996 году содержание термина было уточнено, и «Business Intelligence» стал пониматься как «инструменты для анализа данных, построения отчетов и запросов, которые могут помочь бизнес-пользователям преодолеть море данных для того, чтобы помочь синтезировать из них значимую информацию».
В русскоязычной литературе термин «Business Intelligence» переводится как «бизнес-интеллект», «интеллектуальный анализ данных», «деловая осведомленность» или вводится просто как аббревиатура BI.
Понятие систем бизнес-интеллекта (Business Intelligence, BI) объединяет различные средства и технологии анализа и обработки данных масштаба предприятия.
Среди BI-систем можно выделить такие составляющие, как хранилища данных, витрины данных, инструменты оперативной аналитической обработки (OLAP-системы), средства обнаружения знаний, а также инструменты конечного пользователя, предназначенные для выполнения запросов и построения отчетов. Рассмотрим перечисленные составляющие подробнее.
1) Хранилища данных (Data Warehouses) находятся на следующем, после транзакционных систем, уровне аналитической пирамиды.
Концепция хранилища данных подробно нами рассмотрена на лекции 1 «Технологии хранилища данных». Напомним, что один из авторитетных специалистов в этой области – Билл Инмон – определяет хранилища как «предметно-ориентированные, интегрированные, стабильные, поддерживающие хронологию наборы данных, организованные для целей поддержки управления, призванные выступать в роли «единого и единственного источника истины», обеспечивающего менеджеров и аналитиков достоверной информацией, необходимой для оперативного анализа и принятия решений». [см.: Inmon W.H. SAP and Data Warehousing. — Kiva Productions Speakers Bureau, 1999.].
Данные попадают в хранилище из оперативных (транзакционных) систем, а также из внешних источников. По аналогии с «материальными» хранилищами хранилища данных предусматривают такие операции, как сбор данных («приход материалов на склад»), хранение данных («складской запас»), перемещение в витрины данных («отгрузка товаров в розничную сеть»).
С экономической точки зрения хранилище данных приносит долгосрочный эффект тогда, когда оно становится надежным механизмом доставки данных, существенных для анализа и принятия решений. При этом не следует забывать и о затратной части, ведь информация может считаться действительно полезной лишь тогда, когда экономические выгоды от ее использования превышают затраты, связанные с ее приобретением.
Построение хранилища данных — достаточно сложный проект, и обеспечить его окупаемость в краткосрочной перспективе бывает непросто.
Высокая стоимость проектов по хранению данных объясняется прежде всего необходимостью сбора, преобразования и обобщения данных из различных источников. Эта работа необходима, но в то же время трудоемка и отнимает много времени. Подсчитано, что стоимость извлечения, преобразования и обобщения данных составляет от 60% до 80% от общей стоимости обычного проекта по созданию хранилища данных. Неоправданных затрат можно избежать на этапе проектирования хранилища — за счет определения состава и структуры загружаемых в хранилище данных. Следует помнить, что предназначение хранилища вовсе не заключается в функциях гигантского электронного архива, хранящего все, что только можно. К сожалению, распространенной ошибкой является недостаточное внимание, уделяемое качеству данных, а также превалирование технологических соображений над экономическими.
Но добиться сбалансированной структуры хранилища не так просто. Самое сложное — определить, какие данные полезны для аналитика и менеджера, а какие нет. Также важен способ размещения данных в хранилище и процессы идентификации, анализа и преобразования данных перед их загрузкой в хранилище.
После того как хранилище построено, встает вопрос об использовании данных конечными пользователями. При этом могут применяться различные средства (от специализированных средств создания пользовательских запросов и отчетов до привычных электронных таблиц), в зависимости от решаемых задач, предпочтений и опыта пользователей.
И все же существует целый спектр задач, которые предъявляют к информационным системам особые требования: это задачи, требующие оперативной (то есть в режиме реального времени) обработки достаточно больших объемов данных в разных аналитических разрезах. Вообще экономический анализ, как правило, бывает многомерным: информация может быть сгруппирована и консолидирована по разным признакам, причем разные группы пользователей информации заинтересованы в разных способах группировки.
Ценность хранилищ данных для менеджеров и экономистов заключается в том, что это некая база данных масштаба предприятия, которая содержит определенную аналитическую информацию, обеспечивает ее оперативное представление в удобном для пользователя виде и обладает структурой, учитывающей отраслевую специфику деятельности организации.
Таким образом, превращение разрозненных данных в структурированную информацию, описанную в экономических терминах и позволяющую принимать обоснованные управленческие решения, можно считать одной из самых актуальных задач, стоящих перед компаниями. Причем обработка данных и принятие решений должны быть настолько оперативными, насколько этого требуют интересы бизнеса.
Именно для этого предназначены специальные системы аналитической обработки данных в режиме реального времени — ОLAP-системы.
2) Витрины данных (Data Marts), как и хранилища, представляет собой структурированные информационные массивы, но отличие состоит в том, что витрины в еще большей степени являются предметно-ориентированными. Как правило, витрина содержит информацию, относящуюся к какому-либо определенному направлению деятельности организации. Поэтому информация в витрине данных хранится в специальном виде, наиболее подходящем для решения конкретных аналитических задач или обработки запросов определенной группы аналитиков.
Есть два взгляда на витрины данных. В одном случае витрина, по сути дела, представляет собой часть хранилища, оптимизированную для запросов к данным конкретной предметной области, в том числе для передачи этих данных для последующей обработки в OLAP-систему. В другом случае, витрина – это OLAP-куб или его часть, оптимизированная для запросов пользователей к данным конкретной предметной области. Поэтому, с точки зрения организации хранения данных витрины могут быть как реляционными, так и многомерными, но в любом случае они обладают таким общим свойством, как предметная ориентированность.
3) Следующий уровень пирамиды – OLAP-системы (On-Line Analytical Processing). Под термином OLAP, как правило, понимают системы аналитической обработки данных в режиме реального времени. OLAP-системы могут обеспечить решение многих аналитических задач: анализ ключевых показателей деятельности, маркетинговый и финансово-экономический анализ, анализ сценариев, моделирование, прогнозирование и т.д. Такие системы могут работать со всеми необходимыми данными, независимо от особенностей информационной инфраструктуры компании.
Особенность OLAP-систем состоит в многомерности хранения данных (в противовес реляционным таблицам), а также в предрасчете агрегированных значений. Это дает возможность пользователю строить оперативные нерегламентированные запросы к данным с использованием аналитических измерений.
Кроме того, для OLAP-систем характерна предметная (а не техническая) структурированность информации, позволяющая пользователю оперировать привычными экономическими категориями и понятиями.
Правила и особенности OLAP-систем мы подробно рассмотрели на лекции 3, посвященной технологии OLAP. Разобравшись в том, что такое OLAP и каковы его свойства, перейдем к самому, пожалуй, важному вопросу: для кого предназначены программные продукты этого класса?
Как уже отмечалось, информационная инфраструктура компании имеет иерархический характер и включает в себя уровень сбора первичной информации (транзакционный уровень), уровни хранилищ и витрин данных, уровень OLAP, уровень клиентских аналитических приложений.
Таким образом, OLAP-системы занимают в информационной инфраструктуре компании вполне определенное место.
Часто возникает вопрос: чем, с точки зрения пользователя-аналитика, OLAP-система отличается от хранилища данных?
Можно сказать, что главное, с точки зрения пользователя, отличие OLAP состоит в структурированности информации в соответствии с ее предметной (именно предметной, а не технической) сущностью. Работая с OLAP-приложением, аналитик использует привычные финансово-экономические термины, категории и показатели (виды материалов и готовой продукции, регионы продаж, объем реализации, себестоимость, прибыль и т.п.); а для того чтобы сформировать любой, даже довольно сложный запрос, ему не придется изучать язык SQL. И при этом ответ на запрос будет получен в течение всего нескольких секунд. Кроме того, работая с OLAP-системой, экономист может пользоваться такими привычными для себя инструментами, как электронные таблицы, или специальными средствами построения отчетов.
Если хранилище данных — это в основном объект внимания IТ-службы, то OLAP — это инструмент «предметных» специалистов-аналитиков.
При этом о существовании хранилища аналитики могут и не догадываться. Таким образом, OLAP без преувеличения можно назвать программным средством из арсенала экономиста, ведь именно экономист имеет дело с самыми разными аналитическими задачами: маркетинговым анализом, анализом продаж, анализом бюджетных показателей, анализом финансовой отчетности и многими другими.
OLAP – инструмент универсальный. Но в то же время именно универсальность делает его не вполне подходящим для специфических финансово-экономических задач, требующих применения специальных методик и организационных принципов. Поэтому OLAP-приложения не могут служить полноценной альтернативой специализированным аналитическим приложениям, например системам бюджетирования или консолидации финансовой отчетности. Здесь нет никакого противоречия: программный продукт, реализующий общие принципы экономического анализа, вряд ли может претендовать на решение абсолютно всех частных задач. Но, с другой стороны, именно сочетание OLAP и специализированных систем дает экономисту наибольшие преимущества, так как в этом случае специальные функции, методы и алгоритмы успешно сочетаются с универсальностью аналитической обработки данных.
Именно поэтому OLAP-средства часто используются клиентскими аналитическими приложениями для многомерного хранения данных.
Здесь пользователь применяет привычные для него инструменты для реализации определенных управленческих методик, но при этом данные для обработки и анализа хранятся на OLAP-севере.
Таким образом, грамотно построенная OLAP-система играет в жизни экономиста весьма заметную роль, ведь с ее помощью можно получить доступ к самой свежей информации и оперативно выполнить общие аналитические процедуры. А сложные финансовые функции и необходимые организационные аспекты будут обеспечены специализированными системами, опять же, на основе данных OLAP. Как показывает опыт ведущих компаний (как международных, так и российских), OLAP-технологии экономически выгодны и инвестиции в такие решения окупаются довольно быстро.
В соответствии с рассмотренной выше аналитической пирамидой основными элементами BI-платформы являются хранилища данных и OLAP-системы. Помимо хранилищ данных и OLAP-систем, немаловажную роль в поддержке принятия решений играют средства построения запросов и формирования отчетности, которые также будут нами рассмотрены ниже.
4) Еще одним элементом BI-платформы, который часто выделяют в отдельную категорию, являются средства добычи знаний (Data Mining). Соответствующие программные продукты обеспечивают выявление закономерностей в данных, позволяя аналитику получать качественно новую информацию (возможно, не содержащуюся в источнике данных явным образом), и таким образом, формировать знания на основе данных.
Г. Пиатецкий-Шапиро (G. Piatetsky-Shapiro), один из ведущих мировых экспертов в этой области, определяет DATA MINING как «процесс обнаружения в сырых данных ранее неизвестных нетривиальных практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности» [см.: Piatetsky-Shapiro G., Frawley W.J., editors. Knowledge Discovery in Databases. – MIT Press, 1991.].
Здесь используются такие методы анализа данных, как фильтрация, дерево решений, ассоциативные правила, генетические алгоритмы, нейронные сети, статистический анализ. Подробно модели и методы Data Mining мы рассмотрим на лекции 7.
5) Наконец, следует упомянуть инструментарий выполнения запросов и построения отчетов (query and reporting tools). Такие системы обеспечивают функции построения запросов к информационно-аналитическим системам (в пользовательских терминах), интеграцию данных из нескольких источников, просмотр данных с возможностью детализации и обобщения, построение полноценных отчетов и их печать.
Данные системы могут применяться пользователями, обладающими «продвинутыми» техническими навыками. При этом профессиональных знаний в области информационных технологий не требуется, тем не менее, для экономистов такие средства не всегда бывают удобны. Как правило, модули, содержащие функции query & reporting, входят в состав многих OLAP-систем, но есть и отдельные программные продукты этого класса.
Как уже было отмечено, средства формирования запросов и построения отчетов (Query and Reporting tools) обеспечивают функции построения запросов к информационно-аналитическим системам, интеграцию данных из нескольких источников, просмотр данных с возможностью детализации и обобщения, построение и печать полноценных отчетов, в том числе презентационного качества. Некоторые из программных продуктов этого класса могут использоваться конечными пользователями, с минимальной поддержкой ИТ-департамента, другие же требуют определенного программирования и настраиваются техническими специалистами. С точки зрения конечного пользователя, это — удобный инструмент, позволяющий решить уже упоминавшуюся проблему, с которой так часто сталкиваются менеджеры и предметные специалисты — проблему «единого взгляда на управленческую информацию». Напомним, что эта проблема состоит в том, что очень часто управленческая информация, необходимая для анализа и принятия решений, хранится в разных источниках — учетных системах, ERP-системах, базах данных и т.п. Это крайне затрудняет получение нужной информации и ее представление в удобном для пользователя виде: специалисты вынуждены тратить время на рутинные процедуры сбора данных и их обработки, причем с риском искажения. Управленческая информация, полученная таким путем, часто не соответствует требованиям достоверности и актуальности, что снижает ее ценность. В этом плане BI-решения позволяют существенно упростить и ускорить сбор информации, унифицировать ее и представить в удобной и наглядной форме. Такая информация - надежная база для принятия управленческих решений, при этом рутинные процедуры сводятся к минимуму, а время специалистов высвобождается для решения аналитических задач.
В настоящее время идеи централизованного хранения данных получили существенное развитие, чему в немалой степени способствовали рост вычислительных мощностей, новые сетевые архитектуры и Интернет-технологии.
Таким образом, сегодня принято говорить о целом комплексе средств, которые в совокупности называют системами бизнес-интеллекта (Business Intelligence, ВI).
ПРИМЕР.
Типичными представителями BI-систем являются программные продукты корпорации Oracle (источник – официальный сайт корпорации http://www.oracle.com/ru.).
Семейство решений Oracle Business Intelligence (дата последнего релиза: май 2014 года) – это интегрированный комплекс аналитических инструментов, который разработан с целью обеспечить лучшее видение и понимание бизнеса широкому кругу пользователей и позволяет любому пользователю организации получить быстрый Web-доступ к актуальной информации.
Особенности решения Oracle Business Intelligence.
Линейка программных продуктов Oracle Business Intelligence Suite Enterprise Edition (Oracle BI Suite EE) является одной из самых мощных и наиболее динамично развивающихся платформ бизнес-анализа в мире. С внедрением Oracle BI Suite EE компании приобретают возможность получать полное, а главное своевременное представление о состоянии своего бизнеса, не прибегая к помощи ИТ-службы.
Oracle BI Suite EE дает возможность пользователям в терминах предметной области анализировать информацию, находящуюся в различных системах, реализованных на разнородных платформах, быстро и качественно готовить необходимую корпоративную отчетность.
Архитектура Oracle Business Intelligence.
В центре системы находится единая модель данных (также называемая репозиторием). Модель состоит из трех слоев - презентационного, бизнес и физического.
В бизнес-слое описывается логическая модель (которая понятна конечным пользователям), в форме многомерной модели (фактов и измерений), а также описывается привязка логических атрибутов к физическим источникам.
Презентационный слой позволяет разбить логическую модель на несколько предметных областей и ограничить доступ пользователей к различным показателям и атрибутам.
Физический слой содержит описание источников данных - таблиц, полей, ключей, кубов данных. Создание модели данных (репозитория) выполняет разработчик с помощью специальной программы - Oracle BI Administration Tool.
Когда пользователь открывает отчет, сервер презентаций (Presentation Server) генерирует запрос на языке Logical SQL к серверу BI. Сервер BI разбирает запрос, и переводит его в запросы к источникам данных на их «родных» языках - sql, mdx и т.п. После получения данных от источников сервер объединяет их, проводит различные действия над данными (например, вычисляет агрегаты, если это необходимо), и возвращает результат серверу презентаций. Сервер презентаций, в свою очередь, отрисовывает полученные данные в Web-интерфейсе или генерирует статичный отчет.
Oracle Business Intelligence Foundation Suite 11.1.1.8.1 (май 2014).
В мае 2014 года корпорация Oracle анонсировала обновление версии готовых решений для бизнес-анализа Oracle Business Intelligence (BI) Applications, которые призваны улучшить информационное представление организаций об эффективности бизнеса и повысить их гибкость и динамичность. Предлагая новые методы анализа данных о закупках, а также новый модуль для анализа данных о ценных сотрудниках, Oracle продолжает расширять возможности организаций по извлечению важной и полезной для бизнеса информации из широкого спектра источников данных и приложений. Кроме того, Oracle представила новый аналитический модуль Oracle Human Resources Analytics, предназначенный для формирования, развития и поддержки квалифицированного персонала.
Oracle BI Applications, построенные на технологической платформе для бизнес-анализа нового поколения Oracle Business Intelligence Foundation Suite, позволяют организациям с легкостью расширить корпоративную среду бизнес-анализа или создавать собственные BI-приложения для удовлетворения специфических аналитических потребностей менеджеров подразделений и высших руководителей.
Примеры практического использования BI-систем.
1. Производственная компания.
В качестве примера рассмотрим крупную производственную компанию.
Типовые проблемы, с которыми сталкиваются подобные структуры, хорошо известны специалистам. До внедрения BI-систем подготовка управленческой отчетности в компании производилась главным образом вручную, что объяснялось большим объемом разной по смыслу и содержанию исходной информации. Кроме того, значительное влияние оказывало географическое рассредоточение подразделений компании, использующих разные системы учета с применением нецентрализованных справочников и классификаторов.
В процессе внедрения BI-платформы была поставлена задача сбора и согласования финансовой и нефинансовой информации со всех предприятий компании, а также предоставления всей отчетной информации в едином стандарте с использованием большого числа разрезов аналитики.
Для решения поставленных задач была сформирована система ведения единых справочников компании, построено единое реляционное хранилище данных с системой сбора финансовой и нефинансовой информации с различными регламентами сбора (ежемесячный, ежедневный), загрузкой единых централизованных справочников и отслеживанием истории изменений.
В части показателей финансовой отчетности был реализован механизм реклассификации финансовой информации из формата российского плана счетов в план счетов US GAAP, а также расчета порядка тысячи показателей (на основании финансовой и нефинансовой информации) для последующего использования в управленческой отчетности и передачи в другие управленческие системы (мониторинг показателей, планирование, трансформация и консолидация).
Помимо реляционного хранилища было сформировано более двадцати многомерных витрин данных. Каждая из таких многомерных баз, как правило, содержит более десяти аналитических направлений, а количество показателей варьируется от нескольких десятков до нескольких сотен. Кроме того, сформирована система отчетности (более 100 отчетов).
2. Межбанковская система ипотечного кредитования.
В качестве еще одного примера рассмотрим задачу, которая сегодня является весьма актуальной для банковских групп, развивающих свои ипотечные операции. Предположим, что речь идет не об отдельном банке, а о банковской группе, включающей несколько многофилиальных банков, и что эта группа ставит перед собой задачу организации единой системы ипотечного кредитования. Для этого в составе группы выделяется головной банк ипотечного кредитования, в задачи которого входит координация процесса в целом, а также централизованное привлечение ресурсов для рефинансирования ипотечных кредитов.
Понятно, что каждый из банков, входящих в состав группы, имеет собственную информационно-технологическую инфраструктуру (автоматизированные банковские системы, аналитические приложения и т.п.) и, как следствие, — данные, хранящиеся в разных источниках и в разных форматах. К тому же объем данных об ипотечных операциях, весьма велик: количество активных договоров может измеряться миллионами. В то же время необходим «единый взгляд» на информацию, позволяющий обеспечить работоспособность ипотечной системы, включая контроль над финансовой позицией всей системы в целом, анализ рисков и предоставление всем участникам проекта достоверной, своевременной и наглядной информации.
Для решения задачи централизованного хранения данных и необходимого информационного взаимодействия участников межбанковской ипотечной группы требуется создание и поддержка распределенной информационной системы. Прежде всего, эта система должна обеспечить хранение всей необходимой информации и анализ данных о договорах ипотечного кредитования, заключаемых в Головном банке, в других банках группы и их филиалах. Помимо хранения и централизованного анализа информации об ипотечных операциях (размещенных средствах), эта система также должна обеспечивать учет операций по рефинансированию, включая взаимодействие Головного банка с другими банками группы по вопросам привлечения целевых кредитов и расчетов по ним. Наконец, информационная система должна обеспечить формирование регулярной отчетности и ее распространение по всей группе, а также возможность формирования незапланированных (ad-hoc) запросов.
Таким образом, распределенная информационная система ипотечного кредитования должна позволять решать следующие задачи:
— ввод исходных данных с бумажных носителей посредством сканирования договоров или вручную;
— учет выделенных кредитов и расчетов по ним;
— хранение всей информации в централизованном хранилище данных (ЦХД);
— интеграция с существующими в банках автоматизированными банковскими системами (АБС) и организация обмена данными с ЦХД (экспорт и импорт данных);
— анализ данных, хранящихся в ЦХД;
— формирование отчетов и представление их банкам-операторам.
Можно ли для решения поставленной задачи обойтись стандартными (пакетными) средствами автоматизации? В настоящее время на рынке присутствует ряд программных продуктов, которые реализуют отдельные процессы ипотечного кредитования. Но можно отметить, что эти разработки предназначены для автоматизации только на уровне отдельных банков-операторов, в них отсутствует функциональность информационного взаимодействия группы банков, в частности, по взаимодействию Головного банка с другими банками группы.
Поэтому в качестве адекватного решения можно предложить комплекс ВI-систем, включающих реляционное хранилище данных, OLAP-систему, а также средства построения запросов, анализа данных, формирования отчетности и ее регламентированной доставки пользователям. Компоненты предлагаемой системы схематично изображены на рисунке 2.
Рисунок 2. Основные элементы распределенной информационной системы ипотечного кредитования.
Как видно из схемы, основными элементами системы являются:
1) реляционное хранилище данных (реализуется, например, на платформе MS SQL Server, с использованием набора хранимых процедур);
2) многомерное хранилище данных (OLAP-сервер и необходимые компоненты);
3) средства построения запросов, анализа данных, формирования отчетности и ее регламентированной доставки;
4) сервер приложений.
Рабочие места администраторов и пользователей системы:
1. Рабочее место администратора реляционного хранилища (функции: генерация сертификатов и назначение прав доступа, регламентированные операции, контроль процессов, обновление версий программного обеспечения на клиентских местах);
2. Рабочее место администратора многомерного хранилища данных и средств запросов и отчетности (функции: ввод и редактирование описаний пользователей, распределение прав доступа, выполнение регламентированных операций, контроль процессов);
3. Рабочее место оператора по вводу данных (функции: обмен данными с автоматизированной банковской системой, ввод данных с бумажных носителей, экспорт и импорт данных). При этом рабочее место предусматривает возможность ввода и модификации данных даже в случае отсутствия связи с центральным сервером, путем ввода данных в локальном режиме и последующей синхронизации с центральным хранилищем;
4. Рабочее место оператора по учету кредитов и расчетам. Рабочее место также предусматривает возможность работы в локальном режиме, с последующей синхронизацией с центральным хранилищем;
5. Рабочее место аналитика (функции: построение различных аналитических отчетов).
Отметим, что подходы, примененные при проектировании распределенной информационной системы ипотечного кредитования, достаточно универсальны и могут применяться для решения других задач, связанных с централизованным хранением информации, ее аналитической обработкой и доставкой управленческой отчетности в рамках распределенной организационной структуры.
Приведенные примеры применения систем бизнес-интеллекта весьма показательны. А это означает, что многие отечественные предприятия и организации имеют хорошую возможность повышения эффективности принятия решений за счет структурирования управленческой информации и оперативности ее обработки.
Системы бизнес-интеллекта, включающие реляционные и многомерные базы данных, в свою очередь, служат основой для систем верхнего уровня аналитической пирамиды – аналитических приложений.
2. СИСТЕМЫ БИЗНЕС-АНАЛИТИКИ. СИСТЕМЫ УПРАВЛЕНИЯ ЭФФЕКТИВНОСТЬЮ БИЗНЕСА (BUSINESS PERFORMANCE MANAGEMENT, BPM).
2.1. Уровень аналитических приложений.
Высший уровень аналитической пирамиды – уровень аналитических приложений (analytic applications). Это информационные системы, обеспечивающие потребности организаций в автоматизации процессов обработки, анализа и оптимизации бизнес-процессов. Здесь пользователь применяет привычные для него инструменты, обеспечивающие реализацию методик управления. Такие системы могут быть довольно разнообразными – от простейших электронных таблиц до специализированных приложений для решения задач бюджетирования, консолидации финансовой отчетности, бизнес-моделирования.
Как следует из названия, аналитические приложения нацелены на проведение анализа, целью которого является более глубокое понимание и осознание того, что произошло, происходит или произойдет. В этом смысле аналитические приложения действительно отличаются от транзакционных систем, ориентированных, прежде всего, на обработку отдельных операций, но в то же время дополняют их, образуя в совокупности многофункциональную комплексную систему управления.
Для того чтобы система могла считаться аналитическим приложением, она должна удовлетворять следующим критериям:
1) она должна структурировать и автоматизировать процессы, способствующие повышению качества управленческой информации, что, в свою очередь, приводит к повышению качества принятия решений. Это достигается путем применения правил, процедур и технологий (основанных на соответствующей методологии), направленных на решение определенных бизнес-проблем;
2) она должна поддерживать аналитические функции, т.е. действия по анализу данных, полученных из самых разных источников (внутренних или внешних, финансовых или операционных), включая анализ трендов и прогнозирование ситуации в будущем;
3) это должен быть самостоятельный программный продукт, способный работать независимо от транзакционных систем, но в то же время способный взаимодействовать с ними «в обе стороны», как в части получения транзакционных данных, так и в части обратной передачи результатов их обработки.
Более того, аналитические приложения часто имеют дело с нестандартными, непредсказуемыми или редкими ситуациями. Такие ситуации могут возникать, например, при запуске в производство нового продукта, моделировании новой корпоративной структуры или создании нового подразделения, а также при оценке последствий слияний и приобретений, пересмотре бюджетов и т.п.
Аналитические приложения часто основаны на многомерных базах данных (что также отличает их от транзакционных систем, использующих реляционные базы данных). Это позволяет аналитическим приложениям эффективно использовать как все необходимые данные, так и бизнес-правила, описывающие их взаимосвязи с точки зрения определенных бизнес-задач.
С ПРЕДМЕТНОЙ ТОЧКИ ЗРЕНИЯ, МОЖНО ВЫДЕЛИТЬ ТРИ ОСНОВНЫЕ КАТЕГОРИИ АНАЛИТИЧЕСКИХ ПРИЛОЖЕНИЙ:
1. Системы управления эффективностью бизнеса (Business Performance Management);
2. Приложения для анализа операционной/производственной деятельности (Operations/Production Analysis);
3. Системы анализа взаимоотношений с клиентами (CRM Analysis).
2.2. Концепция Business Performance Management (BPM).
Сложившиеся в начале XXI века реалии управления крупными предприятиями предполагают, что применяемые инструментальные средства учитывают современные тенденции развития бизнеса. Глобализация, лавинообразный рост объема информации и обострение конкуренции заставляют компании выявлять и задействовать все возможные резервы. При этом необходимо, чтобы управление основывалось на оперативных и достоверных результатах комплексного анализа данных. Именно для этого разработан особый класс информационных систем - Business Performance Management.
Сегодня типична ситуация, когда компании располагают большим числом разнообразных информационных систем (бухгалтерских, управления ресурсами, управления персоналом и т.п.), но при этом информация и бизнес-процессы управления остаются разрозненными, а взаимодействие и координация усилий менеджеров - недостаточными. Данные часто хранятся в не связанных между собою источниках и не формируют целостного представления о состоянии дел в организации. Иначе говоря, данные не превращаются в информацию. В этих условиях управленческие решения часто принимаются интуитивно, носят локальный характер и не в полной мере способствуют достижению генеральных целей компании. Именно эти проблемы преодолеваются с помощью информационных систем бизнес-аналитики, которые обеспечивают процесс превращения данных в информацию, а затем - в знания о бизнесе, столь необходимые для поддержки принятия управленческих решений.
Системы класса Business Performance Management (BPM) предназначены для широкого круга задач: анализа и оптимизации финансовых индикаторов, определения стратегии развития компании, бюджетного планирования, финансовой консолидации.
Системы бюджетирования и консолидации были созданы в числе первых готовых аналитических приложений, поскольку эти задачи хорошо проработаны методологически, понятны большинству руководителей и применяются практически во всех отраслях.
В последние годы произошел качественный скачок в плане разработки интегрированных систем, включающих в себя ряд новых функций бюджетного планирования и прогнозирования, финансовой консолидации, функционально-стоимостного анализа и стратегического управления бизнесом.
Приложения для анализа операционной и производственной деятельности (Operations/Production Analysis) предназначены для анализа и оптимизации процессов производства и/или поставок продукции и услуг (например, планирование спроса, оптимизация работы персонала).
Системы анализа взаимоотношений с клиентами (CRM Analysis) предназначены для решения таких задач, как, например, оценка прибыльности клиентов, разработка мер, направленных на «удержание» заказчиков, маркетинговый анализ. Специализированные аналитические приложения анализа клиентской базы изначально использовались в качестве основы для деятельности в маркетинговых подразделениях компаний, но сейчас они становятся многофункциональными.
Очень важно не путать аналитические приложения с системами бизнес-интеллекта: их функциональность существенно отличается от BI-систем в трех аспектах – в предметной специализации, в сегментации рынка и в структуре.
В предметной специализации, аналитические приложения предназначены для обеспечения выполнения определенных аналитических бизнес-процессов, в то время как средства BI имеют более общие функции. С некоторой долей условности можно сказать, что с аналитическими приложениями работают конечные пользователи-аналитики, а BI-системы используются техническими специалистами в качестве инструмента для создания аналитических приложений для этих же пользователей.
С точки зрения сегментации, рынок аналитических приложений может быть структурирован в зависимости от вида бизнес-процессов (например, маркетинг, операционное планирование, бюджетирование, консолидация финансовой отчетности), в то время как рынок средств BI может быть сегментирован в зависимости от типа архитектуры каждой из систем (например, системы Data Mining или OLAP).
С точки зрения структуры, аналитические приложения помогают пользователям координировать бизнес-процессы и получать определенный результат (например, разработанный бюджет или оценку деятельности основных поставщиков), в то время как средства BI поддерживают функции, которые заранее в системе не предопределены (построение пользовательских запросов, проведение специализированного анализа и др.).
В то же время развитие аналитических приложений и систем бизнес-интеллекта тесно взаимосвязано. Аналитические приложения способствуют увеличению числа пользователей BI-средств, поскольку именно BI-технологии лежат в основе многих готовых предметно-ориентированных приложений.
Однако, было бы неверным считать, что аналитические приложения могут полностью заменить BI-системы: потребность в настраиваемых программных продуктах, выполняющих специфические функции, не только существует, но и будет расти, по мере возникновения новых типов задач в области анализа данных.
Весьма важным представляется вопрос о взаимодействии систем, находящихся на разных уровнях аналитической пирамиды. В этой связи нельзя не упомянуть программные продукты еще одного класса – ETL.
Термин ETL был введен в лекции 1 «Технологии хранилищ данных». Напомним, что под термином ETL (extraction, transformation, loading – извлечение, преобразование, загрузка) понимают три основных процесса, используемые при переносе данных из одной системы в другую. Программные средства этой категории извлекают исходную информацию из определенного источника, преобразуют ее в формат, поддерживаемый базой данных назначения, а затем загружают в базу назначения уже преобразованную информацию.
В части извлечения данных (extraction) ETL-системы могут использоваться без необходимости писать код для открытия файлов или чтения записей, хотя и требуют весьма трудоемкой настройки. Более того, некоторые ETL-системы включают в себя предварительно созданные процедуры извлечения данных из наиболее популярных транзакционных систем.
По завершении извлечения данных требуется их преобразование (transformation) – подготовка к размещению в новой базе данных. Есть несколько способов преобразования, к ним относятся очистка, агрегирование, перевод значений и создание полей.
Очистка (cleaning) применяется для того, чтобы отсеять неточные или неоправданно повторяющиеся данные из других систем. При очистке можно проверить корректность диапазонов числовых значений, приемлемость дат и т.д. Процедуры очистки используются и тогда, когда одно и то же значение представлено в разных формах. Очистка также может применяться для согласования атрибутов полей (чтобы они соответствовали единой нормативно-справочной информации).
Проблемы и этапы очистки данных мы подробно рассмотрели на лекции 1 «Технологии хранилищ данных».
В процессе агрегирования (aggregation) многочисленные детальные записи заменяются на относительно небольшое количество обобщенных записей. В результате удается избежать излишней детализации и представить управленческую информацию в более удобном для анализа виде.
Перевод значений (value translation) — еще одна распространенная процедура преобразования, ее необходимость вызвана тем, что во многих системах данные часто хранятся в закодированном виде. Перевод значений предусматривает замену закодированных данных на более понятные описания, такие преобразования производятся на основе нормативно-справочной информации.
Создание полей (field derivation) применяется в том случае, если для конечных пользователей создается какая-либо новая информация. Например, если в исходной базе данных есть поле цены товара и поле объема продаж, то на их основе можно создать третье поле – выручка от реализации. Современные ETL-системы позволяют программистам использовать для создания новых полей математические операции, статистические функции, возможности работы со строками, арифметические действия и условную логику.
После того как все процедуры преобразования завершены, данные считаются готовыми к размещению в базе данных назначения. Для этого используются процедуры загрузки (loading). Здесь важно определить режим переноса – будет ли он происходить периодически (ежедневно, еженедельно или ежемесячно) или в постоянном (оперативном) режиме.
Постоянное тиражирование предъявляет значительно более высокие требования к каналам связи, поэтому решение о постоянном режиме зависит от того, насколько пользователям необходима именно оперативная (а не периодическая) информация.
Большинство современных ETL-систем поддерживают и постоянную, и периодическую загрузку данных. Некоторые продукты также позволяют переносить не все данные, а только те, которые претерпели изменения.
При загрузке применяются разные схемы: при pull-тиражировании приложение назначения «вытягивает» данные по мере необходимости, а при push-тиражировании система «проталкивает» преобразованные данные в базу данных назначения.
Возможен и смешанный подход, когда данные поступают в промежуточную базу, где они преобразовываются, а затем по мере необходимости извлекаются приложением назначения.
Информационная бизнес-аналитика дополняет возможности хорошо известных систем класса ERP. Задачи, выходящие за границы функциональности ERP-систем, решаются целым комплексом методологических, технологических и инструментальных средств. Эти средства позволяют на основе широкого использования экономико-математических методов и моделей (статистических, имитационных, эконометрических, искусственного интеллекта и др.) приобретать информацию, которая не может быть получена традиционными расчетными методами.
3. ЭФФЕКТИВНОСТЬ АНАЛИТИЧЕСКИХ СИСТЕМ.
Эффективность оптимальных аналитических систем должна выражаться в принятии управленческих решений, положительно влияющих на деятельность компании. Это подразумевает, что аналитические системы должны давать нечто большее, чем простое предоставление информации пользователям. Они должны служить «проводником» в процессе принятия решений. Эффект от использования аналитических систем обусловлен следующими факторами:
- сокращение разрыва между аналитиком и лицом, принимающим решения. При традиционном подходе, поддержка принятия решений подразумевает процедуру сбора информации и последующей ее передачи лицу, принимающему решение. В этом случае пользователь аналитического программного обеспечения не принимает решения, а только готовит информацию для других. Но тогда невозможно гарантировать, что предоставленная информация будет достаточно адекватной, и что на ее основе будет принято обоснованное решение. Поэтому необходимо, чтобы конечным пользователем аналитической системы был именно специалист, принимающий решение, а не технический специалист;
- коллегиальность в принятии решений. Для того, чтобы управленческое решение было обоснованным, субъективной точки зрения одного руководителя часто бывает недостаточно. Принятие решений должно происходить на основе консолидации мнений, а сами решения представлять собой результат совместной работы нескольких специалистов;
- сопровождение принимаемых решений и оценка их эффективности. Изначально BI-системы не были ориентированы на сопровождение принятия решений, но со временем разработчики стали уделять внимание этому аспекту. В результате аналитические системы стали позволять оценивать преимущества того или иного решения и их эффективность;
- использование опыта лидеров. Распространение и использование передового опыта обеспечивает управление знаниями, накопленными в организации. Возможность поддержки процесса управления знаниями является одной из наиболее важных характеристик аналитического программного обеспечения;
- противодействие нерациональным решениям. Оптимизация процесса принятия некоторых управленческих решений также требует адекватной реакции специалистов на нерациональные действия. Это учитывается также разработчиками аналитических систем.
Перечисленные свойства аналитических систем позволяют существенно повысить эффективность управленческой деятельности и обеспечить быструю окупаемость инвестиций в аналитическое программное обеспечение.
3.1. Информационная безопасность BI-систем и аналитических приложений (analytic applications).
Следует отметить, что многие компании не придают значения вопросам безопасности, игнорируя тот факт, что архитектурные компоненты систем бизнес-аналитики таят в себе определенную опасность. Обеспечение безопасности среды бизнес-аналитики – не менее важная задача, чем защита оперативных приложений.
Необходимость безопасности систем оперативной обработки транзакций (On-Line Transaction Processing, OLTP) осознается большинством компаний. Особенность реализации этой задачи для OLTP-приложений заключается в том, что OLTP-системы хорошо поддаются структуризации и являются статичными (определенные приложения каждый раз одинаковым образом обращаются к определенным данным). Круг пользователей весьма ограничен — это работники с определенными бизнес-функциями, они работают с приложениями и данными, которые касаются только их поля деятельности. Кроме того, физическая структура этих приложений также остается довольно постоянной. Инструментальные средства и базовая структура данных меняются нечасто.
Среда бизнес-аналитики и ХД, наоборот, характеризуется значительной динамичностью вкупе с широкой и часто меняющейся пользовательской аудиторией, причем пользователи могут быть как внутренними, так внешними. В такой ситуации гораздо сложнее (а иногда и практически невозможно) распределить пользователей по подмножествам данных; особенно это касается аналитических приложений высокого уровня, таких как, например, решения управления эффективностью корпорации (corporate performance management), где окончательная информация формируется на основе изучения данных всего предприятия. Помимо этого, физическая структура этой среды часто является неясной: в нее устанавливается множество различных средств, а сами данные пребывают в постоянном движении (из ХД в витрины данных и на пользовательские машины в информационные панели). В результате мероприятия по обеспечению безопасности корпоративной информации обходят стороной приложения бизнес-аналитики и ХД.
Для того чтобы гарантировать защищенность среды бизнес-аналитики, компании должны в первую очередь выполнить задачи безопасности, возникающие на уровне отдельных ее компонентов. Каждый из основных компонентов среды бизнес-аналитики имеет свою степень риска и для обеспечения безопасности каждого компонента потребуется реализовать различные подходы (и различные технологии).
1. Безопасность данных.
Сама суть бизнес-аналитики подталкивает бизнес-пользователей к расширению доступа к данным и контроля над ними. Поэтому необходима жесткая политика по защите информации, которая должна помочь «залатать дыры», созданные многочисленными, слабо интегрированными технологическими компонентами, а также минимизировать огромный риск, присущий человеческому фактору.
Данные в ХД, витринах данных и операционных складах данных создают условия для осуществления всей бизнес-аналитики и, как правило, включают гигантские объемы детальных, транзакционных данных. Поскольку они часто отображают длительный отрезок времени, относящейся к истории существования компании, как, например, финансовая информация, обеспечение защищенности таких данных чрезвычайно важно.
При рассмотрении задач безопасности данных следует задаться следующими вопросами:
- Кто располагает доступом к ХД, витрине данных, OLAP-кубам и т.д.?
- Каковы рамки их доступа: одна предметная область, множество предметных областей или все предметные области?
- Каким типом доступа они обладают, например, только чтение или возможность модификации?
Топология данных в среде бизнес-аналитики влияет на возможности доступа к данным и обеспечение безопасности. Во многих компаниях результаты запросов часто загружаются на индивидуальные машины с целью дальнейшей детализации и использования. Эти данные оказываются в витринах данных, настольных БД, информационных панелях или крупноформатных электронных таблицах и быстро оказываются вне пределов инфраструктуры безопасности IT-отдела, хотя по-прежнему сохраняют свою конфиденциальную сущность.
При рассмотрении топологии данных с точки зрения безопасности необходимо изучить следующие вопросы:
- Насколько распределенной является архитектура данных, поддерживающая бизнес-аналитику?
- Имеется ли дополнительное распределение данных и если да, то каковы связанные с ним риски?
- Что делают пользователи с загружаемыми данными?
- Передают ли пользователи данные внешним партнерам?
2. Процесс сбора данных.
Обычно процесс сбора и подготовки данных для среды бизнес-аналитики очень сложный и «непрочный». Огромное число источников данных и значительное разнообразие данных приводят к многоступенчатым процессам, в которых данные интерактивно собираются и преобразуются для загрузки в ХД. Данные, подвергающиеся как процессу сбора, так и преобразования, также образуют «точки риска». Поэтому при рассмотрении информационной безопасности процесса сбора данных необходимо ответить на следующие вопросы.
- Кто располагает доступом к средствам извлечения данных из операционных систем?
- Где находятся данные, пребывающие в процессе сбора, перед тем как оказаться в ХД, и кто имеется доступ к этой области?
- Какова логика преобразования, безопасность которой реализуется в средствах извлечения, преобразования и загрузки (ETL)?
- Если никакие средства не используются, то какова защита ETL-процессов, написанных пользователем, от несанкционированных модификаций?
3. Пользовательские средства формирования запросов и аналитические приложения.
Программные инструменты BI-систем и аналитические приложения — это, в первую очередь, механизмы, предназначенные для доступа к данным в ХД. Такие средства часто приобретались в большом количестве с целью широкого и глубокого развертывания бизнес-аналитики по всему предприятию. Эти инструменты представляют особую ценность только для определенных пользователей и несут серьезную опасность, если попадают не в те руки.
С точки зрения информационной безопасности необходимо получить ответы на следующие вопросы.
- Кто располагает разрешением на использование средств формирования запроса и отчетности?
- Назначен ли каждому пользователю личный ID?
Появление и развитие аналитических приложений для электронной коммерции по схеме «бизнес-бизнес» (business-to-business) и «поставщик-покупатели» (business-to-consumer) усилили насущность вопросов безопасности. Поэтому актуальными являются следующие вопросы.
- Насколько свободно ваши клиенты и поставщики обмениваются предоставленной им информацией в рамках своих предприятий?
- Предоставляют ли они ее своим внешним акционерам?
- Не может ли эта информация попасть в руки ваших конкурентов?
4. Политика информационной безопасности.
Корпоративная политика информационной безопасности часто не затрагивает информации, которая хранится, анализируется и поставляется посредством аналитических приложений. Поскольку бизнес-аналитика расширяет доступ к информации, часто передавая ее в непосредственное распоряжение бизнес-пользователей, информация быстро оказывается вне пределов инфраструктуры безопасности ИT-отдела.
Поэтому при формировании корпоративной политики информационной безопасности необходимо рассмотреть следующие вопросы:
1) Учитывает ли корпоративная политика безопасности специфику ИT?
2) Имеются ли области значительного риска, которые могут быть устранены посредством такой политики?
3) Затрагивают ли правительственные постановления информацию, которая хранится, анализируется и представляется среде бизнес-аналитики?
4) Не нарушают ли текущие или планируемые мероприятия по развертыванию среды бизнес-аналитики эти постановления?
СПИСОК РЕКОМЕНДОВАННОЙ ЛИТЕРАТУРЫ.
[1] Барсегян А. А., Куприянов М. С. , Степаненко В. В., Холод И. И. Методы и модели анализа данных: OLAP и Data Mining. – СПб.: БХВ-Петербург, 2004. - 336 с.
[2] Духонин Е.Ю., Исаев Д.В., Мостовой Е.Л. и др. Управление эффективностью бизнеса. Концепция Business Performance Management. Под. Ред. Генса Г.В. М.: Альпина Бизнес Букс, 2005. – 269 с.
[3] Исаев Д.В., Кравченко Т.К. Информационные технологии управленческого учета. М., ГУ-ВШЭ, 2006. – 297 с.
[4] Туманов В.Е. Проектирование хранилищ данных для систем бизнес-аналитики: учебное пособие. – М.:Интернет-Университет Информационных технологий: Бином. Лаборатория знаний, 2010. – 615 с.
[5] Фоменко Е.Ю. Хранилища данных. Анализ данных: Курс лекций. - М.: Ф-т ВМиК МГУ им. М.В. Ломоносова, 2007.