В наш цифровой век сложно представить жизнь человека без смартфона, электронной почты и социальных сетей. Новая коммуникационная и технологическая реальность возникла менее чем за десятилетие и изменила нашу жизнь. Между тем в бизнесе процесс цифровой трансформации происходит не так быстро, и многие предприятия попросту не успевают приспосабливаться к требованиям цифровой эпохи. Устаревшие корпоративные информационные системы, унаследованные из прошлых десятилетий, становятся сегодня препятствием для развития. Как должны выглядеть современные ИТ-системы? Каковы требования к ИТ-архитектуре нового поколения и какую новую ценность она может принести?
Проследив эволюцию корпоративных ИТ-решений за десятилетия, можно понять, куда нас ведет прогресс. Со временем меняются требования бизнеса к ИТ, и информационные системы учатся решать все новые задачи. Главный двигатель такого развития — растущая степень интеграции между бизнес-процессами и системами.
Запросы бизнеса ускоряют интеграцию между бизнес-процессами и информационными системами
На заре массовой автоматизации, в 80-е, единственным видом корпоративных информационных систем были простейшие расчетные приложения. В большинстве случаев речь шла о самописных системах, автоматизирующих изолированные бизнес-процессы (например, расчет зарплаты, бухгалтерский баланс, производственные показатели и т.п.).
Концепция интеграции бизнес-процессов возникла в 90-е. В моду вошли термины «оптимизация бизнес-процессов», «выявление узких мест». ИТ ответили на это попыткой интеграции отдельных приложений между собой, чтобы автоматизировать бизнес-процессы или целые бизнес-функции. Стандартных интерфейсов и протоколов обмена информацией между системами тогда еще не было, и интеграция заключалась в написании различных программ-коннекторов (их поддержка являлась отдельной непростой технической задачей). Как альтернатива усложняющейся интеграции был предложен подход с внедрением единых, полностью интегрированных систем, таких как ERP, чрезвычайно популярных в 90-е.
Когда же в 2000-е стали появляться универсальные протоколы обмена данными и интеграционные серверы, такие как IBM WebSphere или Microsoft BizTalk, все изменилось. Коммерчески доступные вычислительные мощности и наличие стандартизованных интеграционных протоколов позволили интегрировать между собой практически любые приложения. Концепция разнородных, мультивендорных корпоративных систем стала составлять серьезную конкуренцию моновендорным решениям.
Примерно в это же время появились и первые механизмы интеграции данных. Во-первых, начали внедряться технологии подключения, выгрузки, нормализации данных из различных источников (ETL) и технологии ведения и нормализации справочников (MDM). Во-вторых, стали широко использоваться технологии аналитической обработки данных, OLAP, позволяющие собирать в единой базе информацию из различных источников и быстро ее анализировать.
Во многих компаниях в качестве вспомогательной системы внедряли также единое корпоративное хранилище данных (КХД), куда собирали агрегированную аналитическую информацию из различных ИТ-систем. КХД решало тогда достаточно узкую задачу подготовки официальной и аналитической отчетности. В действительности, как стало понятно сейчас, системы сбора и интеграции информации из различных систем, подобные КХД, могут брать на себя гораздо больше функций. Скажем, сегодня значительно расширился слой аналитических приложений — типовая аналитическая отчетность, прогнозный анализ и другие аналитические сервисы. КХД во многом взяло на себя также задачи технологической интеграции данных (ETL, MDM).
В связи с развитием технологий возникла еще одна задача — интеграция неструктурированных данных, таких как голос (например, телефонные переговоры), видео (видеонаблюдение и видеосвязь), телеметрия, данные социальных сетей и т.д. Такие процессы генерируют огромные объемы «сырых», необработанных данных, которые необходимо хранить и держать доступными для анализа. Изменение запросов бизнеса к ИТ показано на рис. 1.
В результате постепенной эволюции, на волне роста аналитических запросов и тренда Big Data корпоративное хранилище стало занимать важнейшее место в корпоративной ИТ-архитектуре. Из вспомогательного инструмента оно превращается в главный инструмент работы с растущим объемом корпоративных данных.
Новое хранилище может решать задачи, по объему и качеству не сопоставимые с задачами «классического» КХД. Поэтому это новое ядро корпоративных ИТ-системы мы назвали «суперхранилище», или «экзахранилище». Что же оно собой представляет? Удобная для бизнеса, но крайне сложная внутри сущность, состоящая из нескольких слоев. Первый слой «железа», гибкая виртуализованная вычислительная и сетевая инфраструктура. Второй слой — универсальная среда хранения и обработки интегрированной корпоративной информации для решения разнообразных универсальных ИТ-задач. Этот слой предоставляет свои ресурсы (данные, вычислительные мощности, стандартные сервисы) для всех ИТ-приложений, используемых в организации. Третий — слой приложений решает специфические бизнес-задачи. Функциональная архитектура экзахранилища приведена на рис. 2. Приложения подключены к хранилищу данных, пользуются его вычислительными ресурсами, универсальными сервисами и информацией.
Способ построения ИТ-архитектуры предприятия, когда в его центре — не отдельные приложения или моновендорное ядро, а интегрированная среда хранения и обработки информации, мы назвали «датацентричной корпоративной ИТ-архитектурой предприятия». И это даже больше, чем идея новой ИТ-архитектуры, а отражение новой парадигмы ведения бизнеса, когда, благодаря интеграции внутренних и внешних информационных потоков между собой и использованию бизнес-анализа в режиме «онлайн», происходит переход на новое качество управления бизнесом — управление в реальном времени.
Цена и ценность данных
В чем же эффект новой дата-центричной парадигмы организации ИТ? Способны ли данные предоставить новую ценность бизнесу?
Безусловно, у нее есть масса технологических преимуществ.
С точки зрения руководителя и владельца компании, дата-центричная архитектура — это прежде всего новое качество корпоративного управления, основанного на анализе всего объема доступной информации о бизнесе. Сквозная интегрированность всех данных (внутренних и внешних) из всех систем обеспечивает высокую доступность бизнес-данных для анализа. Например, данные из открытых источников, СМИ, социальных сетей, интернет-сервисов и т.д.
Вовлечение новой информации в аналитический оборот позволяет быстро и эффективно решать задачи, которые ранее не решались вовсе либо решались крайне сложно. Доступность для анализа большого объема новой информации и есть тот феномен, который принято называть сегодня Big Data, или «большие данные».
Уже можно найти массу таких примеров бизнес-задач, успешно решаемых математическими методами с помощью анализа данных из корпоративных систем и открытых источников.
Технологии для «больших данных»
Создать корпоративную ИТ-архитектуру, ориентированную на анализ больших объемов разнородных данных, — отдельная непростая техническая задача. Функциональная архитектура экзахранилища внешне выглядит понятно (рис. 2), хотя внутренняя структура системы очень сложна, поскольку она объединяет массу различных функций и решений. Экзахранилище наследует множество функций и задач, которые раньше выполняли многочисленные разрозненные корпоративные приложения, и объединяет их в единый контур интеграции. Сегодня на рынке нет готового цельного продукта, который решал бы все эти задачи «из коробки». Более того, такой продукт вряд ли появится в ближайшее время.
Мы живем в эпоху крайне фрагментированного ландшафта ИТ-продуктов — раньше выбор корпоративных заказчиков ограничивался пятью-шестью большими брендами. Сегодня количество продуктов, специализирующихся на интеграции данных, измеряется сотнями — достаточно взглянуть на аналитические отчеты по рынку Gartner или IDC. Эти платформы и продукты не так легко складываются вместе в единую систему. Решения зачастую сочетают в себе свойства и функции из различных функциональных слоев. Нужно уложить все эти нестандартные куски-компоненты в достаточно правильную картинку, грамотно подобрать продукты, интегрировать все между собой, сделать так, чтобы все задачи бизнеса были закрыты тем или иным продуктом.
Интеграция должна учитывать также существование новых технологических платформ, таких как мобильные устройства, «облака», внешние ИТ-сервисы, открытые данные и т.д.
Кроме того, интеграция продуктов и платформ происходит не с нуля, а в определенном сложившемся унаследованном корпоративном ландшафте, от которого нельзя одномоментно отказаться. Переход к новой экзаархитектуре должен происходить без прерывания обслуживания текущей ИТ-структуры. Нужно продумать, каким образом эволюционно происходит постепенный переход к новой архитектуре и как она вписывается в существующий унаследованный ландшафт.
Выстраивание новой ИТ-архитектуры и «дорожной карты» перехода к ней — интересная задача для профессионалов в области системной интеграции. Услуги в этой области будут востребованы в ближайшем будущем.
Организационная трансформация
Кто в корпорации может стать инициатором перехода к новой, дата-центричной модели управления компанией и внедрения дата-центричной ИТ-инфраструктуры? Безусловно, это высшее руководство компании. Более того, в лидирующих мировых корпорациях уже начала формироваться новая корпоративная роль — Chief Data Officer, директор по данным. Его роль — построить модель данных, организовать ее поддержку и обеспечить взаимодействие всех руководителей высшего уровня по вопросам корпоративных данных. В более широком смысле его роль заключается в том, чтобы сделать данные ценным корпоративным активом и заставить их зарабатывать для корпорации деньги.
При этом сохраняется важная роль ИТ-директора, или CIO, — он владеет всем тем унаследованным ландшафтом ИТ-систем, которые должны быть эволюционно преобразованы в новую экзаархитектуру. Для ИТ-директора новая архитектура также предоставляет существенные преимущества на технологическом уровне. Прежде всего она позволяет очень быстро и с понятным эффектом развертывать новые сервисы поверх единого корпоративного экзахранилища.
В нынешнее время, когда требования меняются очень быстро, а функциональные подразделения сами принимают решение о внедрении систем и имеют свой ИТ-бюджет, ИТ-директору не нужно пытаться построить универсальную архитектуру для решения всех задач функциональных заказчиков на ближайшие 10—15 лет. Главное свойство ИТ-системы компании — возможность быстро и с минимальными затратами интегрировать любое новое решение в единую корпоративную систему. Вызов CIO — построить инфраструктуру высокой готовности, высокой гибкости, с учетом всех новых платформ и необходимости адаптации к будущим изменениям. Он должен иметь возможность максимально быстро реагировать на возникновение новых потребностей бизнес-заказчика. И новая ИТ-архитектура эпохи «больших данных» дает ему такую возможность.
К сведению
Краулинг (crowling) — это способ сбора информации в Интернете с помощью специальных программ-роботов, которые в автоматическом режиме посещают интересующие вас сайты и агрегируют с них цифровые и прочие данные, например биржевую информацию, разнообразную статистику, записи в социальных сетях и т.д.
Датификация — это процесс преобразования привычных для нас форм восприятия действительности в цифровую форму. Это не только цифры, тексты и изображения, которые сегодня все существуют в цифровой форме. Например, раньше мы встречались в каком-то кафе, а сегодня благодаря GPS понятие местоположения датифицируется (в конкретных координатах). Социальные сети и аналитическое программное обеспечение научились датифицировать эмоции (например, они могут по тексту определить его негативную эмоциональную окраску).
Комментарий
Глеб Ларичев, ведущий консультант платформенных решений компании SAS Россия/СНГ:
«Во главу угла встает задача выстраивания бесшовного взаимодействия бизнес-подразделений организации»
Статья затрагивает очень важную и актуальную на данный момент тему. Сейчас, когда уже большинство организаций успешно автоматизировали свои ключевые бизнес-процессы, научились формировать разнообразные виды отчетности и даже обзавелись своими собственными корпоративными хранилищами данных, во главу угла встает задача выстраивания бесшовного взаимодействия бизнес-подразделений организации с коллективно сформированным разросшимся ландшафтом данных, управляемым ИТ-подразделением. В последние годы мы в компании SAS получаем все больше обращений от крупнейших организаций мира, в том числе и в России, по реализации инициатив Data Governance. Данная инициатива подразумевает под собой внедрение единой корпоративной системы управления данными и регламентов, формирующих единые политики по отношению ко всем данным в организации. Мы видим сегодня, что из концепции, еще вчера будоражащей отдельные умы, Data Governance превращается в стандарт рынка.
Помимо организационных преобразований, связанных с выделением отдельной роли директора по данным (CDO), реализация инициатив Data Governance предполагает целый ряд методологических и технических преобразований:
- создание единой модели бизнес-терминов организации, описание бизнес-ограничений;
- описание связей между бизнес-терминами;
- выстраивание жизненного цикла всей модели и бизнес-терминов в организации;
- выделение отдельных бизнес-областей и назначение ответственных за эти области;
- привязка физических объектов в ИТ-системах к единой модели бизнес-терминов;
- формирование правил контроля соответствия физических объектов описанным бизнес-ограничениям;
- встраивание процессов автоматического или ручного исправления выявленных противоречий;
- формирование регламентов согласования исправлений;
- сбор единых показателей качества данных — как по отдельным областям деятельности, так и по организации в целом.
Все описанные выше задачи невозможно реализовать без использования полноценной платформы по обеспечению инициатив Data Governance — набора надежных и проверенных инструментов, таких, например, как SAS Data Governance. По отчетам независимых аналитиков, SAS является одним из мировых лидеров в области построения корпоративных систем управления качеством данных, недаром именно ее методологи стояли у истоков формирования концепции Data Governance. Данный пакет охватывает весь спектр задач в области управления данными в масштабах организации. Среди наших клиентов такие компании, как Barclays, Bank of America и MasterCard, железнодорожный холдинг SNCF и другие.