Что такое мастер-данные и зачем они нужны. Мастер-данные и управление ими

Какие бывают данные

Прежде чем перейти непосредственно к системам управления мастер-данными, давайте определим, какого рода вообще бывают данные.

Ниже представлены 5 ключевых типов:

1. Метаданные (Metadata);
2. Референс-данные (Reference data);
3. Мастер-данные (Master data);
4. Транзакционные данные (Transactional data);
5. Исторические данные (Historical data).

Метаданные – это данные о данных. Они нужны для понимания и определения, какими данными оперирует предприятие. Метаданные определяют структуры, типы данных, доступы к ним и т.д. Существуют различные схемы для описания метаданных. Например, для описания структуры XML-документа может применяться XSD-схема, для описания веб-сервиса – WSDL-схема.

Референс-данные – это относительно редко меняющиеся данные, которые определяют значения конкретных сущностей, используемых при выполнении операций в рамках всего предприятия. К таким сущностям чаще всего относятся: валюты, страны, единицы измерения, типы договоров/счетов и т.д.

Мастер-данные – это базовые данные, которые определяют бизнес-сущности, с которыми имеет дело предприятие. К таким бизнес-сущностям обычно относятся (в зависимости от предметной отраслевой направленности предприятия) клиенты, поставщики, продукция, услуги, договора, счета, пациенты, граждане и т.п. Кроме информации непосредственно о той или иной мастер-сущности, в мастер-данные входят взаимосвязи между этими сущностями и иерархии. Например, с точки зрения поиска дополнительных возможностей продаж, может быть очень важно выявлять явные и неявные взаимосвязи между физическими лицами. Мастер-данные распространяются по всему предприятию и участвуют во всех бизнес-процессах. Обычно мастер-данные воспринимаются как ключевой нематериальный актив предприятия, т.к. от их качества и полноты зависит эффективность его работы. В России часто вместо термина «мастер-данные» используют термин «нормативно-справочная информация».

Транзакционные данные – это данные, которые образовались в результаты выполнения предприятием каких-либо бизнес-транзакций. Например, для коммерческого предприятия: продажи продуктов и услуг, закупки, поступления/списания денежных средств, поступления на склад и т.п. Обычно такие данные базируются в системе управления ресурсами предприятия (ERP) или других отраслевых системах. Естественно, транзакционные системы широко используют мастер-данные при выполнении транзакций.

Исторические данные – это данные, которые включают в себя исторические транзакционные и мастер-данные. Чаще всего такие данные аккумулируются в ODS и DWH системах и служат для решения различных аналитических задач и поддержки принятия управленческих решений.

Cистемы управления мастер-данными

Прежде чем перейти к системе управления мастер-данными, определим, что такое управление мастер-данными вообще.

Управление мастер-данными (Master Data Management, MDM) – дисциплина, которая работает с мастер-данными в целях создания «золотой записи», то есть целостного и всестороннего представления о мастер-сущности и взаимосвязях, эталона мастер-данных, который используются всем предприятием, а иногда и между предприятиями для упрощения обмена информацией.

Специализированные системы управления мастер данными (MDM-системы) автоматизируют все аспекты этого процесса и являются «авторитетным» источником мастер-данных масштаба предприятия. Часто MDM-системы управляют также и референс-данными.

Ситуация, когда MDM-система является единственным источником мастер-данных, все изменения вносятся в MDM-систему и только потом передаются в системы-потребители, называется «системой записей». Это идеальная ситуация для управления мастер-данными. Однако в реальной жизни все не так просто: MDM-система не всегда будет являться «системой записей». Из-за особенностей бизнес-процессов конкретного предприятия, технических сложностей конкретных систем и т.д., приходится создавать «копии» мастер-записей. Система, в которой содержится копия мастер-данных, называется «системой ссылок». Чтобы не терять управляемости, «система ссылок» обязательно должна находиться под управлением и синхронизироваться с «системой записей».

Три измерения MDM-систем

Рассмотрим MDM–систему в трех измерениях:

Обычно MDM-системы не внедряются «с наскоку», т.к. их внедрение – это сложный процесс последовательных преобразований масштаба всего предприятия, от ведения разрозненных данных до создания целостного всестороннего представления о мастер-сущности. Поэтому внедрение MDM-систем выполняется последовательно с постепенным приближением к целевому результату в трех указанных измерениях.

Рассмотрим подробнее эти измерения.

Домены

В контексте управления мастер-данными под доменом понимается конкретная область мастер-данных. Самые распространённые домены мастер-данных – это домен клиентов и домен продуктов. В западной литературе сложились устоявшиеся термины для управления мастер-данными в рамках этих доменов: Customer Data Integration (CDI) – для домена клиентов и Product Information Management (PIM) – для домена продуктов.

К CDI традиционно относятся не только клиенты, но и организации или физические лица, которые могут называться по-разному в зависимости от отрасли предприятия: клиенты, поставщики, банки, фонды, пациенты, граждане и т.д.

К PIM традиционно относятся: продукция, товары, материалы, услуги, работы и т.д.
Есть много общего в подходах к управлению мастер-данными CDI и PIM, но есть также и много отличий. Например, при дедубликации клиентских сущностей в большинстве случаев выполняется простой синтаксический анализ атрибутов сущностей и их сопоставление на основе вероятностных алгоритмов, в то время как в продуктовом домене проводится семантический/онтологический анализ атрибутов с подключением механизмов самообучения. Кроме того, в продуктовом домене у сущностей в зависимости от выбранной категории могут сильно различаться атрибуты (например, у ноутбуков свой набор атрибутов, а у стиральных машинок – свой). Все эти особенности различных доменов должны поддерживаться MDM-системами.

В последнее время имеет место тенденция создания мультидоменных MDM¬-систем с возможностью гибкой настройки структуры метаданных. Такая гибкость дает предприятию возможность описать мастер-данные конкретно под себя с учетом всех особенностей и нюансов, но при этом требует немалого времени и знаний, чтобы грамотно спроектировать и настроить такую систему. Также на рынке присутствуют системы с «жесткой» структурой мастер-сущностей, которые имеют уже корректно настроенные механизмы, но использование такой системы возможно только теми предприятиями, которые смогут подстроиться под нее. Обычно такие системы хорошо применимы для решения задачи управления мастер-данными в рамках какой-то узкой отрасли. По моему мнению, наиболее перспективными являются системы с гибкой моделью метаданных, но имеющие при этом преднастроенные для предприятий разных отраслей модели, которые можно быстро перенастраивать.

Методы использования

Методы использования MDM (Method of use) определяют то, для чего MDM система будет использоваться на предприятии. Иными словами, кто будет потребителем мастер-данных (естественно, их может быть несколько).

Основных методов использования три:

1. Аналитический (Analytical)
2. Операционный (Operational)
3. Коллективный (Collaborative)

Аналитический метод использования поддерживает бизнес-процессы и приложения, которые используют мастер-данные преимущественно для анализа эффективности бизнеса, предоставляют необходимые отчеты и выполняют аналитические функции. Часто это происходит посредством взаимодействия MDM с инструментами и продуктами BI. Обычно аналитическая MDM-система работает с данными только в режиме чтения, она не изменяет данные в системах-источниках, но занимается их очисткой и обогащением.

Операционный метод использования позволяет собирать, изменять и использовать мастер-данные в процессе выполнения бизнес-транзакций (операций) и служит для поддержки семантической согласованности мастер-данных в рамках этих операций внутри всех операционных приложений. Фактически, в этом случае MDM функционирует как OLTP-система, которая отрабатывает запросы от других операционных приложений или пользователей. Работа в таком режиме зачастую требует построения единого интеграционного ландшафта с использованием принципов сервис-ориентированной архитектуры (SOA) и применением инструментария сервисной шины предприятия (ESB). Идеально, если такие инструменты или входят непосредственно в MDM-систему, или являются ее продолжением (есть вендоры, которые имеют в своей линейке и MDM и ESB-решения, глубоко интегрированные между собой).

Коллективный метод использования позволяет создавать мастер-сущности в случаях, когда требуется коллективное взаимодействие между различными группами пользователей в процессе этого создания. Такое согласование обычно имеет сложные «ветвящиеся» бизнес-процессы, состоящие из различных автоматических и ручных задач. Ручные задачи выполняются различными специалистами по работе с данными (дата-стюардами) в порядке, определенном бизнес-процессом. Чаще всего коллективный метод использования применяется в продуктовом домене. Например, при создании нового продукта, когда существуют несколько ответственных за ввод разных данных, много ручной работы и финальное согласование. Важно, чтобы MDM-система позволяла настраивать произвольные бизнес-процессы для быстрой поддержки бизнес-процессов конкретного предприятия.

Стили внедрения

Обычно выделяют три основных стиля внедрения (implementation style):

1. Реестровый (registry);
2. Сосуществующий (coexistence);
3. Транзакционный (transactional).

Реестровый стиль внедрения предполагает создание источника мастер-данных как «системы ссылок» на нижестоящие источники данных. Реестровая MDM содержит только ключевые атрибуты, необходимые для идентификации и сопоставления сущностей. Реестровая MDM работает в режиме «только чтение», данные вводятся в системах-источниках и передаются в MDM для разрешения сущностей. Также в реестровой MDM могут храниться ссылки на источники неключевых данных, но сами эти данные обычно в MDM не передаются. Реестровый стиль внедрения обычно применяется в случае выбора операционного метода использования MDM (см. выше).

Сосуществующий стиль внедрения предполагает наличие распределенного ввода данных в нескольких источниках (бизнес-приложениях и MDM-системе). MDM-система в данном случае может являться «системой записей» только для части атрибутов. Тем не менее, в MDM-системе формируется полноценная мастер-сущность, изменения которой транслируются в другие системы (возможно, не все). Сосуществующий стиль внедрения довольно прост и часто применяется как первый шаг к следующему - транзакционному стилю, т.к. не требует глубокой переработки систем, взаимодействующих с MDM-системой.

Транзакционный стиль внедрения предполагает создание полноценной «системы записей», в которой хранятся все данные по мастер-сущностям. MDM-система в этом случае является «единственным источником правды» для всех систем-потребителей. Все операции по созданию и обработке данных выполняется на уровне MDM-системы. Ввод данных на уровне систем-потребителей запрещен. Такой подход обычно довольно сложен для внедрения, т.к. требует существенного изменения бизнес-процессов и систем-подписчиков.

Заключение

На практике, выбор той или иной стратегии внедрения MDM определяется многими факторами: целями предприятия в области управления мастер-данными, степенью зрелости предприятия, степенью готовности IT-инфраструктуры, наличием инвестиций на реализацию проекта и многими другими параметрами. Чтобы определиться со стратегией внедрения, нужно провести тщательный анализ всех этих факторов и составить подробное технико-экономическое обоснование проекта и детальный план-график с указанием фаз развития проекта. Но это уже другая обширная тема, требующая отдельного рассмотрения.

Одно можно сказать точно, что к внедрению MDM-системы нужно подходить очень взвешенно и поступательно. Большинство проектов внедрения MDM-систем проваливаются именно из-за недооценки сложности и объема изменений, с которыми приходится сталкиваться в MDM-проектах.

это проверенный и действенный метод коррекции защитной (адаптационной) системы на уровне управляющих центров головного мозга. Нормализация состояния адаптационной системы сопровождается перестройкой деятельности всего организма, в частности, улучшается качество работы органов и тканей, имеющих отклонения от нормы или пораженных патологическим процессом. В результате воздействия слабым электрическим сигналом с определенными параметрами на структуры головного мозга избирательно активируются различные участки нейроэндокринной системы, что как бы заставляет организм применять внутренние резервы, мобилизует имунную систему.

Метод был открыт группой российских ученых в 80-х годах XX века, но доработан, апробирован и внедрен в клиническую практику в Европе. Методика получила положительные отзывы от ведущих медицинских центров, как в России, так и за рубежом. Метод был использован для лечения более чем 200 тысяч больных, в том числе и в детской практике. При наблюдении за больными в течение более 20 лет отрицательных последствий не обнаружено.На сегодняшний день кабинеты МДМ-терапии по методу профессора В.Павлова успешно работают в Австрии, Германии, Греции, Чехии и Швейцарии. В Москве первый кабинет МДМ-терапии открылся в клинике «Семейная» (медицинский центр «Серпуховская»). Теперь пациенты, желающие воспользоваться этим высокоэффективным немедикаментозным методом, получили возможность пройти курс лечения, не выезжая за границу.

Как проходит процедура:

Сеансы мезодиэнцефальной модуляции проводятся с использованием компьютерного комплекса МДМ-2000/1 , производства ZAT а.д., Чешская республика. Аппарат МДМ-2000/1 зарегестрирован в РФ и внесен в Государственный реестр изделий медицинского назначения и медицинской техники (Регистрационное удостоверение ФС № 2004/1128 со сроком до 22.01.2011 года), а так же имеет санитарно-эпидемиологическое заключение на применение (лицензия № 77.99.28.944.Д.007272.12.04 от 28.12.2004 г.).

Процедура проведения мезодиэнцефальной модуляции проста и безболезненна: на голову пациента накладывается пара лобно-затылочных электродов, через которые подаются специально подобранные терапевтические импульсы тока, изменяющиеся во времени по заранее заданной программе. Параметры электрических сигналов запрограммированы так, что негативное воздействие на организм полностью исключено.

Процедура длится 30 минут, стандартный лечебный курс состоит из 13 процедур (ежедневно в течение 10 дней)

Необходима предварительная консультация и обследование у врача специалиста МДМ - терапии. В нашей клинике все обследования и саму процедуру проводят дипломированные специалисты, имеющие большой опыт работы и прошедшие специализацию за рубежом.

Показания к МДМ-терапии

Сердечно-сосудистые заболевания : гипертоническая болезнь I и II стадии; ишемическая болезнь сердца: стенокардия напряжения ФК I-III, реабилитация больных, перенесших острый инфаркт миокарда
Эндокринные заболевания: сахарный диабет и осложнения сахарного диабета (язвы, гангрены, ретинопатия, нейропатия); инсулинорезистентность, нарушения функций щитовидной и паращитовидной желез
Соматические заболевания: тонзиллит, бронхиальная астма, хронический бронхит, ХОБЛ, язвенная болезнь желудка и двенадцатиперстной кишки; гастрит с секреторной недостаточностью и гиперацидным состоянием; дискинезия желчевыводящих путей; бронхиальная астма; ревматоидный артрит
Неврологические заболевания: нейроциркуляторная дистония; дисциркуляторная и травматическая энцефалопатии; гипоталамические (диэнцефальные) синдромы; болевые синдромы при заболеваниях периферической нервной системы
Хирургические заболевания: подготовка к операциям, реабилитация в послеоперационный период; ожоговая болезнь и обморожения; посттравматические состояния, незаживающие послеоперационные раны,
Заболевания периферических сосудов: эндоартерииты и атеросклеротические окклюзии периферических артерий; венозная и лимфатическая недостаточность, в том числе осложненная трофическими язвами
Заболевания гинекологической сферы: нарушение менструальной функции: предменструальный и климактерический синдромы; хронические сальпингоофориты, нейроэндокринные нарушения, осложненные бесплодием или миомой матки (не более 8 недель), синдром поликистозных яичников
Заболевания уроандрологической сферы: импотенция; хронический простатит; симптом хронической тазовой боли, бесплодие
Дерматологические заболевания: нейродермиты; зудящие дерматозы; небактериальные формы экземы
В психиатрии: реактивные состояния; агрипнический синдром; неврозы; астенические и депрессивные состояния; абстинентный синдром
С профилактической целью: при стрессовых состояниях и длительном эмоциональном напряжении; при умственном и физическом переутомлении; при синдроме хронической усталости
В педиатрической практике: Возможно применение электростимуляции, начиная с 5-летнего возраста, по всем показаниям, перечисленным в других разделах; а так же:
- энурез;
- логоневрозы;
- ночные страхи и другие невротические состояния;
- адаптация к школьно-дошкольным учреждениям;
- тонзиллит;
- гайморит;
- повышение сопротивляемости часто болеющих детей в периоды сезонных вспышек ОРВИ

Противопоказания к МДМ-терапии

наличие металлических инородных тел в тканях головы;
интракраниальная геморрагия, опасность интракраниального кровотечения;
шизофрения;
эпилепсия;
острый психоз с психомоторным возбуждением;
заболевания кожи в месте наложения электродов на лбу и затылке.

Подробнее о методе Мезодиэнцефальной модуляции (МДМ-терапии)

Мезодиэнцефальная модуляция или МДМ–терапия относится к физиотерапевтическим методам, но значительно превосходит все известные методы по лечебному эффекту. Её основой являются слабые, но сложные по структуре электрические сигналы, которые избирательно воздействуя на структуры головного мозга, активируя работу центров управления защитной системой. Метод мезодиэнцефальной модуляции базируется на предшествующих исследованиях в области лечебных транскраниальных (через покровы черепа) электрических стимуляций структур головного мозга. Впервые транскраниальная терапия была осуществлена у больных в 1902 году. С тех пор в практической медицине применялись различные модификации аппаратов, в которых использовались самые разные частотные и другие характеристики электрических сигналов. Наиболее известными в России являются электросон, электронаркоз и аппараты для ТЭС-терапии. Более чем за 100 лет клинического использования накоплен огромный материал, позволяющий прежде всего определить рамки параметров электрического тока, не оказывающие повреждающего действия на организм человека , но улучшающие течение многих заболеваний.

В отличии от своих предшественников метод мезодиэнцефальной модуляции , сосредоточив воздействие на подкорково-стволовых отделах мозга (мезодиэнцефальной зоне), сумел достичь не только аналгизируюшего эффекта, а добился избирательной активации главных регуляторных систем - гипоталамо-гипофизарной, надпочечниковой, опиоидной и др. Соответственно, частотные характеристики, формы импульсов, способ наложения, полярность электродов и другие показатели существенно отличаются от предыдущих методик.

Как новое направление мезодиэнцефальная модуляция появилась в середине 1980-х годов на базе Центра неотложной кардиологии НИИ СП им. Н.В. Склифосовского. Тестируя прибор для электрообезболивания, разработанный в Институте физиологии им. И.П. Павлова РАН, группа ученых во главе с В.А.Павловым обнаружила, что анальгезирующий эффект при электростимуляциях является не основным. Было выявлено, что воздействие на мезодиэнцефальную зону слабым электрическим сигналом с определенными параметрами приводит к выбросу в кровь биологически активных веществ - опиоидных пептидов (в частности, бета-эндорфина - "гормона радости"), гормонов гипофиза и инсулина, снижающих выраженность стресс-реакций и повышающих адаптационные свойства организма. Т.е механизм действия следующий: в результате стрессовой для организма ситуации (травма, инфекция, аллергия и т.д.) разрывается связь между центральной и периферической нейрогуморальной регуляцией органов, что в свою очередь приводит к включению собственного эктопического ритма поврежденного органа и вывода его из-под контроля центральной нервной системы. Мезодиэнцефальная модуляция позволяет добиться избирательной активации регуляторных структур головного мозга, происходит выброс гормонов, которые нормализуют деятельность органов и способствуют восстановлению полноценной функциональной активности.

Дальнейшие разработки параметров электросигналов, которые проводились под руководством профессора В.А.Павлова на базе европейских научных центров, позволили добиться существенного усиления данного позитивного эффекта. Итогом почти 30-летней научной работы стал компьютерный комплекс МДМ 2000/1. Разработанные специалистами программы для лечения различных видов патологий, позволяют получить у больных ярко выраженные клинико-биологические эффекты:

Антистрессорный. Позволяет не только справиться со стрессом в экстремальной ситуации, но и предотвратить обострение хронического процесса, сопровождающегося депрессивными расстройствами. Помимо этого, антистрессорный эффект реально уменьшает число осложнений при лечении различных заболеваний и обеспечивает более легкое их течение.
Репаративный. Ускорение репарации в 2 - 2,5 раза по сравнению с самыми современными лекарственными и физиотерапевтическими методами. Например, при язве желудка или 12-перстной кишки (в том числе, при "целующейся" язве), инфаркте миокарда, ожогах, переломах, трофических язвах и т.п.
Обезболивающий и противовосполительный . Мощный аналгезирующий эффект позволяет справиться с большинством из существующих видов болей (мигрени, радикулиты, корешковый синдром при остеохондрозе позвоночника, боль при артритах, зубная боль и т.д.). При этом не только уменьшается интенсивность боли, но и снимается воспалительный процесс, который поддерживает эту боль.
Профилактический . Профилактика обострений при хронических заболеваниях: часто наблюдается стойкая ремиссия (отсутствие обострений) даже при таких серьезных болезнях, как бронхиальная астма, гипертоническая болезнь, сахарный диабет и др. Одновременно существенно уменьшаются дозировки поддерживающих лекарственных препаратов (МДМ-терапия усиливает действие большинства известных медикаментов), значительно снижаются побочные эффекты и аллергические осложнения. При непереносимости лекарственных средств, а также в случаях хронической почечной или печеночной недостаточности, МДМ-терапия может быть использована как единственный метод лечения.
Политерапевтический. При наличии нескольких хронических заболеваний отмечается одновременное терапевтическое действие на весь перечень, что особенно актуально в сфере геронтологии.

Запись на прием к врачу физиотерапевту

Обязательно пройдите консультацию квалифицированного специалиста в клинике «Семейная». Данная услуга предоставляется не во всех филиалах, уточняйте более подробную информацию у администраторов

Постоянно сталкиваемся с тем, что в области MDM (Master Data Management) катастрофически отсутствуют понятные вводные материалы, позволяющие быстро разобраться что это, зачем и почему это важно. Попробуем это в меру сил исправить и объяснить языком бизнеса.

В этой области пока серьезный дефицит определенности, и даже Википедия, как ни странно, не вполне уверена что есть что. Поэтому будем объяснять своими словами и «на пальцах», с примерами.

Что есть что

Итак, все данные, которыми оперируют современные информационные системы, можно разделить на нормативно-справочную информацию, мастер-данные и транзакционные данные.

Нормативно-справочная информация (НСИ) или справочники и классификаторы — позволяют нам структурировать окружающий нас мир с целью его анализа. Как правило, справочники и классификаторы строятся в виде списков и деревьев. Например, мы распределяем все товары по товарным группам для того, чтобы ими было легче управлять. В мировой практике эту часть классифицируют как Reference Data, с соответствующим классом приложений и процессов – Reference Data Management.

Мастер-данные как правило отражают объекты реального мира, и их основные свойства, например: клиентов, товары, людей, офисы, транспортные средства. Их ключевое отличие от НСИ в том, что НСИ – это атрибуты, свойства, списки, и прочие плоскости классификации, но объекты, описываемые НСИ как правило не существуют в реальной жизни. Так, модель автомобиля – это элемент НСИ, а вот конкретный автомобиль с его свойствами – элемент мастер-данных.

Транзакционные данные – отражают наши действия с объектами мира (читай – объектами мастер-данных), события и взаимодействия. Мы в момент T отгрузили клиенту А товар Б в количестве Х и по цене Y. А потом в момент T1 получили с клиента А платеж на сумму Z, вот эти запись и будут транзакционными данными.

Если посмотреть на эти три группы, то мы увидим некоторую иерархию, отраженную на рисунке. НСИ используется для структурирования мастер-данных и транзакционных данных. Мастер-данные определяют структуру транзакционных данных. И только транзакционные данные являются конечным результатом цепочки.

Таким образом, НСИ структурируют как мастер-данные, так и непосредственно транзакционные данные. Мастер-данные структурируют транзакционные данные. В результате наши аналитические возможности в отношении транзакционных данных прямо зависят от того, на сколько пригодный для наших целей «каркас» из НСИ и мастер-данных нам удалось построить.

Естественно, что каждый из видов данных обладает своими особенностями, которые мы обязаны рассмотреть подробно.

Особенности НСИ

Ключевой особенностью НСИ является их относительная неизменность, т.е. НСИ выстраиваются изначально исходя из бизнес-целей либо из устойчивой объективной реальности мира (например, справочник организационных форм или моделей авто). Изменения в НСИ обычно происходят в соответствии с определенной процедурой, ведение НСИ возлагается на конкретное подразделение. Всякое изменение должно обязательно пройти по определенному процессу согласования, гарантирующему целостность НСИ.

Источниками изменений в НСИ являются изменения в окружающей действительности, например, иногда появляются новые страны или валюты. Либо, если речь идет о справочниках, построенных вокруг бизнес-целей, — изменения, связанные с изменениями в бизнес-целях, учетной политике, распределении ответственности по товарным группам и т.д..

Фактически, НСИ формируют базовые плоскости аналитики, в силу чего состав и структура НСИ может быть достаточно сложной, в том числе одни справочники могут использоваться в других в качестве атрибутов, формируя сложные структуры, реализующие множество аналитических плоскостей. Например, для целей маркетинга, производства, управления запасами и финансового учета могут применяться совершенно разные группировки товарных позиций и разные наборы признаков.

При достаточной централизации управления НСИ система справочников обычно стабильна и не подвержена «зашумлению». Однако, в компаниях с недостаточно интегрированными приложениями мы наблюдаем одну и ту же беду: НСИ нередко строятся отдельно в рамках каждого приложения исходя из «локальных» бизнес-целей, обеспечиваемых этим приложением. В итоге порождаются «параллельные» наборы НСИ, не сведенные в единую систему, что сильно осложняет формирование аналитических массивов.

В идеале, управление НСИ должно быть централизовано. Таким образом в составе ИТ-решения появляется система обеспечивающая техническую и организационную основу для правления НСИ, по отношению к которой все остальные приложения являются клиентами односторонней синхронизации НСИ – из RDM в приложения.

Особенности мастер-данных

Мастер-данные более «подвижны»: новые клиенты, новые товары, новые люди – все это движение прямо происходит из жизни компании.

Важнейшей особенностью мастер-данных является то, что именно здесь компания накапливает знания о предмете своей работы. Вся информация, появляющаяся по ходу времени о конкретном клиенте должна хозяйственно складываться, структурироваться и обновляться, включая всю историю изменений. То же самое касается любых мастер-данных. Не менее важно то, что мастер-данные определяют так же отношения между разными сущностями. Что является филиалом чего, кто является поставщиком каких товарные групп, какие транспортные средства принадлежат каким филиалам и т.д.

Однако степень контроля за изменениями мастер-данных существенно ниже, ибо записи и их обновления порождаются в самых разных подразделениях, в разное время, вносится разными людьми, а зачастую еще и в разных системах, составляющих сложный ИТ-ландшафт современной компании. В результате нередко в каждой системе хранится лишь какая-то часть информации об одной и той же сущности, в каждой системе ей присваивается собственный идентификатор. В итоге формирование комплексной аналитической картины осложняется, а в особо запущенных случаях становится и вовсе невозможным.

В силу этого мастер-данные сильно подвержены «зашумлению» в результате ошибок и создания дублирующих записей. Как правило с этим борются организационными мерами, правилами типа «не заводить товарную позицию если она уже есть» или «перед тем как завести клиента – провести поиск по текущей клиентской базе». Но когда разбросанность по прикладным системам накладывается на многообразие написаний и описаний, а это все на пределы человеческого внимания и старательности – то никакие оргмеры не помогают.

Результатом «зашумления» является потеря качества мастер-данных, которая влечет за собой разрушение аналитики, ибо какая может быть аналитика если транзакции относительно одного реального клиента привязаны к трем разным клиентским записям, сделанным в разное время в разных системах разными людьми?

Крупные компании с большой историей и сложной ИТ-инфраструктурой запросто могут иметь в своих системах 15..20 млн клиентских записей о юрлицах в то время как всего юрлиц в России менее 5 млн. И это вполне жизненный случай. Про качественную клиентскую аналитику говорить здесь уже не приходится.

Другой пример. Очень подвержены «зашумлению» товарные каталоги. В силу отсутствия единого уникального идентификатора и разнообразия написаний нередко оператор не в состоянии соотнести новые товары с уже учтенными в системе. В результате позиция, пылящаяся на складе будет еще раз закуплена только потому, что складским остаткам соответствует одна карточка товара, а в проектных спецификациях – другая, хотя физически – это один и тот же товар.

Особо следует отметить, что большинство прикладных систем не содержит в себе сколько ни будь эффективных механизмов управления качеством этих данных, ограничиваясь тривиальным поиском по подстроке, уповая на добросовестность оператора и его знание прикладной области. Поэтому проблема качества мастер-данных обычно встает тогда, когда вносимые искажения и неадекватность аналитики достигают впечатляющих размеров и видны, что называется, невооруженным глазом.

Особенности транзакционных данных

Транзакционные данные являются самыми динамичными из всех перечисленных типов и по сути порождаются прозрачно для большинства операторов в ходе понятных действий типа «отгрузить товар», «загрузить выписку из банка». Как правило каждый элемент транзакционных данных содержит некоторое количество ссылок на записи мастер-данных разных видов плюс дату и ряд чисел, характеризующих транзакцию.

Например, минимальный элемент транзакционных данных, порождаемых отгрузкой будет состоять из ссылки на клиента, ссылки на товарную позицию, количества и цены. В реальности транзакционные данные имеют чуть более сложную структуру, так, например, есть накладная и соответствующий элемент данных с указанием контрагента и даты, а есть ее строки, каждая из которых содержит товарную позицию, количество и цену. И тем не менее для целей анализа число транзакционных записей будет равно числу строк в накладной, а сама запись, соответствующая накладной, — не перестает быть транзакционными данными.

Следует отметить, что всевозможные учетные регистры, содержащие, например, текущие остатки – по сути являются не транзакционными данными, а разновидностью аналитического обобщения. Просто это обобщение техническими средствами поддерживается постоянно актуальным и имеет целью оптимизацию производительности. Важно то, что оно в любой момент может быть пересчитано из транзакционных данных и в этом его принципиальное отличие – оно вторично.

Важно то, что транзакционные данные как правило затрагивают интересы внешних контрагентов, и в силу этого нет особых проблем с контролем их качества: например, если оператор задвоил отгрузку – то это скажется на балансе с контрагентом, приведет к разночтениям, сверке и ошибка будет скорректирована. Таким образом, взаимный контроль между взаимодействующими контрагентами вкупе с аналитическими инструментами и сложившейся бизнес-практикой обеспечивают сравнительно высокое качество транзакционных данных

Почему мастер-данные требуют особого подхода?

Определившись с понятиями и рассмотрев особенности типов данных, мы вплотную подошли к вопросу: почему же управление мастер-данными выделяется в отдельную функцию в современных ИТ-архитектурах? К тому есть несколько причин:

Узкая функциональная направленность приложений зачастую приводит к тому, что каждое приложение оперирует своим набором атрибутов. Колл-центр не звонит на адрес офиса, доставка не привозит товары на емейл. Иначе говоря, полный набор информации, т.н. «мастер-запись» для каждого приложения избыточен. Вдобавок, в крупных организациях разные прикладные системы строятся под разные бизнес-цели и нередко оперируют даже разными НСИ. Разработчики и эксплуатанты функциональных приложений просто не испытывают нужды в «чужих» мастер-данных и НСИ в рамках своих целей, и вся эта проблематика в итоге обрушивается на системы высокоуровневой бизнес-аналитики, в которых мастер-данные и НСИ сводятся с тем или иным успехом. И об возникающих в этой точке проблемах граждане, вынужденные их решать могут говорить много, цветасто и вычурно, но как правило не очень литературно.
Специфика алгоритмов работы с мастер-данными. Парадокс в том, что эффективное управление мастер-данными требует целого спектра подходов, которые в рамках прикладных систем обычно вниманием разработчиков не избалованы. Так, чтобы избегать дублирования записей необходимы очень гибкие и эффективные механизмы поиска и сравнения, сложные алгоритмы нормализации-валидации-сопоставления. При этом с точки зрения этих алгоритмов управление разными видам мастер-данных почти не отличается между собой. В общем-то все равно товарное ли это дерево, список транспортных средств, профили клиентов или личные карточки сотрудников. Подход не меняется, он прост: вычищать ошибки и опечатки, отлавливать и пресекать дубли, максимально дополнять и актуализировать, сохранять всю историю изменений, выделять «сомнительные» случаи для обработки аналитиками (дата-стюардами).

Таким образом и появляется в ИТ-ландшафте отдельный элемент – как отдельная функция, ИТ-сервис, который «дирижирует» всей совокупностью мастер-данных компании, обеспечивая все функциональные приложения едиными, целостными, актуальными и полными мастер-данными. В большинстве случаев взаимодействие между прикладными системами и MDM происходит через шину данных, сообщения или SOAP/REST API.

Парадокс в том, что любая компания, пытающаяся построить высокоуровневую аналитику автоматически приходит к неявному формированию мастер-данных даже в том случае, если она использует ETL-процедуры для «перегрузки» данных из нескольких учетных систем в одну аналитическую, ибо качественная аналитика принципиально невозможна без качественных мастер-данных. Вопрос лишь в том, насколько развитые алгоритмы сопоставления используют ETL-процесс, какого качества мастер-данный получаются в целевой аналитической системе.

Таким образом, обусловленная спецификой мастер-данных невозможность действительно качественно решить задачу управления ими в рамках отдельной прикладной системы умноженная на большое количество прикладных систем порождает отдельный домен ИТ – управление мастер-данными.

Что такое MDM и какие они бывают?

Итак, управление мастер-данными или MDM выкристаллизовывается как отдельная область знаний и класс продуктов. Однако, в сложившейся в англоязычной терминологии это общий класс продуктов и решений, в который включается, в частности, ряд прикладных решений и связанных с ними бизнес-процессов:

, в общем и целом это – управление НСИ. Казалось бы, это не мастер-данные, это другой домен. Но отличие НСИ от мастер-данных заключается лишь в централизации, и тот же инструментарий, что мы используем для управления мастер-данными мы можем использовать и для НСИ с единственным отличием: все системы по отношению к RDM работают в режиме только чтения, а все изменения обязательно проходят через соответствующие бизнес-процессы.
, интеграция клиентских данных. Под этим термином кроются системы, узко заточенные на работу с мастер-профилем клиента. Подразумевается, что эти системы агрегируют максимальный объем информации о клиенте и предоставляют всем другим системам сервисы поиска, создания и обновления клиентских записей, а также двунаправленной синхронизации.
PIM, Product Information Management, система управления информацией о продуктах. Специализированный вид MDM, заточенный на информацию о продуктах, их свойствах и атрибутах. Например, такая система может быть «авторитетным источником» информации о продуктах для интернет-витрины, печатного каталога, ERP-системы и колл-центра одновременно, обеспечивая целостность представления и единство информации.

Нет сомнений, что при известной любви англоязычного мира к структурированию действительности, специализации и акронимам можно раскопать еще добрый десяток узких прикладных систем, которые по сути реализуют функционал управления мастер-данными в одной конкретной узкой области.

Формирующийся рынок MDM решений сегодня представлен большим количеством компаний, предлагающих решения очень разного качества. Все вендоры «первого эшелона» обозначили наличие в своем портфеле MDM решений или отдельно, или в составе своих систем. Однако, как и было сказано, большинство из них сосредоточено на другом функционале, поэтому качество реализации специфичного MDM функционала оставляет желать лучшего. В то же самое время множество небольших, но более сфокусированных на проблематике MDM компаний предлагает решения существенно более функциональные.

Нужен ли мне МДМ?

Итак, в каком случае Вам определенно стоит задуматься над внедрением MDM в свою ИТ-архитектуру? В первом приближении критерии следующие:

У вас много мастер-данных. Десятки и сотни тысяч, а то и миллионы записей в той области, которую мы обозначили как мастер-данные. В первую очередь клиенты и товары. Как бы ни были хороши Ваши системы, такие объемы данных неизбежно «захламляются». И решить эту проблему штатными средствами Ваших систем скорее всего не получится. Наш опыт показывает, что даже при наличии заявленных «развитых механизмов дедубликации и обеспечения качества данных» количество дублей исчисляется десятками процентов от числа записей.
У вас несколько функциональных систем с пересекающимся набором мастер-данных. Да, возможны варианты, когда архитектура изначально интегрирована должным образом, НСИ ведутся единообразно и данные разных систем правильно синхронизированы безо всякого посредника, а для каждого вида мастер-данных определена первичная система с которой синхронизируются все остальные. Однако это скорее исключение, чем правило. Чаще – все наоборот. И привести этот зоопарк к единообразию с помощью MDM системы будет на порядок проще, чем путем интеграции без выделенного MDM компонента.
Синхронизация данных и сведение их в единую картину требует больших усилий, а результирующий аналитический массив вызывает сомнения. Многие компании используют стратегию, которую в двух словах можно описать так: «пусть оно в каждой системе живет как живет, а на уровне BI мы это как ни будь сведем» и используют сложные, громоздкие и не слишком эффективные ETL процедуры для того, чтобы формировать BI хранилище. К сожалению, это паллиативное решение, неповоротливое и весьма ресурсоемкое, заставляющее в каждодневном режиме «подкручивать» систему, хранить огромные массивы «нормализованных» данных, по сути выполняя огромную кучу работы по компенсации отсутствия MDM.

Последнее, что хотелось бы отметить в этом разделе – это то, что нет лучшего момента для внедрения МДМ, чем момент внедрения новых функциональных ИТ-систем или миграции с одних систем на другие. Ведь процесс внедрения подразумевает «очистку» накопленных данных и увязку систем между собой. Совмещая эти вещи мы одним выстрелом убиваем двух зайцев: повышаем качество данных в новой системе и одновременно сохраняем преемственность со старой, ведь MDM-система как раз и сшивает их между собой.

Куда катится MDM?

Чего следует ждать от этого направления? Каков вектор развития? Полагаем, что актуальными будут следующие тренды:

Развитие «узкоспециализированных» MDM продуктов. Классы RDM, CDI и PIM выделены неспроста, это самые актуальные и доступные для понимания задачи MDM, решение которых несет максимальный эффект для бизнеса. Рекомендуем быть внимательными, ибо в текущем состоянии рынка «специализированный» скорее означает маркетинговое позиционирование, чем дополнительный функционал. Не факт, что «спец-MDM» от одного вендора будет решать задачу лучше, чем MDM общего назначения от другого.
Улучшение MDM функционала в прикладных системах. Это происходит хотя бы через скупку вендорами «первого эшелона» меньших, но более продвинутых в этой области компаний. В первую очередь это коснется компаний, которые пытаются сформировать полностью моновендорный ИТ-ландшафт.
Мини-решения и интеграция через стандартные API. Сейчас большинство MDM-решений – это тяжелые и дорогие корпоративные системы, эффективные только на масштабе. Они требуют сложной настройки, обученных специалистов, вдумчивой интеграции. И хотя эффект от их внедрения огромен, цена входного билета тоже весьма высока. Однако, как и многие технологии в ИТ они «пойдут вниз», со временем будут становиться все более доступны все меньшим компаниям.
MDMasService. Очевидно, что нет никаких препятствий к тому, чтобы предоставлять MDM как услугу, наравне с другими приложениями. Открытые интерфейсы SaaS приложений способствуют их интеграции, так что вполне ожидаемо использование множества интегрированных друг с другом SaaS приложений, среди которых будет и SaaS MDM.

Заключение

Мы надеемся, что данный материал дал представление о том, что такое мастер-данные, что такое системы управления ими и зачем они нужны.

Определенно, для достаточно крупных организаций со сложным ИТ-ландшафтом MDM является совершенно необходимым элементом, позволяющим «склеить» воедино и сделать максимально полезными огромные, но сильно фрагментированные данные, упростить архитектуру, радикально снизить трудоемкость формирования бизнес-аналитики и одновременно существенно улучшить ее качество.

Знали ли вы? В нашей стране появился новейший метод лечения сахарного диабета, тяжело заживающих язв, аутоиммунных и хронических расстройств — МДМ-терапия! Специалисты клиники «Счастливая семья» одними из первых успешно опробовали новейшую программу.

Мезодиэнцефальная модуляция или МДМ-терапия направлена на излечение современных «болезней цивилизации». Наш образ жизни постоянно меняется – окружающая среда становится все хуже, питание все боле неполноценным, а работа все чаще приносит стресс. На фоне этого у человека появляются метаболические, эндокринные, иммунные, иммунодефицитные, сердечно-сосудистые нарушения, патологии желудочно-кишечного тракта, депрессии и фобии.

Мезодиэнцефальная модуляция успешно практикуется в европейских клиниках более 25 лет. Специалисты выделяют несколько ее основных преимуществ:

Простота проведения
Безопасность
Эффективность, подтверждённая клинически.

На голове пациента размещаются специальные датчики, которые посылают слабые электрические сигналы в гипоталамус – гипофизарную область головного мозга. Электромагнитные импульсы словно «перезапускают» её функции - нейроэндокринную и иммунную. Именно эти системы помогают организму адаптироваться к изменениям в окружающей среде.

Лечебный курс предотвращает развитие серьёзных осложнений, перетекание болезней в хроническую форму и в целом положительно влияет на качество жизни обследуемого. Заболевание за короткий срок входит в стадию ремиссии – его симптоматика и острые приступы стихают.

За прошедшие годы МДМ-лечение получили боле 250 тысяч обследуемых по всему миру, включая детей. Побочные эффекты зафиксированы не были, что является редкостью в медицинской практике.

Как проходят МДМ-сеансы?

Одна процедура длится недолго – около получаса. В зависимости от тяжести болезни могут понадобиться от 6 до 10 сеансов. Поступающие в гипоталамус сигналы имеют низкую интенсивность, поэтому пациенты не испытывают каких-либо неприятных ощущений. Все ощущения зависят от индивидуальной чувствительности кожи, их можно сравнить с физиотерапевтическим действием.

Электрические импульсы словно позволяют договориться с головным мозгом на его языке – подаётся сигнал о необходимости адаптации. В ответ гипоталамус и гипофиз стимулируют железы и клетки внутренней секреции, и они начинают в большом количестве вырабатывать биологически активные вещества. Как результат – кровь обогащается необходимыми нейромедиаторами и гормонами. Начинается тончайшая перестройка организма – каскадные восстановительные реакции приводят к устранению проблемных очагов и нарушенных функций. Так, в кровь выбрасываются опиодные пептиды, оказывающие ярко выраженное обезболивающее и регенеративное действие на ткани.

Чем моложе пациент, тем скорее и значительнее произойдет «перезагрузка» и регулировка системных функций. Людям в более зрелом возрасте для достижения такого результата потребуется больше количество процедур. Но возможности к самовосстановлению присутствуют у всех, и они являются самым индивидуальным и безопасным «лекарством» на земле.

МДМ-практика свою более 25-летную историю показала, что побочные эффекты даже в отдаленной перспективе не проявляются. Процедура переносится очень легко и безболезненно, клиенты во время нее часто засыпают. В исключительных случаях клиенты замечают усиление симптоматики заболеваний. Это нормальная реакция организма на перестройку и адаптацию. Последующие сеансы снимают такие обострения, поэтому курс лечения не останавливается.

МДМ-терапия – методика с минимальными противопоказаниями.

У любого метода терапии есть противопоказания, поэтому и у применения мезодиэнцефальной модуляции есть ограничения. Хотя они очень редки, о них необходимо знать:

Присутствие инородных тел из металла в головных тканях.
Эписиндром или эпилепсия.
Шизофрения.
Психомоторное возбуждение.
Нарушение целостности эпидермиса в месте расположения электродов (лоб, затылок). Ограничение накладывается в период острой формы заболевания (если на эпидермисе присутствуют повреждения или воспаления). В состоянии ремиссии противопоказание снимается.

МДМ-лечение дает возможность уменьшить медикаментозную нагрузку. При ее применении заболевшему человеку требуется меньше лекарств для выздоровления. Это очень большое преимущество, ведь у больного сахарным диабетом, обычно, сочетаются сразу несколько нарушений. Один функциональный сбой приводит к другому. Таким людям приходится употреблять значительное количество таблеток, при приеме которых могут наблюдаться побочные эффекты. МДМ-сеансы позволяют разорвать замкнутый круг. Физиотерапия импульсами улучшает состояние всех тканей, приводит в норму гомеостаз, успешна в терапии инфекционных, воспалительных и иммунных нарушений.

МДМ-терапия сертифицирована Минздравом РФ. При проведении сеансов используется аппарат МДМ-2000/1, который зарегистрирован и внесен в Государственный реестр РФ как «изделие медицинского назначения и медицинская техника» (Регистрационное удостоверение № ФСЗ 2011/09144). Прибор имеет все необходимые санитарно-эпидемиологические заключения на использование.