Управление клиентскими данными

SAP Master Data Governance

Система для консолидации и централизованного управления жизненным циклом основных данных.

Программа объединяет основные данные в рамках всей организации и обеспечивает централизованное управление, для формирования единого представления о бизнесе, а также предоставляет предопределенные приложения для конкретных областей и структуру для основных данных, определяемых заказчиком.

В данной системе предусмотрены различные формы доступа, как локального характера, так и облачного.

Обучение навыкам необходимым для оптимизации использования SAP Master Data Governance.

Существуют готовые модели представления информации.

Основные понятия системы

Логика работы T-FLEX MDM базируется на перечисленных ниже понятиях:

Типы НСИ

Типы НСИ – классификация на основе единства процедур работы с НСИ: где информация рождается, кем согласовывается, где используется. В поставке выделены 14 преднастроенных типов НСИ (Стандартные изделия, Материалы, Покупные и комплектующие изделия, Организации и т.д.), но в системе предусмотрена административная возможность расширения этого списка (рис.3).

Документы НСИ

Документы НСИ — классификация на основе единства атрибутивного состава. Документы НСИ — это, фактически, свод правил, по которым в системе настраивается алгоритм формирования эталонов и проверки записей внешних систем на соответствие эталону. Здесь описывается список обязательных и дополнительных атрибутов со всеми условиями проверки корректности заполняемых значений, а также с формулами взаимодействия атрибутов между собой (рис. 4).

Классификатор НСИ

Классификатор НСИ — классификация третьего уровня НСИ, служащая для автоматизации создания интерфейса и поисковых запросов пользователей (рис. 5). Классификация объектов в Классификаторе НСИ может быть множественной, и конкретные группы пользователей могут использовать свои ветви классификатора, удобные им в повседневной работе с данными. Для примера, конструктора привыкли к классификации материалов по маркам материалов, в то время как технологи идут от сортамента. Классификатор НСИ предоставляет возможность применять оба этих варианта.

Глоссарий параметров

В T-FLEX MDM присутствует специализированный справочник для унификации атрибутов, используемых, в системе и сопоставления различных названий одного и того же атрибута.

Каждый атрибут, описанный в Документе НСИ, имеет обязательную ссылку на Глоссарий параметров (рис. 6), что обеспечивает внутреннюю связь одинаковых параметров в системе и возможность сквозного поиска по однородным параметрам. Для примера, параметр Мощность станка может в одном случае называться Потребляемая мощность, в другом — Мощность главного привода, в третьем — просто мощность. В системе все эти параметры заносятся в эталон в соответствии с документацией, но имеют связь на объект Глоссария параметров — Мощность станка, по которому можно производить поиск в системе.

Реестр соответствия эталону

По результатам анализа внешних данных и установки их соответствия определенному Эталону производится запись в справочнике Реестр соответствия эталону (рис. 7). Здесь указывается идентификатор эталона, идентификатор источника данных, признаки статусов и дублей, а также наименования объекта эталона и объекта внешней системы. Эти данные и передаются во внешние системы для дальнейшей их обработки.

Источники данных

В T-FLEX MDM ведется реестр внешних систем, с которыми она взаимодействует. Здесь хранится информация о наименовании системы, используемых в ней типах НСИ, ответственных пользователях, а также структура справочника-аналога, в который поступают данные из внешней системы (рис. 8).

Задачи T-FLEX MDM

T-FLEX MDM предназначен для решения задач управления мастер-данными и нормативно-справочной информацией, то есть объединяет в себе функциональные возможности MDM и НСИ-систем. Это два больших класса различных, но взаимосвязанных задач.

MDM-система (Master Data Management, управление мастер-данными) предназначена для объединения и унификации разрозненных данных предприятия, поставляемых из различных систем. В задачи MDM-системы входит:

• создание единого информационного пространства с помощью регистрации информационных объектов, ведения карты распределения объектов по системам;
• очистка данных и регистрация эталонов;
• аналитика и отчеты.

НСИ-система предназначена для организации подготовки, хранения и использования библиотек нормативно-справочной информации. Термину НСИ чаще всего дают такое определение: «Условно-постоянная часть всей корпоративной (учрежденческой) информации, не претерпевающая существенных изменений в процессе повседневной деятельности организации». В состав НСИ входят словари, справочники и классификаторы, элементы которых используются при формировании текущих документов. В задачи НСИ системы входит:

• разработка процедур создания, согласования и использования единой нормативно-справочной информации;
• классификация и каталогизация используемой на предприятии нормативно-справочной информации;
• создание и наполнение единых библиотек выверенной и утвержденной к использованию на предприятии нормативно-справочной информации;
• разработка структуры атрибутов, их взаимозависимостей, правил и ограничений при их заполнении для автоматизации контроля качества данных НСИ.

T-FLEX MDM комплексно решает все перечисленные выше задачи.

Что такое мастер-данные или зачем управлять НСИ

Начнем с определения: мастер-данные или основные данные – это важнейшая для бизнеса информацией о клиентах, продуктах, услугах, персонале, технологиях, материалах и прочей доменных объектах, которые редко изменяются и не являются транзакционными. В России и СНГ сложилась практика наименования таких данных термином «нормативно-справочная информация» (НСИ) . В данной статье мы будем считать эти понятия синонимами.

Классический пример, показывающий необходимость управления НСИ – это кейс с разными названиями одного и того же объекта. Например, сокращенное и полное наименование контрагента в разных учетных системах. Такая путаница с записями может привести к некорректным или несвоевременным действиям. Например, повторные звонки клиенту с предложением товара или услуги, которыми он уже воспользовался, отсутствие скидок по программам лояльности и даже пропажа товарно-материальных ценностей из-за невозможности их однозначной идентификации в складских системах. В частности, в типовых маркетинговых кампаниях от 20 до 40% клиентских профилей – это дубликаты или фейковые записи. Однако, все они учитываются при распределении рекламного бюджета, что приводит к неэффективным инвестициям . В эпоху Big Data, когда всяких данных, в т.ч. основных, становится все больше, проблема эффективного управления ими особенно актуальна.

Основные данные отличаются от транзакционных большей стабильностью, меньшими объемами и усложненной структурой. Например, разные сведения о клиенте в различных бизнес-подразделениях. При этом метаданные, которые описывают непосредственно НСИ, могут меняться достаточно часто. Поэтому требуется не только сбор, но и представление мастер-данных для последующего бизнес-анализа. Необходимо работать с текущими данными и анализировать историю их изменений . Например, чтобы сохранить накопленные клиентом бонусы при смене наименования фирмы или изменении паспортных данных физлица.

Таким образом, главная цель управления мастер-данными – это гарантировать отсутствие пропущенных, повторяющихся, неполных и противоречивых записей об объектах бизнес-домена во всех корпоративных информационных системах. Для этого существует целая ИТ-дисциплина — Master Data Management, которая включает целый ряд структурированных подходов, процессов и инструментов по эффективному управлению НСИ.

MDM-система как средство синхронизации разных представлений об одном объекте

И все же, писать или покупать?

Поддержка доменов. Исторически многие MDM-системы развивали архитектуры с поддержкой какого-то одного домена, например, Клиентов. Такие системы часто плохо поддерживают другие домены и не специализируются на них. Например, принципы работы с данными домена Клиентов и с данными домена Продукции очень сильно отличаются

Поэтому категорически недостаточно проанализировать функционал системы на примере какого-то одного домена, нужно смотреть все.
Если у вас планируется внедрять коллективный метод использования (Collaborative method of use), то обратите внимание на удобство настройки бизнес-процессов и ролей пользователей. Это должно по возможности делаться без программирования, в параметрическом режиме, т.к

процессы и регламенты часто меняются.
Если же вы планируете внедрять операционный метод использования (Operational method of use) с максимальной автоматизацией функций обработки данных и с минимальным привлечением дата-стюардов, то нужно обратить внимание на наличие механизмов автоматической обработки и механизмов по настройке последовательности их использования, на наличие быстрых способов передачи данных между системами-источниками и MDM.

Вот некоторые пункты, которые нужно обязательно проверить:

1. Попросите потенциального поставщика MDM смоделировать объект мастер-данных наибольшего объема и загрузить эти данные в MDM. Оцените скорость загрузки данных.
2. Проведите разного рода поиски по загруженным данным: поиск по основным атрибутам, поиск по дополнительным атрибутам, нечеткий поиск по разным алгоритмам, полнотекстовый поиск. Оцените скорость поиска. Это очень важный базовый параметр. От скорости и качества поиска зависят многие другие функции системы и скорость их работы. Если на этом этапе наблюдается медленная работа системы, то дальше будет только хуже.
3. Измените модель какого-либо объекта мастер-данных или ее атрибут. Оцените скорость реструктуризации информации и скорость откатки назад в случае непредвиденной ситуации.
4. Проанализируйте время отклика системы на стандартные запросы в том режиме использования, который планируется к внедрению у вас в компании. Например, многие MDM-системы удовлетворительно работают в режиме Transactional Hub, когда все данные вводятся непосредственно в MDM и потом распределяются по системам-подписчикам, но при этом их производительности не хватает при работе в режиме Coexistence Hub, когда нужно очень быстро взаимодействовать между системами в двухстороннем режиме в реальном времени.
5. Проанализируйте, какие интеграционные механизмы поддерживает MDM система и насколько это согласуется с теми системами, с которыми предполагается взаимодействовать. Проверьте легкость подключения новых систем-подписчиков и скорость их подключения. Также важна возможность изменять логику и маршруты получения и распространения данных без глубокой модификации всех систем и с минимальными простоями.

Возможности 1С:MDM

1С:MDM представляет собой программное решение, помогающее унифицировать нормативно-справочную информацию (далее — НСИ) во всех информационных системах предприятия и организовать эффективное управление ей на систематической основе.

1С:MDM предназначена для построения единых систем НСИ в компаниях со сложным информационным ландшафтом и дает возможность эффективно обрабатывать большие объемы информации.

1С:MDM позволяет автоматизировать процессы консолидации, первичной обработки и ведения нормативно-справочной информации, а также обеспечивает функции интеграции НСИ между различными учетными и информационными системами.

1С:MDM обеспечивает поддержку процессов нормализации данных и поддержания объектов НСИ в актуальном состоянии. С помощью данного решения осуществляется поддержка целостности и непротиворечивости НСИ.

В 1С:MDM реализована возможность группировки НСИ по различным атрибутам и признакам.

В общем случае конфигурация 1С:MDM используется для управления процессом ведения НСИ по следующей цепочке:

1. Пользователь формирует заявку на добавление, изменение или удаление НСИ;
2. Эксперт по НСИ обрабатывает заявку и принимает решение о возможности добавления, изменения или удаления НСИ;
3. Эксперт создает вносит необходимые изменения в НСИ по утвержденным правилам в 1С:MDM;
4. После внесения изменений экспертом НСИ происходит автоматическая передача информации в остальные информационные системы компании, с которыми интегрирована 1С:MDM.

В графическом виде основные варианты ведения НСИ с использованием 1С: MDM представлены на рисунке 1.

Рисунок 1. Варианты ведения НСИ с использованием 1С:MDM.

Взаимодействие T-FLEX MDM с внешними информационными системами предприятия

Обмен данными T-FLEX MDM с внешними информационными системами организуется с помощью стандартных обменных механизмов платформы, перечень которых очень широк — начиная с чтения из Excel-файла и завершая обменом через web-сервисы.

Принципы организации работы внешних систем с нормативно-справочной информацией с учетом информации из MDM-системы базируются на административном решении руководства предприятия о применяемом уровне централизации работы с основными данными. Можно выделить три метода централизации работы с данными:

1. Централизация. Вся нормативно-справочная информация рождается в едином центре и распространяется во внешние системы.
2. Консолидация. При этом все элементы НСИ, созданные в клиентских системах, передаются в АСУ НСИ, где эти элементы сопоставляются с эталонами и формируют карту распределения НСИ (реестр соответствия эталону) по системам.
3. Гармонизация. При данном методе элементы НСИ могут заводиться как в клиентских системах, так и непосредственно в АСУ НСИ. Элемент, созданный в клиентской системе, передается в АСУ НСИ, откуда рассылается по остальным клиентским системам. Такой подход универсален и сочетает в себе лучшие стороны методов централизации и консолидации.

Все вышеперечисленные методы поддерживаются системой T-FLEX MDM.

Окупятся ли инвестиции в систему управления мастер-данными?

Питер был в замешательстве. Качественная система управления мастер-данными могла повысить продуктивность, облегчить коммуникацию внутри компании и с партнёрами, ускорить выведение новых продуктов на рынок и снизить затраты. Кроме того, она позволила бы команде Питера улучшить качество мастер-данных, установить единую омниканальную среду для клиента, в которой тот получал бы унифицированный опыт.

Однако для того, чтобы получить финансирование, Питеру было нужно убедить своего нового боса Лизу в необходимости инвестиций в MDM-систему. Кроме того, ему нужна была поддержка руководителей смежных отделов: отдела категорийного управления ассортиментом товаров, отдела контент-маркетинга и мерчандайзинга. Для того, чтобы убедить коллег и руководство, Питер начал собирать реальные кейсы, результаты которых были измерены. Кейсы оказалось нелегко найти. Чтобы помочь ему с этой задачей я собрала примеры успешного использования систем управления мастер-данными из оптовой и розничной торговли и производства.  Вот таких результатов удалось добиться разным компаниям.

Система управления мастер-данными создала ценность данных для бизнеса, которые можно измерить

• В Kmart Australia решение в 4 раза ускорило внедрение новых продуктов на рынок (Эмма Туп, менеджер по стратегическим онлайн-инициативам, Kmart Australia).
• В Saint-Gobain Distribution BeNeLux MDM-система на 67% ускорила расчёт стоимости товаров и услуг для клиента – с 60 минут до 20 – (Рон Кесселс, директор направления e-business, Saint-Gobain Distribution BeNeLux).
• При покупке новых бизнесов системы интегрируются на 94% быстрее. Ранее на это требовалось 3 месяца, теперь 5 дней (Том Готтвейс, бывший руководитель отдела стратегии данных Winsupply и старший консультант в Ideosity Inc.).
• MDM-система помогла ElkJop на 60% ускорить вывод новых продуктов на рынок. Этого удалось добиться благодаря более быстрому размещению новой продуктовой информации. Раньше на это уходило несколько часов, теперь – всего несколько минут (Томас Тхикьяер, архитектор мастер-данных, ElkJop).
• Бизнес вырос на 60%, удалось выполнить цели по продажам. Весь ассортимент продуктов сейчас доступен онлайн (Эмма Туп, менеджер по стратегическим онлайн-инициативам, Kmart Australia).

Управление данными не только для ИТ-отдела

Я работаю в Informatica, в компании, которая разрабатывает программное обеспечение для управления данными. Мне часто приходится сталкиваться с тем, что не ИТ-специалисты считают нашу сферу слишком технической. Мне и моим коллегам постоянно указывают на дверь ИТ-отдела. Сотрудники всех остальных департаментов считают, что именно там мы должны рассказывать о своих решениях и технологиях. Однако нельзя отрицать, что данные сейчас имеют большое значение не только для ИТ, но и практически для всех в компании.

Я понимаю, ваш рабочий день может быть наполнен требованиями к эффективности цепочки поставок, KPI по продажам, маркетинговыми мероприятиями или задачами по снижению стоимости продукции. Поэтому может показаться, что управление данными должно быть задачей кого-то другого. Но это только наполовину правда.

Управление данными – это командный спорт

Самые успешные спортивные команды включают в себя игроков с разными умениями. Также и команда по управлению данными требует разных компетенций. Чтобы управление данными было максимально эффективным, бизнес-пользователи должны помогать определять самые ценные и чувствительные данные. Также не ИТ-специалисты лучше определяют качество данных в определённом контексте и лучше определяют, как часто должны выгружаться данные для разных процессов, в каком качестве и так далее.

При этом именно ИТ-специалисты должны в конце концов отвечать за то, что данные доставлены вовремя, очищены, защищены и в конце концов заархивированы в соответствии с правилами и политиками. Однако не стоит полностью оставлять ИТ-отдел подготовку этих политик и правил, чтобы избежать недопонимания того, что бизнесу нужно от данных.

Методы использования

Методы использования MDM (Method of use) определяют то, для чего MDM система будет использоваться на предприятии. Иными словами, кто будет потребителем мастер-данных (естественно, их может быть несколько).

Основных методов использования три:

1. Аналитический (Analytical)
2. Операционный (Operational)
3. Коллективный (Collaborative)

Аналитический метод использования поддерживает бизнес-процессы и приложения, которые используют мастер-данные преимущественно для анализа эффективности бизнеса, предоставляют необходимые отчеты и выполняют аналитические функции. Часто это происходит посредством взаимодействия MDM с инструментами и продуктами BI. Обычно аналитическая MDM-система работает с данными только в режиме чтения, она не изменяет данные в системах-источниках, но занимается их очисткой и обогащением.

Операционный метод использования позволяет собирать, изменять и использовать мастер-данные в процессе выполнения бизнес-транзакций (операций) и служит для поддержки семантической согласованности мастер-данных в рамках этих операций внутри всех операционных приложений. Фактически, в этом случае MDM функционирует как OLTP-система, которая отрабатывает запросы от других операционных приложений или пользователей. Работа в таком режиме зачастую требует построения единого интеграционного ландшафта с использованием принципов сервис-ориентированной архитектуры (SOA) и применением инструментария сервисной шины предприятия (ESB). Идеально, если такие инструменты или входят непосредственно в MDM-систему, или являются ее продолжением (есть вендоры, которые имеют в своей линейке и MDM и ESB-решения, глубоко интегрированные между собой).

Коллективный метод использования позволяет создавать мастер-сущности в случаях, когда требуется коллективное взаимодействие между различными группами пользователей в процессе этого создания. Такое согласование обычно имеет сложные «ветвящиеся» бизнес-процессы, состоящие из различных автоматических и ручных задач. Ручные задачи выполняются различными специалистами по работе с данными (дата-стюардами) в порядке, определенном бизнес-процессом. Чаще всего коллективный метод использования применяется в продуктовом домене. Например, при создании нового продукта, когда существуют несколько ответственных за ввод разных данных, много ручной работы и финальное согласование

Важно, чтобы MDM-система позволяла настраивать произвольные бизнес-процессы для быстрой поддержки бизнес-процессов конкретного предприятия.

Управление данными в области недвижимости

В этой области главную роль играют данные о местоположении объекта, текущих условиях на рынке, стоимости недвижимости в целом. Работа ведётся с данными из автоматизированных систем управления зданиями, с сенсоров интернета вещей, из открытых источников и других источников. Из этих данных можно получать масштабные инсайты, которые можно будет использовать для всего процесса принятия решений, в том числе:

• при выборе местоположения объекта;
• для мониторинга систем отопления, вентиляции, кондиционирования, который помогает понять, когда ремонтировать систему, а когда её нужно заменить;
• для мониторинга освещения и потребление энергии;
• для обеспечения безопасности и улучшения рабочего места;
• для определения поэтажного плана здания и количества переговорных комнат (например, на основе рассадки сотрудников в бизнес-центре и частоты использования переговорных комнат).

Кроме того, принятие решений на основе данных и дата-центричные процессы помогают компаниям в сфере недвижимости эффективно управлять своими активами удалённо. А это в свою очередь помогает им снижать затраты.

Среди тех, кто ведёт успешное управление данными IoT с помощью Master Data Management, – JLL. Эта компания – мировой лидер на рынке профессиональных услуг в сфере недвижимости и управления инвестициями.

StealthAUDIT

Платформа для управления неструктурированными данными. Возможность интеграции со системами IAM, HR и другими приложениями, которая облегчает работу по защите конфиденциальности данных. Предоставляет десятки уже сформированных шаблонов отчетности, а также позволяет самим создавать необходимую отчетность для опытных пользователей. Одним из преимуществ программы это автоматизированное выявление устаревших и повторяющихся данных и очистка их из системы.

Позволяет отслеживать устаревшие списки рассылки, чтобы видеть, какие из них не используются, а также определяет кто является владельцами DL, и, если владелец не был назначен, определит кто является “Наиболее вероятным владельцем”.

Для чего нужны системы управления мастер-данными?

Аналитики утверждают, что существенную часть любого ИТ-проекта занимает работа с мастер-данными. Их сбор, выверка, приведение к необходимому формату, загрузка не только занимают 20-50% от общего объема проектных работ, но в большинстве случаев решаются преимущественно внутренними ресурсами банка, которые, как мы знаем, всегда ограничены.

Часто для консолидации данных (в первую очередь клиентских), требуется привлекать представителей бизнес-подразделений что существенно повышает проектные риски и снижает удовлетворенность потребителей услуг ИТ-департамента. Самое досадное, что по завершению очередного проекта данная задача никуда не уходит, а в полный рост встает в новом проекте. При этом «чистые» данные, перенесенные в новую систему в процессе внедрения, стремительно теряют свою актуальность. Кумулятивные затраты на работу с мастер-данными за период, охватывающий несколько проектов, являтся впечатляющими.

Для устранения подобных ситуаций созданы специализированные системы управления мастер-данными (Master Data Management). Задача решается всего один раз, путем создания процесса управления клиентскими данными. В итоге все новые ИТ проекты получают «ускоритель» – стандартизированный источник мастер-данных. Вот некоторые эффекты, которые можно получить при внедрении MDM-системы в зрелой ИТ инфраструктуре, интегрированной на основе промышленной шины.

Кроме того, в разы снижается риск несоответствия процедурам работы с клиентскими данными. Например, Toyota Bank в США принял решение о внедрении системы Oracle MDM, поскольку ужесточение требований к обработке персональных данных потребовало введение строгих процедур управления рассылками. Большинство банков были просто вынуждены отказаться от проведения прямых рассылок, чтобы избежать риска судебного преследования. Но Toyota Bank выбрал другой путь. Внедрение МDМ-системы позволило банку обеспечить исполнение всех необходимых процедур и существенный рост бизнеса благодаря эффективному использованию канала прямых рассылок, недоступных большинству банков в регионе.

Результаты нагрузочного тестирования T-FLEX MDM

Комплекс T-FLEX PLM, также как и составная его часть T-FLEX MDM, успешно используется на крупных предприятиях при проектировании и производстве сложных изделий. При этом количество объектов, с которыми работает система, может измеряться многими миллионами, а, следовательно, особые требования предъявляются к быстродействию системы. Компанией «Топ Системы» были проведены тестовые нагрузочные испытания системы, которые подтвердили комфортную работу системы с 84 млн объектов и 245 млн различных параметров в одном справочнике. Система поддерживает свыше 30 тыс справочников. Это доказывает, что T-FLEX MDM готова к обработке большого количества данных и работе в крупных компаниях.

Сейчас T-FLEX MDM уже активно используется на ряде предприятий, но при этом ведется постоянная работа над развитием функциональности системы.

Big Data и машинное обучение для MDM

Для того чтобы увеличить производительность процессов управления данными, многие предприятия в 2021 году начали активно использовать MDM-процессы в сочетании с машинным обучением и Big Data.

Так, технология MDM улучшает качество данных, используемых для машинного обучения, автоматизируя процесс подготовки данных и повышая точность модели. И наоборот, машинное обучение позволяет MDM автоматизировать процесс дедубликации и выявления взаимосвязей между записями, что помогает компании более эффективно управлять ресурсами.

Более того, внедрение Big Data и машинного обучения значительно сокращают нагрузку на сотрудников. Так, согласно исследованию, бизнес-аналитики и другие специалисты по анализу данных тратят 80% своего времени на поиск, очистку и реорганизацию соответствующих наборов данных. В этом случае машинное обучение можно использовать для автоматизации исправлений, внесенных ранее вручную, которые платформа в дальнейшем запомнит и будет применять самостоятельно.

И, конечно же, чем быстрее и эффективнее управление данными, тем больше новых данных можно внести в справочники и тем лучше общие данные, доступные для управления бизнес-аналитикой, операциями и прогнозной аналитикой на основе машинного обучения.

Процессы и инструменты Master Data Management

Задачи MDM включают сбор, накопление, очистку, сопоставление, консолидацию, проверку качества и распространение корпоративных данных, а также обеспечение их последующей согласованности и контроль использования в различных операционных и аналитических приложениях . Обычно эти операции реализуются с помощью специализированного программного обеспечения. Например, Informatica Data Quality, Microsoft Data Quality Services, Oracle Enterprise Data Quality, SAP Data Services, Talend Open Studio for Data Quality и другие коммерческие продукты, а также открытые сервисы. Аналитическое агентство Gartner составило рейтинг популярных MDM-решений, проранжировав их по удобству использования, функциональным возможностям и отзывам профессионалов .

С технической точки зрения внедрение MDM сводится к синхронизации и единому представлению справочных данных в разных информационных системах. Традиционно это делается с помощью следующих вариантов :

• централизованная НСИ, когда в качестве эталонного хранилища НСИ выбирается одна информационная система, а остальные считывают данные из нее. При простоте внедрения и поддержки актуальности данных, такая MDM-система не является отказоустойчивой и критически зависит от текущей доступности центрального звена.
• аналитическая НСИ, когда мастер-данные создаются в отдельных бизнес-приложениях, а затем отправляются в общую систему, где из этих элементов формируется единая запись справочника. Достоинство этого метода – быстрота внедрения с минимальным вмешательством в клиентские системы. Недостаток – отсутствие согласованных мастер-данных в конечных бизнес-приложениях.
• гармонизированная НСИ, которая сочетает преимущества двух вышеперечисленных подходов, но лишена их недостатков. За счет взаимной интеграции центрального звена с отдельными бизнес-приложениями, она позволяет заводить мастер-данные в локальных системах и сопоставлять с уже существующими записями, искать потенциальные дубли, разрешать конфликты одновременного изменения одних и тех же данных в разных источниках и синхронизировать локальные записи НСИ. Минусом этого варианта является сложность его реализации и необходимость модификации клиентских приложений.

Третий подход наиболее перспективен для MDM-операций с помощью инструментов Big Data. В частности, именно он позволяет использовать для этого средства искусственного интеллекта. Как это реализуется на практике, мы рассмотрим далее.

Управление данными для всех

Сотрудники различных департаментов должны принимать участие в управлении данными. Если участия они принимать не будут, как-то влиять на эти процессы они не смогут.

Бизнес-пользователи давно признали данные ценным активом, но до сих пор стараются ускользнуть от активного участия в управлении данными. Однако в отличие от других активов, данные не входят область ответственности одного отдела. Данные создаются во многих системах и используются многими людьми. Из-за этого сложно просить один отдел (даже если это ИТ-отдел) полностью брать ответственность за управление данными. Давайте подробнее рассмотрим три основные причины того, почему не ИТ-специалисты должны принимать активное участие в управлении данными.

Что такое «система управления мастер-данными» и зачем она нужна +13

• 16.03.17 15:08

•
AXELOT-IT
•
#324148
•
Хабрахабр

•
Из песочницы

•

•

3500

Терминология IT
Рекомендация: подборка платных и бесплатных курсов таргетированной рекламе — https://katalog-kursov.ru/

Какие бывают данные
Прежде чем перейти непосредственно к системам управления мастер-данными, давайте определим, какого рода вообще бывают данные.
Ниже представлены 5 ключевых типов:
1. Метаданные (Metadata);
2. Референс-данные (Reference data);
3. Мастер-данные (Master data);
4. Транзакционные данные (Transactional data);
5. Исторические данные (Historical data).Метаданные – это данные о данных. Они нужны для понимания и определения, какими данными оперирует предприятие. Метаданные определяют структуры, типы данных, доступы к ним и т.д. Существуют различные схемы для описания метаданных. Например, для описания структуры XML-документа может применяться XSD-схема, для описания веб-сервиса – WSDL-схема.Референс-данные – это относительно редко меняющиеся данные, которые определяют значения конкретных сущностей, используемых при выполнении операций в рамках всего предприятия. К таким сущностям чаще всего относятся: валюты, страны, единицы измерения, типы договоров/счетов и т.д.Мастер-данные – это базовые данные, которые определяют бизнес-сущности, с которыми имеет дело предприятие. К таким бизнес-сущностям обычно относятся (в зависимости от предметной отраслевой направленности предприятия) клиенты, поставщики, продукция, услуги, договора, счета, пациенты, граждане и т.п. Кроме информации непосредственно о той или иной мастер-сущности, в мастер-данные входят взаимосвязи между этими сущностями и иерархии

Например, с точки зрения поиска дополнительных возможностей продаж, может быть очень важно выявлять явные и неявные взаимосвязи между физическими лицами. Мастер-данные распространяются по всему предприятию и участвуют во всех бизнес-процессах

Обычно мастер-данные воспринимаются как ключевой нематериальный актив предприятия, т.к. от их качества и полноты зависит эффективность его работы. В России часто вместо термина «мастер-данные» используют термин «нормативно-справочная информация».Транзакционные данные – это данные, которые образовались в результаты выполнения предприятием каких-либо бизнес-транзакций. Например, для коммерческого предприятия: продажи продуктов и услуг, закупки, поступления/списания денежных средств, поступления на склад и т.п. Обычно такие данные базируются в системе управления ресурсами предприятия (ERP) или других отраслевых системах. Естественно, транзакционные системы широко используют мастер-данные при выполнении транзакций.Исторические данные – это данные, которые включают в себя исторические транзакционные и мастер-данные. Чаще всего такие данные аккумулируются в ODS и DWH системах и служат для решения различных аналитических задач и поддержки принятия управленческих решений.

Именно бизнес-пользователи получают выгоду от данных высокого качества

То, как качественные данные напрямую влияют на эффективное выполнение KPI, можно видеть на примере клиентов Informatica. При этом большинство ИТ-систем и аналитических алгоритмов прекрасно будут работать и с некачественными данными. Но в чём будет смысл их работы? Некачественные данные становятся причиной некачественных результатов. Это в свою очередь приводит к переделкам и неэффективному процессу принятия решений.

Именно поэтому очень важно для бизнес-пользователей принимать участие в управлении данными, так они могут напрямую улучшать качество данных и их доступность

Сервисные возможности системы для аналитика (Data steward)

Data steward – специалист, который контролирует и управляет данными, осуществляет проверку их корректности и качества.

Для реализации удобства работы с системой была разработана функциональность, позволяющая создавать новый элемент:

• по готовому образцу (шаблону);
• с учетом описанных необходимых требований для заполнения атрибутов;
• проверкой нового элемента на наличие дублей по описанным правилам;
• с наименованием, которое формируется по описанным правилам на основании заполненных атрибутов элемента.

Также в системе существуют механизм для определения многоплановой актуальности данных элемента и конструктор описания связей типов атрибутов MDM и сервисных функций, активированных для каждого типа атрибута.

Контроль качества заполнения атрибутов и настройки МД осуществляется при помощи функциональности «Аудита настроек», которая позволяет:

• описывать эталонные атрибуты элементов мастер-данных;
• анализировать соответствие настроек атрибутов элементов мастер-данных и эталонных значений, описанных при помощи конструктора;
• анализировать корректности настроек при помощи специальной отчетной формы;
• производить автоматический анализ корректности описаний по расписанию и рассылать информацию об отклонениях заранее настроенным группам адресатов.