Тысяча и один справочник в master data management ростелекома / хабр

Управление жизненным циклом мастер-данных:

Создание модели данных. В рамках создания модели данных определяются объекты мастер-данных, структуры их моделей и атрибуты

Принципиально важно обеспечить возможность гибкого создания и изменения модели данных на всем протяжении жизненного цикла объекта мастер-данных. В процессе ежедневной работы часто возникают ситуации, когда нужно быстро добавить недостающий атрибут или изменить существующую схему модели объекта мастер-данных

Выполнять эту задачу необходимо оперативно, в пользовательском режиме, без перепрограммирования и остановки системы.

Использование универсальных хранилищ данных. В отличие от, например, ERP-систем, данные MDM хранятся в специальных форматах, которые позволяют хранить данные одновременно в различных СУБД. Это обеспечивает быстрый доступ к данным в различных сценариях и дает возможность горизонтального масштабирования и кластеризации хранилищ данных. Типовым подходом считается разнесение информационных доменов по различным хранилищам данных.

Хранение кэшей «горячих» данных, размещаемых в памяти с активной подкачкой. Для обеспечения высокой скорости доступа к данным самые «горячие» данные загружаются в различные кэши в оперативной памяти. Специальные механизмы отслеживают изменяющуюся активность запроса данных и с помощью инструментов прогнозирования осуществляют оперативную актуализацию данных в кэшах.

Управление группировками и иерархиями объектов мастер-данных. Объединение объектов мастер-данных в группы или иерархии используется для решения множества прикладных задач, например, создания иерархии организаций, входящих в холдинг, или группировки товаров по какому-либо признаку и т.п.

Создание и управление взаимосвязями. Взаимосвязи существуют между объектами мастер-данных как внутри одного домена, так и между доменами. Например, можно установить несколько типов взаимосвязей между физическими лицами и организациями: физическое лицо может работать в организации, быть клиентом организации, быть поставщиком организации и т.д.

Версионирование и хранение истории изменений. Очень важно хранение исторической информации не только по самим объектам мастер-данных и атрибутам их моделей, но и по структуре моделей, взаимосвязям с другими объектами, иерархиями, группировками и т.д… Например, для принятия какого-либо решения может быть важно знать, что такое-то физическое лицо раньше было сотрудником такой-то организации. В идеальном случае история должна обеспечивать возможность отката состояния данных на любую выбранную точку восстановления.

Ведение таксономий. Для объектов мастер-данных могут быть определены различные таксономии. Например, для материально-технических ресурсов может быть задан один или несколько классификаторов: первый — группирующий элементы с точки зрения покупателя по товарным категориям, а второй – с точки зрения закупщика по поставщикам. От установленной таксономии могут зависеть наборы атрибутов модели того или иного элемента мастер-данных.

Обеспечение безопасности данных. MDM-система должна иметь инструменты по настройке и обеспечению разграничения доступа к данным как на уровне записей, так и на уровне атрибутов.

Проведение аудита. Должна быть возможность прослеживания истории всех изменений данных и моделей, кем и когда они были совершены.

Ограничения Microsoft MDS

Microsoft MDS по своим функциям не соответствует сценарию, приведенному выше. По своей сути, MDS представляет собой хоть и удобное, но лишь средство ведения справочников. Производителем подразумевается, что специалисты по корпоративным справочникам будут создавать эталонные справочники и наполнять их значениями. После этого они будут использоваться любой другой корпоративной информационной системой.

Исходя из вышесказанного, получается, что система Master Data Services решает только два пункта из приведенного выше сценария:

Ведение эталонных справочников.
Предоставление системам-потребителям средств для получения справочников.

Мы в своей работе решили использовать систему MDS, так как она была доступна без дополнительных вложений. Вместе с тем, мы дополнили её недостающими функциями, чтобы получить решение, полностью соответствующее типичному сценарию MDM.

Таблицы базы данных слоя Landing

Слой Landing не предназначен для хранения, его функция промежуточная – получить данные от системы-источника и затем выделить инкремент относительно того, что уже находится в справочнике.

Предположим, что мы имеем эталонный справочник «Услуги», сущность называется Service. И имеем справочник услуг, полученный от системы-источника, пусть эта сущность называется SERVICE_000085.

Тогда в слое Landing мы создаем два объекта баз данных:

Таблицу lnd.SERVICE_000085;
Хранимую процедуру lnd.Load_SERVICE_000085.

В таблице создаем поля, соответствующие полям справочника в источнике и нашему эталонному справочнику:

В хранимой процедуре пишем программный код:

Выполнение мэппинга справочника источника на эталонный выполнит пользователь, выбрав необходимую запись из эталонного справочника стандартными средствами MDS, как это показано на экране:

Кроме того, если требуется, то в приведенной выше хранимой процедуре можно запрограммировать автоматический мэппинг, для чего язык T-SQL имеет все возможности.

Управление данными в области недвижимости

В этой области главную роль играют данные о местоположении объекта, текущих условиях на рынке, стоимости недвижимости в целом. Работа ведётся с данными из автоматизированных систем управления зданиями, с сенсоров интернета вещей, из открытых источников и других источников. Из этих данных можно получать масштабные инсайты, которые можно будет использовать для всего процесса принятия решений, в том числе:

при выборе местоположения объекта;
для мониторинга систем отопления, вентиляции, кондиционирования, который помогает понять, когда ремонтировать систему, а когда её нужно заменить;
для мониторинга освещения и потребление энергии;
для обеспечения безопасности и улучшения рабочего места;
для определения поэтажного плана здания и количества переговорных комнат (например, на основе рассадки сотрудников в бизнес-центре и частоты использования переговорных комнат).

Кроме того, принятие решений на основе данных и дата-центричные процессы помогают компаниям в сфере недвижимости эффективно управлять своими активами удалённо. А это в свою очередь помогает им снижать затраты.

Среди тех, кто ведёт успешное управление данными IoT с помощью Master Data Management, – JLL. Эта компания – мировой лидер на рынке профессиональных услуг в сфере недвижимости и управления инвестициями.

Управление данными в ЖКХ

Для служб ЖКХ важно как можно аккуратнее и как можно чаще измерять потребление. Выполнять эту задачу помогают умные счётчики

Управление данными с помощью MDM-систем позволяет связать данные о клиентах, данные о счётчиках, которые они установили, с данными, которые были получены с этих счётчиков. Это позволяет лучше понять закономерности в потреблении электроэнергии, воды, тепла и так далее.

Кроме того, коммунальные службы могут использовать Master Data Management, чтобы делиться собранной информацией с клиентами. Это нужно для того, чтобы поднять их осведомлённость о проблемах окружающей среды. А также – рассказать о новых методах сбережения энергии, которые кроме прочего позволяют меньше платить за услуги ЖКХ. При оповещении клиентов с использованием MDM-системы требуется минимальное вмешательство сотрудников. Это позволяет коммунальным службам снизить затраты за счёт сокращения операций, которые выполняются вручную.

Система управления мастер-данными создала ценность данных для бизнеса, которые можно измерить

В Kmart Australia решение в 4 раза ускорило внедрение новых продуктов на рынок (Эмма Туп, менеджер по стратегическим онлайн-инициативам, Kmart Australia).
В Saint-Gobain Distribution BeNeLux MDM-система на 67% ускорила расчёт стоимости товаров и услуг для клиента – с 60 минут до 20 – (Рон Кесселс, директор направления e-business, Saint-Gobain Distribution BeNeLux).
При покупке новых бизнесов системы интегрируются на 94% быстрее. Ранее на это требовалось 3 месяца, теперь 5 дней (Том Готтвейс, бывший руководитель отдела стратегии данных Winsupply и старший консультант в Ideosity Inc.).
MDM-система помогла ElkJop на 60% ускорить вывод новых продуктов на рынок. Этого удалось добиться благодаря более быстрому размещению новой продуктовой информации. Раньше на это уходило несколько часов, теперь – всего несколько минут (Томас Тхикьяер, архитектор мастер-данных, ElkJop).
Бизнес вырос на 60%, удалось выполнить цели по продажам. Весь ассортимент продуктов сейчас доступен онлайн (Эмма Туп, менеджер по стратегическим онлайн-инициативам, Kmart Australia).

Сложности индустрии

Нефтегазовая индустрия – основа многих экономик мира. Но именно она чаще всего страдает от бурь постоянно меняющихся экономических трендов, требований регуляторов и технологических инноваций. Нефтяная и газовая промышленность зависит и от ценовой волатильности. Последняя основана на микроэкономической структуре спроса и предложения, на которую в свою очередь значительно влияют и геополитические изменения, и экономические кризисы, и даже публичные заявления.

Подливает масла в огонь ожесточённая конкуренция среди поставщиков. Кто-то готов на низкую маржу. У кого-то добыча сырья оказывается дешевле, чем у других игроков рынка. Достигать значительных и предсказуемых бизнес-результатов в таких условиях непросто. Кроме того, у предприятий в этой индустрии традиционно сложные и интенсивные процессы обработки данных

А эффективно управлять обработкой данных особенно важно, чтобы успешно работать в условиях постоянно меняющихся трендов, политик и инструкций

И все же, писать или покупать?

Поддержка доменов. Исторически многие MDM-системы развивали архитектуры с поддержкой какого-то одного домена, например, Клиентов. Такие системы часто плохо поддерживают другие домены и не специализируются на них. Например, принципы работы с данными домена Клиентов и с данными домена Продукции очень сильно отличаются

Поэтому категорически недостаточно проанализировать функционал системы на примере какого-то одного домена, нужно смотреть все.
Если у вас планируется внедрять коллективный метод использования (Collaborative method of use), то обратите внимание на удобство настройки бизнес-процессов и ролей пользователей. Это должно по возможности делаться без программирования, в параметрическом режиме, т.к

процессы и регламенты часто меняются.
Если же вы планируете внедрять операционный метод использования (Operational method of use) с максимальной автоматизацией функций обработки данных и с минимальным привлечением дата-стюардов, то нужно обратить внимание на наличие механизмов автоматической обработки и механизмов по настройке последовательности их использования, на наличие быстрых способов передачи данных между системами-источниками и MDM.

Вот некоторые пункты, которые нужно обязательно проверить:

Попросите потенциального поставщика MDM смоделировать объект мастер-данных наибольшего объема и загрузить эти данные в MDM. Оцените скорость загрузки данных.
Проведите разного рода поиски по загруженным данным: поиск по основным атрибутам, поиск по дополнительным атрибутам, нечеткий поиск по разным алгоритмам, полнотекстовый поиск. Оцените скорость поиска. Это очень важный базовый параметр. От скорости и качества поиска зависят многие другие функции системы и скорость их работы. Если на этом этапе наблюдается медленная работа системы, то дальше будет только хуже.
Измените модель какого-либо объекта мастер-данных или ее атрибут. Оцените скорость реструктуризации информации и скорость откатки назад в случае непредвиденной ситуации.
Проанализируйте время отклика системы на стандартные запросы в том режиме использования, который планируется к внедрению у вас в компании. Например, многие MDM-системы удовлетворительно работают в режиме Transactional Hub, когда все данные вводятся непосредственно в MDM и потом распределяются по системам-подписчикам, но при этом их производительности не хватает при работе в режиме Coexistence Hub, когда нужно очень быстро взаимодействовать между системами в двухстороннем режиме в реальном времени.
Проанализируйте, какие интеграционные механизмы поддерживает MDM система и насколько это согласуется с теми системами, с которыми предполагается взаимодействовать. Проверьте легкость подключения новых систем-подписчиков и скорость их подключения. Также важна возможность изменять логику и маршруты получения и распространения данных без глубокой модификации всех систем и с минимальными простоями.

Все атрибуты сливаются в золотые записи в MDM-системах

MDM-системы решают эту проблему за счёт создания единой «золотой записи» для каждого отдельного клиента. Чтобы создать такую запись, сопоставляются атрибуты клиентских данных в разных источниках, несколько записей сливаются в одну или во всех записях обновляются отдельные атрибуты. За счёт этого становится возможным обновлять данные в источниках и создавать надёжное и непротиворечивое видение клиента. Единое видение транслируется во все приложения организации, попадает во всю аналитику.

Ни один подход к сопоставлению нескольких записей не может предусмотреть все возможные варианты данных. Поэтому сопоставлением занимаются специализированный алгоритм в MDM-системе и отдельно выделенный для этого эксперт. Алгоритм в MDM-системы для сопоставления может быть детерминистическим, эвристическим, стохастическим. Он может сочетаться с другими техниками сопоставления, оценки, поиска. Возможность искать единые записи клиентов, оценивать источники и создавать из нескольких записей одну – золотую – приносит значительную пользу. Это касается и планирования спроса, и регистрации новых клиентов, и распределения территорий, и соответствия требований регуляторов. Также единое понимание клиента будет полезным для маркетинговых активностей, персонализации предложения, кросс-продаж, допродаж, управления компаниями по улучшению клиентского опыта.

Управление качеством

Анализ и профилирование данных. Прежде чем приступать к каким-либо манипуляциям с данными, необходимо эти данные изучить. Автоматические механизмы анализа и профилирования данных позволяют грубо оценить качество данных, выявить ошибки в данных, выстроить стратегию их обработки. Для анализа данных без привязки к какой-то предметной области чаще всего применяются методы статистического анализа. Данный анализ позволяет выявить наличие и глубину проблем с полнотой данных (пропуски), «подозрительными» записями (экстремальные значения и выбросы по одному из атрибутов, записи, не попавшие ни в один кластер), непригодными без предварительной подготовки атрибутами для использования в методах машинного обучения (пропуски, выбросы, экстремальные значения, малая частота встреч некоторых уникальных значений и т.д.). Если проводить анализ с погружением в предметную область и анализируемые домены, то следует учитывать подтипы данных (упорядоченные и категориальные) и виды данных (непрерывные и дискретные) для каждого атрибута. Определив основные типы, подтипы и виды данных, возможно обоснованно анализировать рассчитанные статистические показатели и провести профилирование имеющихся данных, определить способы коррекции их значений, подготовить данные для использования современных методов моделирования.
Валидация, стандартизация, очистка и обогащение данных. Тут могут применяться такие простейшие механизмы как приведение значений к единому формату (например, телефонных номеров), удаление/замена случайных вкраплений символов «другого» алфавита, удаление лишних пробелов, замена сокращений и аббревиатур по словарю, исправление явных опечаток и т.д… Также могут применяться и более сложные механизмы на основе бизнес-правил, использования для очистки и обогащения внешних баз данных (например, баз данных адресов или юридических лиц).
Выявление дублирующихся сущностей мастер-данных. Одна из ключевых возможностей системы. Должны быть как механизмы дедубликации на основании четких бизнес-правил для структурированных данных (часто используются в домене Клиентов), так и различные сложные семантические механизмы с возможностью самообучения для слабоструктурированных и неструктурированных данных (часто используются в домене Номенклатуры).
Работа дата-стюардов (экспертов), занимающиеся полуавтоматической или ручной обработкой данных. Должны быть рабочие места, где удобно выполнять различные манипуляции с данными, которые невозможно было выполнить автоматически на более ранних этапах, или этапы, за которые несет ответственность лицо, принимающее решение. К работе дата-стюардов может относиться редактирование атрибутов, не поддающихся автоматической обработке, подтверждение дубликатов и выбор «выживающего» элемента или атрибута и т.д.
Оценка изменения качества данных с течением времени. Это возможность создания специализированных KPI по качеству данных и отслеживания их состояния во времени. На основе этих показателей можно строить политику мотивации подразделения НСИ в компаниях.

Этапы внедрения MDM-системы

Моделирование (на данном этапе определяется структура данных, описываются модели бизнес-процессов, разрабатываются методики работы с нормативно-справочной информацией, определяются требования к интеграциям);
Настройка системы (на втором этапе устанавливается программное обеспечение, происходит настройка системы, загрузка исходных данных);
Обучение пользователей (на этом этапе подразумевается подготовка инструкций и проведение обучения пользователей);
Запуск MDM-системы (на заключительном этапе внедрения основной акцент делается на оперативном консультировании пользователей в течение определенного периода времени – обычно в течение месяца). В среднем срок внедрения MDM-системы колеблется от 5 месяцев до 1 года и зависит, прежде всего, от объема нормативно-справочной информации компании и ее сложности, а также от организационной готовности компании-заказчика к внедрению MDM-системы.

Как показывает практика, внедрение MDM-систем в российских компания является далеко не тривиальной задачей, к решению которой необходимо подходить очень ответственно. Тем не менее, кратное увеличение объемов и постоянное усложнение нормативно-справочной информации делает вопрос внедрения MDM-систем актуальным не только для крупных, но и для средних компаний.

Минфин установил пределы базы страховых взносов на 2022 год
Зачем нужна MDM-система?

Заказать помощь специалиста 1С

Домены мастер-данных нефтегаза и управление данными

Нефтегазовая отрасль разделена на три сектора. Некоторые компании работают только в одном из них, наиболее крупные предприятия – во всех трёх. Первый сектор – геологоразведка и добыча. Второй – хранение и транспортировка углеводородов. Третий – переработка и продажа

Чтобы организовать эффективное управление данными, прежде всего важно в каждом секторе вычленить несколько доменов мастер-данных. Мастер-данные – ключевая для организации информация

Домен мастер-данных «разведка и добыча» включает в себя информацию об активах: скважинах, материалах, гео-локационную информацию, а также о том, что с ними связано, например об инженерах и технических специалистах. Домен «хранение и транспортировка» включает в себя сведения о торговых партнёрах и дистрибуторах. Домен «переработки и продажи» – сведения о коммерческих и бытовых потребителях. Классическая схема продажи включает и мастер-данные об адресах отгрузок, крупных клиентах (например, авиакомпании и другие логистические компании, которые закупают миллионы галлонов топлива и смазочного материала), розничных клиентах заправочных станций. Кроме того, вся индустрия использует справочные данные и план счетов для подведения итогов затрат и прибыли. Ключевая проблема, с которой приходится сталкиваться, – мастер-данные рассредоточены в разных системах. Из-за этого организации становится сложно вовремя принимать решения, обеспечивать эффективность процессов и наращивать активы. Чтобы таких проблем избежать, нужно в разрозненных системах мастер-данные найти. А потом организовать управление данными с помощью MDM-системы.

Что такое master-данные?

Мастер-данные («основные данные» или «нормативно-справочная информация») — это данные, записывающие справочную информацию, то есть значения, которые могут использоваться для указания, к чему какие данные относятся. Самый простой пример применения мастер-данных – разного рода справочники или классификаторы.

MDM-системы — это решения для управления справочной информацией. Их главная цель — обеспечить единство представления массивов данных во всех информационных системах. Кроме того, такой тип решений позволяет решить проблемы несоответствия, дублирования и несопоставимости данных.

Для того, чтобы разобраться в том, как MDM-система должна функционировать, важно понять, как устроены процессы по работе с данными. Процессы можно поделить на несколько видов

Процессы можно поделить на несколько видов.

Reference Data Management — это простые линейные справочники, в которых не требуется какая-либо сложная логика, например, справочники стран или валют. Cамый многочисленный набор справочных данных, с которыми приходится работать.
MDM— это данные линейных или иерархических справочников с идентичной структурой хранения, где одна запись по своему составу и атрибутам похожа на другую. Пример таких справочников —клиенты, контрагенты, абоненты, организационная структура (например, сотрудники и все, что с ними связано).

Такие данные чаще всего подвергаются обязательной функции дедубликации (выявление и слияние дубликатов данных), поскольку работа с дублированными справочными данными может приводить к несоответствию отчетности, неверным решениям в части работы с клиентами и т.д.. Так, если для многих справочников (продуктовых/материальных ценностей) характерно централизованное ведение, то для клиентских справочников, где присутствуют физические лица, используют другую схему работы, которая называется консолидацией данных или гармонизацией мастер-данных.

Процесс консолидации начинается с появления данных во фронтальных системах, например, на интернет-порталах, после чего происходит их расшифровка и перемещение в систему управления нормативно-справочной информацией для поиска дубликатов, далее начинается разработка единой записи на основе всех, которые были найдены ранее. Затем данные направляются в хранилища, озера данных и другие системы как единая версия правды.

Сложные иерархические справочники, часто зависящие от других справочников. Самый частый пример — продукты, товары, услуги, работы.

Исходя из потребностей работы с мастер-данными, промышленные системы MDM в своем составе имеют возможность:

моделирования справочников;
выполнения интеграционных процессов по наполнению и последующему предоставлению мастер-данных;
слияния записей, которые были найдены как потенциальные дубликаты, или их разделения. Поскольку система может принять неверное решение, специалист должен иметь возможность вручную разделить записи и указать, что они уникальны. Для оптимизации этого процесса можно настроить систему так, чтобы она позволяла найти способ создать золотую запись или мастер-запись, которая соберет несколько дубликатов с различными полями и значениями;
установки вертикальных и горизонтальных связей между используемыми значениями. Так, если справочники иерархические, — например, справочник холдингов, — специалистам необходимо управлять составными частями холдингов и их частями, например, дочерними организациями, и «привязывать» туда людей. При этом между справочниками должны быть и горизонтальные связи. Например, есть клиент, у которого есть продукт, который он приобрел в конкретной торговой точке. Горизонтальная связь здесь формируется между этими тремя объектами.

Перенос данных из УПП 1.3 / КА 1.1 в БП 3.0 Промо

Разработка позволяет перенести остатки по всем счетам бухгалтерского учета, документы за период и всю справочную информацию из «1С: Управление производственным предприятием 1.3» / «1С:Комплексная автоматизация 1.1» в программу «1С:Бухгалтерия предприятия 3.0» на выбранную дату начала ведения учета. Обмен проводится либо с помощью правил (тариф «Базовый»), либо с помощью готовых обработок для обмена, которые можно подключить к конфигурациям (тариф «Удобно»).<br>
Конфигурации при использовании обмена остаются полностью типовыми. Перенос данных возможен в 1С: Бухгалтерию 3.0 версии ПРОФ, КОРП или базовую.<br><br>
Уже много лет (с февраля 2015г.) работаем над качеством алгоритмов переноса, расширяем функционал, улучшаем универсальность решения!

~~43889~~
39500 руб.

Роль данных для Американского онкологического общества

Американское онкологическое общество (ACS) решает благородные задачи: помогает пациентам с раком бороться с недугом. ACS обеспечивает таких пациентов и их семьи поддержкой, необходимыми знаниями и ресурсами.

Миллионы людей принимают участие в работе Американского онкологического общества. Это могут быть волонтёры, доноры, сотрудники, пациенты, те, кто уже выздоровел, сиделки. Кто-то может выполнять стразу несколько ролей. Для того, чтобы наладить эффективное взаимодействие всех этих людей, онкологическому обществу было необходимо эффективно управлять данными о каждом из них.

Управление жизненным циклом мастер-данных:

И все же, писать или покупать?

Вот некоторые пункты, которые нужно обязательно проверить:

Попросите потенциального поставщика MDM смоделировать объект мастер-данных наибольшего объема и загрузить эти данные в MDM. Оцените скорость загрузки данных.
Проведите разного рода поиски по загруженным данным: поиск по основным атрибутам, поиск по дополнительным атрибутам, нечеткий поиск по разным алгоритмам, полнотекстовый поиск. Оцените скорость поиска. Это очень важный базовый параметр. От скорости и качества поиска зависят многие другие функции системы и скорость их работы. Если на этом этапе наблюдается медленная работа системы, то дальше будет только хуже.
Измените модель какого-либо объекта мастер-данных или ее атрибут. Оцените скорость реструктуризации информации и скорость откатки назад в случае непредвиденной ситуации.
Проанализируйте время отклика системы на стандартные запросы в том режиме использования, который планируется к внедрению у вас в компании. Например, многие MDM-системы удовлетворительно работают в режиме Transactional Hub, когда все данные вводятся непосредственно в MDM и потом распределяются по системам-подписчикам, но при этом их производительности не хватает при работе в режиме Coexistence Hub, когда нужно очень быстро взаимодействовать между системами в двухстороннем режиме в реальном времени.
Проанализируйте, какие интеграционные механизмы поддерживает MDM система и насколько это согласуется с теми системами, с которыми предполагается взаимодействовать. Проверьте легкость подключения новых систем-подписчиков и скорость их подключения. Также важна возможность изменять логику и маршруты получения и распространения данных без глубокой модификации всех систем и с минимальными простоями.