主数据平台涉及与开发（数据平台为实现数据架构落地提供了技术支撑能力）

本篇文章给大家谈谈主数据平台涉及与开发，以及数据平台为实现数据架构落地提供了技术支撑能力对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享主数据平台涉及与开发的知识，其中也会对数据平台为实现数据架构落地提供了技术支撑能力进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、主数据概念到平台（22.2.13）
• 2、主数据的详细内容
• 3、主流的数据分析平台构架有哪些?
• 4、企业如何有效的进行主数据管理？
• 5、主数据管理的数据集成
• 6、大数据平台是什么？什么时候需要大数据平台？如何建立大数据平台？

主数据概念到平台（22.2.13）

谈主数据管理还是先从主数据概念说起，简单来将主数据是指跨多个业务系统共享并使用的集成静态数据。从这个定义里面可以看到主数据强调了两个关键点，第一是必须跨多个系统共享和使用，第二是它属于基础静态数据。所谓基础静态数据说明数据本身的新增变更都不频繁。从整个企业系统建设中，我们经常用到的企业客户、物料这些信息就属于主数据，而对于合同项目订单这类数据我们则一般不会纳入主数据进行管理。这些数据虽然也是跨多个系统使用的，但是这些数据本省的新增变更频繁，所以不能定义为主数据。

当我们建设了多个系统之后，特别是在多业务系统集成和协同的过程中主数据不一致的问题已经严重影响到业务系统流程的运作。比如一个供应商的数据，我们既在ERP里面有维护，同时在采购系统里面也有维护，导致两个供应商之间数据不一致。另外两个系统之间做数据同步，经常遇到一个系统里面缺少部分主数据，而造成同步失败，因此对于多跨协同系统的建设，主数据管理显得尤为重要。甚至比基础技术平台，比ESB总线还要重要。因此，我们现在建微服务平台，往往也需要将MDM主数据系统纳入其中进行一并建设。

说完主数据管理的概念，结下来谈一下主数据管理常见的两种模式。第一种就是共享模式，共享模式比较简单，因为共享主数据的维护还是在原来的业务系统里面。主数据只负责采集抽取相关主数据到主数据平台。清洗完成之后形成服务能力对外共享和开放。另外一种模式就是集中化模式，这个模式下所有数据的新增修改废弃所有源头统一到主数据管理平台。两种模式各有优缺点，共享模式实施起来相对较快，集中化模式建设周期较长。

如果原始主数据本身比较单一时，我们可以采取共享模式，但如果主数据源头就多样化不统一则最好采用集中模式进行管理。

主数据的业务方案简单的理解包含几个大的方面。其中就包括了组织人员，包括主数据的标准模型，包括主数据管理流程，包括主数据的质量管理。这些内容跟IT系统业务没有太大关系，但是业务部门需要提早制定出来的。比如某基础数据元数据，原模型规范，供应商本身编码和管理规范。供应商申请和使用流程，都是属于前期做业务解决方案的时候都需要提前梳理清楚的。

主数据的详细内容

应根据以下因素或更多因素综合考虑主数据：
企业绩效管理报告（如利润或收入计划随产品、客户、账户等产生的变化）要求综合多个系统的主数据。遵从报告要求一致性主数据。
同步交易系统处理特定客户（如提供具体报价）或供应商（如指定采购的首选供应商）。
主数据管理(MDM)的成熟度
根据主数据管理实施的复杂程度，参照Jill Dyche, Evan Levy的观点大体可以把主数据管理可以分为六个层次，从低到高反映了主数据管理(MDM)的不同成熟度。下面我们简单介绍一下这六个层次：
Level 0 ：没有实施任何主数据管理(MDM)
在Level 0的情况下，意味着企业的各个应用之间没有任何的数据共享，整个企业没有数据定义元素存在。比如，一个公司销售很多产品，对这些产品的生产和销售由多个独立的系统来处理，各个系统独立处理产品数据并拥有自己独立的产品列表，各个系统之间不共享产品数据。在Level 0, 每个独立的应用负责管理和维护自己的关键数据(比如产品列表、客户信息等)，各个系统间不共享这些信息，这些数据是不连通的。
Level 1 ：提供列表
不管公司大还是小，列表管理是我们常用的一种方式。在公司内部，会通过手工的方式维护一个逻辑或物理的列表。当各个异构的系统和用户需要某些数据的时候，就可以索取该列表了。对于这个列表的维护，包括数据添加、删除、更新以及冲突处理，都是由各个部门的工作人员通过一系列的讨论和会议进行处理的。业务规则(Business Rules)是用来反映价值的一致性，当业务规则发生改变或者出现类似的情况时，这样高度手工管理的流程容易发生错误。由于列表管理是通过手工管理的，其列表维护的质量取决于谁参加了变更管理流程，一旦某人缺席，将会影响列表的维护。
Level 2 ：同等访问(通过接口的方式，各个系统与主数据主机之间直接互联)
MDM Level 2与MDM Level 1相比，引入了对主数据的(自动)管理。通过建立数据标准，定义对存储在中央知识库(Central Repository)中详细数据的访问和共享，为各个系统间共享使用数据提供了严密的支持。中央知识库(Central Repository)通常会被称为“主数据主机(Master Data Host)”。这个知识库可以是一个数据库或者一个应用系统，通过在线的方式支持数据的访问和共享。
创建、读取、更新和删除 (CRUD)是处理基本功能的典型编程术语。即便在MDM中，CRUD处理也是基本功能。你的数据库如果仅仅支持CRUD处理并不意味着你实现了MDM。 MDM Level 2引入了“同等访问”(peer-based access)，也就是说一个应用可以调用另一个应用来更新或刷新需要的数据。当CRUD处理规则定义完成后，MDM Level 2 需要客户或“同等”应用格式化请求(和数据)，以便和MDM知识库保持一致。MDM知识库提供集中的数据存储和供应(provisioning)。在这个阶段，规则管理、数据质量和变更管理必须在企业范围内作为附加功能定制构建。
Level 3 ：集中总线处理
与MDM Level 2相比，MDM Level 3打破了各个独立应用的组织边界，使用各个系统都能接受的数据标准统一建立和维护主数据(MDM Level 2的主数据主机上存储的数据还是按照各个系统分开存储的，没有真正的整合在一起)。
集中处理意味着为MDM构建了一个通用的、基于目标构建的平台。大多数公司发现MDM正在挑战他们现有的IT架构：他们拥有太多的独立平台处理主数据。 MDM Level 3 集中数据访问、控制跨不同应用和系统使用数据。这极大的降低了应用数据访问的复杂性，大大简化了面向数据规则的管理，使MDM比一个分散环境具有更多的功能和特点。企业主数据面临一致性的挑战。数据在不同的地方存在，数据所代表的含义也是不同的，数据的规则各个系统之间也是不一样的。集中MDM处理-通过一个公共的平台作为一个总线(HUB)-说明一个共识，从多个系统整合主题域数据，意味着使用集中、标准化的方法转换异构操作数据，不管其在源系统中是什么样子，都会被整合起来。在MDM Level 3，公司对主题域内容采用集中管理方式。这意味着应用系统，作为消费者或使用主数据，拥有一个共识就是数据是主题数据内容的映像，打破了各个独立应用的组织边界。MDM Level 3支持分布主参考数据的存在。
Level 4 ：业务规则和政策支持
一旦数据从多个数据源整合在一起，主题域视图超越单独的应用并表现为一个企业视图，你将获得事实的单一版本。当事实的单一版本已经能够提供出来时，来自业务主管和执行人员的必然反应经常是：“证明它”。MDM Level 4可以保证主数据反映一个公司业务规则和流程，并证实其正确性。MDM Level 4通过引入主数据来支持规则，并对MDM总线以及其它外部系统进行完整性检查。由于多数公司相对比较复杂，影响业务数据访问和操作的规则以及策略 (rules and policies)相对也比较复杂。假定任何一个单一系统可以包含并管理与主参考数据相关的各种类型的规则是不切实际的。因此，如果一个MDM总线真正打算提供企业范围内数据的精确性，工作流和流程整合的支持是必不可少的。
Level 5 ：企业数据集中
在MDM Level 5 ，总线和相关的主数据被集成到独立的应用中。主数据和应用数据之间没有明显的分隔。他们是一体的。当主数据记录详细资料被修改后，所有应用的相关数据元素都将被更新。这意味着所有的消费应用和源系统访问的是相同的数据实例。这本质上是一个闭环的MDM：所有的应用系统通过统一管理的主数据集成在一起。在这个级别，所有在系统看起来都是事实的同一个版本。操作应用系统和MDM内容是同步的，所以当变更发生时，操作应用系统都将更新。在那些熟悉的MDM架构风格中，持久总线架构，当一个总线更新所有的操作应用系统将体现这种变更，形成改变的直接操作视图。在注册环境中，当数据数据更新时，总线将通过Web服务连接相关系统应用事务更新。因此，MDM Level 5提供一个集成的，同步的架构，当一个有权限的系统更新一个数据值时，公司内所有的系统将反映这个变更。系统更新完数据值后不要单选其他系统中相应值的更新：MDM将使这种更新变的透明。
从MDM Level 4到MDM Level 5意味着MDM功能性不是在一个应用内被特殊设计或编码的。这还意味着主数据传播和供应不需要源系统专门的开发或支持。所有的应用清楚的知道他们并不拥有或控制主数据。他们仅仅使用数据来支持他们自己的功能和流程。由于MDM总线和支持的IT基础架构，所有的应用可以访问主参考数据。一个公司在完成MDM Level 5后将使他们所有的应用连在一起—既包括操作的也包括分析的—所有访问主数据是透明的。举例说明，当一个客户更新她的状态—不要管注册该变更的系统—数据变更将被广播到所有的应用平台(因此一致起来)。MDM Level 5是把数据概念作为一种service来实现。MDM Level 5保证了一个一致的主数据主题域企业映像。定义“客户”和其他应用接受客户主数据业务规则变化实际上是一回事。MDM Level 5移走了主数据的最后一个障碍：统一采用数据定义、授权使用和变更传播。

主流的数据分析平台构架有哪些?

1、Hadoop

Hadoop 采用 Map Reduce 分布式计算框架，根据 GFS开发了 HDFS 分布式文件系统，根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo，Facebook，Amazon 以及国内的百度，阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建自己的分布。

2、Spark

Spark 是在 Hadoop 的基础上进行了一些架构上的改良。Spark 与Hadoop 最大的不同点在于，Hadoop 使用硬盘来存储数据，而Spark 使用内存来存储数据，因此 Spark 可以提供超过 Ha?doop 100 倍的运算速度。由于内存断电后会丢失数据，Spark不能用于处理需要长期保存的数据。

3、Storm

Storm是 Twitter 主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性，可以实时的处理大数据流。不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果。

4、Samza

Samza 是由 Linked In 开源的一项技术，是一个分布式流处理框架，专用于实时数据的处理，非常像Twitter的流处理系统Storm。不同的是Sam?za 基于 Hadoop，而且使用了 Linked In 自家的 Kafka 分布式消息系统。

Samza 非常适用于实时流数据处理的业务，如数据跟踪、日志服务、实时服务等应用，它能够帮助开发者进行高速消息处理,同时还具有良好的容错能力。

企业如何有效的进行主数据管理？

企业主数据治理主要分为4个阶段：主数据规划阶段、主数据标准梳理阶段、主数据治理阶段、主数据平台落地阶段。

1.主数据规划阶段

主数据规划阶段是主数据管理的第一个阶段主数据平台涉及与开发，这个阶段的工作一般都是主数据管理的顶层工作。该阶段的工作包括制定主数据管理组织、完善主数据管理制度、搭建主数据管理体系主数据平台涉及与开发，从而保证主数据的稳定运行。

2.主数据标准梳理阶段

主数据标准梳理阶段需要梳理主数据分类标准、主数据编码标准及主数据属性标准。需要调研收集企业现有标准、参考相关国家/行业标准，做差异及对标分析，从而找到现有标准不足，确定新标准的内容。

3.主数据治理阶段

主数据治理阶段需要梳理并检查现有数据中的缺失数据及噪声数据，发现现有数据的错误；并通过清洗、质检规则，完成历史主数据的治理工作，保障主数据管理平台铺地数据的准确性。

4.主数据平台落地阶段

主数据落地阶段也是主数据治理的最后一步。通过可靠的主数据管理平台，录入主数据标准，实现主数据规范化管理。这里推荐亿信主数据管理平台。

亿信主数据管理平台由北京亿信华辰软件有限责任公司自主研发，覆盖主数据标准；主数据质量；主数据采集、申请、新增、变更、审核、生效、失效、分发等全生命周期管理。全程“零”编码，帮助用户高效完成主数据管理流程制定；丰富的可视化报表，完成主数据全生命周期监控。亿信主数据管理平台通过其高可用性帮助企业快速搭建主数据管理平台，保障各业务系统主数据的一致性，提高企业运营效率

主数据管理的数据集成

MDM为继承和管理参考数据提供免代码、低维护主数据平台涉及与开发的解决方案。在MDM系统成为数据仓库的维数据的确定来源后主数据平台涉及与开发，它使数据仓库能够侧重于卷管理和数据交付的数据管理目标。
简而言之，主数据管理提供以下功能：
1. “匹配与合并”逻辑，用于从一个或多个源系统识别并整合重复记录
2. 宽泛的单元格级别关联和历史记录，为数据内容提供主数据平台涉及与开发了详细的审计跟踪
3. 适用于跨所有数据源和应用程序的所有关系数据的中央资料库
这些功能将极大降低与以下所述的数据仓库有关的总体开发和维护工作：
1. MDM共享维度
对于数据仓库的共享维度，MDM系统将是合规，已集成、已清洗和标准化的单一数据源。此系统将消除在填充合规的数据结构时所牵涉的大部分转换工作，使数据仓库资源能够着重于回答业务问题，而不是集成数据。
2. MDM渐变维度
对于保持维度变更的历史记录而言，渐变维度是最为有效和使用最为频繁的方法。通过提供进行历史记录跟踪的选项，MDM系统解决了这个性能问题。它可以记录所有对参考数据实体的更改，解放数据仓库，使之可以在维度渐变时权利跟踪数据细分的更改。当数据仓库维度增长放缓时，它们可以将查询和加载性能受到的影响降至最低。如果用户希望查询某记录的非渐变维的历史记录，他们可以展开浏览MDM系统中的历史记录表。
3. MDM和数据沿袭
数据仓库元数据和沿袭解决方案一般仅限于提供结构化和流程沿袭。MDM使用户不必再执行费时的手动数据跟踪，因为MDM为每个记录上的每个字段均保留了详细的数据沿袭（即在单元格级别的跟踪数据沿袭）。对于基础对象中的每个数据单元格，MDM系统可以识别为单元格提供值的源系统，尤其根据值的最新更新时间来识别该值是由哪个源系统中的哪条记录提供的。MDM系统还跟踪所有记录合并的历史记录。

大数据平台是什么？什么时候需要大数据平台？如何建立大数据平台？

1、大数据平台目前业界也没有统一的定义主数据平台涉及与开发，但一般情况下，使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架，建立计算集群，并在上面运行各种计算任务，这就是通常理解上的大数据平台。
2、至于一家企业什么时候需要大数据平台，这取决于这么几方面主数据平台涉及与开发：
业务需求：业务需求引导是必须的，不能光为了建平台而建平台，建立平台的最终目的是为了服务业务，让业务发展的更好。企业内大数据平台一般是信息管理部门、IT部门承建并承接一些数据需求，业务部门其实不关心你是不是用大数据平台还是用Oracle数据库计算出来的，那么这怎么评估呢主数据平台涉及与开发？其实主要还是数据量，比如业务部门是不是偶尔会提“去年全年的XX怎么样主数据平台涉及与开发？”、“去年全年的销售按照渠道、产品类别几个维度进行细分”、“需要用户行为数据、订单数据结合来做用户画像”、“需要给用户打标签”、“设备传感器的数据都有了，需要做实时的故障预测”等等，在承接各种业务需求的时候，是不是偶尔会出现任务运行很久的情况？会不会出现有些需求根本难以实现，因为计算量太大的问题？这就说明，业务上已经有大数据的诉求了，技术上并没有满足。
说到业务需求，企业内的信息管理部门也要注意，自己不能光承担需求，更重要的是要深入业务，理解业务，本部门对技术了解，如果对业务也多了解一下，就能够利用技术优势做到“想业务部门所未想”，实现比业务部门能提出更好的需求，并且能用大数据技术实现这个需求，这时候，信息管理部门的价值就更突出了，在企业内就再也不是一个承接需求或者背锅的部门了。
数据量与计算量：涉及到数据量的评估，也包括2方面：
现有的情况：现在有多少数据？都存储在哪里？业务部门提的各种指标需求，每天需要多长时间计算完成？每天什么时候完成昨天经营情况的数据更新？
增长的情况：每天、每周、每个月的数据增量有多少？按照这个增速，现有的配置还能满足多长时间的需求？
以上2个方面需要综合评估，现有数据量较多或者增长较快，那就需要做大数据平台的打算了。
先进性：本企业在技术上的布局是否需要一定前瞻性？需要早在数据量不太大的时候就进行技术探索？亦或是未来会上马新项目，新项目会产生大量数据。
公有云与私有云的选择：如果企业对公有云比较接受，其实可以考虑直接数据上公有云，公有云在国内主要就是阿里云、腾讯云、百度云等，其中阿里云的技术最为成熟，此外还有亚马逊的AWS等，但这里说的是搭建自己的大数据平台，就不深入展开了。
3、如何搭建大数据平台
建设一个大数据平台不是一朝一夕能完成的，不是下载安装几个开源组件那么简单。
涉及到：
技术层面：如何进行系统架构设计？集群资源如何评估？需要哪些组件？Hadoop、Spark、Tez、Storm、Flink，这些组件有什么区别？它们之间如何有机的组合起来？
团队层面：现有的技术团队配比如何？有没有人力搭建并且运维这个平台？有没有能力运营好这个平台？
对于非常重视主营业务的传统企业，信息技术部门的团队规模一般比较有限，建设一个大数据平台的成本是很高的，这个成本不仅是经济成本，还包括人才投入的成本、时间消耗的成本等等，如何能快速满足企业的大数据平台需求。这时候就可以考虑直接采购商用的大数据平台。
商用的大数据平台，市场上也有很多可以选择，比如星环、华为，此外还有袋鼠云数栈。
数栈的目标是通过产品化的方式，帮助企业构建数据共享能力中心。数栈不仅仅是一个大数据平台，同时附加各类数据处理工具，包括：
开发套件：一站式大数据开发平台，帮助企业快速完全数据中台搭建
数据质量: 对过程数据和结果数据进行质量校验，帮助企业及时发现数据质量问题
数据地图: 可视化的数据资产中心，帮助企业全盘掌控数据资产情况和数据的来源去向
数据模型: 使企业数据标准化，模型化，帮助企业实现数据管理规范化
数据API: 快速生成数据API、统一管理API服务，帮助企业提高数据开放效率
主要特点有：
1.一站式。一站式数据开发产品体系，满足企业建设数据中台过程中的多样复杂需求。
2.兼容性强。支持对接多种计算引擎，兼容离线实时任务开发。
3.开箱即用。基于Web的图形化操作界面，开箱即用，快速上手。
4.性价比高。满足中小企业数据中台建设需求，降低企业投入成本。
有了数栈，企业搭建数据平台就不再是什么问题，核心需求也就会从搭建数据平台转为满足更多的业务诉求，实现真正的企业数据共享能力中心 关于主数据平台涉及与开发和数据平台为实现数据架构落地提供了技术支撑能力的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 主数据平台涉及与开发的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于数据平台为实现数据架构落地提供了技术支撑能力、主数据平台涉及与开发的信息别忘了在本站进行查找喔。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。