一站式数据开发平台有哪些解决方案？（好用的专业数据建模工具）

当前大数据时代，数据建模对于业务系统设计与开发，数据仓库模型设计，主数据治理，数据分析都有举足轻重的作用，传统数据建模工具主要面向设计，而DDM创新的融合了数据治理理念，把数据治理推进到开发流程中，进行开发态的源头治理，解决了标准落地的难题。
Datablau DDM数据建模研发团队基于数据标准构建模型，通过确定概念模型、构建逻辑模型、建立物理模型的流程，为您优化数据库设计，助力企业完成数据治理、全面提升企业数据综合能力，从根本上控制企业增量的数据质量问题，从源头上提升企业新建系统的标准化和规范化。目前已经在多家银行、基金、保险、能源、政府、制造业等使用，效果显著。

一、解决方案简介

数据开发平台集成项目管理、数据建模、任务开发、任务发布、数据探索等一系列数据能力，同时提供可视化开发主界面，赋予用户智能代码开发、规范化任务发布的强大能力，高效完成大数据离线计算的核心业务开发，帮助企业实现快速、共享、可复用的一站式数据开发管控平台，助力企业用数据驱动业务增长。

二、应用场景痛点简介

金融行业数据研发岗位的工作大致可以概括为：了解需求→模型设计→ETL开发→测试→发布上线→日常运维→任务下线。传统的数据仓库开发（ETL）有如下几个特点：

业务变更频繁——业务发展非常快，业务需求多且变更频繁；

需要快速交付——业务驱动，需要快速给出结果；

频繁发布上线——迭代周期以天为单位，每天需要发布数次；

运维任务多——在每一层平均每个开发人员负责上百多个任务；

系统环境复杂——平台系统多为自研，且为了保证业务的发展，平台系统的迭代速度较快，平台的稳定性压力较大。

随着银行业务与数据的紧密融合,数据服务的交付能力和交付模式直接关系到银行对市场需求的响应能力和服务质量。在此背景下,基于敏捷开发思想提出了一种“DataOps”模式，各个企业逐渐从DevOps向DataOps延展，在商业银行数据类开发场景探索可行落地方法。

金融企业数字化转型从流程驱动走向数据驱动，从数字化走向智能化。而DataOps则是大数据平台、数据中台区别于传统企业数据架构的核心差异，是建设大数据平台、数据中台的必备底座能力。通过数据的敏态开发模式，有效提升银行科技的交付能力。

因此基于传统数据开发的痛点及DataOps敏态开发的模式，统一数据开发平台就是通过统一的开发流程、统一的数据模型规范和统一的数据研发规范，以敏态开发管控模式非常有效的解决以上数据研发的痛点。

三、解决方案亮点介绍

从业务流程的角度来说，数据开发平台所提供的服务，需要贯穿大数据处理链路的全过程，包括数据模型的设计、数据的处理，管理，查询，展示等环节。主要包括以下服务：作业脚本开发的编辑器模块，数据展示和交互式查询的数据可视化模块，任务管理的工作流调度模块，数据信息浏览的模块。

从产品形态的角度来看，也分为模型设计，数据开发，数据管理和运维中心这几个模块，大致对应了数据模型的设计，作业脚本的开发管理，表格元数据信息的编辑查询，权限的管理，以及任务的监控，管理，报警等内容。

提供一站式的服务，这是统一数据开发平台的重要的目标。但是最终的衡量标准，还是要体现在其价值收益上。一站式的服务只是一个手段，最终目的还是降低用户的学习和使用成本，提高生产效率和整个开发过程的管控。在统一数据开发平台的建设的过程中，通过集中管理各种服务，来降低开发和管理成本，最大化价值收益。

1. 开发流程工单化，管理有章可循

通过新建工单，开启模型设计、模型映射，通过对配置完毕的模型设计、模型映射结果内容，获取修改的模型的风险内容，并可以根据风险内容进行一键全部修改，审批通过的模型设计、模型映射通过发布功能发布到开发环境中，通过上线功能可实现相关模型设计、模型映射与线上内容保持一致。

2.开发过程规范化，提高开发质量

数据开发平台基于数据标准，通过配置化的数据开发模式，一站式的数据开发流程，覆盖模型设计、模型映射、指标开发等数据开发场景，实现数据开发全业务管控。

标准和模型变动时，会自动生成影响分析，数据审批时系统自动关联影响的内容，方便审核人验证及判断影响范围。当数据标准修改并发布之后，或者模型设计进行了优化(删除或者修改字段)，系统会自动生成影响分析，将影响产生的脚本语句进行提示，避免用户由于操作某个模型设计引发相关映射关系的丢失，进而避免表之间的血缘关系丢失。

3. 开发模式多样化，开发简单便捷

方式一：配置化开发脚本

无需SQL，直接通过页面配置化脚本开发的形式，大大降低开发门槛，配置完成后自动生成规范化的SQL脚本。

图1模型开发配置示意图

图2 模型开发自动生成DDL示意图

方式二：强大的IDE页面开发

通过提供强大IDE的开发体验，支持SQL格式化，支持语法检查，支持SQL血缘解析。

图3 数据开发页面IDE模式开发示意图

图4 数据开发生成血缘关系示意图

方式三：批量模板导入开发

通过数据模型模板批量导入，快速大批量完成数据建模工作；通过mapping模板根据预置的脚本模板，快速大批量完成脚本开发工作；通过模板方式大大降低人为错误和大幅度提高开发效率。

图5 批量导入模板示意图

4.开发库源集成化，支持多数据源

平台支持多种开发数据源类型，包括传统数据库及大数据库类型。目前已支持Mysql、Oracle、Hive、华为GaessDB、星环大数据库，未来产品不断的迭代，会不断集成支持更多的数据源类型，像GBase、Postgresql、腾讯TDsql、华为FI平台、阿里平台等。随着支持数据源的丰富，那么未来的ETL开发人员对于数据库、跨平台的技术技能要求也会大大降低。

5. 开发测试统一化，统一调度管理

统一在线开发、在线测试反馈；全面配置化的调度集成，支持讲数据开发作业脚本按时间、事件触发的任务触发机制，支持分钟、小时、天、周和月等多种配置作业调度周期。

图6 在线测试反馈展示图

6.开发数据资产化，支持资产搜索

完整的数据开发过程中的模型、作业程序、指标程序统计以及数据资产地图全貌展示。方便开发数据资产快速搜索。

图7 数据开发统计展示图

图8 数据开发资产地图展示图

四、金融行业客户名单

新疆农信、兴业银行、山西银行、新加坡绿联银行等。

五、客户评价

统一数据开发平台的功能建设，使银行DataOps数据敏捷开发管理一体化平台及数据中台建设的基础，更是行内数字化转型过程中大数据开发的一把利器，在实现数据开发规范化、统一化和流程化的管控的同时，能够构建一套体系降低相关人员开发、处理、利用数据的门槛，让所有人都能够“玩转数据”。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。