数据治理中心产品功能

使用功能

一站式数据运营平台

贯穿数据全流程的一站式治理运营平台,帮助企业构建完整的数据中台解决方案。

丰富的数据开发类型

支持多人在线协作开发,提供丰富的调度配置策略与海量的作业调度能力。

统一调度和运维

全面托管的调度,支持多种调度周期。

数据管理
支持可视化和DDL方式管理数据库表,支持管理DWS、DLI、MRS Hive等多种数据仓库。
作业开发
支持CDM、MRS、Spark等多种数据处理节点,通过任务间依赖完成复杂数据分析处理。
脚本开发
提供在线脚本编辑器,支持多人协作进行SQL、Python、Shell脚本在线代码开发和调测。支持导入和导出脚本。
资源管理
支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
作业调度
持单次调度、周期调度和事件驱动调度,周期调度支持多种调度周期。 作业调度支持多种云服务的多种类型的任务混合编排。
运维管理
支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。
配置管理
支持作业空间级的配置管理,例如环境变量、调度身份、参数模板等配置。

管理功能

数据集成

多种方式异构数据源高效接入,支持用户稳定高效地对海量数据进行移动。

数据架构

数据建模可视化、自动化、智能化。通过统一指标平台建设实现规范化指标体系。

数据服务

提升访问查询检索效率。为您提供快速将数据表生成数据API的能力。

表/文件/整库迁移
支持批量迁移表或者文件,同构/异构数据库之间整库迁移
文件校验一致性
检查端到端文件的一致性,并输出校验结果。
数据标准
构建统一的数据标准体系,数据标准流程化。用户可基于行业标准,对数据取值进行标准化,从而提升数据质量和易用性。
权限管理
设置不同的访问权限,以达到不同员工之间的权限隔离,进行精细的权限管理。
数据建模
构建统一的数据模型体系,通过规范定义和数据建模,自顶向下构建企业数据分层体系,便于数据的流通、共享,提升数据使用效率。
文件加密
在迁移文件到文件系统时,数据集成支持对写入云端的文件进行加密。
提升访问查询检索效率
为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。
快速开发一个作业
  • 开发一个Pipeline作业

    对已新建的Pipeline作业进行开发和配置。Pipeline模式作业包含批处理作业和实时处理作业(包含多种不同类型的节点算子)。

    了解详情

  • 开发一个单任务作业

    对已新建的单任务作业进行开发和配置。单任务作业包含批处理作业(各种SQL脚本和Data Migration)和实时处理作业(DLI Spark、Flink SQL、Flink JAR)。

    了解详情

快速开发一个作业
  • 开发一个Pipeline作业

    对已新建的Pipeline作业进行开发和配置。Pipeline模式作业包含批处理作业和实时处理作业(包含多种不同类型的节点算子)。

  • 开发一个单任务作业

    对已新建的单任务作业进行开发和配置。单任务作业包含批处理作业(各种SQL脚本和Data Migration)和实时处理作业(DLI Spark、Flink SQL、Flink JAR)。

数据治理中心数据开发使用指导

  • 作业调度支持每月最后一天 *HOT*

    在配置作业配置调度时,可以选择每个月的最后一天执行。

    在配置作业配置调度时,可以选择每个月的最后一天执行。

  • 补数据场景使用介绍 *TOP*

    补数据特性帮助用户补充以前时间段内的历史业务数据。

    补数据特性帮助用户补充以前时间段内的历史业务数据。

  • 生成元数据

    通过创建数据表去定义元数据的属性、类型等。通过关联数据表会自动生成元数据。

    通过创建数据表去定义元数据的属性、类型等。通过关联数据表会自动生成元数据。

  • 获取SQL节点的输出结果值 *HOT*

    获取SQL节点的输出结果值,并将结果应用于后续作业节点或进行判断。

    获取SQL节点的输出结果值,并将结果应用于后续作业节点或进行判断。

  • IF条件判断教程

    在进行作业编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。

    在进行作业编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。

  • For Each节点使用介绍

    开发作业时,任务的参数有差异但处理逻辑一致,通过For Each节点避免重复开发作业。

    开发作业时,任务的参数有差异但处理逻辑一致,通过For Each节点避免重复开发作业。

  • 获取Rest Client节点返回值教程

    本教程详细介绍如何获取Rest Client的返回值。

    本教程介绍如何获取Rest Client的返回值。

  • 开发一个Python脚本

    本教程介绍如何在数据开发模块上开发并执行Python脚本示例。

    本教程介绍如何在数据开发模块上开发并执行Python脚本示例。

  • 开发一个Hive SQL作业

    本教程介绍如何在数据开发模块上进行Hive SQL开发。

    本教程介绍如何在数据开发模块上进行Hive SQL开发。

  • 开发一个DWS SQL作业

    本教程介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。

    本教程介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。

  • 开发一个DLI Spark作业

    本教程通过一个例子演示如何在数据开发模块中提交一个Spark作业。

    本教程通过一个例子演示如何在数据开发模块中提交一个Spark作业。

  • 开发一个MRS Flink作业

    本教程介绍如何在数据开发模块上进行MRS Flink作业开发。通过MRS Flink作业实现统计单词的个数。

    本教程介绍如何在数据开发模块上进行MRS Flink作业开发。通过MRS Flink作业实现统计单词的个数。

  • 开发一个MRS Spark Python作业

    本教程介绍如何在数据开发模块上进行MRS Spark Python作业开发。

    本教程介绍如何在数据开发模块上进行MRS Spark Python作业开发。

  • Env内嵌对象

    Env内嵌对象提供了获取环境变量值的方法以及应用举例。

    Env内嵌对象提供了获取环境变量值的方法以及应用举例。

  • Job内嵌对象

    提供获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。

    提供获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。

  • StringUtil内嵌对象

    StringUtil内嵌对象提供一系列字符串操作方法,例如从一个字符串中截取一个子字符串。

    StringUtil内嵌对象提供一系列字符串操作方法,例如从一个字符串中截取一个子字符串。

  • DateUtil内嵌对象

    DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。

    DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。

  • JSONUtil内嵌对象

    JSONUtil内嵌对象提供了JSON对象方法和应用举例。

    JSONUtil内嵌对象提供了JSON对象方法和应用举例。

  • Loop内嵌对象

    使用Loop内嵌对象可获取For Each节点数据集中的数据。

    使用Loop内嵌对象可获取For Each节点数据集中的数据。

  • OBSUtil内嵌对象

    OBSUtil内嵌对象提供了一系列针对OBS的操作方法,例如判断OBS文件或目录是否存在。

    OBSUtil内嵌对象提供了一系列针对OBS的操作方法,例如判断OBS文件或目录是否存在。

  • 常用的EL表达式

    该指导总体介绍数据开发中常用的EL表达式以及应用示例。

    该指导总体介绍数据开发中常用的EL表达式以及应用示例。

  • 简易变量集

    简易变量集提供一系列自定义变量,自定义参数会根据任务调度的业务日期、计划时间等自动替换为具体的值,实现动态替换。

    提供一系列自定义变量,自定义参数会根据任务调度的业务日期、计划时间等自动替换为具体的值,实现动态替换。

  • 表达式使用示例

    在数据开发中EL表达式的灵活应用(如何在脚本中使用变量、作业传递参数给SQL脚本变量、参数中如何使用EL表达式)。

    通过本示例,用户可以了解数据开发模块EL表达式的使用方法。

  • 配置环境变量

    配置作业参数时,当某参数隶属于多个作业,可将此参数提取出来作为环境变量,环境变量支持导入和导出。

    配置作业参数时,当某参数隶属于多个作业,可将此参数提取出来作为环境变量,环境变量支持导入和导出。

  • 配置调度身份

    配置作业调度身份后,作业执行过程中,以配置的调度身份与其他服务交互。调度身份分为委托和IAM账户两大类。

    配置作业调度身份后,作业执行过程中,以配置的调度身份与其他服务交互。调度身份分为委托和IAM账户两大类。

  • 配置节点并发数

    设置一个作业空间同一时间允许正在运行的作业的最大并发数。用户根据实际业务需要配置节点的最大并发数。

    设置一个作业空间同一时间允许正在运行的作业的最大并发数。用户根据实际业务需要配置节点的最大并发数。

  • 配置默认项

    主要介绍默认项的配置。当前只有DAYU Administrator或Tenant Administrator权限的用户才有默认配置项的相关操作权限。

    主要介绍默认项的配置。当前只有DAYU Administrator或Tenant Administrator权限的用户才有默认配置项的相关操作权限。