检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL数据迁移到DWS 操作场景 CDM支持表到表的迁移,本章节以MySQL-->DWS为例,介绍如何通过CDM将表数据迁移到表中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建DWS连接 创建迁移作业 前提条件 已获取DWS数据库的IP地址、端口、数据库名
步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的
MySQL数据迁移到MRS Hive分区表 MapReduce服务(MapReduce Service,简称MRS)提供企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。 其中Hive提供类SQL查询语言,帮助用户对大规模的数据进行提取
审批中心 对于简单模式工作空间,当前支持开发者在提交脚本和作业时,由指定审核人进行审批。审批中心可以对单据审批进行统一管理,对审批人进行工作空间级的配置和维护。 约束与限制 仅当前工作空间的管理员或者拥有DAYU Administrator、Tenant Administrato
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON
步骤2:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前,需要先创建连接,让CDM集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。不同的迁移方式(表或者文件迁移),哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接),详情请参见支持的数据源。
新建数据对账作业 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 数据质量监控中的对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 创建作业 在DataArts
操作环境与数据准备 操作环境准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts
新建数据质量作业 质量作业可将创建的规则应用到建好的表中进行质量监控。 配置流程 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 (可选)选择“数据质量监控 > 质量作业”,新建目录。如果已存在可用的目录,可以不用新建目录。注意
更新维度 功能介绍 根据参数,更新维度信息。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/dimensions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查找维度 功能介绍 通过中英文名称、描述、创建者、审核人、状态、l3Id、衍生指标idList、修改时间分页查找维度信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimensions 表1 路径参数 参数 是否必选 参数类型
新建维度 功能介绍 根据参数新建维度。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/dimensions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
查看事实表详情 功能介绍 通过ID查看事实表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/fact-logic-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查看维度详情 功能介绍 通过ID查看维度详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimensions/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查找事实表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找事实表信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/fact-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查找表模型列表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找关系建模中的表模型信息,包括逻辑实体、物理表和其属性。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选
查询模型下所有关系 功能介绍 查询模型下所有关系。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/{model_id}/table-model/relation 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查看表模型详情 功能介绍 通过ID获取模型表详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/table-model/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目