检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成概述 DataArts Studio数据集成是一种高效、易用的数据集成服务,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud
单击“立即购买”,确认规格后提交。创建资源组失败时,如果显示配额问题,请联系工作人员申请配额。 购买成功后,即可返回对应的工作空间查看已购买的数据集成资源组。 套餐包方式购买数据集成资源组 如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购买一个和“套餐
数据集成 CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗?
数据集成 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
以再次购买免费版。但再次购买免费版时不能再勾选“CDM套餐包”,折扣套餐仅在首次购买免费版时赠送。 购买时长 1年 按您的需求选择购买的时长。 自动续费 - 勾选自动续费前的复选框,可实现自动按月或者按年续费。 购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。
数据集市 数据集市,也称为DM模型。是汇总表的统称。汇总逻辑表是由一个特定的分析对象(如会员)及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度(如会员),汇总逻辑表面向用户提供了以统计粒度(如会员)为主题的所有统计数据(如会员主题集市)。 汇总表分为“手
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构
如果套餐包和实际的CDM集群具有相同区域和规格,则以下情况也会产生按需费用: 如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包之前已经产生的费用以按需计费结算,购买套餐包之后的费用按套餐包计时。 父主题: 数据集成
数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 进入DataArts Studio数据集成主页面,单击操作列的“作业管理”。 图2 作业管理 在作业管理界面,选择“连接管理 - 新建连接”,进入创建连接页面。
数据集成API概览 表1 数据集成API类型 类型 说明 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 集群管理类型接口。 作业管理 表2 作业管理 API 说明 流控策略 查询作业 查询作业接口。 cdm_common 随机集群创建作业并执行 随机集群创建作业并执行接口。
movies_obs2dws(CDM Job节点):在节点属性中,选择步骤2:数据集成入湖中的CDM集群,并关联CDM作业“movies_obs2dws”。 ratings_obs2dws(CDM Job节点):在节点属性中,选择步骤2:数据集成入湖中的CDM集群,并关联CDM作业“ratings_obs2dws”。
集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 单击“立即购买”,确认规格后单击“创建”。 购买成功后,即可返回对应的工作空间查看已购买的数据集成集群。 套餐包方式购买数据集成集群 如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。
数据集成API错误码 调用API出错后,将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。当调用出错时,HTTP请求返回一个4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系客服,并提供错误码,以便尽快帮您解决问题。
周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群,如果无法满足业务需求,在购买DataArts Studio基础包实例后,您可以根据实际需求购买批量数据迁移增量包。 购买数据集成增量包的具体操作请参考购买批量数据迁移增量包章节。 新建数据集成连接
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 单击“立即购买”,确认规格后单击“创建”。 购买成功后,即可返回对应的工作空间查看已购买的数据集成集群。 套餐包方式购买数据集成集群 如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。
附:公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明 父主题: 数据集成API
支持的数据源(2.9.3.300) 数据集成有两种迁移方式,支持的数据源有所不同: 表/文件迁移:适用于数据入湖和数据上云场景下,表或文件级别的数据迁移,请参见表/文件迁移支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型。
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。
数据集成应用示例 本节通过cURL调用CDM API,迁移本地MySQL数据库中的数据到云上服务DWS为例,介绍使用CDM API的基本流程。 获取token 获取用户的token,因为在后续的请求中需要将token放到请求消息头中作为认证。 创建CDM集群 如果您已经创建过CD