检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以再次购买免费版。但再次购买免费版时不能再勾选“CDM套餐包”,折扣套餐仅在首次购买免费版时赠送。 购买时长 1年 按您的需求选择购买的时长。 自动续费 - 勾选自动续费前的复选框,可实现自动按月或者按年续费。 购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。
数据集成概述 DataArts Studio数据集成是一种高效、易用的数据集成服务,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud
快速计算出购买DataArts Studio资源组的参考价格。 按需计费方式购买数据集成资源组 购买“按需计费”增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。 通过以下方式购买资源组。 方式一: 单击已开通实例卡片上的“购买增量包”。 图1 购买增量包 方式二:
数据集市 数据集市,也称为DM模型。是汇总表的统称。汇总逻辑表是由一个特定的分析对象(如会员)及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度(如会员),汇总逻辑表面向用户提供了以统计粒度(如会员)为主题的所有统计数据(如会员主题集市)。 汇总表分为“手
集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 进入DataArts Studio数据集成主页面,单击操作列的“作业管理”。 图2 作业管理 在作业管理界面,选择“连接管理 - 新建连接”,进入创建连接页面。
集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 单击“立即购买”,确认规格后单击“创建”。 购买成功后,即可返回对应的工作空间查看已购买的数据集成集群。 套餐包方式购买数据集成集群 如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。
步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集
周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群,如果无法满足业务需求,在购买DataArts Studio基础包实例后,您可以根据实际需求购买批量数据迁移增量包。 购买数据集成增量包的具体操作请参考购买批量数据迁移增量包章节。 新建数据集成连接
集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 单击“立即购买”,确认规格后单击“创建”。 购买成功后,即可返回对应的工作空间查看已购买的数据集成集群。 套餐包方式购买数据集成集群 如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。
数据集成(离线作业) 离线作业概述 支持的数据源 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构
数据集成API概览 表1 数据集成API类型 类型 说明 集群管理 集群管理类型接口。 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 表2 集群管理 API 说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b
数据集成(CDM作业) 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
数据集成(CDM作业) CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗?
如果套餐包和实际的CDM集群具有相同区域和规格,则以下情况也会产生按需费用: 如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包之前已经产生的费用以按需计费结算,购买套餐包之后的费用按套餐包计时。 父主题: 数据集成(CDM作业)
数据集成(实时作业) 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程
数据集成API错误码 调用API出错后,将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。当调用出错时,HTTP请求返回一个4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系客服,并提供错误码,以便尽快帮您解决问题。
movies_obs2dws(CDM Job节点):在节点属性中,选择步骤2:数据集成中的CDM集群,并关联CDM作业“movies_obs2dws”。 ratings_obs2dws(CDM Job节点):在节点属性中,选择步骤2:数据集成中的CDM集群,并关联CDM作业“ratings_obs2dws”。
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?