检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
持以下场景的增量数据迁移: 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题: 数据集成(CDM作业)
只有当“规则名称”配置为“表达式校验”或者“合法性校验”时,需要配置表达式。 返回“导入数据标准”对话框,选择上一步配置好的数据标准模板文件,然后单击“上传文件”。 如果上传的模板文件校验不通过,请修改正确后,再重新上传。 在导入对话框中,导入结果会在“上次导入”页面中显示。如果导入成功,单击“关闭”完成
password here”替换为对应连接的正确密码。 将编辑好的JSON文件批量导入到CDM集群2,实现集群1和集群2之间的作业同步。 父主题: 数据集成(CDM作业)
授权使用实时数据集成 DataArts Studio提供实时数据同步能力,如果您期望使用该功能,本章节为您介绍相关用户授权的方法,操作流程如下。 图1 实时数据集成授权流程 约束与限制 已购买并配置DataArts Studio实例,并创建了可供使用的工作空间。 已创建IAM用户并授权使用DataArts
Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 在CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理
MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题: 数据集成(CDM作业)
设置CDM告警规则 操作场景 通过设置CDM集群告警规则,用户可自定义监控目标与通知策略,及时了解CDM集群运行状况,从而起到预警作用。 设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。
编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
选择“表/文件迁移 > 新建作业”,进入作业配置界面。 图1 新建表/文件迁移的作业 选择源连接、目的连接: 作业名称:用户自定义任务名称,名称由中文、数字、字母、中划线、下划线、点号,且首字符不能是中划线或点号组成,长度必须在1到240个字符之间,例如“oracle2rds_t”。 源
数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由
已开通华为账号,并授权使用实时数据集成服务,详情请参考注册华为账号并开通华为云和授权使用实时数据集成。 已购买资源组,详情请参见购买数据集成资源组。 已准备数据源,对应连接账号具备权限,详情请参考使用前自检概览中对应数据库账号权限要求。 已创建数据连接,且创建的连接必须已勾选数据集成选项,详情请参见创建DataArts
如果您需要CDM集群用于满足业务需求,请通过按需计费方式购买批量数据迁移增量包,详情请参考按需计费方式购买数据集成集群。 如果您需要为购买的CDM集群匹配套餐包用于降低使用成本,请通过套餐包方式购买批量数据迁移增量包,详情请参考套餐包方式购买数据集成集群。 DataArts Studio实例赠送的CDM集群,由于规格
Arts Studio与数据底座进行对接,用于数据开发与数据治理等活动。 数据集成 数据集成提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块,承担数据治理过程中的数据加工并
套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 数据集成(CDM作业)
上述数据迁移服务的区别请参见各个数据迁移服务区别。 什么是云数据迁移服务(CDM)? 云数据迁移(Cloud Data Migration,简称CDM)是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的
购买数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照
查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: 数据集成API
于迁移文件到数据表的场景。 CSV格式 列表文件 当“文件格式”选择为“二进制格式”时,才有该参数。 打开列表文件功能时,支持读取OBS桶中文件(如txt文件)的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径(不支持目录),例如直接写为如下内容: /052101/DAY20211110
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题: 数据集成API